0
雷鋒網AI科技評論編者按：當我們在討論溫度的時候，我們不會認為自己扔掉了大量的信息。如果我問某人外面有多熱，他們開始列舉各種空氣粒子的位置和速度來說明，那我會趕緊走開。
現實是，作為人類，我們對“能提供充足信息”和“有用”之間的區別有著與生俱來的理解能力。我們會告訴別人外面很熱，但不會說它的溫度是38.94攝氏度，這樣既不麻煩又能說明問題。這種刪減和總結信息的行為是預測的本質，在本文中，我將解釋如何定義、度量(近似)和利用這一過程來改進預測模型和人工智能(以及在預測天氣這樣的問題中給出正確的答案)。
圖1
沒有什么比一個好的理論更實際的了。
- 路德維希·玻爾茲曼
如果你熟悉熵的概念，你可能已經了解了其中一兩個系統的定義(例如熱力學熵，信息熵，等等)。不然的話，別人會告訴你它其實是一種“隨機性”的衡量標準(定義隨機性是另一個主題)。（雷鋒網）
我認為熵的定義有很多種，所有這些定義描述的都很詳細，在不同的情境中都多多少少有用(盡管我通常反對將其稱為是一種“隨機性”的衡量標準)。我最喜歡的定義之一，最早是在1875年左右由天才路德維希·玻爾茲曼(Ludwig Boltzmann)提出的，現在通常被稱為玻爾茲曼熵或是玻爾茲曼熵公式。
玻爾茲曼認為，熵與微觀狀態和宏觀狀態之間的關系直接相關。對于系統給定的任何宏觀上的描述，如果能與更多的微觀狀態下的描述相結合，熵就會更高。這個理論最初提出的時候是用來描述容器中的氣體例子的，在這個情境中會比較容易理解它的含義。
圖2：摘要中增加了熵，并創建了方向性
在左側，這個系統的微觀狀態被定義為：容器中所有氣體粒子的速度、質量和位置(這是非常具體的描述)。相反，在右側，將微觀狀態概括為溫度，就產生了一種可能的宏觀狀態(這個描述就不那么具體了)。在宏觀狀態下有一些非常有趣的特性：它是不可逆的(你不能只根據溫度這一個條件就對所有粒子進行完全描述)；它不那么復雜(信息少所以得到的結論也少)；但它仍然是準確的(容器真的是38.94攝氏度)；最重要的是，它不太具體(不止一個微觀狀態適合它)。
圖3：給定的宏觀狀態將具有多個與其兼容的微觀狀態。
這就是玻爾茲曼熵的關鍵：每個宏觀狀態都有許多與之兼容的微觀狀態。定義溫度的方式意味著顯示在左側(上圖所示)的三個容器中的任何一個都會產生相同的溫度。這種微觀狀態越多，熵就越大：“這個容器的溫度為38.94°C”。
盡管溫度這個條件很普遍，但它并不是玻爾茲曼熵唯一適用的方面。任何人與人之間的對話中都包含高熵語句，人們會仔細選擇具有描述性的語句，同時也不會太過具體。例如，我可以將這篇文章的縮略圖描述為“一副內容是蒙娜麗莎的剪貼畫，可以重復使用”(它確實是這樣的)。但是，假若你還沒有看到這個特定的圖像，那么這些微觀狀態中的任何一項都可能同樣適合該宏觀狀態：
圖4：所有這些都可以對應“一副內容是蒙娜麗莎的剪貼畫，可以重復使用”。
經過這個例子的說明，很明顯可以看到，熵可以出現在意想不到的地方，但到目前為止，我們還沒有采取任何措施將其與AI或預測聯系起來。在此之前，我們先來聊聊地圖。
“以貓為例，貓最好的物質模型是另一只貓，或者說最好是一只完全相同的貓。”
- Norbert Wiener，科學哲學(1945)
我們來做一個小小的思考實驗。 想象一下，我問你去多倫多那個奇怪的新加菲貓主題披薩店的路線，但我們倆都沒有手機，我只有紙和筆。如果你知道怎么走，那你可能不會猶豫，你畫出來的地圖看起來會像是這樣：
圖5
對我們倆來說不好的一點的是，我很容易被搞糊涂。我必須繼續詢問：“北是哪邊？”
你只能郁悶的嘆口氣并繼續補充
圖6：我想這些已經畫的已經夠多得了
你可能已經能看出來這是什么意思了，但我還在要求更為詳細的說明。直到最后，你的地圖看起來很可能會像這樣：
圖7：這是真正的餐廳
你為了讓我了解清楚兒增加了很多的細節，但其實其中的絕大部分都是毫無意義的，地圖的意圖是引導我去吃美味的千層面披薩。事實上，如果我們繼續這樣下去，我們最終會意識到，一份最準確、最具描述性、最完整的覓食地圖其實就是整個地區的一比一復制品，餐廳里面也坐滿了急急忙忙吃東西顧不上說話的人。如果你要靠地圖來導航，那地圖里的信息需要比真實地區的信息少一些。如果這張地圖和這個地方本身的熵值是一樣的，那么對我來說沒有任何幫助。
模型的實用價值介于完整的描述和抽象的草圖之間。如果你不相信我，只需看看多倫多市的地圖和多倫多的地鐵圖上顯示的內容有什么不同：
圖8：來自MapTO分析的地圖 http://www.mapto.ca/maps/2017/5/9/the-newest-ttc-map-is-distorted
如果把地圖上顯示的路線做一些扭曲，把一些路線多重疊交叉了那么幾次(改變了拓撲結構)，那么它就不再是一個有用的工具了。然而，以正確的方式扭曲它，忽視關于尺度和距離的信息，地圖將會變得更加有用，可以快速了解在下車前剩下多少站點。在對系統進行建模時，它應該包含盡可能少的細節，以便能最大限度的達到預期目的。
[我強烈建議你在Twitter上使用@mapTOdotca，如果你想要了解地圖的話]
3.天氣的狀況
預測是困難的。尤其是關于未來的預測
-Niels Bohr
你對明天的天氣做出的最準確的預測是什么？當那個重要的日子(明天)來臨的時候，什么樣的預測最有可能實現。
天氣晴朗，最高溫度27°C，最低溫度18°C，伴隨漲潮和海洋變暖
下午2時至4時將有2mm的降水。
氣溫會比昨天有所上升
以上全部
當然，這個問題的答案取決于你對天氣的了解，以及隨著時間的推移天氣它會如何發揮作用，但如果你沒有任何預測天氣的能力，你最好的選擇是選項#3，即氣溫會比昨天有所上升。與其他預測相比，這一預測具有很高的熵。會有許多天氣的微狀態與“氣溫比昨天有所上升”這個預測相兼容。
如果你嘗試預測天氣，并不一定需要低熵預測。如果你在考慮是否應該帶雨傘去上班，你只需要知道今天是否會下雨。如果你在耕作，你可能需要更少的熵：那里的總降雨量是多少？
在所有這些不同的天氣預測例子中，有一點是不變的，預測總是需要比用于生成預測和/或模型的高度詳細的數據具有更多的熵。
混亂是一條階梯
- Littlefinger
每當我開始建模的時候，我首先花一些時間嘗試把我的問題都按照詳細程度在一個梯子上從下到上列出來。我這么做的原因是為了避免陷入總結謬誤：相信你做出的有用的預測的熵和你的數據的熵在同一水平上。要避免這個謬誤只需要一條規則，它不困難，但是很有用：總是向梯子的上方做預測。始終在比用于生成預測的數據更高的熵水平上進行預測。
圖9
現在，在我自己的日常生活中，這通常與預測小分子藥物和蛋白質之間的相互作用有關。如果我說來自高分辨率晶體結構的詳細結構數據是我在1級的輸入數據，那么我可以用它來構建能夠預測更高層次的東西的模型。這些信息非常詳細，它描述了蛋白質和藥物相互作用時所有原子的位置。
圖10：如此美麗的低熵蛋白質和藥物結構，藥物結構用粉紅色來表示。
我預測的內容比較少，例如：小分子藥物X與蛋白X相互作用嗎？這類似于使用關于粒子的詳細信息來了解溫度與容器處于“熱”或“不熱”之間的關系。這樣，在未來，如果我給我的模型設定一個溫度，它將預測“熱”。在這種情況下，我的模型只是預測“是的，這種藥物會以某種方式與這種蛋白質相互作用。”如果我想設計一種更好的藥物，這個二元預測對我來說仍然是有用的，但它還不夠詳細，無法重建特定的原子用以預測交互的細節。如果我的模型那么做了，那我是不會相信的。一般來說，你只應該爬上梯子，而不是再次退下來進行預測。這就是總結謬誤。
“所有的模型都是有錯誤的，但其中有一些是有用的”
- George Box
如果你像我一樣，會花很多時間來考慮自己的模型，或者嘗試使用和理解其他人的模型，那么我希望你發現的東西是有用的。最重要的是要記住，即使目前在大肆宣傳的人工智能和機器學習，人工智能仍然是有局限性的。理解和尊重這些限制條件并不會阻礙你，相反，它會讓你專注于真正重要的事情：什么對你有用？（雷鋒網）
順便，記得天氣預報要做簡單一點。
原文鏈接：https://towardsdatascience.com/when-is-ai-trustworthy-when-is-ai-useful-215aaee24a6f
拓展閱讀：The User Illusion by Tor N?rretranders（文章鏈接：https://www.penguinrandomhouse.com/books/330619/the-user-illusion-by-tor-norretranders/9780140230123）其中定義了一個叫“exformation”的概念。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
