0
| 本文作者： 我在思考中 | 2021-08-26 10:17 |
谷歌Ethical AI人工智能倫理研究小組前負責人瑪格麗特·米切爾（Margaret Mitchell）將加入Hugging Face，開發讓AI 公平的工具。
8月25日，谷歌Ethical AI人工智能倫理研究小組前負責人瑪格麗特·米切爾(Margaret Mitchell)將加入人工智能創業公司Hugging Face，幫助企業開發確保其算法公平的工具。她因與他人合著的一篇重要論文引起爭議而在今年2月被谷歌解雇。
Hugging Face有何吸引力？
Hugging Face 是一家總部位于紐約的聊天機器人初創服務商，專注于NLP技術，擁有大型的開源社區。尤其是在github上開源的自然語言處理，預訓練模型庫 Transformers，已被下載超過一百萬次，github上超過24000個star。Transformers 提供了NLP領域大量state-of-art的預訓練語言模型結構的模型和調用框架。
Transformers最早的名字叫做pytorch-pretrained-bert，推出于google BERT之后。顧名思義，它是基于pytorch對BERT的一種實現。pytorch框架上手簡單，BERT模型性能卓越，集合了兩者優點的pytorch-pretrained-bert吸引了大批的追隨者和貢獻者。
其后，在社區的努力下，GPT、GPT-2、Transformer-XL、XLNET、XLM等一批模型也被相繼引入，整個家族愈發壯大，這個庫更名為pytorch-transformers。
2019年6月Tensorflow2的beta版發布，Huggingface實現了TensorFlow 2.0和PyTorch模型之間的深層互操作性，可以在TF2.0/PyTorch框架之間隨意遷移模型。之后也發布2.0版本,并更名為 transformers 。到目前為止，transformers 提供了超過100+種語言的，32種預訓練語言模型。
Hugging Face維護著一個存儲庫，人們可以在儲存庫中共享AI模型并進行合作。這是一個開放源代碼平臺，目前已經有5000多家機構使用，其中包括谷歌、Facebook、和微軟。米切爾計劃在10月份啟動，并將首先開發一套工具，以確保用于訓練人工智能算法的數據集不存在偏見。目前用于“教導”模型如何進行預測或確定的數據集，通常因為原始數據的不完整會導致AI軟件在女性、少數群體成員還有老年人中表現不佳。
米切爾和Hugging Face已經建立了關系，因為為了確保模型的公平性，Hugging Face建議工程師和科學家在發布項目時使用米切爾在谷歌開發的名為“Model Cards”的工具來評估人工智能系統，以揭示優缺點。Hugging Face首席執行官兼聯合創始人克萊門特·德蘭吉（Clement Delangue）表示，放在Hugging Face上的20000個項目中，約有四分之一使用了Model Cards工具。
Hugging Face 在其 50 人的員工中還有幾位人工智能倫理專家，但 CEO 德蘭格（Delangue ）計劃讓所有員工對這項工作負責并努力。
德蘭格表示：“我們不想建立一個輔助的人工智能倫理團隊，而是真正讓它成為公司的核心，并確保它真正融入每個人的工作。米切爾不會建立一個由少數人組成，只是偶爾提供咨詢的團隊。”
米切爾在一次采訪中表示，在用軟件評估人工智能系統方面，"要用非常嚴肅和積極的態度去工作。“這對我來說是一個非常好的機會，可以幫助模型構建者更好地理解他們正在構建的模型的危害和風險。”
米切爾在從谷歌離職后表示，她希望在一家規模較小的公司工作，這樣可以從一開始就將人工智能倫理納入在考慮內。她說，在Hugging Face中，“已經有很多基本的道德價值觀。很明顯，我不必強行插手或改進倫理流程。”
米切爾究竟為何被解雇？
米切爾的解雇源于谷歌人工智能倫理研究團隊的動蕩。去年，谷歌公司就解雇了該團隊的另一位聯合負責人蒂姆尼特·格布魯(Timnit Gebru)，原因是她拒絕撤回與米切爾等人共同撰寫的一篇論文，這篇文章涉及到對谷歌技術的批評。Gebru離職后，作為團隊剩余負責人的米切爾公開強烈批評谷歌及其管理層，指責谷歌未能認真對待對其人工智能產品的問題，以及解雇Gebru的做法，因為Gebru是人工智能研究領域為數不多的杰出黑人女性之一。谷歌則表示， Gebru 已辭職，Mitchell 違反了谷歌的行為準則和安全政策。
谷歌的員工對其處理此事的方式表示憤慨，今年早些時候，對十多名現任和前任員工以及人工智能學術研究人員的采訪表明，在兩年多的時間里谷歌的人工智能的工作，在處理騷擾、種族主義和性別歧視指控方式上一直陷于爭議之中。
提到這篇論文，大致集中攻擊了大規模語言模型（如BERT）的消極影響，而BERT模型是谷歌的王牌AI產品之一。
這篇論文名為《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》。
據了解，這篇論文基于其他研究人員的工作，參考了128篇學術文獻，展示了自然語言處理的發展歷史與大型語言模型的四大危害，呼吁對語言模型進行更深入的研究。
這四大危害包括：
1、訓練大型AI模型會消耗大量能源；（訓練一個BERT模型大約會產生1,438磅二氧化碳，相當于在紐約與舊金山之間的一次往返航班所產生的碳排放量。）
2、大型語言模型是基于大量文本進行訓練，無法避免偏見的存在，包括那些涉及種族歧視的、具有性別歧視色彩的與其他虐待性的語言；
3、大型語言模型無法理解語言，但公司由于利益關系會加大這方面的投入，從而帶來機會成本；
4、由于大型語言模型非常擅長模仿真實的人類語言，所以很容易被用來欺騙人類。
谷歌在許多基礎研究上遙遙領先，這帶來了大型語言模型的最新爆炸式增長。如果真的如論文所說大規模語言模型“危害大于利益”，而谷歌解雇一系列人員，那對這件事的態度也就不言而喻了。或許從這個角度就能理解米切爾加入Hugging Face的原因了。
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
