OpenAI 之所以不 Open，不是為了保護人類不被 AI 毀滅，而是因為他們構建的大模型是可複製的，不足以成為護城河 。未來中國和美國的網際網路大廠及 AI 新創，都會有能力構建出可以和 GPT-4 媲美甚至超越 GPT-4 的大模型。

在 GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE 一文中，我們注意到了幾個有趣的資訊：

  • GPT-4 有約 1.8 兆的參數，約等於 4K 30 FPS 畫質的影片播放四十分鐘時我們看到的像素量。
  • OpenAI 使用了大約 25,000 個 A100 芯片來訓練 GPT-4，一次的訓練成本約為 6300 萬美元，訓練 30 次就能蓋一座台北 101。
  • Nvidia 的 FasterTransformer 跟 TensorRT 很糟，可能給了 AMD 一個機會。

延伸閱讀：

Amazon CodeWhisperer, Free for Individual Use, is Now Generally Available

開發者優先的 AI - Amazon 的策略

Amazon 正在努力使用 ChatGPT 來提高其產品和工作流程的效率。他們正在尋找各種方法來利用 ChatGPT，包括使用它來寫作、提供客戶支持和分析數據。Amazon 還在開發自己的 generative AI 平台和模型，以便在未來更好地利用 ChatGPT。

AWS 也正在建立一個新的組織，專注於幫助客戶在 AWS 上使用生成式 AI 技術。這個組織的名字叫做「Next Gen DevX」，它的使命是「使用生成式 AI 來改變客戶在 AWS 上構建應用程式的方式」。

這個組織由 Deepak Singh 領導，他是 AWS 的副總裁，曾經負責 AWS 的容器 (container) 和無服務器 (serverless) 產品。

延伸閱讀：

讓機器學習模型忘掉它看過的訓練資料

Machine Unlearning - 書已經唸不完了還要我忘掉？

機器「解除學習」（Machine Unlearning）是一種技術，可以讓機器學習模型忘記特定的訓練資料。這可以用來保護使用者的隱私，因為如果機器學習模型忘記了特定的資料，就不能再用來推斷使用者的身份。

機器解除學習有兩個主要的挑戰。第一個挑戰是如何有效地去除特定的訓練資料，而又不影響模型的準確度。第二個挑戰是如何評估機器解除學習的效果。

Google AI 提出了一個新的機器解除學習挑戰，這個挑戰將會在 NeurIPS 2023 競賽中舉行。挑戰的目標是統一和標準化機器解除學習的評估方法，並鼓勵開發新的機器解除學習算法。

延伸閱讀：

論文的程式碼就是這麼短

Machine Nolearning - 他沒唸書但是考一百分

Twitter 上最近流傳著一篇神秘的論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors ，在文本分類的問題上，用 gzip 打敗 BERT（Google AI 在 2018 年推出的一種預訓練語言模型）。

原理簡單的說就是：如果兩個文本內容相近，那麼一起壓縮後的大小不會比單獨壓縮時增加太多（兩個文本在敘述一樣的事，就只需要記一件事）；相反的，如果兩個文本的內容相關性很低，那麼一起壓縮後的大小就會比單獨壓縮時增加不少（兩個文本在敘述不一樣的事，就需要記住兩件事）。

延伸閱讀：

Others

Google 近期宣佈了數個 AI 相關的挑戰賽：

  • Google AI 舉辦「機器學習解除學習挑戰賽 」，鼓勵研究人員提出新的機器學習模型「解除學習」方法（~ 2023/09）。
  • TensorFlow 舉辦「美國手語拼字識別挑戰賽 」，鼓勵研究人員開發美國手語拼字識別模型，以協助聽障人士更輕鬆地使用電腦和網際網路（~ 2023/08/24）。
  • Google AI 與辦「辨識飛機凝結尾跡挑戰賽 」，用 AI 辨識噴氣式飛機引擎排出的濃縮水蒸氣，一起為全球暖化問題貢獻一份心力吧（~ 2023/08/09）。

Technologies and Tools

  • Hateful Memes Challenge and Dataset 是由 Meta AI 提供的資料集，包含許多帶有負面意圖（諷刺、仇恨）言論的迷因（ Meme ）。目的在讓 AI 能夠學習到如何辨識出具有負面意圖的圖片。
  • Rift 是一個開源的語言伺服器和 IDE 擴充，讓每個人都可以部署一個個人 AI 軟體工程師，在本地端託管、私有、安全、開源，而且免費。

Inside ARC

ARC 持續投入超解析度影片成像（VSR, Video Super Resolution）與影片品質評估（VQA, Video Quality Assessment）的技術研究。本週三（2023/07/19），ARC 的 Drake 與 Yvonne 將和 KKCompany 的另外三位同學在兩個活動裡的五場技術演講中對外交流。

延伸閱讀：

Fun