Newsletter

#6 大型預訓練模型 + 小型標記樣本

在過去的十年中，大型監督模型 (large supervised models) 在機器學習領域嶄露頭角，但是在 2020 年，大型預訓練模型 (large pretrained models) 成為了主導趨勢。預訓練模型是指事先在網際網路上學習各種不同的非結構化數據，例如文字、圖片和聲音。這些模型可以應用於很多不同的任務，比如閱讀、識別圖片和辨認聲音。 ...

#5 AI 賽事是小步快跑的勝出？還是打規模戰的活下來？

Hi，你今天 LLM 了嘛？ ChatGPT 在去年 11 月底問世，一枝獨秀，連帶讓 LLM (Large Language Model) 成了一個 buzzword。幾個月後，有愈來愈多的應用與服務加入這場賽事：有採取小步快跑策略、擅長衝刺的短跑選手，像是幫國小國中生寫作業的 Socratic (致敬蘇格拉底) ；有擅長大規模賽、耐力見長的超馬跑者，如 Google PaLM 2 ；還有更多跟著跑，把領頭羊當配速員用，然後在後頭研究著可以在哪個彎道超車的 (參照 30 ChatGPT alternatives )。 ...

#4 你的工作（可能）不會受到人工智能的威脅

“Your job is (probably) safe from artificial intelligence” 是上一期《經濟學人》的一長篇，它從經濟發展的歷史脈絡角度，包括經濟發展、工業革命、以及經濟學家的論點，指出這一波的 AI 熱潮可能被放大過多。另一方面，我們也開始受惠於 ChatGPT-like 的服務所帶來的便利，不管是草擬行銷文、客服應對、function docstring、或甚至是撰寫 test case。說 AI 對工作沒有影響，也與事實有違背。這也許是為什麼《經濟學人》的文章標題用了 “probably” 這個字眼。(原文 ) (David Chen 的中文摘要 ) ...

#3 AI 領域正在發生的變化

Google “We Have No Moat, And Neither Does OpenAI” AI 領域的研究與技術進展很快而且振奮人心（例如 Tesla 的電動車、OpenAI 的 ChatGPT），以它為首的第四次工業革命正在發生中。但就在上週，紐約時報報導有「AI 教父」之稱的 Geoffrey Hinton 結束了與 Google 十年的合作，他將更專注於 AI 對社會的威脅。Hinton 事後在推特上表示：「我離開了，這樣我在討論 AI 的危險時，才能不必考慮對 Google 的影響。Google 一直都對它的行為很負責任。」 ...

#2 LLM is everywhere

OpenAI 在去年 11 月開放 ChatGPT 後，Large Language Model (LLM) 開始席捲各行各業。從跨服務整合所帶來的應用面來看，ChatGPT 背後的模型，帶來了一個有點糢糊、有別於既有 API 的概念：Fuzzy API。 ...

#1 環球音樂對(生成式)音樂技術的表態

“Hi” from AI Research Report Hey! 在這個技術蓬勃發展和人工智能興起的時代，我們與所有人一樣，每天不停歇地研究和學習新事物，從中找到可以立即用在手邊任務，或是在下一個計畫派上用場的技術。有一天，一個點子湧入討論中：“要不要定期與所有同事們分享、討論與研究，像是來一份有關人工智慧技術的社內電子報試試？” 因此，有了這第一期電子報，啟動此項實驗計劃。 ...