OpenAI 在去年 11 月開放 ChatGPT 後，Large Language Model (LLM) 開始席捲各行各業。從跨服務整合所帶來的應用面來看，ChatGPT 背後的模型，帶來了一個有點糢糊、有別於既有 API 的概念：Fuzzy API。
舉個例子，你想結合 KKBOX OpenAPI 以及數個 PTT 音樂看板 ，來產生一個 “KKBOXPTT” 的即時歌單。你可以透過 Azure OpenAI 的 language model 去 “消化” 與 “詮釋” PTT 上的內容，然後再整合 KKBOX 的曲庫來做到。與 PTT 看板的溝通，並非走傳統的 API，而是有點糢糊的 “文字接龍”。這個，就是一種 Fuzzy API。
PS. 電子報第一期 發出後，收到了一些回饋，包括像是「多一點與 OpenAI service 的技術應用、prompt engineering 小技巧、或是一些其它的研究技術分享」。感謝你打開信、看完它、並且給與回饋，我們一邊執行一邊調整中。 Cheer~
Match Cutting: Finding Cuts with Smooth Visual Transitions Using Machine Learning
你沒想過的另一種生成式 AI：Match Cutting
去年 11 月，Netflix 在他們的 Tech Blog 上寫了一篇介紹關於剪輯配對 (Match Cutting) 的技術研究文章。這是 Netflix 利用其龐大的影片資料庫所做出的一種電影剪輯技術。剪輯配對涉及尋找和利用視覺元素，例如顏色、形狀或運動的相似性，來在連續的鏡頭之間創造無縫的連接，為觀眾營造一種連貫和一致的視覺效果。
文章強調了剪輯配對在提升 Netflix 的節目和電影的敘事性和視覺美學方面的關鍵作用。它可以實現場景之間的平滑過渡，創造一種流暢的視覺效果以吸引觀眾的目光。通過將剪輯配對作為一種提供創意的工具，Netflix 目的在提供引人入勝且身臨其境的視覺內容，保持觀眾的參與、娛樂（以及持續付費續租下去）。(原文 )
AI + Video Compression 的應用，正在背後偷偷起跑
「Learned Video Compression 」是一篇發表於 2019 年國際計算機視覺會議（ICCV）的研究論文，作者來自三月份被 Apple 低調收購的 WaveOne 公司。該論文提出了一種利用機器學習分析影片來做到更好的壓縮影片的新方法。在多個常見的影片資料庫上進行了實驗，結果顯示該方法在壓縮效率和影像品質方面都優於現行既有的 H264, H265, VP9 encoder，展現出良好的應用前景。
雖然 video encoding 是複雜而且累積長久的一門技術，不是那麼容易就有一個可靠的突破。而且，影片能壓得多好，有一部分取決於影片的類型與內容有關。但如果因為透過導入 machine learning 來讓影片的壓縮比更加逼近 Shannon entropy rate 的話，那很顯然是 AI + Human 的一個大事件。
至於 Apple 買下它的目的為何，我們還不得而知～ (原文 ) (同步感謝好友橘子的情報分享 )
Drake - Heart On My Sleeve (Audio) ft. The Weeknd, Future, 21 Savage (unleashed)
AI 生成的 Drake and the Weeknd
上一期提到，環球音樂集團 (UMG) 站出來表態對於生成式音樂的捍衛立場，有部分原因，可能與兩週前在 TikTok 上釋出的歌曲〈Heart On My Sleeve〉有關。根據作者表示，雖然這一歌歌有著類似 Drake 和 the Weeknd 的歌聲與曲風，但他們兩位從未參與過這首歌的製作，理論上並不侵犯版權，它算是一首完全原創的作品，但 Apple Music 與 Spotify 都陸續因 「版權問題」下架這首歌曲，連 YouTube 上也僅剩別的版本，AI 技術在音樂創作上的研究還在進行中，而它的商業應用更是充滿各種可能性與風險～
Other News
DeepMind + Google Brain
2010 創立，2016 帶來擊敗人類圍棋手的 AlphaGo 的英國公司 DeepMind，在上上週宣佈與 Google Brain 團隊整合 。透過整併兩個單位的人材、技術以及資源，看來是真的被 OpenAI 也激到了。
Visual Prompting by 吳恩達
當我們還在聊 text-based prompt engineering 時，Andrew Ng 團隊以及其它研究單位，已經開始在嘗試把 LLM 結合進傳統電腦視覺領域去解問題，而 visual prompt 就是一個嘗試使用 visual hint 來替代 text prompt 的研究。成果非常驚人，推薦去看這一支 webinar 影片的中間 10 分鐘 。
Inside ARC
國際競賽初試啼聲：NTIRE 2023 Video Quality Assessment 競賽
在二月初 OKR 底定後，就 “提升(外在)科學研究力與技術力形象“ 這一個 objective，ARC 團隊鎖定了一個國際賽事來投入。一個月後，在有參賽記錄的 61 隊中拿了第 9。隨後，在十天內完成一篇論文，投稿上了 CVPR 2023 Workshop paper 了！
我們把 Data Game 帶到慕尼黑工業大學
我們在 2016 跟上 Kaggle 的順風車，啟動了一連四場的 Data Game，並在這之後繼續演化，然後在這之後的面試考題以及學校合作上繼續執行。去年第一屆 KKCompany Tomorrow Lab 畢業生 Amy Chao 也有參與，然後就在今年，在她的牽線下，我們與 TUM.ai 以及 AI+Munich 三方合作，把 Data Game 帶去德國，在那邊舉行了一場 one-day kaggle challenge ！