The American Society of Cinematographers | Visual Analysis: Contact
在浩瀚的宇宙中，到底有沒有其他的生物呢？艾莉 (Jodie Foster) 是一名年輕的女科學家，從小就喜歡與父親一同仰望星空，她深信在外太空，有一群高等生物試圖與地球上的人類連絡，於是她全心投入科學，致力於接收外星訊息的研究。一日，她一如以往在沙漠中的衛星基地聆聽天外之音時，一個強大清晰的訊號傳入她的耳機中，經過證實後，此訊息來自於 26 光年外的織女星！[1][2]
音訊計算 (Audio Computing) 的世界正站在技術創新的前沿，除了 Suno , Udio ，還有很多新發展是存在於充滿願景的演講或是新穎應用的場合中。在 TED 的 Must-watch tech talks of 2024 的演講《Welcome to the world of audio computers》中，科技發明家兼設計師 Jason Rugolo 介紹了音訊電腦 (Audio Computer) 這一概念，探討如何透過無屏幕的使用者介面及自然語言計算平台，將人類能力推向展新的未來。[3][4]
與此同時，AudioShake 的執行長 Jessica Powell 在 NVIDIA 全球技術大會 (GTC) 展示了人工智慧如何結合音訊計算技術，重塑音樂、電影與遊戲等產業。她的演講聚焦於人工智慧與音訊技術的實際應用，將音訊電腦的潛力具體化，描繪了創作者如何透過技術賦能，突破傳統創作方式的界限。[5]
另一方面，在上週的 KKCompany Innovation Day 2024 中，副總經理彭弘達分享了數位分身管理平台 TheKeeper。這項平台以保護和授權機制為核心，致力於守護個人的聲音、肖像等數位分身資產，避免遭受未經授權的濫用。同時，TheKeeper 還能協助個人更有效地應用並實現其數位分身的商業價值，為未來數位資產的管理與變現開創了新的可能性。[6]
這三場演講相輔相成，不僅展示了音訊電腦的廣闊可能性，也讓我們對音訊計算的未來有更多的想像，更具象化了抽象的人工智慧倫理 (AI Ethics)。接下來，我們將深入探討這些創新的理念與實際應用，了解音訊、人工智慧與數據治理如何攜手改變我們的世界。
Jason Rugolo: Welcome to the world of audio computers | TED Talk
重塑計算：無螢幕音訊介面的未來
想像一個不再需要螢幕、鍵盤或手持裝置的世界，一個科技能夠與我們的生活無縫融合，完全依賴聲音和語音來運作，讓人們以自然語言為主要互動方式來進行操作。這正是 Jason Rugolo——深科技創新者及 iyo 創辦人——在其 TED 演講《Welcome to the world of audio computers》中所分享的願景。
這個願景的核心是建立一個自然語言計算平台，該平台不再依賴傳統的螢幕，而是利用先進的音訊計算技術。Rugolo 描述這是一個無螢幕的使用者介面，旨在即時處理並回應複雜指令，提供免持操作、直觀的協助。這個系統不僅能「聽」，還能理解、解釋並進行互動，讓使用者能專心於想要達成的事，而不會受到物理裝置的干擾或限制。
What I think next is that we need an entirely new kind of computer. One that speaks our language instead of forcing us to speak their language of swipes and clicks. — Jason Rugolo
這項創新的技術背後，基於最前沿的自然語言處理 (NLP) 與情境感知計算技術。透過精密的演算法與機器學習模型，系統能夠解析語音背後的意圖，並根據使用者需求與環境進行調整回應。這種以音訊為核心的方式，消除了螢幕的視覺雜訊，提供了更加沉浸且以語音為主導的互動體驗。Rugolo 的這項工作代表了計算範式的根本變革，其目標是通過重新構想我們與科技互動的方式，來釋放人類潛能。
隨著科技不斷進步，像是 Google Glass 或是 Ray-Ban Meta Glass 這些擴增實境 (AR) 與混合實境 (MR) 設備，也將在未來的音訊計算世界中扮演重要角色。這些裝置的出現驗證明了我們可以邁向一個不需要依賴物理螢幕的生活方式，並透過語音和視覺技術實現更為直觀、自然的互動。未來的技術路線圖可能會融合音訊計算與擴增實境或混合實境，進一步將語音指令與視覺化數據結合，創造出更加沉浸式的使用體驗。在這個過程中，語音識別技術、人工智慧以及語境感知系統將是關鍵技術，從而實現更加無縫且智慧化的使用者介面，將科技與我們的生活更加緊密地結合，開啟更豐富、無縫的數位未來。
AudioShake CEO Jessica Powell speaks at NVIDIA GTC - YouTube
創新音訊技術：AudioShake 在 NVIDIA GTC 的演講
在 2024 年 NVIDIA GTC 大會上，AudioShake 的 CEO Jessica Powell 分享了一場令人印象深刻的演講，深入探討了音訊技術的未來，尤其是在音樂創作和內容創新方面的應用。AudioShake 專注於利用先進的人工智慧和機器學習技術，將複雜的音訊分離與重構工作簡化，讓創作者可以輕鬆地解開音樂中各種層次的細節，創造出獨特的視聽體驗。
Jessica Powell 在演講中強調，傳統的音訊處理通常需要高深的專業知識和繁瑣的技術設備，而 AudioShake 的技術則能夠在幾秒鐘內完成這些艱難的任務，將一首音樂中的各個元素 (如多個不同的人聲、樂器、背景聲等）分離開來，甚至能夠將單一音軌轉換為全新的音樂或多重混音版本。這項技術背後的核心，是利用深度學習模型來分析和識別音樂中的各種元素，並用演算法將這些元素重新組合，從而實現音訊的多樣化應用。
The ability to separate dialogue from music and effects opens up film, TV, and UGC content to new opportunities–from extracting clean dialogue stems to improve transcription and captioning accuracy, to retaining or removing the background audio for content localization or copyright compliance purposes. — AudioShake
Powell 也指出，這項技術不僅對音樂製作人和藝術家具有巨大價值，對影視製作、遊戲音效甚至語音識別領域也有重要的潛力。尤其是在音樂產業中，音訊分離技術能夠為創作者提供前所未有的創作自由，幫助他們重新詮釋經典作品或創建全新的音樂體驗。此外，這項技術在數位轉型的背景下，讓創作者能夠跨越物理和虛擬界限，將音訊與視覺創意更加緊密地融合，開啟更為豐富的多媒體創作新時代。
未來，隨著更多像 AudioShake 這樣的創新技術的出現，音訊創作和處理的範疇將進一步擴展，並促使更多跨領域的合作與創新。結合 AR、VR 與 MR 技術，音訊將不再只是背景元素，而是能夠與視覺、互動結合，創造更加沉浸式、直觀的體驗。例如，音訊的即時處理與可視化反饋將成為創作的核心，使創作者和觀眾之間的界線愈加模糊。隨著技術的成熟，未來的音訊計算將不僅僅是一種工具，而是一種讓人類創意更具深度與多樣性的全新平台。
TheKeeper：你數位分身(聲音)的守護者
在生成式 AI 應用開始冒出頭的時代，機會與挑戰同時出現。隨著 AI 快速發展，國家、企業，乃至個人的聲音、身份和形象等無形資產暴露於巨大的風險之下：深偽技術 (Deepfake)、身份盜用及未經授權的 AI 生成內容開始被濫用。以個人的聲音和肖像為例，僅需短短幾句話和幾張照片，個人的聲音和肖像等身份資產就可能遭複製，被未經授權的使用於建立個人的數位分身。
你的聲音和肖像是你的財產。它們將會被保護，可以被授權，應該永遠在你的掌控之中。 — 彭弘達
上週四於松煙台北文創會所舉辦的 KKCompany Innovation Day 上，數位分身管理平台 TheKeeper 初次亮相了。TheKeeper 連結擁有數位分身資產的個人和有使用數位分身需求的開發者，透過它所提供的 API 串接，提供開發者已授權的數位分身開發相關應用，省去聯繫本人並取得授權的成本，同時以第三方的角度扮演守護與管理一職。 [6]
整體而言，TheKeeper 要解決的目標為：
- 建立：可建立模擬歌聲和說話的聲音模型及模擬個人形象的虛擬人像模型。
- 保護：可查看登記於區塊鏈上的數位分身被取用和商用的紀錄。
- 授權：可將數位分身授權可信賴的開發者使用，取得合理分潤。
- 應用：模型建立後除私人使用外，亦可授權開發者應用自身的數位分身。
延伸閱讀
- 接觸未來–Contact (1997) @movies【開眼電影網】
- The American Society of Cinematographers | Visual Analysis: Contact
- Must-watch tech talks of 2024 | TED Talks
- Jason Rugolo: Welcome to the world of audio computers | TED Talk
- AudioShake CEO Jessica Powell speaks at NVIDIA GTC - YouTube
- KKCompany 首屆 Innovation Day 聚焦 AI 新世代，公布 AI 數位分身管理平台 TheKeeper 捍衛數位主權