起源
ISMIR，全名為 International Society for Music Information Retrieval（國際音樂資訊檢索學會），是專注於音樂資訊檢索（Music Information Retrieval，簡稱 MIR）領域的國際性組織。
ISMIR 成立於 2000 年，當時音樂資訊檢索領域正在崛起，吸引了來自不同學科背景的研究者，包括計算機科學家、音樂學家和工程師等。這群志同道合的專業人士希望建立一個組織，促進領域內的協作和知識分享。同時，ISMIR 也舉辦各種工作坊，主題從音樂分析到機器學習不同方面的應用，這些多元的活動形式促進了該領域的不斷發展和技術創新。
就小編印象所及，我們合作過的 intern 也曾發表過一篇論文在 ISMIR 2018。千里之行，始於足下。我們相信，未來的某一天 KKCompany 會再次站上 ISMIR 的講台，與來自世界各地的音樂研究人員探索新世界。在這之前，讓我們來一起看看上個月剛剛結束的 ISMIR 2023 有些什麼值得觀注的進展。
延伸閱讀：
- ISMIR official website
- Music information retrieval
- 發表過的論文：Automatic, Personalized, and Flexible Playlist Generation using Reinforcement Learning
ISMIR 2023 Papers
ISMIR 2023 舉辦在義大利米蘭。ISMIR 每年都會透過舉辦國際會議，邀請研究者提交論文，向全球的音樂研究社群徵集 MIR 相關的最新研究成果。
Decoding Drums, Instrumentals, Vocals, and Mixed Sources in Music Using Human Brain Activity With fMRI
圖片取自 / ISMIR 2023 papers
音源分離（Source Separation）作為一個長期受關注的課題，經歷了從上古時代 Feature-based Algorithm 到近年來熱門的機器學習解決方案的演進。在眾多研究者的不懈努力下，已經在幾種特定樂器和人聲上實現了相當令人滿意的效果，例如 Meta’s Demuc 等方法。然而，研究者們又開始思考一個有趣的問題 — 如果人類自身能夠清晰區分各種聲音，為何不直接從人腦中讀取並分析結果呢？
Composer’s Assistant: An Interactive Transformer for Multi-Track MIDI Infilling
圖片取自 / ISMIR 2023 papers
數位音訊工作站（Digital Audio Workstation, DAW）是絕大多數音樂製作人創作時必備的工具，因此音樂科技在發展的同時，也會思考如何整合到音樂產業的製作流程中。
論文所提出 Composer’s Assistant 就是一個以AI互動式音樂創作為核心的系統，作者將它整合到 REAPER 這個開源的 DAW 中，提供音樂製作人一個類似 ChatGPT 這樣你問我答的創作環境。
Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights From a User Survey
圖片取自 / ISMIR 2023 papers
當人們第一次聽一首歌時，哪些音樂元素（例如旋律、節奏和歌詞）會影響聽者喜不喜歡這首歌呢？為了探討這個問題，論文作者們做了一場共 302 名參與者的線上訪談，並考量參與者的性格以及音樂程度，以探討 10 種音樂元素對聽者喜好的影響程度。
Human-AI Music Creation: Understanding the Perceptions and Experiences of Music Creators for Ethical and Productive Collaboration
圖片取自 / ISMIR 2023 papers
近年來 AI 在音樂領域的崛起，讓創作者能夠輕鬆製作旋律、和聲、歌詞等音樂元素。然而在音樂圈裡，對 AI 的態度往往是兩極化，一部份的人選擇擁抱 AI，而另一部分則擔心這些工具會影響到人類的生計及創造力。
論文通過不同的主題分析，發現了從音樂家的角度來看，使用人工智慧進行音樂創作所面臨的機遇和挑戰，並從設計面上討論了 AI 音樂工具的影響。作者期望透過研究，探索音樂與 AI 的共生之道。
CLaMP: Contrastive Language-Music Pre-Training for Cross-Modal Symbolic Music Information Retrieval
圖片取自 / ISMIR 2023 papers
回顧近年火熱的 Multi-Modal Contrastive Pre-training，圖片有 CLIP，音訊有 CLAP，那樂譜呢？
Microsoft 也好奇，所以在今年提出了 CLaMP，訓練模型將文字與樂譜的 embedding 拉到一起，讓模型可以透過文字或是樂譜互相找到最接近的 embedding。論文中透過實驗展示了訓練完成後的模型，在沒有 fine-tuning 的情況下，能完成”從未曾看過的樂譜中判斷作曲家是誰”等 zero-shot 任務。而且如同 CLIP，研究者相信這類模型在未來都會有很大的發展空間。
LP-MusicCaps: LLM-Based Pseudo Music Captioning
圖片取自 / ISMIR 2023 papers
在如今大型語言模型（Large Language Model, LLM）大行其道的時代，研究者們也開始動起了歪腦筋，思考著怎麼利用LLM來輔助寫論文研究發展。
自動音樂標注（Automatic music captioning）為”給定音樂生成其描述”的問題，然而這類的研究最缺乏的就是訓練資料。論文提出使用 LLM 將音樂標籤（Tag）轉換為描述（Caption）的方法，產生了約 220 萬條描述與 50 萬個音訊片段的配對資料，並以實驗展示這些虛擬資料（Pseudo Data）有助於模型在自動音樂標註上的表現。
LyricWhiz: Robust Multilingual Lyrics Transcription by Whispering to ChatGPT
圖片取自 / ISMIR 2023 papers
歌詞轉錄（Lyric Transcription）一直都是一項繁瑣的工作，也是音樂研究領域中關注已久的問題。
論文提出 LyricWhiz，一套基於 GPT-4 的歌詞轉錄系統，利用 LLM 幫助人類完成歌詞轉錄。作者們表示他們利用語音辨識（Speech Recognition）模型作為“耳朵”，並把 GPT-4 作為“大腦”，利用 LLM 將模型辨識出來的歌詞進行篩選或修飾，來得到更精確的結果。實驗顯示他們的做法明顯降低文字錯誤率（Word Error Rate），並且可以做到多語言的文字轉錄。
Late Breaking Demos (LBDs)
LBD 是 ISMIR 議程中非常有趣的一部份，旨在提供一個分享尚未完全成熟但**”有趣”**的系統、概念和初期成果的舞台。同時，它也為 ISMIR 新人提供了一個絕佳機會以展示研究成果並從其他研究者們獲得反饋。
AutoOsu: Audio-Aware Action Generation for Rhythm Games
「osu! 」是一款知名的節奏音樂遊戲，這款遊戲最初是由迪安赫伯特（Dean Herbert，也稱Peppy）創建的開源節奏遊戲，後來發展成為一個包含多種模式和社群的遊戲平台。
AutoOsu 透過 AI 分析音樂節奏點並讓模型學習如何依照節奏自行生成 osu 譜面，讓節奏遊戲愛好者們能自由選擇喜歡的音樂，生成不同難度的譜面，不用再等待譜面的釋出了！
DJ StructFreak: Automatic DJ system Built with Music Structure Embeddings
DJ（Disc Jockey），是音樂表演領域中的重要角色。他們通過混音和播放已存在的音樂來創造新的音樂體驗。DJ 不僅僅是播放音樂的人，更是能夠創造獨特氛圍和激發人群情緒的藝術家。
DJ StructFreak 正是一個嘗試用 AI 來輔助 DJ 的系統，他可以讓使用者依照不同的情境選擇不同的混音方式，幫助 DJ 快速創造出有趣的音樂。
Music
ISMIR 作為一個以音樂為主題的國際會議，必然少不了音樂藝術作為主角的環節。會議中會有來自音樂家投稿作品所組成的音樂會節目，其中包含 電腦音樂 以及 非西方古典樂 等充滿多樣性的作品。
AI Pianist Performance: Collaboration with Soprano Sumi Jo
一場 AI + 一台自動鋼琴 + 一位女高音就可以完成的聲樂表演，此作品希望藉由音樂資訊檢索（MIR）盡量減少表演者或操作員來創造出自然的表演。在表演中可以看到，演奏鋼琴的其實是虛擬的鋼琴家，透過虛擬表演者可視化的方式在螢幕上呈現出鋼琴彈奏的細節；自動鋼琴的呈現則是透過「自動表現力表演產生系統 — virtusonet」來達到即時跟女高音互動，另外還有自動歌詞呈現。一整套的表演系統呈現出 AI 與人的合作與互動，如果好奇就直接來看看這場表演吧（影片 0:57 起）！
延伸閱讀：
Sponsors
ISMIR 的白金贊助商（Platinum Sponsors），除了能夠在會議中設立實體攤位，還能擁有一場 sponsored talk，為贊助商起到一定的宣傳效果，也在音樂技術研究人員心中建立起商譽與品牌知名度。過去幾年的白金贊助商都是 Spotify 、Sony 等大型音樂公司，今年則為一間 2019 年剛創立的 AI 驅動的音樂、音訊平台新創公司，也是去年第一次參與的 Moises 。
每年的贊助商都大同小異，像是 Adobe 、SiriusXm 、steinberg 、ACR cloud 這幾家公司都是連續 5 年以上的贊助商，對音樂技術投入許多資源與關注的軟體、技術公司。這次令人較意外的是，連續多年贊助的 Spotify 今年不贊助了！反而在一片鍾情於音樂科技的公司中出現了令人意外的環球音樂集團（UMG ），這間對生成式音樂又愛又恨的大型唱片公司。更多的資訊，可以參考前幾期的電子報（Embedding #1 , Embedding #7 , Embedding #17 ）。
延伸閱讀：
Fun
圖片取自 / Twitter
國際會議在大家心目中會是什麼樣子呢？
如果說 ISMIR 的參與者絕大多數都是音樂愛好者，那在議程中拿出一間會議室開個演唱會好像也不奇怪？
一起來感受研究員的瘋狂吧：Fear of MATLAB
Resource
ISMIR 2023 virtual platform: link
ISMIR 2023 non-official paper collection: github