AI 生成音樂的新突破

Google 開發的新人工智能系統只要有文字描述，就可以生成任何類型的音樂。不過 Google 對這項技術尚有風險的顧慮，目前未有立即發佈它的計劃。

這個新的 AI 系統為 MusicLM，它當然不是第一個生成歌曲的 AI 系統；像是 Riffusion，透過將聲音轉換成頻譜來生成音樂、Dance Diffusion、Google 自己的 AudioML 和 OpenAI 的 Jukebox。但由於技術上的限制和提供訓練的數據有限，目前還沒有項目能夠製作出作曲特別複雜，或是具有高解析度的歌曲。而 MusicLM 也許是第一個能夠做到的。

 

看更多：將聲音視覺化後重新作曲？全新的 AI 音樂生成項目 Riffusion

 

 

圖片來自 StockAI。 AI 生成的神秘之琴

Google MusicLM 能做到什麼

在一篇學術論文中詳細介紹了 MusicLM，它在一個包含 28 萬小時音樂的數據集上進行訓練，以學習生成連貫的歌曲作為訓練命題，以創造出「顯著的複雜性」為目的。例如：「帶有令人難忘的薩克斯獨奏跟獨唱的迷人爵士樂」或「帶有 low bass  和強烈 kick 的 90 年代柏林電子樂」。值得注意的是，生成的結果聽起來像人類藝術家可能創作的東西，儘管不一定有創造性或音樂上的凝聚力。即使輸入的文字描述有些冗長和曲折，MusicLM 也能捕捉到細微差別，像是 riff、旋律和情緒。

MusicLM 的能力超出了生成一小段音樂的範圍，Google 的研究人員表示，該系統可以建立在既有的旋律上，無論音樂內容是哼唱、歌唱、口哨還是用樂器演奏。此外，MusicLM 還可以接受按順序寫下的數個描述作為生成的指令，例如 "冥想的時間"、"起床的時間"、"跑步的時間"，並創造出具故事、敘事性的旋律，長度可達數分鐘，非常適合製作影片、電影配樂。

不只如此，MusicLM 還可以透過圖片和標題的組合作為指令，或者生成由特定樂器演奏特定樂風的樂句，甚至這個 AI 音樂家的技術水平也可以設定。也可以根據地點、時間或要求來設定要產生的音樂，例如：鍛鍊時的激勵音樂。

 

 

同樣來自 StockAI，謎之配置錄音室

AI 生成面臨的問題

但 MusicLM 也並非完美無缺，其中也有部分樣本質量不佳，這是訓練過程無法避免的副作用。雖然 MusicLM 在技術上可以生成人聲，包括合唱和聲，但還有很多需要改進的地方。大多數生成的歌詞內容從勉強的英語到純粹的胡言亂語；由合成聲音演唱的音色難以辨認，聽起來像是數個藝術家的混合體。

儘管有以上這項缺陷和特質，Google 的研究人員還是注意到了像 MusicLM 這樣的系統所帶來的許多道德挑戰，包括將訓練數據中受版權保護的材料納入生成的歌曲中的可能。在一次實驗中，他們發現該系統生成的音樂中約有 1% 是直接複製自其訓練的歌曲——這個數據門檻顯然高到足以讓他們不願意以目前的狀態發佈 MusicLM。

"我們承認這個專案的應用潛在盜用創意內容的風險。我們必須強調，在未來會進行更多研究來應對這些與音樂生成相關的風險。"該論文的合著者寫道。

假設 MusicLM 或類似的系統有朝一日可以被大眾使用，似乎不可避免地會出現重大的法律問題，即使這些系統被定位為協助藝術家的工具，而不是取代他們。儘管是結構更為簡單的 AI 系統，在 2020年 Jay-Z 的唱片公司對一個 YouTube 頻道 Vocal Synthesis 提出了版權訴訟，因為它使用人工智能創造了 Jay-Z 翻唱歌曲的音樂，如 Billy Joel 的 "We Didn't Start the Fire" 的 Jay-Z 版本。YouTube 初期將其下架後，又重新上架這些影片，並發現請求刪除影片具備的條件是不完整的；但深度偽造的音樂仍然站在模糊的法律基礎上。

 

 

By OpanAI，謎之合成器集合

待解的版權問題
現為音樂出版商協會法律實習生的 Eric Sunray 所撰寫的一份白皮書指出，像 MusicLM 這樣的人 AI 音樂生成器違反了音樂版權，因為它是從訓練素材的作品裡攝取各種細節的集合體，從而侵犯了美國版權法的複製權。在 Jukebox 發佈後，也有許多人質疑在受版權保護的音樂素材上訓練 AI 模型，是否構成合理使用。人們對圖像、代碼和文本生成的 AI 系統中使用的訓練數據也提出了類似的擔憂，這些數據往往是在創作者不知情的情況下從網路上搜刮而來的。

從用戶的角度來看，Waxy 公司的 Andy Baio 推測，由 AI 生成的音樂將被視為衍生作品，在這種情況下只有原始素材受版權保護。當然目前還不清楚在這樣的音樂中什麼可以被認為是「原創」，將這種音樂放入商業使用則又是一個未知的領域。如果生成音樂僅被用於受合理使用保護的目的，如模仿和評論，就相對的簡單；但法院將不得不根據具體情況作出判斷。

目前這些問題還尚未有定論，一些正在通過法院審理的訴訟，包括與藝術家的權利有關的訴訟，這些藝術家的作品在他們不知情或不同意的情況下被用於訓練 AI 系統，這些案件的審理結果可能會對音樂生成的 AI 產生影響。

現在就來看看或許不久後就會問世的：MusicLM: Generating Music From Text