AI 音樂再現!Google 發表了 ChatGPT 版的自動作曲工具 | DigiLog 聲響實驗室
讀音樂 » 互動科技 » AI 音樂再現!Google 發表了 ChatGPT 版的自動作曲工具

AI 音樂再現!Google 發表了 ChatGPT 版的自動作曲工具

Image 1163973538
Author by DigiLog 作者群 Cal 2023.01.30

AI 生成音樂的新突破

Google 開發的新人工智能系統只要有文字描述,就可以生成任何類型的音樂。不過 Google 對這項技術尚有風險的顧慮,目前未有立即發佈它的計劃。

這個新的 AI 系統為 MusicLM,它當然不是第一個生成歌曲的 AI 系統;像是 Riffusion,透過將聲音轉換成頻譜來生成音樂、Dance Diffusion、Google 自己的 AudioML 和 OpenAI 的 Jukebox。但由於技術上的限制和提供訓練的數據有限,目前還沒有項目能夠製作出作曲特別複雜,或是具有高解析度的歌曲。而 MusicLM 也許是第一個能夠做到的。

 

看更多:將聲音視覺化後重新作曲?全新的 AI 音樂生成項目 Riffusion

 

 

圖片來自 StockAI。 AI 生成的神秘之琴

Google MusicLM 能做到什麼

在一篇學術論文中詳細介紹了 MusicLM,它在一個包含 28 萬小時音樂的數據集上進行訓練,以學習生成連貫的歌曲作為訓練命題,以創造出「顯著的複雜性」為目的。例如:「帶有令人難忘的薩克斯獨奏跟獨唱的迷人爵士樂」或「帶有 low bass  和強烈 kick 的 90 年代柏林電子樂」。值得注意的是,生成的結果聽起來像人類藝術家可能創作的東西,儘管不一定有創造性或音樂上的凝聚力。即使輸入的文字描述有些冗長和曲折,MusicLM 也能捕捉到細微差別,像是 riff、旋律和情緒。

MusicLM 的能力超出了生成一小段音樂的範圍,Google 的研究人員表示,該系統可以建立在既有的旋律上,無論音樂內容是哼唱、歌唱、口哨還是用樂器演奏。此外,MusicLM 還可以接受按順序寫下的數個描述作為生成的指令,例如 "冥想的時間"、"起床的時間"、"跑步的時間",並創造出具故事、敘事性的旋律,長度可達數分鐘,非常適合製作影片、電影配樂。

不只如此,MusicLM 還可以透過圖片和標題的組合作為指令,或者生成由特定樂器演奏特定樂風的樂句,甚至這個 AI 音樂家的技術水平也可以設定。也可以根據地點、時間或要求來設定要產生的音樂,例如:鍛鍊時的激勵音樂。

 

 

同樣來自 StockAI,謎之配置錄音室

AI 生成面臨的問題

但 MusicLM 也並非完美無缺,其中也有部分樣本質量不佳,這是訓練過程無法避免的副作用。雖然 MusicLM 在技術上可以生成人聲,包括合唱和聲,但還有很多需要改進的地方。大多數生成的歌詞內容從勉強的英語到純粹的胡言亂語;由合成聲音演唱的音色難以辨認,聽起來像是數個藝術家的混合體。

儘管有以上這項缺陷和特質,Google 的研究人員還是注意到了像 MusicLM 這樣的系統所帶來的許多道德挑戰,包括將訓練數據中受版權保護的材料納入生成的歌曲中的可能。在一次實驗中,他們發現該系統生成的音樂中約有 1% 是直接複製自其訓練的歌曲——這個數據門檻顯然高到足以讓他們不願意以目前的狀態發佈 MusicLM。

"我們承認這個專案的應用潛在盜用創意內容的風險。我們必須強調,在未來會進行更多研究來應對這些與音樂生成相關的風險。"該論文的合著者寫道。

假設 MusicLM 或類似的系統有朝一日可以被大眾使用,似乎不可避免地會出現重大的法律問題,即使這些系統被定位為協助藝術家的工具,而不是取代他們。儘管是結構更為簡單的 AI 系統,在 2020年 Jay-Z 的唱片公司對一個 YouTube 頻道 Vocal Synthesis 提出了版權訴訟,因為它使用人工智能創造了 Jay-Z 翻唱歌曲的音樂,如 Billy Joel 的 "We Didn't Start the Fire" 的 Jay-Z 版本。YouTube 初期將其下架後,又重新上架這些影片,並發現請求刪除影片具備的條件是不完整的;但深度偽造的音樂仍然站在模糊的法律基礎上。

 

 

By OpanAI,謎之合成器集合

待解的版權問題
現為音樂出版商協會法律實習生的 Eric Sunray 所撰寫的一份白皮書指出,像 MusicLM 這樣的人 AI 音樂生成器違反了音樂版權,因為它是從訓練素材的作品裡攝取各種細節的集合體,從而侵犯了美國版權法的複製權。在 Jukebox 發佈後,也有許多人質疑在受版權保護的音樂素材上訓練 AI 模型,是否構成合理使用。人們對圖像、代碼和文本生成的 AI 系統中使用的訓練數據也提出了類似的擔憂,這些數據往往是在創作者不知情的情況下從網路上搜刮而來的。


從用戶的角度來看,Waxy 公司的 Andy Baio 推測,由 AI 生成的音樂將被視為衍生作品,在這種情況下只有原始素材受版權保護。當然目前還不清楚在這樣的音樂中什麼可以被認為是「原創」,將這種音樂放入商業使用則又是一個未知的領域。如果生成音樂僅被用於受合理使用保護的目的,如模仿和評論,就相對的簡單;但法院將不得不根據具體情況作出判斷。

目前這些問題還尚未有定論,一些正在通過法院審理的訴訟,包括與藝術家的權利有關的訴訟,這些藝術家的作品在他們不知情或不同意的情況下被用於訓練 AI 系統,這些案件的審理結果可能會對音樂生成的 AI 產生影響。


現在就來看看或許不久後就會問世的:MusicLM: Generating Music From Text 

 

Watched 此文章被關注 17979 次

討論區

目前尚無評論

Digilog