Meta 送給大家的 AI 音樂大禮包 - AudioCraft

Meta 最近公開了一個名為 AudioCraft 的框架，這是一個可以從短文本描述或提示中生成「高品質」、「逼真」的音訊和音樂的工具。這不僅僅是 Meta 第一次嘗試音訊生成，他們在今年六月就已經開源了一個由 AI 設計的音樂生成器 MusicGen，但 Meta 聲稱他們已經取得了重大突破，大大提高了 AI 生成音效的品質，例如狗吠聲、汽車喇叭聲，以及木地板上的腳步聲。

| 延伸閱讀：Meta (Facebook) AI 開源的音樂產生器 MusicGen 來了！

AudioCraft 包含了三種生成 AI 模型：MusicGen、AudioGen 和 EnCodec。MusicGen 不是新的，但 Meta 釋出了它的訓練程式碼，讓使用者可以在自己的音樂數據集上訓練模型。這可能會引發重大的道德和法律問題，因為 MusicGen 是從現有的音樂中「學習」來產生相似的效果，並不是所有的藝術家或生成 AI 使用者都能接受這一點。AudioGen 是 AudioCraft 中的另一個音訊生成模型，專注於生成環境聲音和音效，而不是音樂和旋律。AudioGen 是一種基於擴散的模型，就像大多數現代的圖像生成器一樣。模型學習如何逐步從完全由噪聲構成的起始數據中減去噪聲，例如音訊或圖像，逐步將其接近目標提示。最後一種模型 EnCodec，是 Meta 之前用於生成音樂的模型的改進版，它更有效地模擬音訊序列，捕捉訓練數據音訊波形中的不同層次的訊息，以幫助創造新的音訊。

Meta 強調，AudioCraft 的潛在優點是為音樂家提供靈感，並幫助人們以新的方式迭代他們的作品。但是，就像圖像和文本生成器的出現一樣，這裡也存在著隱憂，甚至可能會引發訴訟。儘管如此，Meta 表示，他們計劃繼續研究如何更好地控制和提高生成音訊模型的性能，以及如何消除這些模型的限制和偏見。

AudioCraft 的出現，讓我們可以看到未來音樂創作的無限可能。無論你是專業音樂家，還是只是音樂愛好者，都可以透過這個工具，輕鬆創作出屬於自己的音樂。我們期待看到大家用 AudioCraft 創作出更多精彩的作品！

AudioCraft 資料來源

AudioCraft 原始碼

MusicGen Demo

AudioGen 來源

EnCodec 來源