Google 跨過界?!推出以機器學習和類神經網路為概念的合成器 - NSynth Super | DigiLog 聲響實驗室
讀音樂 » 音樂硬體 » Google 跨過界?!推出以機器學習和類神經網路為概念的合成器 - NSynth Super

Google 跨過界?!推出以機器學習和類神經網路為概念的合成器 - NSynth Super

03e9d73f 5fdd 4679 8398 0b672f7fde4e
Author by Cal 2018.03.14
說到 Google,好像很難跟音樂聯想再一起,尤其是和 Apple iOS 相比,Android 似乎是很難使用音樂相關的 App,所以除了偶爾看到的 Doogle 或是 Chrome 上面的實驗專案有跟音樂有關的內容之外,Google 跟合成器似乎勾搭在一起。
 
NSynth Super 是一款使用 NSynth 演算法所發明的實驗性介面。 NSynth Super 是 Google Brain’s Magenta 小組中一款還在進行中的實驗,他們正在研究讓機器學習的方法,並且幫助藝術家用新的方法來創造藝術及音樂。嘗試利用不同種的聲音,去合成去創造出一個全新且獨特的聲音!那什麼是 NSynth 呢? 下面讓我們來詳細介紹一下!

 

延伸閱讀:人工智慧做了音樂之後? 淺談 Google Magenta 與其藝術性

 

 

今日,Machine Learning 機器學習(人工智慧 AI 裡的一種途徑)和類神經網路(Neural Networks)的發展,開啟了聲音製造的更多可能性。Magenta 創造了 NSynth (Neural Synthesizer)。在開發階段,研究人員使用了 16 種包含了 15 個音高的不同種錄製聲音,放置到演算法之中,而結果呢?是獲得了超過 100,000 種的新音色。所以可以想像 NSynth Super 是有多大的可能性和創造性。

NSynth 會使用深度類神經網路來作為學習的演算法,並且去找出各種聲音的特徵值,最後再利用這些聲音的特徵值,去創造出一個新的全新的音色,而並不單單是合併或是攪和聲音而已! 舉例來說,你可以由部分的笛子聲和西塔琴所組成的聲音,來得到一個全新的音色。點此進入試試看 NSynth 的效果吧!

 

 

在 NSynth 演算法發行後,Magenta 持續進行研究,想要創造出一款新的音樂操控介面和工具,讓 NSynth 的輸出更簡單容易,因此他們創造出了 NSynth Super!NSynth Super 是一款開源的實驗樂器,利用 NSyhtn 來創造出許多不同的音色和操控的方法。NSynth Super 可以使用 NSynth 演算法輸入至多 4 種不同的聲音。NSynth Super 除了使用 NSynth 演算法之外,同時也利用了 TensorFlow (機器學習的演算法工具)和 openFrameworks (視覺表現的開源工具),所以可以和許多的互動裝置或是 AI 來創造出許多有趣的可能。

 

介紹一下 NSynth Super 外觀&功能

如上面的圖片所示,中間是 XY 面板,讓你可以用觸控的方式,堆疊、變形和設計聲音。而下排帶有控制 ADSR 的旋鈕可以調控,最後 NSynth Super 的4 個角落有控制編碼的大旋鈕。另外值得一提的是,NSynth Super 同時也可以利用 MIDI 來控制其它的 MIDI 設備和音源。

(A) Instrument selectors - These rotary dials are used to select the instruments that are assigned to the corners of the interface.

(B) OLED display - A high-contrast display shows you the state of the instrument and additional information about the controls that you are interacting with.

(C) Fine controls - These six dials are used to further customize the audio output by the device:

  • 'Position' sets the initial position of the wave, allowing you to cut out the attack of a waveform, or to start from the tail of a newly created sound.

  • 'Attack' controls the time taken for initial run-up of level from nil to peak.

  • 'Decay' controls the time taken for the subsequent run down from the attack level to the designated sustain level.

  • 'Sustain' sets the level during the main sequence of the sound's duration, until the key is released.

  • 'Release' controls the time taken for the level to decay from the sustain level to zero after the key is released.

  • 'Volume' adjusts the overall output volume of the device.

(D) Touch interface - This is a capacitive sensor, like the mouse pad on a laptop, which is used to explore the world of new sounds that NSynth has generated between your chosen source audio.

 

NSynth 演算法是如何運作?

像上面所介紹的,NSynth 會使用類神經網路來創造聲音,直接從聲音的數據中學習。輸入、編碼、找出聲音的特徵值、運算數學的插值、解碼,最後再輸出。 NSynth 讓藝術家可以自由的控制音色和動態,並且可以創造出用一般合成器無法產生的新聲音。另外,據了解 Magenta 也將 Synth 整合進 Max for Live 讓你可以在 Ableton Live 中去使用。

 

 
NSynth Super 是個開放原始碼的計劃,假如你有興趣的話,你可以在 Github 裡面找到所有的介紹和製造方法,但比較可惜的是,目前無法從任何的經銷商直接購買到,所以有興趣的話多關注 Google Creative Lab 和 Magenta 的官方專案網頁吧!
 
 
瞭解更多 NSynth Super 
瞭解更多 NSynth 
 
 

Watched 此文章被關注 8357 次

Kim

作者:

簡介:每天都很開心的大學生

討論區

目前尚無評論

Digilog