Google 跨過界？！推出以機器學習和類神經網路為概念的合成器 - NSynth Super

by 金

2018.03.14

說到 Google，好像很難跟音樂聯想再一起，尤其是和 Apple iOS 相比，Android 似乎是很難使用音樂相關的 App，所以除了偶爾看到的 Doogle 或是 Chrome 上面的實驗專案有跟音樂有關的內容之外，Google 跟合成器似乎勾搭在一起。

NSynth Super 是一款使用 NSynth 演算法所發明的實驗性介面。 NSynth Super 是 Google Brain’s Magenta 小組中一款還在進行中的實驗，他們正在研究讓機器學習的方法，並且幫助藝術家用新的方法來創造藝術及音樂。嘗試利用不同種的聲音，去合成去創造出一個全新且獨特的聲音！那什麼是 NSynth 呢？下面讓我們來詳細介紹一下！

延伸閱讀：人工智慧做了音樂之後？淺談 Google Magenta 與其藝術性

今日，Machine Learning 機器學習（人工智慧 AI 裡的一種途徑）和類神經網路（Neural Networks）的發展，開啟了聲音製造的更多可能性。Magenta 創造了 NSynth (Neural Synthesizer)。在開發階段，研究人員使用了 16 種包含了 15 個音高的不同種錄製聲音，放置到演算法之中，而結果呢？是獲得了超過 100,000 種的新音色。所以可以想像 NSynth Super 是有多大的可能性和創造性。

NSynth 會使用深度類神經網路來作為學習的演算法，並且去找出各種聲音的特徵值，最後再利用這些聲音的特徵值，去創造出一個新的全新的音色，而並不單單是合併或是攪和聲音而已！舉例來說，你可以由部分的笛子聲和西塔琴所組成的聲音，來得到一個全新的音色。點此進入試試看 NSynth 的效果吧！

在 NSynth 演算法發行後，Magenta 持續進行研究，想要創造出一款新的音樂操控介面和工具，讓 NSynth 的輸出更簡單容易，因此他們創造出了 NSynth Super！NSynth Super 是一款開源的實驗樂器，利用 NSyhtn 來創造出許多不同的音色和操控的方法。NSynth Super 可以使用 NSynth 演算法輸入至多 4 種不同的聲音。NSynth Super 除了使用 NSynth 演算法之外，同時也利用了 TensorFlow （機器學習的演算法工具）和 openFrameworks （視覺表現的開源工具），所以可以和許多的互動裝置或是 AI 來創造出許多有趣的可能。

介紹一下 NSynth Super 外觀&功能

如上面的圖片所示，中間是 XY 面板，讓你可以用觸控的方式，堆疊、變形和設計聲音。而下排帶有控制 ADSR 的旋鈕可以調控，最後 NSynth Super 的4 個角落有控制編碼的大旋鈕。另外值得一提的是，NSynth Super 同時也可以利用 MIDI 來控制其它的 MIDI 設備和音源。

(A) Instrument selectors - These rotary dials are used to select the instruments that are assigned to the corners of the interface.

(B) OLED display - A high-contrast display shows you the state of the instrument and additional information about the controls that you are interacting with.

(C) Fine controls - These six dials are used to further customize the audio output by the device:

'Position' sets the initial position of the wave, allowing you to cut out the attack of a waveform, or to start from the tail of a newly created sound.

'Attack' controls the time taken for initial run-up of level from nil to peak.

'Decay' controls the time taken for the subsequent run down from the attack level to the designated sustain level.

'Sustain' sets the level during the main sequence of the sound's duration, until the key is released.

'Release' controls the time taken for the level to decay from the sustain level to zero after the key is released.

'Volume' adjusts the overall output volume of the device.

(D) Touch interface - This is a capacitive sensor, like the mouse pad on a laptop, which is used to explore the world of new sounds that NSynth has generated between your chosen source audio.

NSynth 演算法是如何運作？

像上面所介紹的，NSynth 會使用類神經網路來創造聲音，直接從聲音的數據中學習。輸入、編碼、找出聲音的特徵值、運算數學的插值、解碼，最後再輸出。 NSynth 讓藝術家可以自由的控制音色和動態，並且可以創造出用一般合成器無法產生的新聲音。另外，據了解 Magenta 也將 Synth 整合進 Max for Live 讓你可以在 Ableton Live 中去使用。