“我們一般都傾向于認為技術的進步會打破之前存在的東西,但這些通常不會發生,這可能會引導出一種不同的音樂創作方式。”——Jarvis Cocker,前Pulp樂隊主唱,獨唱藝術家、作家和播音員
近些年來音樂技術的發展趨向于漸進式的變化,對現有的聲音合成方法進行不斷的迭代改進,比如測序器和音效插件等工具。在某種程度上這個行業充滿了相互矛盾,它采用幾乎所有先進的CPU資源以便更好的模擬出70年代/80年代的復古裝備,一些公司(比如Korg、Roland和Behringer)最近發布了非常具有價格競爭力的產品,比如售價150英鎊的半模塊化模擬合成器,這些產品和技術正推動企業不斷向前發展。
AI和機器學習的顛覆性技術也在不斷得到應用,這些可以用來模擬一位有成就的表演者或作曲家的創作過程嗎?能達到令人信服的效果嗎?
2017年5月在未來圍棋峰會上人工智能Alpha Go向人類對手展示了完全出乎意料的操作,這一舉動可以說震驚了許多圍棋玩家,并導致人們開始重新評估如何繼續這款游戲。科學博物館未來音樂技術小組的山姆·波特描述了這次活動的影響。
“這一招實在是太奇怪了,太獨特了,太奇異了,太有創意了,它打開了游戲全新的一面,讓我們了解如何用另一方式來玩這款游戲。”
神經網絡可以進行重構并可能超越傳統的期望,但強化學習方法的本質意味著它必然是不透明的,導致的結果在本質上是模糊的和不可預測的。
從谷歌 DeepMind的Wavenet開始就已經有各種各樣的嘗試來發掘機器學習在聲音和音樂領域的潛力,創造可信的語音相當于聽覺上的“恐怖谷”現象,因為它既要求語音如何發生的現實綜合模型,也要求語調如何表現。對符合上下文的變化進行編碼是一個非常巨大的挑戰,由于我們對語速、音高或整體表達的不準確十分敏感,我們經常被提醒要注意合成語音的生成本質,Wavenet和微軟的神經網路驅動的語音生成演示使用了在人類真實語音上訓練過的算法,這使得合成模型能夠創造出比傳統語音合成方法更令人信服的性能。
谷歌發布神經網絡音頻合成器Nsynth
在Wavenet的引領下,谷歌的Magenta團隊使用Tensorflow(一款GPU加速的機器學習庫)來嘗試構建一個音頻合成器,Nsynth(神經網絡合成器)分析現有的音頻對列構建出新的音頻,但是明顯不同于音頻源,編碼階段會考慮源音頻的質量和特性以及它們的時序特性,從而生成傳統方式難以輸出的音頻效果。
上世紀90年代當布萊恩·伊諾(Brain Eno)使用Koan軟件制作了他的軟盤專輯“新生代音樂1”,SSEYO公司推出的Koan軟件一舉成名,這是早期采用計算機輔助合成的一個例子,藝術家可以自由的使用他們創造性的想法來選擇、編輯、排列或者采用程序的建議來創作音樂。盡管Koan軟件完全是采用算法生成的,但它仍是依賴人工操作的生成器,這類生成器僅限于特定范圍的音樂形式,而Amper Music和IBM推出的Watson Beat可以通過分析真實的音樂短語和“語法”來生成音樂,這要歸功于機器學習工具(比如Magenta)背后的處理能力,這種方式創作的音樂即使不能完全讓人信服,但已經接近圖靈測試的音樂等效標準了。
“采用AI制作我們喜歡的音樂真的可以嗎?布萊恩·伊諾(Brain Eno)認為這大概需要6到7年的時間。”——薩姆·波特,音樂家兼作家
“無人之地(一款科幻題材的游戲)”中的生物生成表
“無人之地”中的所有生物都是由程序生成的,每一個都需要一個真實的聲音來與其匹配。
機器學習在這一性能方面可能蘊藏著巨大的潛力,在游戲“無人之地”中我們使用了物理建模的聲道來創造程序生成的聲音,然而為了讓聲音聽起來更有說服力,需要向演奏樂器一樣操作合成器,使用算法來驅動性能,比如Perlin噪聲轉換為基于時間的音頻域效果很差,導致聽起來像機器人,我們采用基于MIDI性能捕捉短語庫來驅動聲樂的解決方案已經足夠有效了,但是如果能夠采用基于多種音頻源的訓練過程來學習并推斷出不同的情緒狀態將是一個更好的方案。
這些技術所帶來的影響不僅僅局限在音頻生成或音樂領域,Mastering (母帶處理)是音樂發行前的最后一個混音處理階段,在這一階段音軌會應用一系列DSP效果,比如壓縮、EQ等,使得音樂達到最后的潤色效果,母帶處理和發行公司LANDR就利用機器學習技術,創作者可以選擇一種母帶風格從而最好的匹配正在處理的音樂類型,這些風格來自于基于現有音頻源訓練的過程。
機器學習在音頻制作領域的應用還有很多,從創造出新的聲音到模仿人類的聲音,以及最后階段的出版發行,這些工具的共同之處在于能夠增強創作過程而不是完全取代它。這其實提供了新的創造機會,同時音樂家們可以根據自己的創作決策形成新的音樂風格。
-
AI
+關注
關注
88文章
35054瀏覽量
279272 -
機器學習
+關注
關注
66文章
8501瀏覽量
134556
原文標題:AI如何引領音樂技術的未來發展?
文章出處:【微信號:Imgtec,微信公眾號:Imagination Tech】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
阿里展廳同款無人超市技術解析:RFID與AI視覺如何顛覆零售?

評論