清大AI樂團音樂總監 林怡君:人與AI 組團 玩奏出新花樣

▲ 長笛家林怡君帶領清大AI樂團,實驗人機合奏的可能,也讓音樂視覺化。舞臺銀幕上 顯示AI自動跟譜技術自動追蹤、定位當下不同樂器的旋律。照片:楊煥世

音樂和冷冰冰的AI結合,還是音樂嗎?長笛音樂家林怡君,因為好奇踏進AI領域,自承數學很差的她,想應用AI讓音樂更多元。

沒有親眼看到,很難想像真人和AI軟體同臺演奏是什麼樣子?2019年11月中旬,清大合勤演藝廳,舞臺上兩位小提琴手、一位中提琴手,正在練習「三人四重奏」。電影《女人香》主題曲,大提琴由AI演奏,大提琴的拍子有點凌亂,「AI自動伴奏要聽到才能反應。硬體改善,譬如麥克風音量更大、收音更靈敏,AI就會跟上。」長笛音樂家林怡君解釋。

問大提琴手李可瑄會不會覺得自己「被取代了」?這位清華學院學士班的大一女孩笑笑說:「不會啊,看起來AI還在學習。」她上臺和三位夥伴演奏《莫扎特D大調小夜曲》,四人眼神交會,音樂開始,彼此一致的呼吸起落,讓觀眾鬆了一口氣,「這種默契才是合奏的感覺啊!」

這首《小夜曲》的演奏過程中,AI讓聽眾「看見」音樂。旋律響起的同時,舞臺背景銀幕出現四種不同顏色的矩陣方塊,隨著旋律不斷移動。「這是AI自動跟譜技術,一個顏色代表一種樂器,樂曲演奏到哪裡,軟體便自動追蹤、定位,當下的音樂內容便呈現在銀幕上,把音樂視覺化了。」林怡君說。

當AI可以作曲、伴奏,AI歌手已不稀奇,甚至全球也首發第一張由AI編曲和製作的流行歌曲專輯,還有AI幫你寫饒舌歌詞⋯⋯音樂和冷冰冰的AI結合,還是音樂嗎?能創造出哪些可能性?

團員左手寫code、右手拉琴

2019年,清華大學正式成立「AI樂團」,就想探索、實驗各種「人機協奏」。七位喜愛音樂的動力機械、資工系教授研發AI音樂軟體,二十幾位電機、材料等科系學生演奏、發想與軟體互動的表演方式。「我們是亞洲第一個AI樂團,」擔任音樂總監的林怡君驕傲的說,「感謝這些『左手寫code、右手拉琴』的同學,願意一起玩玩看,人和AI可以怎麼搭配。」

林怡君自己就因為好奇,一腳跨入AI界。

她從來不是傳統的音樂家,一直嘗試讓音樂有故事性,讓樂器演奏「不那麼無聊」。當她聽到中研院資訊科學研究所助研究員蘇黎在做「自動跟譜」研究,「立刻被『自動跟譜』那四個字吸引,就去找他談。」2019年9月她在衛武營演出一場「夜之絮語」古典音樂會,利用AI的即時聲音辨識,搭配高雄的城市、海洋等多媒體影像,包裝出一場接地氣的新奇音樂會。「古典音樂離大家很遠,但高雄就在他們腳下。」同樣來自高雄的林怡君期待,透過AI更容易連結古典音樂和在地情感,讓更多鄉親喜歡音樂。

為了更掌握AI的可能,她更報名臺灣人工智慧學校經理人班,是目前已畢業六千位學員中,唯一的音樂家。四個月密集上課期間,她學會寫Python程式,「請一位資工系畢業生直接在網路上教我,自己用Codecademy(程式學習平臺)來學。」AI這塊她愈走愈有興趣,現在又繼續念在職博士班。「我不可能教人寫程式,但一定要懂,我從使用者角度看如何應用AI,有點像美食評論家,雖然不會做菜,但懂得品嘗。」

熱愛音樂以外的各種學習

感性的音樂家挑戰程式設計、AI科技的「勇氣」,讓文科生記者十分佩服,但還是忍不住問:「你從小數學很好吧?」沒想到她回答:「為了報考國立藝專音樂班,我從國二後就沒有學數學了!」

沒有學數學,但她熱愛學習,只要對某樣事物好奇或有興趣就去學。林怡君不僅學西班牙文、德文,學臉部美容,並領有丙級證照,還有一張華語教師證書。科技也難不倒她。

為何她如此熱愛音樂之外的學習?

林怡君的音樂之路很順遂。四歲起因聲樂家媽媽的啟蒙開始學鋼琴,十歲學長笛,一路念音樂班,到美國密蘇里大學念完音樂碩士,達成了父母的期望,她卻發覺自己的世界很窄。

「我們花很多時間在音樂上,其他生活就是零。」從小她每天要練琴,無法和其他小朋友玩,但她知道即使不練琴,自己也無法融入,「因為我不會玩沙包、跳繩、踢毽子,也不知如何穿針、做家事,以前音樂班把家政、童軍課都拿掉了,」林怡君回憶,「我會去學美容、外語這種音樂人很少會碰的領域,就是一種學習欲望的出口。」

▲ 學生們在走道上隨性合奏起來,林怡君(右)立刻拿起長笛加入,沉浸在旋律和彼此的默契之中。照片:楊煥世

不擔心音樂人會被AI取代

強大的學習欲望帶她衝破音樂與科技的隔閡。她一點也不擔心音樂家會被AI取代,「樂手把自己的生命帶到音樂裡,加上演奏者之間的默契,都是我們人類的價值。我們有音樂專業,知道如何作曲才正確,有美感,能幫助資工的工程師做得更好。」她確信。

AI能為愛樂人帶來不同樂趣。AI作曲家「艾娃AIVA」官網,透過付費,就可以為你客製化譜出各種類型音樂,在遊戲產業十分風行;一個人在家練唱,可以加上AI鋼琴伴奏,甚至用AI創造出一整個樂團來共同演奏,體驗磅礡氛圍。還有,虛擬AI指揮、AI歌劇名伶演出??林怡君都覺得精采可期。

「在AI時代,一定要不怕失敗、勇敢跨域,才能創造出自己領域的新想法。」她建議父母放心讓孩子學習自己喜歡的事物,因為只有熱情和熱愛,才能帶領孩子不斷往前。

採訪尾聲,學生們臨時起意要再合奏一次《女人香》,林怡君立刻拿起長笛加入,拉二胡、彈中阮的兩位國樂手也一起進來,他們在走道上開心的玩奏起來,沉浸在旋律和彼此的默契之中。科技和藝術就在這樣的時刻整合,激發更多想像。