李琳山教授常用「輕舟已過萬重山」形容他的研究走過的千山萬水,以及如何峰迴路轉,柳暗花明的歷程;事實上他幾十年的研究歷程,就像是一整片遼闊的崇山峻嶺,山高水長。他把歷年的研究,歸納為「華語語音」、「語音資訊搜尋」、「多元語音技術」等五大主題,也就是這裡論述的主要架構。
概述 Overview | 華語語音 Mandarin Chinese | 語音資訊搜尋 Speech Retrieval | 多元語音技術 Blooming Technologies | 深層學習 Deep Learning | 語音學會獎章 ISCA Medal | 其他重要研究 Other Works |
---|
早期電信研究
臺大華語
在全球化的世界中,除母語以外,學習第二種或更多其他語言,是每個人都必須做的事。根據語言學習領域的研究,一般相信學習母語以外的語言最有效的方式,是一對一的家教;只是語言家教老師少而昂貴,因此一個聰明的辦法,是用機器來擔任一對一的語言家教。機器家教有勝過人類家教的機會,因為使用者可以在任何時間,任何地點,就學習例句反覆練習無數次;而人類家教有一定的工作時間,也不會有耐心讓學生一再反覆練習相同的句子;而且軟體可以大量複製。這在語音學界也被認為是一項重要的研究領域,稱為電腦輔助語言學習(Computer-Assisted Language Learning, CALL)。琳山老師在這方面也有相當多的努力,包括和軟體業者合作推出軟體產品「臺大華語(NTU Chinese,或 My Chinese Tutor, MyCT)」教外籍人士學華語;業者另推出架構接近的「My English Tutor (MyET)」教英語非母語人士學英語,兩者相加在全球各地共有數以百萬計的註冊使用者。
「臺大華語」的原始構想來自臺大的李嗣涔校長,他希望推動臺大校內的許多頂級學者,致力於若干有特殊意義及重大貢獻的研究方向;他想到了他讀臺大電機系時的同班同學,也就是琳山老師。當時是「全球化」觀念的黃金時代,美國正設法把中國大陸由「共產世界」拉出來,並逐步融入全球體系,而世界各國人士考量中國大陸未來可能的龐大市場,非常多人都努力設法「搶搭前往中國大陸的巴士」。「學習華語」是當時全球各地許多人「搶搭前往中國大陸的巴士」的重要一步,但能教華語的語言教師明顯不足。琳山老師的華語語音技術正好填上這個缺口。
琳山老師認為這是可以努力的方向,但需要「華語教學」的專業 支援。李嗣涔校長乃請文學院院長協助,引入文學院所屬「語言中心」及「國際華語研習所」的多位華語教學的專業老師的經驗及力量,促成了這項臺大電資學院和文學院的跨院合作研究。另外,琳山老師也認為這必須倚賴產業界的力量,來發展商業軟體並執行營運,不能只靠臺大自己;故引進了臺大資訊系畢業系友所創立的軟體公司「艾爾科技」的協助,促成了這項由臺大校方主導的產學研究。
這項研究的最核心技術,就是針對學習者說的每一句學習例句中的每一個音、每一個字,讓機器來自動分析其語音信號,自動偵測其發音(如聲母、韻母或子音、母音)、聲調(四聲、輕聲、句調)、音量(每一句話中,每一個音的音量大小變化有其應有的分佈)、節奏(每一句話中每一個音的長短快慢有其應有的變化)四個項目,分別予以評分並指出偏誤之處。
這項研究中另一件十分具創意及突破性的成果,是琳山老師和文學院的語言老師們一再討論後,研發出並由語言老師編寫出的「具多維結構的語境溝通功能」的華語教材。這套教材以「溝通功能」為導向,分別針對例如問候、詢問、讚美、道歉、抱怨、說明等的不同溝通功能;每一溝通功能有其「基本句型」「應用句型」兩大類,每一句型有不同的「語境」(如時間、空間、人物、表情等),甚至「表情」可分不同等級(如從強烈正面到輕度負面等),各種溝通情境都有例句,變成一套有「多維立體結構」的教材,適合以軟體呈現,供使用者點選;故使用者可以不只是學習華語的發音,還可以學習用華語如何説話。
這是臺大校方主導的跨學院產學合作研究,2007 年完成時由校方與合作產業「艾爾科技」分別向全球推廣,故印製了精美的文宣,並由校長主持記者會公開發佈成果。
向校方申請研究經費的計畫書
臺大產學合作研究計畫補助合約書
臺大產學合作研究計畫技術移轉授權合約書
系統上線與經營規劃
校內研究計畫工作會議