李琳山教授常用「輕舟已過萬重山」形容他的研究走過的千山萬水,以及如何峰迴路轉,柳暗花明的歷程;事實上他幾十年的研究歷程,就像是一整片遼闊的崇山峻嶺,山高水長。他把歷年的研究,歸納為「華語語音」、「語音資訊搜尋」、「多元語音技術」等五大主題,也就是這裡論述的主要架構。

早期電信研究

臺大華語

在全球化的世界中,除母語以外,學習第二種或更多其他語言,是每個人都必須做的事。根據語言學習領域的研究,一般相信學習母語以外的語言最有效的方式,是一對一的家教;只是語言家教老師少而昂貴,因此一個聰明的辦法,是用機器來擔任一對一的語言家教。機器家教有勝過人類家教的機會,因為使用者可以在任何時間,任何地點,就學習例句反覆練習無數次;而人類家教有一定的工作時間,也不會有耐心讓學生一再反覆練習相同的句子;而且軟體可以大量複製。這在語音學界也被認為是一項重要的研究領域,稱為電腦輔助語言學習(Computer-Assisted Language Learning, CALL)。琳山老師在這方面也有相當多的努力,包括和軟體業者合作推出軟體產品「臺大華語(NTU Chinese,或 My Chinese Tutor, MyCT)」教外籍人士學華語;業者另推出架構接近的「My English Tutor (MyET)」教英語非母語人士學英語,兩者相加在全球各地共有數以百萬計的註冊使用者。

「臺大華語」的原始構想來自臺大的李嗣涔校長,他希望推動臺大校內的許多頂級學者,致力於若干有特殊意義及重大貢獻的研究方向;他想到了他讀臺大電機系時的同班同學,也就是琳山老師。當時是「全球化」觀念的黃金時代,美國正設法把中國大陸由「共產世界」拉出來,並逐步融入全球體系,而世界各國人士考量中國大陸未來可能的龐大市場,非常多人都努力設法「搶搭前往中國大陸的巴士」。「學習華語」是當時全球各地許多人「搶搭前往中國大陸的巴士」的重要一步,但能教華語的語言教師明顯不足。琳山老師的華語語音技術正好填上這個缺口。

琳山老師認為這是可以努力的方向,但需要「華語教學」的專業支援。李嗣涔校長乃請文學院院長協助,引入文學院所屬「語言中心」及「國際華語研習所」的多位華語教學的專業老師的經驗及力量,促成了這項臺大電資學院和文學院的跨院合作研究。另外,琳山老師也認為這必須倚賴產業界的力量,來發展商業軟體並執行營運,不能只靠臺大自己;故引進了臺大資訊系畢業系友所創立的軟體公司「艾爾科技」的協助,促成了這項由臺大校方主導的產學研究。

這項研究的最核心技術,就是針對學習者說的每一句學習例句中的每一個音、每一個字,讓機器來自動分析其語音信號,自動偵測其發音(如聲母、韻母或子音、母音)、聲調(四聲、輕聲、句調)、音量(每一句話中,每一個音的音量大小變化有其應有的分佈)、節奏(每一句話中每一個音的長短快慢有其應有的變化)四個項目,分別予以評分並指出偏誤之處。

第 1 頁是電腦播出語言教師所發出的學習例句「我很好,謝謝你」的聲音以後,學習者跟著唸完時,所看到的電腦畫面:左上角可以比較兩人發音中的每一個音的差異,及看到每一個音的評分;右邊可看到發音、聲調、節奏、音量四個項目的評分;底下有兩段信號的比較,並指出錯誤所在;右上有以動畫呈現的有錯誤的音應有的正確發音口型。第 2 頁是「學習記錄診斷書」,是在一位學習者練習了若干句以後,機器列出每一個音(ㄅ、ㄆ、ㄇ、ㄈ等)的統計所得的錯誤率及平均成績等,作為進一步加強的參考。此一核心技術獲頒中華民國專利(下 1 頁)及美國專利(前幾頁在下 5 頁)。

這項研究中另一件十分具創意及突破性的成果,是琳山老師和文學院的語言老師們一再討論後,研發出並由語言老師編寫出的「具多維結構的語境溝通功能」的華語教材。這套教材以「溝通功能」為導向,分別針對例如問候、詢問、讚美、道歉、抱怨、說明等的不同溝通功能;每一溝通功能有其「基本句型」「應用句型」兩大類,每一句型有不同的「語境」(如時間、空間、人物、表情等),甚至「表情」可分不同等級(如從強烈正面到輕度負面等),各種溝通情境都有例句,變成一套有「多維立體結構」的教材,適合以軟體呈現,供使用者點選;故使用者可以不只是學習華語的發音,還可以學習用華語如何説話。

這裡第 1 頁是 12 種溝通功能(如「問候與道別」、「詢問與回應」等),第 2 頁是以第六單元「讚美與回應」為例,其中有「基本型」「應用型」,其下並有「地」「物」「人」「事」等不同語境可以點選。其後 4 頁是第一單元「問候與道別」下的「基本型」中的「時間」「空間」「人物」「等級差」等四大類的各種不同語境,分別都可以點選學習。其下 2 頁是一個例子說明不同「表情」的「等級回應」的例子:當聽到一句讚美「你真是個好學生!」時,有十多種回應的方式,如「謝謝,你太客氣了。(接受,同時讚美對方)」「哪裡!哪裡!(接受,但禮貌)」「不敢當!不敢當!(接受,但謙遜)」「快別這麽說!(勉強接受)」「還好吧。(接受,但不確定)」「是嗎?(不接受,並有懷疑)」「少來了!(不接受,並有懷疑)」等等。再下一頁是上述各種「等級回應」中可點選其中若干種,組成一頁教材練習的頁面。此一突破性設計的教材亦獲得中華民國專刊(下 1 頁)及美國專利(下 4 頁)。

這是臺大校方主導的跨學院產學合作研究,2007 年完成時由校方與合作產業「艾爾科技」分別向全球推廣,故印製了精美的文宣,並由校長主持記者會公開發佈成果。

前 3 頁是英文的摺頁文宣的相片,之後 3 頁是其掃描內容,再後 2 頁是雙面的中文文宣。「臺大華語」是課程名稱,「My Chinese Tutor, MyCT」是產品名稱。

前 5 頁是校長記者會中琳山老師作報告時所用的投影片,下 1 頁是現場每人可拿到的一頁說明文件,再下 1 頁是「臺大華語」四個字的原始字型,是由文學院院長提供的墨寶。

合作產業「艾爾科技」推出的雙面英文文宣,一面是「臺大華語(NTU Chinese,或 My Chinese Tutor, MyCT)」,另一面是有十分接近的架構及技術的艾爾產品「My English Tutor (MyET)」,是學英語的軟體;二者同時平行推廣。

向校方申請研究經費的計畫書


臺大產學合作研究計畫補助合約書


臺大產學合作研究計畫技術移轉授權合約書


系統上線與經營規劃


校內研究計畫工作會議