琳山老師在 1979 年回到臺大，但一直不曾有機會開授大學部必修課。一直到 20 年後的 1999 年，才第一次有機會開授電機系大學部必修課「信號與系統」。

只有認真修習琳山老師所開的課，並仔細研讀「信號與系統」的學生，才會真正體會琳山老師開授這門課是如何用心，又如何獨到；雖然必修課都同時開授 4 班，為何許多同學都盡一切努力擠進這一班來修。

「信號與系統」是全球各大學電機系共通的必修課，也使用全球通用的教科書，那是原來 MIT（麻省理工學院）所使用的教科書，是 MIT 的教授所撰寫的。整本課本翻開來到處都充滿了數學式子，可說是用數學分析說明學理的一門課。但琳山老師上課時幾乎從不推數學式子，他說：電機系的同學數學都很好，課本也寫得十分詳盡，大家自己看就行；他要講的，則是「每一條數學式子究竟在說什麼話」，而且他真的說出每一條數學式子在說的話，通常是課本沒有的，他甚至常常畫出一張圖，用來解釋某一條數學式子的意義，讓同學們恍然大悟，並體驗他說的「數學式子會動，會說話」。他尤其獨到地將課程的核心理念「富立葉分析」用「向量空間」中的「合成」和「分析」來解讀詮釋，是真正的「深入淺出」。他更在整本課本中各個章節所描述的，看似零細分散的學理之間，一再反覆建立各種綿密的連結關係，讓同學可以前後「一以貫之」，真正的「融會貫通」。很多同學大四畢業時告訴琳山老師，這門課是他大學四年中最喜愛的一門必修課，或這門課是他在電機工程的「啟蒙課」。

這是琳山老師前後幾乎連開了四十多年的課，中間只有少數若干年因為公忙停開。第一次開課是 1980 年 2 月，也就是琳山老師回到台大任教的第二學期；當時只因為找不到必須開的第一年第四門課，就根據一本無意間接觸的教科書來教，那也就是他的語音世界的起點。當時琳山老師仍是類比世界中的通訊工程師，大部份時間以「數位電話」的觀點來解釋課本內容。

在此之後，隨著琳山老師對語音世界的瞭解及開始做一些研究，課程內容逐步調整。在大約 2003 左右課程有了大幅度的改版：分成兩大部份，「基礎知識」及「研究課題」，大約各半個學期。此時課程內容已和原來的那本課本完全不一樣了；此後「基礎知識」及「研究課題」都不斷逐年調整內容一直到近年。

這門課有一項極具挑戰性的企圖心：要讓修課同學在一個學期之內，由完全沒有語音處理的基礎知識開始，進入此一領域；到學期結束時對領域內各主要相關研究課題均有初步認識，有能力瀏覽並深入閱讀相關論文，並有能力做若干初步研究。期末的 Final Project 就是一項每人可以自行決定方向、主題、形式及作法的開放式 Project，走得深入的同學是可以做出一些初步的研究的。琳山老師也想藉此課程讓同學了解，進入一個新領域到能做深入研究，其實不是太難的事。這樣的目標極具挑戰性，是極難做到的；但琳山老師已做到至少有十五年以上，很多學生都覺得收獲頗豐，所以每個學期修課同學都爆滿；包括之前有很多年還上下學期各開一次，每年的兩個學期都一樣爆滿，直到近年才減輕負擔，改成一年一次。

這門課還有另一大特色，是把琳山老師對做學問的諸多體驗，尤其是他經常在「信號與人生」中諄諄提點的，例如「多做加法，少做減法」，「見樹見林」，「迎頭趕上」，「非結構化學習（Unstructured Learning）」，「選擇性閱讀（Selective Reading）」，「學問是做出來的」等等，在課程內容中實現，讓同學們對這些聽來似乎空洞的口號有具體真實的體驗。

這門課雖以華語開授，所有教材、投影片、作業、考試等都以英文撰寫，不少修過這門課的學生把相關教材帶到國外，使得不少國外專業單位也瞭解這門課的內容。有修過課的學生到美國進了卡內基美隆大學（Carnegie Mellon University）的語言科技研究院（Language Technology Institute），這是這個領域的頂尖學府，發現他在台大所修的這門課的台大學分，居然可以抵免當地的課程學分，算在畢業學分內；琳山老師也收到過不少次美國專業研究人員的信件，要求設法將上課錄音加註英文字幕，或開授一次英文版，因為即使在美國也少有課程，可以做到像這門課所做到的。只是琳山老師不曾找到時間，來做到這些美國專業人員的要求。