数说名师 | 李海洲教授专访——“科技服务生活”

# 数说名师|导语

香港中文大学（深圳）数据科学学院（SDS）以师资见长，学院拥有一支由计算机科学、运筹学、统计学等学科国际化学术人才组成的高水平教授队伍。 

全球千强科学家中五位教授任职于SDS（点击查看Guide2Research“全球千强科学家”榜单），其中还有跻身全球百强的教授。教授队伍中有曾在世界顶尖高校任职的终身教授，有培养出四位院士的名师，也有《人民日报》报道过的高端人才，他们在学术界和工业界都有着显著的国际影响力。

SDS成立以来汇聚了众多拥有辉煌履历的国内外名师。“数说名师”系列教授访谈带您探索SDS教授们的学术实力、育人理念以及他们对学术的坚持。相信在访谈中，你们会找到适合追随的人生导师，也会更加了解SDS。

数据科学学院 

副院长（科研）

教授

李海洲

Haizhou Li

国际语音通信学会主席

亚太信号信息处理协会、亚洲自然语言处理联合会主席

国际电气电子工程师学会会士

新加坡工程院院士

曾获新加坡总统科技奖、《IEEE计算智能》、

《IEEE神经网络与学习系统汇刊》最佳论文奖

曾任顶级期刊IEEE/ACM《音频、语音和语言处理汇刊》主编

曾任ACL、INTERSPEECH、ICASSP等大会主席

新加坡国立大学客座教授

德国不来梅大学卓越讲座教授

研究领域：

语音信息处理、自然语言处理、类脑计算、人机交互

简介：

李海洲教授现任香港中文大学（深圳）数据科学学院副院长（科研）、校长讲座教授，同时他也是新加坡国立大学客座教授和德国不来梅大学卓越讲座教授。此前，他曾于2006年至2016年分别担任新加坡南洋理工大学和新加坡国立大学教授，于2009年担任东芬兰大学客座教授，于2011年至2016年任澳洲新南威尔士大学客座教授，于2003年至2016年担任新加坡科技研究局通信与资讯研究院首席科学家和研究总监。

李教授曾任顶级期刊IEEE/ACM Transactions on Audio、Speech and Language Processing主编 (2015-2018年）；目前任Computer Speech and Language副主编 (2012-2022年)、Springer International Journal of Social Robotics副主编 (2008-2022年)。李教授也曾担任多个学术委员会委员：IEEE语音与语言处理技术委员会委员 (2013-2015年)、IEEE信号处理学会出版委员会委员(2015-2018年)；目前任IEEE 信号处理学会奖励委员会委员(2021-2023年)。李教授也曾是多个学会主席：国际语音通信学会主席 (ISCA, 2015-2017年)、亚太信号与信息处理协会主席 (APSIPA, 2015-2016年)、亚洲自然语言处理联合会主席 (AFNLP, 2017-2018年)。此外，他还担任过ACL 2012、INTERSPEECH 2014等多个大型学术会议的主席，他也是IEEE声学、语音与信号处理国际会议 （ICASSP 2022）的主席。

李教授享誉国际，他不仅在语音识别和自然语言处理研究领域有着突出贡献，还领导研发了多项知名的语音产品，如1996年苹果电脑公司为Macintosh发行的中文听写套件、1999年Lernout & Hauspie公司为亚洲语言发行的Speech-Pen-Keyboard文本输入解决方案。他是一系列重大技术项目的架构师，项目包括2001年为新加坡樟宜国际机场研发的具有多语种语音识别功能的TELEFIQS自动呼叫中心、2012年为联想A586智能手机研发的声纹识别引擎、2013年为百度音乐研发的听歌识曲引擎。

Q：能介绍一下您的研究领域吗？

A：我一直都在从事语音处理和自然语言处理方面的研究。语音处理比较注重信号处理，跟声学有关，比如声音的合成、传送、和识别。自然语言处理是文字的处理，不跟物理世界打交道。两者共同的研究目的就是机器能够和人类一样通过语言进行沟通，明白人类说的话并做出正确的反应。比如你叫机器做一件事，我们的目的不只是让机器把听到的声音转成文字，而是让机器像人一样听懂了，然后做出响应。这个过程涉及到很多方面的技术，包括声学、语音学、语言学、交互也就是人与人以及人和电脑的互动，这些都涵盖在我研究的课题里。我自己很喜欢这个研究方向，所以一做就是几十年。

李海洲教授获得的奖项及IEEE、ISCA会士证书

Q：您是如何选择您的研究方向的？

A：我最开始做这方面研究完全是个人兴趣。以前没有语音语言处理这些学科。我大学读的是无线电技术专业，也就是通信，研究电波的传送和接收。语音是通信当中一个重要的研究课题。之后我在读研究生的时候开始接触语音识别这个课题。当时一台电脑就像一间房子这么大，小一点的一个工作站也很贵，却只能识别十个词，所以很多人质疑我的研究到底有什么用。可是我觉得这个研究课题很有趣。在学界，别人问你在做什么，问的是你的研究兴趣而不是你的工作任务。我自己能坚持做这个题目这么多年，就是因为我自己对语音语言领域特别有兴趣。我后来从事的工作都在这个领域，这些工作经历也加深了我对这一领域的热爱。

左图：2013年，李海洲教授获“新加坡总统科技奖”

右图：李海洲教授与新加坡总统陈庆炎博士讨论语音科技的进展

Q：能介绍一下您工作和科研的经历吗？

A：语音现在是一个非常热门的研究方向，但在我博士毕业时语音非常冷门，合适的工作机会很少。当时全世界做语音识别的实验室大概不超过十个，都在发达国家，工业界做这方面研究的也很少，只有一两家企业。当时正好法国国家科学研究中心(CNRS)在招聘语音领域的研究员，我喜欢法语，也很想去法国练习法语，我顺利被录取后就开始在CNRS做语音方面的研究。在法国我开始了说话人识别理论的研究，也就是声纹的识别。

之后在1996年，我加入了苹果公司 (Apple Inc.) 担任研究主任，带领语音识别的研发团队，为苹果麦金塔（Macintosh）计算机设计了全球首个语音听写系统，也就是现在大家熟知的Siri的前身。苹果在90年代初就开始了在计算机和个人数字助理上实现语音识别的构思，我们有一个很好的研究理念——科技改变人们的生活品质，我也第一次接触到了use-inspired research这个概念，它后来一直引导着我的科学研究。

左图：1996年苹果麦金塔计算机语音听写系统

右图：李海洲教授与机器人

Q：全球最大的专业技术组织IEEE因您在“多语言识别(Multi-lingual Speech Recognition)”领域所做的杰出贡献而授予您会士，您的研究不只是中文而是多语种，这是否是基于您提及的科研理念“use-inspired research”？

A：我的母语是中文，做中文的语言研究是我发自内心的一种热情。我领导了很多项目，其中一个是中文语音识别。中文语音识别以前不属于主流的研究课题。英文的使用更广泛，所以很多人认为英文语音研究更有用。从90年代开始，我认为语言科技要服务大众，就必须思考语言研究怎么才能让讲不同语言的人受益。英文语音识别技术在英国、美国可以用，但在中国没法用，所以中文语音识别成为我过去30年的研究重点之一。我研究语言的个性和共性，比如说，在英语语音识别时，音调是要去除的干扰，但是在中文、泰文和越南文的语音识别中，音调是带语言信息的重要成分。

我研究了许多亚洲国家的语言，如韩文、日文、泰文、越南文、马来文等，也推动了学界一些新的研究方向，比如说，针对东南亚国家的语境，研究能够识别中英文夹杂的语言，这些研究都是解决生活中的实际问题，让更多人享受便利。混合语言语音识别的实际应用案例之一是新加坡紧急求助电话995的语音识别系统。对于双语人群来说，在拨打求救电话这种紧急情况下，经常会双语混杂。我实现的系统不需要语音提示按1或2选择语言，你可以多语言混着讲，是一个名副其实的双语机器，这就解决了日常生活中很重要的问题，让科技贴近民众的生活。

无论在大学还是在企业，我总认为自己是一个学者、研究员，要秉持着相同的研究理念，就是科学研究需要注重应用场景，科技要和人们的生活相结合。

左图：2015年，新加坡外交部维文部长为李海洲教授

颁发“东盟卓越工程成就奖”

右图：2015年，新加坡贸工部林勋强部长为李海洲教授

颁发“科技创新”金奖

Q：除了新加坡火警语音系统，您的研究还有哪些落地案例？

A：我印象比较深刻的有三个：第一个是2001年，我领导的团队在新加坡樟宜国际机场落地了语音自动化呼叫中心服务。当时智能电话还没出现，乘客查询航班信息只能通过固定电话，非常不方便。客服中心的电话也总是处于忙线状态，乘客不可能再回家使用台式电脑搜索和查询。基于这样的痛点，我和团队就做了多语种的语音自动化服务系统，每天可以处理一万个查询电话。不仅乘客可以查询进出口、乘机闸门、行李传送带等信息，出租车司机也可以查询半小时内航班的到达情况，提前安排接乘客的时间。第二个是与百度合作期间所做的两个项目。一个是为百度和联想合作的手机A586研发的声纹识别引擎。A586是全球首款声纹解锁手机。另一个是为百度音乐研发的”听歌识曲”音乐搜索引擎。第三个就是最近完成的新加坡紧急求助电话995的多语种混合语音识别系统。

身为科学家，看到我的研究成果为大家所用，我心里就特别有成就感。对我来说最大的reward不是项目为我带来的金钱收益，而是我真正做到了科技服务生活。

新加坡樟宜机场语音服务系统和联想百度手机A586

李海洲教授与百度CEO李彦宏

Q：您最近入选了新加坡工程院院士，也是ISCA有史以来唯一的华人主席，有报道评价您是“1965年到2015年语言处理领域最前瞻和多产的科学家之一”，作为语音领域早期的科学家之一，您见证了学科的发展历程，您怎么看待语音识别、自然语言处理学科的发展趋势和前景？

A：这个学科在过去六十年从无到有并成为一个热门的学科，是一个巨大的进步。语音识别最早的雏形是上世纪20年代的玩具狗Radio Rex，它的装置只是弹簧没有电脑，当人喊狗的名字Rex，它就会跳出来。虽然现在语音处理技术已经有了很大的进步，但这条路我们只走了一半，我们只做到了把语音转成文字，还没让电脑完全理解人的意思。我们的初心是让机器理解人类语言，这是语音处理的终极目标。文字处理也只做了一半，自然语言处理的研究还要努力。人类使用文字其实传达的是两层信息，一是表达意思，二是表达情感。目前意思的表达做得还不错，但情感的传递比较缺乏，所以很多人会说AI系统的IQ不错但没有EQ。跟聊天机器人多聊几句就能知道它是机器人，因为它没有情感的交流。如果聊天机器人有了情感的理解和表达能力，它就可以更自然地和人们交流，比如完成语音客服、产品推广、电视演播或其他娱乐领域的工作，能够解决很多问题，也会因此衍生出更多有创造力的产品和服务。语音与自然语言处理的研究成果未来会普遍应用于娱乐和商业领域，用来提高生产力。科技的发展会朝着“科技提升生活品质”这样的方向，这也是学科发展的未来趋势。

*ISCA: International Speech Communication Association 国际语音通讯学会

*“1965年到2015年语言处理领域最前瞻和多产的科学家之一”: The NLP4NLP Corpus (I): 50 Years of Publication, Collaboration and Citation in Speech and Language Processing

https://www.frontiersin.org/articles/10.3389/frma.2018.00036/full

新加坡工程院2022年3月发布的Newsletter中

关于李海洲院士的介绍

2018年，李海洲教授被授予ISCA会士

Q：您的学习生涯里有没有对您影响深刻的老师？

A：我现在所取得的成绩得益于很多导师的指导，但我想特别讲一下对我人生影响很大的研究生导师徐秉铮教授（1925－1997，中国著名电子学专家、华南理工大学教授）。徐教授教给我很多受用一辈子的学习、工作和做人的道理，以及做科学的基本准则。徐老师是我的启蒙老师，他是第一个给我解释语音识别、语音处理和机器翻译是什么的人，是他带着我入门、做语音识别的研究，这在上世纪80年代是一个很遥远的课题。当时连台式电脑都没有，很多人都不明白语音识别是什么。我现在教授学生的一些东西都是从他那里学来的，比如读科技文章要读两遍，第一遍读科技内容，第二遍学习作者怎么写文章、如何传达想要传达的信息，简单来说就是文采。讲道理有千百种方式，但是如何让审稿人和读者看懂才是关键。他另外一个让我印象深刻的教诲是“不管到了哪里，你都要比别人多努力一倍，这样才能够成功”。我跟很多人成长经历不一样，我是在文革时的渔村长大的，所以我更加明白要比别人更努力。

1986年，徐秉铮教授指导李海洲教授的研究工作

Q：您是新加坡国立大学的终身教授，在新加坡工作和生活多年，您能讲讲为什么回国、选择香港中文大学（深圳）吗？

A：我也是鼓足了很大的勇气选择回国。我在1987年离开大陆，国内的发展变化很快，我跟学院的外籍教授开玩笑说，对国内环境的了解我比他们强不了多少，但深圳和香港中文大学（深圳）给了我信心。

深圳的企业资源丰富、科技发达。我在新加坡的时候跟业界的合作伙伴主要来自深圳。做研究首先就是要定义问题。爱因斯坦说过，如果你有一个小时做一件事情，那你应该花55分钟思考问题是什么，剩下5分钟用来找答案，不管是基础研究还是应用研究，找问题找课题是至关重要的。我比较关注应用研究，我个人的观点是应用研究一定要落地，要解决实际问题。来了深圳，我可以更近距离接触这些企业，了解一线的需求，研究贴近生活的技术。

深圳有很多高校，选择港中大（深圳）首先是学校的环境，港中大（深圳）充满活力和多样性。虽然港中大（深圳）相比历史悠久的大学还比较年轻，但是一张白纸可以画出最美最好的图画，学校又能和大湾区一起成长，给了我发挥所长的空间。

另外港中大（深圳）和学院的科研环境、师资都是吸引我的点。学校非常国际化，无论是管理方式还是价值观，能够让海外归国的学者们很快融入环境，所以这里是我回国的首选。不只是我这样认为，来这里的每个人都这样讲。我觉得学校的这些优势应该大力宣传，因为很多学者回国考虑的不是薪酬多少，而是工作环境以及是否能实现自己的理想。

李海洲教授任ASRU2019大会主席并主持开幕式

Q：您在2021年11月初加入数据科学学院并担任副院长，负责科研方向的工作，您能跟我们分享一下您对学院科研工作的愿景和规划吗？

A：总的目标是让学院成为全球有声望的机构，成为数据科学研究的据点，建立良好口碑。高度的国际化是我们科研的特色，也是建设国际一流学科的必然选择。我们的目标是不断提高学院的国际地位，短期内把学院建设成为国际领先的人工智能和数据科学的科研基地。

具体怎么做呢？数据科学是多学科交叉的集体，我们要利用学院极有特色的人才资源，将统计、运筹学和计算机科学等有机结合，加强交叉学科建设。目前我们每个学科都做得很不错，我们要培育具有卓越创新精神的学院文化。虽然从规模上讲，我们学院的师资队伍在数量上不如其他历史悠久的综合性大学，但我们有人所未有顶尖的人才和独特的学科优势。还有就是我们要积极参与行业或机构的合作，加强与业界和政府部门的沟通，结合大湾区的环境，建立合作的实验室或研究项目，面向经济主战场，借助外力更好成长。

左图：

意大利理工学院 (Istituto Italiano di Tecnologia) 

院长Giorgio Metta博士访问李海洲教授的实验室

右图：

2019年，李海洲教授为Vincent Poor教授(普林斯顿大学)、Jan Maciejowski教授(剑桥大学)和William Sanders教授

(伊利诺伊大学厄巴纳-香槟分校)介绍类脑听觉系统的研究

Q：您目前在教授DDA2020 Machine Learning课程，您有什么学习方面的建议给学生们？对未来计划或者现在正在从事科研工作的学生们，您有没有可以指导学生们的？

A：对这门课的学生，我给的建议是通过这门课学习学习的方法。机器学习学科发展太快，很多教科书还没印出来内容就已经不太合适了，所以我会重点教学生通过学这门课学习学习的能力，也是为以后在这个领域发展打下基础。教授这门课的时候我不只教内容，还会讲学科发展的历史和理念，这样在未来几年即使知识过时了但方法还在。

对于想从事科研的学生，我想说的是，首先学生要建立自己的研究的兴趣，第二是成为科研的开拓者而不是别人的追随者。我觉得不能认为做研究枯燥，如果觉得枯燥那就是把它当成了工作而不是兴趣。我经常开玩笑说做研究是你喜欢的事情，那人家还发薪水给你做喜欢的事情，这不是天下最美的事情吗。只要有热情，事情就能做好。如果每个人都抱着能做自己喜欢的事情就是幸运的态度，那这就是成功的一大步。

还有我觉得研究和学习的方法很重要，要多花时间思考。做研究没有做好规划那就是浪费时间，所以要尽量多花时间思考，像爱因斯坦说的花55分钟思考，花5分钟做事情，效率就会很高。比如机器学习这门课，网上的教材很多，同一个算法，在有的数据上很有效，在另一些数据上就不行。我注重算法的可解释性，我建议学生们花时间去思考算法的基本原则和理论，多去想算法是如何完成任务的。机器学习都是数据进数据出，我鼓励学生打开算法的盒子来看看，是不是用了合理的、符合逻辑的方式完成任务，这样学到的东西就有了重用的价值。

李海洲教授为研究生讲授机器学习课程

Q：您有没有选拔学生的标准？

A：研究生要有独立思考的能力、批判性的思维和良好的沟通技能，这些方面是我面试学生会考察的。从事科学研究不能闭门造车，科学研究是在互动中成长的，所以学生们必须学会很好地表达自己、很好地问问题，这样学生才能很快成长。

李海洲教授与学生们

相关阅读

奖项证书摄影 | 卢毅 2020级 数据科学学院