微软张若非：搜索引擎和广告系统，那些你所不知的AI落地技术
【12月公开课预告】，入群直接获取报名地址 12月11日晚8点直播主题：人工智能消化道病理辅助诊断平台——从方法到落地
12月12日晚8点直播：利用容器技术打造AI公司技术中台
12月17日晚8点直播主题：可重构计算：能效比、通用性，一个都不能少
作者 | Jane
出品 | AI科技大本营（ID：rgznai100）
这两年，被誉为“皇冠上的明珠”的自然语言处理领域发展愈发火热，成为了业内新宠，而搜索和广告这两大老牌技术领域似乎已被大家遗忘。其实，这两大接地气的工程领域仍是各企业竞相抢夺的市场之一。
近日，AI科技大本营采访了美国微软人工智能和研究部高级研究总监张若非。他现在带领团队负责必应广告平台算法、机器学习模型及大规模离线和在线系统的研发和运营，支持包括必应和雅虎搜索引擎、亚马逊、AOL 等在内的众多应用。加入微软前，张若非任 Yahoo 研究院主任科学家和研发总监，管理数据挖掘和相关性优化部门，开发运营了雅虎面向全球市场的搜索及显示广告算法和系统。
采访中，张若非从微软的必应广告平台、搜索引擎技术与应用出发，谈了他多年的研发工程实践经验，以及对未来AI的技术发展趋势、值得关注的技术领域等问题的看法。
以下为采访内容实录：
AI科技大本营：微软必应的大规模广告系统中是否运用了最新发表的研究成果？未来又有哪些新技术研究会有更多应用机会？
张若非：我带领的团队并不是纯研究型团队，研究的问题大多来源于产品业务中真正面临的一些难题，针对这些难题进行科研攻关并将研究成果嵌入到产品中。比如最近发表在KDD 2019上的最新工作，发表论文不是团队核心和唯一目的，是在解决问题的过程中，团队提出了新颖的想法、有效的解决方案，才将这些成果整理后发表。而目前大部分研究成果已经部署于产品中，只不过部署规模有所不同，有的已经完全部署，有的还在运行调优阶段。
虽然大家已经很熟悉搜索引擎和广告系统，似乎这两个领域很少能带给大家炫酷的感觉，但是现在深入研究的新模型和方法在拓展新业务或场景中还是有很多可能的，比如强化学习在内容生成领域中应用发挥的价值。
以前，大家对强化学习研究与应用的了解大都围绕游戏领域，现在，我们团队已将深度强化学习应用于自动生成广告任务中。根据广告商的网页，系统化地理解网页中可提供的服务、销售的产品类型，从而帮助自动生成广告标题、描述等。当然，这些任务也可以通过NLP中诸如Seq2Seq、BERT等效果不错的深度学习模型来完成，但是，除了生成内容的质量，还需要有一些“Reward”因素可以给模型生成的结果一定的牵引作用，如点击率，从而知道生成的结果对用户是否有吸引力。
如果我们在广告系统中加入一个点击率模型产生广告生成模型的奖励，通过用户的点击行为评估广告内容，评判广告的吸引力，从而不断提高广告生成模型的性能以直接提升业务指标。深度强化学习是我们所选择的技术方法，强化学习中的「反馈」可以引导我们有方向的优化广告系统，提高广告质量，预测用户点击的期望值。
通过实验的对比评估，我们发现，让用户在深度强化学习生成的广告和人工生成的广告进行选择，52%用户认为深度强化学习系统生成的广告更有吸引力，30%多的用户认为人工生成的广告更好，10%的用户认为两类广告无差别；而广告投放后，再对比 CTR指标，发现深度强化学习方法有 12 %提升。所以，通过强化学习中的「反馈」与「激励」引导内容生成，未来在广告系统或推荐系统中的应用是值得关注的方向。
AI科技大本营：如何看待从技术研究到落地的鸿沟问题？
张若非：首先，从不断的调参、系统优化、增加的规则到处理诸多边缘问题，现有的产品系统、技术架构是经过多年的打磨而成的，新技术、新系统即使有某些效果的提升，也无法做到完全替换现有系统，保证已有的效能，所以，新技术是不断迭代，与现有系统结合，加持于整个系统中的，这是新技术落地的常见方式之一。
其次，在新技术不断实验和快速迭代中，团队也会不断发现新问题和解决问题，比如不断调参调优来优化深度学习模型，使之逐渐达到现有系统的性能；而除了模型本身的优化工作，系统调优也是一个大问题，一些新模型的计算量都非常大，高延迟、高消耗限制了部署的可能性，团队需要和负责系统的团队一起合作做很多优化工作，提高系统性能，把系统处理速度、规模、存储及稳定性等性能指标逐渐提高至现有产品系统的标准，这些都是把研究落地到产品中需要重点关注和解决的实际问题。
AI科技大本营：目前的搜索引擎技术有哪些提升空间？
张若非：搜索引擎虽然已经存在很长时间，但是，一直以来我们都没能真正的理解和回答用户的很多问题。传统的搜索引擎中，当用户输入一个问题后，会返回一些链接，用户自己选择哪个链接是自己需要的，往往真正得到解决一个问题的答案，需要多次浏览多个网页。比如，你想问“小孩的安全座椅怎么安装”、“怎么更换淋浴花洒”等此类任务场景下，搜索引擎可能会告诉你安全座椅的介绍、种类或商家等信息，它完成的是一个检索工具的使命，但未必能简洁扼要地回答你的问题。
现在的搜索引擎会直接给你需要的答案吗？告诉你答案后，它能真正理解你的提问意图，进而提供你完成这件事后续需要的信息吗？比如，通过你的提问，分析你的问题和意图，当你想要一个驱动程序时，告诉你具体操作的步骤与方法？这是大家现在在研究和解决的问题之一。
除了真正理解用户的问题，直接提供答案，当一些问题或知识存在于不同体系、不同组织，有一定距离时，需要我们可以再组织、挖掘其中的关系，这说明知识图谱技术仍需不断拓展，以支撑搜索引擎提供更好的服务。
深入用户在搜索引擎中输入的问题本身，抽取相关信息，真正理解用户意图，进行个性化分析，预测用户需求，也是现在的主要工作之一。比如，用户输入亚马逊，一般情况下会给出亚马逊公司相关的信息，但如果近期搜索这个词，大家可能更关注的是亚马逊雨林大火，所以，在具有一定模糊性、特殊性情况下，搜索引擎如何能更好的理解用户意图，把知识以更加结构化、系统化形式组织并呈现，无论是技术方法还是产品逻辑，都还有很大的提升、改善的空间。
AI科技大本营：如果企业决定在业务系统中使用新技术，有什么建议？
张若非：第一，如果企业想利用这些最新的技术，可以在企业内部专门设立相关团队或部门，负责训练、评估新模型，这也意味着投入相应的人力和算力成本是必然的；数据可以用公开数据集，也可以结合企业特有的一些数据，再放到企业的部分业务中进行调优、评测。
第二，深度学习模型的训练推理涉及大量的计算，系统的延迟成本是非常昂贵的，所以我们通常会采用teacher-student model，teacher model 有很高的capacity，比 student model包含更多的信息和规则，student model 则比较简单，训练和推理速度都比较快，结合teacher 和student 两个模型的特点，不失为一个值得尝试的方法。目前很多深度学习模型在线推理还无法满足实际产品的延迟要求，所以，训练一个轻量级的model在真实部署应用中是更现实可行的方法。
以上这两点建议的前提都是如果企业决定在业务系统中使用不断出现的新技术。但是，企业一定是根据自己的具体需求，要解决的任务来决定。目前模型效果如何？是否可以切实提升产品效果？提升的空间有多大？最后，还有新技术的投资与回报比的问题？无论是否使用新技术，对于一个企业来说，研究了解新技术还是必要的，新技术的强项与弱点，适合哪些问题等等，如果没有了解与不断学习，掉队是必然的。
AI科技大本营：未来，还有哪些热门研究问题？
张若非：Pre-training 仍是目前的的热门研究领域之一，它为我们打开了无监督学习这扇窗，我们可以用海量、无标注数据学习特征表示，我们也在一些NLP任务中看到了效果。未来，Pre-training和Fine-tuning都是领域内的热门研究方向，诸如通过优化training来提高速度、如何做 online Inference、提高系统层面的效率等问题 ，也都是值得大家关注的研究问题。
第二个值得关注的方向是图神经网络。目前，深度学习系统处理的数据大多是声音（一维数据）、图像（二维数据）、文字（序列数据）。在实际产品中我们会遇到更多复杂的、非标准和规则的半结构化数据，如何用结构化方法学习是目前图神经网络重要研究的问题，在工程实践中也会面临一些挑战。
第三个值得大家关注的是联邦学习，研究如何保护数据安全和所有权，以及用户数据隐私的问题。随着大家对数据越来越重视，很多公司声明，不会将用户数据上传至服务器，也不会追踪用户的使用数据，这在很大程度上给公司的业务带来了很大的挑战。如何在保护用户数据隐私的情况下又不影响模型训练性能和业务指标，是目前国内外很多公司迫切想要解决的问题，比如在广告系统中，推荐和个性化业务都需要基于用户的历史记录，保护了用户数据，必然对业务平台造成影响。因为对这个问题解决方案的迫切需求，联邦学习成为我们研究的热点。
用户提问
采访前，我们向CSDN读者提前收集了一些用户提问，张若非回答了部分提问，解答大家在学习、从业及未来职业规划的疑问。
1、深度学习和数学建模的联系是怎样的？
张若非：数学建模比深度学习的内涵更大，但深度学习模型离不开建模。数学建模，是把一种事件或者一种现象，用某一数学公式来表达，比如泊松分布是对一天中在公共汽车站等车的乘客个数的一种描述。有了数据建模，把数据放到这些数学模型或分布中，就可以进行预测。而深度学习是从数据中自动产生多层不同结构的神经网络模型，在参数未知的的情况下，用数据不断进行 fine-tune，从而学到针对某些数据的模型，所以，数学建模是包含深度学习的。
2、对于入门深度学习，代码里的函数都看不懂，是不是需要一个一个的查？
张若非：首先，要看你用的是什么深度学习模型，如果是一些经典的模型，比如AlexNet、ResNet等，我想你需要深入看一些，理解函数的用途，知道每一层或每个函数是如何调用的。而对于一些最近的技术模型，如 BERT、XLNet，如果你只想把它视为一个“黑盒”，保证模型可以work，代码细节也许不是最重要的；当然，如果你本身对它感兴趣，想知道每步在做什么，深入研究还是有必要的，不仅知其然，还知其所以然。
3、机器学习和深度学习模型中哪些模型比较适合性能较低的边缘网关？
张若非：很多深度神经网络很深，比如BERT-Large有24层的Transformer。如果想要适合性能较低的边缘网关，首先在模型结构方面，可以考虑用层数不多的模型，可以尝试上面提到的teacher-student方法，用深模型训练浅模型，使模型不那么深；第二，模型要做降维，高维降低维；第三，考虑模型压缩，除此之外，最好你的网关是有并行计算能力的，即使没有 GPU，一些并行计算的矩阵计算库如MKL也可以帮助进行并行计算。
4、如果强调数据安全性，能否有相应的手段保证多个节点间通过模型共享，而不是数据共享？
张若非：其实，这个答案就是联邦学习。不管你是什么样的模型，不共享数据，也不共享完全相同的一个模型，通过专门设计的分布式模型训练和分发机制可以做成这件事。
5、虽然现在技术层面上各种模型层出不穷，但个人感觉对企业来说还是价值有限，部分企业所使用的人工智能，好像只是把统计方法或数据挖掘方法换了个说法而已。到底是企业的路数不对，还是人工智能的发展遇到了瓶颈？
张若非：现在人工智能很热，但是它主要在几个领域上有比较大的用途。一是互联网领域，有大量的数据，互联网公司有大量的计算资源，有直接应用人工智能技术的场景，但是，大量的传统企业，比如教育、农业，其实并没有真正应用前沿的深度学习模型，应用的仍是机器学习模型，如果要说使用了深度学习技术，也是在积累数据，分析这些数据，得到了相关性的结果，但还没有做到预测，这些确实是企业面临的一个实际问题。此外，企业中的痛点并没有通过这些技术得到彻底解决，看到一个翻天覆地的变化。同时，在企业中人才也是非常重要的资源。这些因素都是造成目前现状的原因。
但是，未来 AI 的技术发展还是会继续推动着企业应用AI技术的脚步前进。一方面，非AI企业在现在的大趋势下，也会犹疑如果不使用这些是否会被落后淘汰；其次，现在很多机器学习模块、工具都会部署到云端，越来越多的企业可以在自己的业务中直接使用云端中的工具和模块，自己上传数据后创建一个模型，应用AI技术的门槛会被逐渐降低，进而再根据自己企业的情况做评估，更有目标和方向地制定下一步技术战略。在微软，我们也在云计算Azure平台上提供很多机器学习的框架和工具，比如认知服务，来民主化人工智能的开发和部署。这些都可以继续推动技术在互联网行业，甚至在其他行业领域中的应用。
6、您在国外长期学习、生活和工作，结合个人经历，您认为对于国内外的学生和开发者来说，面临着怎样的机会和挑战？
张若非：首先，我觉得对国内的初学者来说，一个很明显的现象就是学习AI的门槛降低了。越来越多的开源，公开资料，让原本枯燥的研读Paper，复现模型这些过程不再成为学习过程中的拦路虎，现在大家可以比较容易地直接run一个模型，让一个模型work。至于想要知道这个模型是“如何work”、“如果不work怎么办”，就对大家提出更高的要求。同时，国内对人工智能发展的重视及国家提供的各种鼓励政策和条件，国内移动互联网地蓬勃发展，以及对数据和用户隐私相对宽松地态度对国内的学生和开发者从事AI研发和应用来说是很好的机会。
9月21日，在聚焦机器学习与深度学习的技术沙龙上现场还发布了张若非及团队撰写的新书《深度学习模型及应用详解》，同时，张若非等技术专家在现场带来了精彩的演讲，技术沙龙直播回顾：
视频回看： https://edu.csdn.net/huiyiCourse/detail/1070
人工智能火热发展的这几年，吸引了越来越多的学生、开发者投身于AI的学习与工作。然而，前几年，国内本土的优质学习资源非常匮乏，让大家无从选择，如今各类学习资源、技术图书不断出现在大家视野中，大家已经身处其中而“无法选择”了。如何能快速遴选出适合自己、让自己获益的一本好书？《深度学习模型及应用详解》是你的一个选择。
采访嘉宾：张若非，美国纽约州立大学计算机科学博士。微软（美国）人工智能和研究部高级研究总监，全球合伙人，《深度学习模型及应用详解》作者。负责微软在线广告平台机器学习模型、算法及系统的研究和建设。研究领域包括机器学习、数据挖掘、自然语言处理、计算机视觉和多媒体信息检索。在这些领域的一流学术期刊和顶级学术会议发表论文50余篇，获得美国发明专利14项。美国国家自然科学基金会（NSF）智能系统评审委员会委员，IEEE和ACM高级会员。