“多模态大模型技术的发展，令诸多领域的创业门槛成本骤降。”
作者丨代润泽 姚单 王超编辑丨刘伟 2023年8月14日、15日，由GAIR研究院、雷峰网、世界科技出版社、科特勒咨询集团联合主办的第七届GAIR全球人工智能与机器人大会，在新加坡乌节大酒店拉开帷幕。
聚焦大模型技术爆炸时代，在多模态与跨境电商论坛上，雷峰网邀请到新加坡南洋理工大学协理副校长、新加坡工程院院士文勇刚教授，Meta人工智能研究专家曹晟、人工智能专家张伟、Mamentum Works 创始人兼首席执行官李江玕等。在论坛现场，数位嘉宾从学术、产业、技术等方面，对出海、跨境电商赛道进行了拆解重构，就大模型技术如何落地的可能性与方式，展开了深入探讨。
01南洋理工大学协理副校长、新加坡工程院院士、红点数智科技（新加坡）首席科学家 文勇刚：AI and Digital Infrastructure for a Sustainable Future:A Tale of Twin Transition（可持续未来的人工智能和数字基础设施：双重转型）文勇刚
过去的十年里，文勇刚的主要的科研方向之一是绿色数据中心研究。
期间他不断在思考，10 年、 15 年之后，数据中心应该发展成什么样子，到底该怎样去驱动？随着 AIGC 和大模型的出现，算力平台未来能耗趋势将为怎样？就此文勇刚提出一个观点，数字化转型和可持续发展的双轮驱动。具体来看，一方面，目前越来越多诸如跨境电商等行业带来数字经济的发展，日益增长的算力需求（尤其是AI的发展），数字经济耗电量飞速增长，带来可持续发展的挑战；另一方面，由于数字经济的发展以及数字化转型，也将可持续性发展带来新的契机。文勇刚认为，真正的愿景是双驱动后，AI、数据和各种生产活动形成共赢态势。首先，数字经济（尤其是AI技术）的发展，最大的挑战是带来很大的能耗。数据中心就是一个大机房，耗电量巨大。某研究表明，到 2030 年数据中心将占到全球总耗电量的8%。例如新加坡，预计到 2030 年，其数据中心将占到总耗电量的12%。因此2019年开始，新加坡政府暂停新的数据中心牌照的发放，直到今年（2023）才逐渐恢复。AI技术的发展带来很高的能源消耗，对此需要找更多绿色能源。例如氢能驱动的数据中心的方案，将储能和数据中心结合在一起，类似于能源一体的解决方案等。也就是未来十几年后，尽管数据中心的建设带来能耗增加，也能带来可持续发展。其次，文勇刚表示，AI作为高效工具，同样可以帮其他行业解决可持续发展的挑战问题。例如在工业领域，利用AI手段去优化物理操作系统，提高能源效率、降低碳排放量。可以应用的场景为办公室、数据中心、工厂、发电厂等。为了降低损失，可以将数字孪生技术应用在实验环节。比如通过数字孪生技术去解决数据中心。具体来看，将数字孪生作为验证平台，AI 对它进行管理和优化，然后再去用到物理环境。通过这套算法去分析优化，进而验证。举个案例，如果将机房的温度从17度调成22度，可以很大程度减少能耗。但是，一旦认为AI是黑匣子解决方案，运营人员出于风险考虑，不会采纳人工智能的推荐，那就很难进一步操作。而利用数字孪生去验证，就不会对数据中心产生影响了。数字孪生技术也大幅度降低能耗问题。例如某新加坡数据中心，大概有1.18兆瓦的规模。利用数字孪生技术去设计验证，仅在设计阶段可以降低成本大约20倍，减少碳排放量3500倍。运营阶段降低10%的PUE，减少大约2000吨碳排放量。这仅仅是一个小数据中心的优化空间。关于如何做好某个AI的项目落地，文勇刚认为有五大关键要素：用这五个方向的首字母，可以看成“穿PRADA”的人工智能。那么跨境电商属于数字企业重点的部分，基于IT和AI的发展对数字经济GDP的影响， 主要有以下几个观点：1、每花费1美元，可以带来15美元的数字经济产出，和29美元的GDP产出。对比其他行业一块钱撬动8-9元，IT可以撬动29元，差距近4倍。2、某机构通过研究大约15 个国家算力投入的研究，发现计算能力指数每增加1%，具体的经济增长是3.3‰，由此产生的GDP增长是1.8‰。在数字化转型和 AI 时代，每一块钱的投入或每一个 百分比的增长，对数字经济以及GDP的增长都带来很大的想象空间。总结来看，数字化可持续性发展是把双刃剑，一方面带来挑战，另一方面促进各行各业的发展。那么利弊交互过程中，要思考怎样才能让利益超过成本，以及要判断是否值得去做这些投入。
02Meta人工智能研究专家 曹晟：Advertising Strategy in the New AI Era（关于新人工智能时代的广告策略）在Generative AI时代，一个模型可以拥有多模态的特征。这些模型可以做更通用、更重要的任务，且大多数是无监督或自监督学习。
传统的模型框架之下，算法对多媒体信息，缺乏最深刻的理解能力。但是，现在的多模态大模型，则可以通过 Cross Attention (注意力机制)和Content Understanding(内容理解）的方式，让文字、图片，以及视频，align到同一个 Latent space上，从而计算不同样本间的关联性/相似系。 曹晟
人工智能研究专家曹晟认为，未来的广告预测模型，可以将用户新创建的广告的多媒体形态转成同一空间（latent space）下的embedding vector，根据自身的多媒体形态，找到过去或者相近形态的样本点，由此提高广告转化率预测的精准度。这是利好广告商的。毕竟，广告商不再需要浪费预算，去等待平台收集用户对于广告反馈的过程。
在整个广告投放的过程中，广告商的问题在于，它只有粗颗粒度的用户画像。而社交媒体拥有实时和详尽的用户反馈信息。未来，在与Generative AI相关的延迟问题，以及硬件问题，得到进一步提升解决后，广告平台就可以实时生成广告信息。广告商也不再需要为创建广告素材而烦恼，这其实也帮助广告平台，优化了广告商诉求。更重要的是，广告流程中的经济浪费，直接被降到了最低。展望未来，整个广告推送系统，也可以逐渐从一个静态的系统，转变为一个实时的、不需要排序和召回的系统。电商和广告也将被结合的更好，而不再是两个各自独立、互不关联的系统，比如实时生成最优化购买率的产品广告和购买链接。
大会上，张伟分享了大数据体系构建过程，包括ODS，DWD，DWS，ADS的数据建设思路。基于海量的数据，构建多模态大模型作为AI工作的基础。基于多模态预训练模型，加少量数据，模型可以解决对比任务、分类任务、检索任务和生成任务等。具体到特定的应用场景还可以再继续训练模型。解决数据标注以及每个任务都从底层训练模型的挑战。张伟还分享了基于多模态大模型生产任务的应用，包括文本，图像内容的智能创作，人工运营的智能辅助工作。在演讲过后的圆桌论坛环节，李江玕作为主持人，曹晟、张伟以及腾讯海外游戏算法中心主任郎君，共同讨论了当下备受关注的热门话题，包括ChatGPT问世后各自的心路历程、基于大模型的机会等。按从左到右排序：李江玕、曹晟、张伟、郎君
李江玕回忆起从去年11月ChatGPT问世后的心路历程，几位嘉宾颇有感触。
ChatGPT问世之时，曹晟处于观望的状态。当时他觉得这个技术离自己比较远，而且它是聊天的语言模型，跟Meta做的视频、音频等技术关系不大。但是过了两个月之后ChatGPT开始火爆，一下子就把大家的视野全部打开了。曹晟就开始深入其中，把Meta能够服务的ToB、ToC客户全部扫了一遍，并对标了一遍Meta能做什么，再快速地在某些方向试错。他们试错的时间只有3个月，能做就做下去，做不了就要撤，最后Meta确实摸索出了一些路线，比如视频的自动生成、游戏文案的自动生成、大规模的情报分析等。张伟则有不同的感触，他是做自然语言处理的，读博也是读自然语言处理相关专业，但ChatGPT出来后，他感觉到以前学的内容都被颠覆了。而如果直接把ChatGPT用到业务场景中，模型的精度可能还达不到业务需求。所以除了做类似ChatGPT的大模型基础服务外，把大模型迭代到各个应用场景中也还有很多工作。郎君一开始对ChatGPT的涌现能力和AGI能力也感到非常震惊，并请教了很多身边的大佬，当时大家都觉得这是几十年一遇的机会。而后来大家在实际的研发中，会发现很难在短时间内实现产品化、商业化落地，尤其是无法保证ToB方向、对安全性要求很高的产品落地。
郎君认为，虽然大模型的能力非常强，但很多时候卡脖子并不在这上面，或者说还有很多绕过模型本身的方法，能更好的提升产品应用的ROI。大家可以关注一下未来几个月内初创公司基于拿大模型做的一些产品应用，因为他们现在被赋予了整个模型可以创新的一个能力。初创公司非常能拼搏一些新的idea，他们可以更好地找到瓶颈的地方到底在哪里，这些信息我们就可以反馈到整个financial model的搭建，或者说基于financial model的商业化思考。李江玕提及当下基于大模型的机会，几位嘉宾众说纷纭。李江玕
张伟思考了两条路，第一条路是在学术界中沿着这个方向做一些基础的研究，跟政府或者是国内的一些高校合作做一些更前端的研究，类似跟机器人的结合等。第二条路是创业，基于ChatGPT做一些应用，比如数字人，这个方向有挑战，但发展得好也是一条新的商业赛道。
曹晟觉得创业还是很有机会的，在AIGC领域创业，这波还是会有很多做法。现在ChatGPT已经开放了，大家用起来也很方便，也有很多的API接入技术可以去使用，创业成本门槛已经比以前低了很多。关键是要么从需求出发延伸性地做创新，要么就是从这个应用上继续加一块砖也能产生巨大商业价值。郎君表示，企业的周期越来越短，大家可以去接受这个事实，也不用去焦虑。首先有很多机会，同时也有很多竞争对手，第三有很多是可以被颠覆，第四要看你自己也可以颠覆的东西。郎君觉得，大家只要结合这种模式，都是有机会的。圆桌结尾，李江玕发表了总结感言，这个行业还是有很多的可能性的。李江玕还特别提到，很多行业从业者讨论直播电商方面的人员投入很大，尤其是东南亚的人员效率跟中国比是有差距的，所以数字人最近在东南亚市场受到很多人的关注和讨论。至此，第七届GAIR全球人工智能与机器人大会全部日程圆满结束。多模态大模型背景下的跨境电商故事，还将继续。回顾8月14日-15日，一群时代的英雄、探险者们，齐聚第七届GAIR全球人工智能与机器人大会，为全球的科技人带来百舸争流般的思想碰撞。后续精彩请关注雷峰网，我们将演讲实录陆续整理成文。