First理念，贴近原生系统、充分挖掘系统组件和特性，沉淀极致性能的渲染引擎/动态化引擎/原子能力集，同时与厂商深度合作，探索站内外用户触达多通道，用技术做用增；底层技术，遵循First

https://github.com/yangbodong22011/lettuce-core/commit/23bafbb9255c87ed96a6476c260b299f852ee88a[08]

👇除了红包封面还有一份假期书单送给大家趁着新年闲暇时光品一杯香茗，读一本好书最后，阿里技术提前给大家拜个年祝大家新年快乐！阖家团圆！2023

在纷繁浩杂的信息世界里，知识似乎成为了最廉价可得的事物，但知识本身的宝贵却不会因此而变。新年的钟声即将敲响，过去一年里，是否有一本书能让你沉浸其中，细细品读。阿里有这么一群人，由活跃的、优秀的、有技术鉴赏力的阿里优秀的创作者组成。他们有温度，有主张，有反馈，让更多连接发生！他们热爱读书、分享，在每个角落将技术梦想传承下去。告别2022，一起迎接2023。本期阿里技术联合内部优秀创作者为大家精选了8本假期书单，并附上了推荐人的读书笔记，其中既有专业的技术干货，也有温情的诗与烟火。挑一本，趁着假期让我们一边阅读，一边等待春暖花开。01像火箭科学家一样思考奥赞·瓦罗尔

这是阿里技术2023年的第2篇文章（

进行实时计算。需要定时分析所有设备状态产出统计报表：只需要在MaxCompute/Spark内通过SQL创建一个外表关联，即可使用MaxCompute/Spark的计算引擎对表内数据进行全量分析。✪

1月11日，达摩院2023十大科技趋势发布，生成式AI、Chiplet模块化设计封装、全新云计算体系架构等技术入选。达摩院认为，全球科技日趋显现出交叉融合发展的新态势，尤其在信息与通信技术（ICT）领域酝酿的新裂变，将为科技产业革新注入动力。颠覆性的科技突破也许百年才得一遇，持续性的迭代创新则以日进一寸的累积改变着日常生活。进入2023年，达摩院预测，基于技术迭代与产业应用的融合创新，将驱动AI、云计算、芯片等领域实现阶段跃迁。AI正在加速奔向通用人工智能。多模态预训练大模型将实现图像、文本、音频等的统一知识表示，成为人工智能基础设施；生成式AI将迎来应用大爆发，极大推动数字化内容的生产与创造。人工智能诞生数十年，人类对“通用AI”的想象从未如此具体。（图说：多模态预训练大模型将实现图文音统一知识表示）云计算始终是数字时代的技术创新中心：基于云定义的可预期网络技术，将从数据中心的局域应用走向全网推广；因云而生的云原生安全技术，则将推动平台化、智能化的新型安全体系的成形；云也在重新定义计算体系架构，从以CPU为中心的传统架构，向以囊括计算、存储、网络的CIPU为中心的体系演进。未来，由云定义的软硬一体化，将实现系统级的深度融合。芯片领域在算力需求暴涨、摩尔定律放缓的夹击下寻求突围，达摩院预测，存算一体和Chiplet模块化设计封装将有长足进展：基于SRAM、NOR

时光匆匆，2022年转瞬即过。过去一年里，阿里技术公众号重新出发，发布了53篇干货文章。感谢大家的一路关注和支持，我们梳理了2022年度阿里技术最受欢迎的20篇文章推荐给大家，也欢迎一键收藏或分享给身边有需要的人。阿里技术精选文章回顾（点击卡片查看）👇

out标准模型协议，由Model、Version、Tensor标准三元组构成，模型内部支持动态Batching特性。通过对接集团及开源社区已有的Backends低成本的实现模型预估能力。3.1

List已经发出的最新Token已经落后大于一个给定阈值的版本数，那么我们认为这个梯度过期较为严重，需要丢弃而不是参与到梯度更新中。如此，GBA既保证了实际更新梯度时的Batch

客户端工程师将如何可持续发展，非常期待与大家相聚在这场技术盛会中！下面将以「跨端技术」、「卓越工程」、「创新体验」、「语言与框架」、「网络与底层技术」的顺序为大家进行介绍。01「跨端技术」专场1.1

取得第一，并首次超越人类基准，具体技术论文发表于EMNLP2022。mPLUG核心解决了多模态融合时视觉特征序列过长导致的低效性、信息淹没的问题，提出新的跨模态融合方法skip-connected

阿里巴巴第四届质量创新大会TICA（TestInnovationConferenceofAlibaba）将于2022年12月15日正式举办。文末有惊喜彩蛋，别走开哦~本次大会将以“务实质远”为主题，开设一大主会场、五大分会场，覆盖质量、高可用、效能、智能、大数据、AIoT、数字化转型等诸多领域。本次大会新设数字化转型分会场，希望把有转型计划和在转型路上的传统企业聚集到一起，分享数字化转型经验，少走一些弯路。求真务实、追求卓越是技术人崇尚的工程意识和态度，希望通过本次大会的举办，为业界同仁搭建一个交流平台，给业界的研发效能和测试效能带来正向的影响，让我们协手同行，务实致远！01主会场创新是TICA的主基调，在阿里巴巴的质量技术发展历史上，涌现了一批以全链路压测为代表的质量创新成果。在社会朝数字化、智能化迈进的时代背景下，互联网与各个产业深度融合，质量领域面临新的机遇和挑战，这需要我们质量技术人不断地探索和创新，提升服务和效能，实现客户价值的创造。02IOT&端智能分会场随着人工智能、大数据等技术的不断发展，智能行业的发展高潮也逐渐来临，但智能设备的多样化和智能场景的复杂化都给质量保障带来了巨大挑战。在本次分会场中，希望通过技术专家的分享能为大家带来启发。03大数据&智能化分会场近些年来，大数据作为新兴名词走进了大众视野，随着人工智能(AI)的兴起，大数据将无处不在地出现在所有的技术部门。它们对IT互联网产业和软件测试产业发展产生巨大的推动作用。04高可用分会场随着数字化、互联网、云计算等技术的快速发展和普及，各行业越来越以更信息化的形态服务大众，信息化系统已经越来越深入到我们生活的方方面面。但实际现实中，会由于自然灾害、电力中断、网络故障等“黑天鹅”事件引起的系统容灾场景，还会面临由于人为疏漏、系统复杂度增加、架构劣化等带来的“灰犀牛”故障事件。在这些充满着不确定性的现实场景中，需要架构体系框架来指导我们通过技术手段建立起具有高度确定性和稳定性的业务系统。TICA2022高可用专场就带来架构理论、技术方法，尝试构建起一个全面的高可用及容灾架构体系模型，串联起相关领域的技术理论方法，形成一个能够对云上业务连续性建设产生有效指导作用的架构模型体系。05工程效能分会场工程效能相关专场，如研发可观察性、流水线效率、研发提效实践、为质量而设计、研发瓶颈分析、工程方法等等，通过讨论在研发和测试过程中遇到的工程化问题，总结和归纳出适合本产品形态的一些工程效能方面的建设原则和最佳实践探索。06数字化转型分会场在全球数字经济的大浪潮下，开展数字化转型，已成为企业适应数字经济，谋求生存发展的必由之路。利用数字化技术服务企业转型升级，从而在市场竞争中可以得到长足的发展，本届大会专门设立数字化转型专场，分享相关数字化转型工程、技术、质量相关话题。一大主会场、五大分会场众多业界大咖倾囊相12月15日，欢迎锁定优酷视频直播一起加入我们！END转发本文到朋友圈并获得28个赞发送

智能跨端管控能力关键问题：拆解数据后发现，站外直接唤端占比少；而站内跨端无智能化管控，百万曝光散乱无序，精细化程度低。解决方案：扩大已装机用户的隐式唤醒：通过数据分析完善APP

技术，几乎覆盖了从理解到生成等各方面。因视觉技术任务众多，我们需要有一个相对合理的分类方法，可以从模态、对象、功能、场景等几个维度来分：魔搭社区首批开放了主要的视觉任务模型，这些模型即有学术创新的

等）路由到某一个分区上，如果存在热点访问，就会造成这一个分区的访问拥塞。处理热点有很多方案，比如二级散列，这种方案对于热点的读写可以做进一步拆分的场景是有用的，比如现在我们有一个卖家订单表，然后卖家

LLC及内存带宽隔离混部场景下，同一台机器上部署不同类型的工作负载，这些工作负载会在硬件更底层的维度发生频繁的资源竞争。因此如果竞争冲突严重时，无法保障工作负载的服务质量。Koordinator

回包路程原理一模一样，例如目的ECS的路由表项，和源ECS非常类似，也是通过默认路由发给.253的地址。然后一路返回同样采用Overlay技术封装，由本物理机地址直接发送到源物理机地址。2.3

业务介绍饿了么app上使用的用户收货地址是二段式地址：第一段为搜索选定的地址（选定后会关联经纬度和城市信息），第二段为门牌号；这个两段式地址解析和经纬度绑定过程中，会使用到地图技术的NGC（new

降低交易链路的延时如前面所述，完整的交易下单需要进行跨单元库存的扣减，会增加整个交易下单的RT，而减库存是强依赖，必须同步调用，所以减库存的RT很难被优化，如果是批量下单的RT会更明显。3.4

9月2日，在上海举办的世界人工智能大会上，阿里巴巴集团宣布成立科技伦理治理委员会，并引入7位外部顾问委员，强化三方监督。委员会提出“以人为本、普惠正直、安全可靠、隐私保护、可信可控、开放共治”六大科技伦理准则，重点推动算法治理、隐私保护、伦理制度建设等工作，探索相关前沿技术，提升公司整体科技自省和自律的水平。“科技伦理治理委员会要做技术创新的守门人，以人为本，以社会价值为导向，以伦理道德为边界，构建科技企业社会责任。”阿里巴巴首席技术官、阿里集团科技伦理治理委员会主席程立表示，数字经济时代的科技企业需要谨慎对待自身技术能力及影响力，对科技创新的边界时刻保持警醒。程立说，阿里巴巴成立科技伦理治理委员会，旨在让每一位阿里技术人践行“好科技”的目标，推动公司治理体系升级，促进ESG战略落地。图：阿里巴巴科技伦理治理六大准则委员会主要职责是建立并持续完善阿里巴巴科技伦理治理体系，包括核心准则、伦理规范、审查评估机制等。委员会还将积极推广负责任的创新案例，提升技术人员的伦理意识，促进阿里的技术在可用、可靠、可信、可控的体系中可持续发展。在治理方法上，委员会将按照分类分级管理、个案专家研判、类案参照治理、不断校验迭代的方式，让更多参与者加入到科技伦理治理中，及时识别风险、进行有效管控，在实践中优化治理，以适应技术发展与外部环境变化。在行动上，委员会重点着手风险能力建设和技术能力建设。风险能力建设，包括建设算法评估、风险检测、干预机制的全生命周期风险管理流程，以及技术安全性、鲁棒性、公平性、可解释与可干预性等科技伦理审查和治理工具。技术能力建设，包括增加在隐私保护、安全可靠、可信可控等关键方向前沿技术的布局和探索。据介绍，阿里已经围绕用户隐私保护、算法治理等重点议题展开具体行动。根据《个人信息保护法》的要求，阿里在集团各业务组织设置了专门的个人信息保护负责人，全面贯彻落实“数据采集最小必要原则”、“用户知情和决定权最大化”，以及“全方位安全保障能力最强化”三个方向，来规范全生命周期中的隐私保护和数据安全。比如，今年淘宝推出“隐私号码保护”服务，针对开通服务的用户，在交易过程中，淘宝将全程对消费者的真实手机号码予以隐藏，商家、物流服务商均通过“虚拟号”联系消费者，最大限度保障个人隐私不被泄露。算法治理方面，阿里积极响应《互联网信息服务推荐管理规定》，制定了一系列管理规范，着重推动算法公平和透明。以商品搜索算法为例，强调加入打散设计，以提升搜索结果的多样性；加强对新商家的扶持，以营造更公平的电商环境。重要算法上线或更新前，都将进行内部评估，确定合规且符合伦理才能上线。阿里巴巴集团科技伦理治理委员会由阿里巴巴集团首席技术官程立领导，其核心成员分别来自阿里研究院、达摩院、法务合规、阿里人工智能治理与可持续发展研究中心以及相关业务板块，下设多个具体工作小组。同时，委员会还引入了外部视角和监督，聘请七位来自科技、法律、公共管理、哲学等领域的专家组成独立的顾问委员会，为规则制定和伦理审查提供咨询建议，采取多元协同治理机制，实现自律和他律的结合。“我们希望与越来越多的学界、业界参与者们一起，积极推进科技伦理治理。通过多方协同合作，打造负责任、可持续的科技，建立敏捷和开放的治理机制，探索企业自律、行业共治与监管规范相结合的解决方案。”程立表示。图：阿里巴巴科技伦理治理顾问委员会成员会上，阿里巴巴还联合中国信通院共同发布《人工智能治理与可持续发展实践白皮书》，针对当前人工智能应用中的热点问题，从数据、技术、管理及协同治理等方面，系统性地介绍了阿里在数据安全和隐私保护、消费者权益和公平、未成年人保护等重要方向的行动实践。图：《人工智能治理与可持续发展实践白皮书》关注阿里技术，回复「

Adaptation示例具体地说，wRAN框架利用关系判别器来区分来自不同关系的样本，并以此学习从源关系到目标关系易于迁移的关系不变性特征，主要包含三个模块（图4）：1）实例编码器（Instance

回看过去四十多年的软件历史，开源已经成为基础软件的重要创新源头，并在云的时代，开创了新的软件开发模式和商业模式。2022年8月7日InfoQ最新发布的《中国开源发展研究分析2022》研究报告显示，企业贡献Top10榜单阿里巴巴再次名列第一，其中阿里11大开源项目上榜中国开源项目top30榜单，超过榜单总数1/3。面对快速变化的世界，开源领域又涌现了哪些新的技术和发展模式？在操作系统、数据库、云原生、大数据、终端领域，开源社区建设又有哪些新的进展和创新实践......欢迎来阿里巴巴开源开放周寻找答案1场主论坛、5大分论坛8.22-8.24阿里技术公众号全程在线直播（提前关注，锁定精彩分享）40+开源领域大咖&资深技术专家与你线上相约前瞻开源趋势和未来探索开源领域最佳实践和新机遇对话云与开源的更多可能聚焦操作系统、数据库、云原生大数据智能和终端技术五大关键领域30+精彩议题，40+全球行业大咖720分钟

7月28日，阿里巴巴集团首席技术官程立在2022开放原子全球开源峰会上发表了题为“共建共享数字世界的根”的主题演讲，以下为演讲全文。回看过去四十多年的软件历史，开源已经从一个小众的爱好者行为变成了基础软件的源头，并在云的时代，开创了新的软件开发模式和商业模式。云和开源，已然共同成为数字世界的根。这个根需要政府和企业、需要我们大家一起来共建和共享。01开源是基础软件的源开源是基础软件的源开源应该是基础软件的源头活水。数字世界的基础软件，应该建立在开源之上，需要全行业共建、共享。首先，以开源的方式，可以汇聚全球最先进的技术，协同全球最优秀的人才，通过最大规模群体智慧共同参与和协作，能让基础软件面向最广泛的需求不断创新；其次，开源与专有组件不是非此即彼的关系，它们共同构成的生态系统，为最广泛的开发者提供了敏捷软件研发的大中台；再次，开源从根本上实现了在基础软件层的共享与共通，避免数字世界的孤岛化；最后，开源赋予用户选择权和审查权，确保开源代码安全可控，供全人类共同拥有。阿里巴巴开源历程正是认识到开源是基础软件的源头活水，阿里积极参与到开源中。阿里的开源经历了使用、贡献、开拓三个阶段。阿里在创业早期，就大量使用开源软件，阿里技术的发展，根植于开源的沃土中，我们非常感谢开源社区的帮助。当我们具备一定的能力，尤其是大规模互联网系统和云的研发中开始积累越来越多的技术经验、解决越来越多新的问题之后，我们也积极地将自己的实践以开源软件的形态，回馈到社区。这里面也包含一些目前大家可能经常使用的软件，比如Apache

Robust-Vision-Transformerhttps://github.com/vtddggg/Robust-Vision-Transformer[05]

Detection）。新颖点检测假设训练数据中不包含异常值，即通过学习历史数据，使模型学习“正常数据”的特征及其分布，并且以此检测新数据是否符合“正常数据”的特征。例如在One-Class

JSON）的工作是将没有层级结构的、绝对定位的JSON描述经过布局分析转换成有层级结构、相对定位的JSON描述，主要包括：父子节点包含关系，DOM层级结构兄弟节点间距，padding、margin

数据合规要求与部署架构根据个人数据封闭范围，跨境业务一般分为区域化架构方案、隐私数据封闭方案和个人数据封闭方案三种。本对本业务则采用独立单元封闭方案。业务模式方案数据范围跨境业务1.

调度系统的优化就索引使用的场景而言，并非所有Push都应该触发索引构建任务。所以我们可以通过优化任务的过滤通道、支持任务的fast-failed、更高效的基线查询策略，以此来提升全局的构建性能。⍟

发现问题故障定级经常会讲提前发现，如果能够提前发现故障，不仅能降低或者避免因故障带来的损失，也能将故障等级缩小。那么，如何主动发现由变更产生的问题？这一部分则要依赖稳定性建设时比较重要的一环

昨日，阿里巴巴集团发布2022财年四季度及全年业绩。阿里巴巴集团首席财务官徐宏披露：“过去一财年，阿里巴巴技术相关成本费用超过1200亿元人民币，这将持续增强阿里云在中国云市场的领先地位，支撑我们面向消费者业务的先进技术需求，并推进对下一代技术的探索。”阿里巴巴集团董事会主席兼首席执行官张勇表示：“多年来，阿里巴巴集团一直致力于高质量增长。高质量增长的关键一点，是通过高质量的科技创新，开发和利用云计算的广阔潜力。”目前，阿里巴巴在全球设立了七个研究中心，布局超过16个底层技术领域，向全社会开源技术项目超3000个，累计在战略性新兴产业获全球发明专利授权超1万件；近三年，阿里巴巴专利投入中超60%集中于云计算、人工智能、芯片等硬核科技领域，其中云计算领域专利授权量年增长率超过50%。以阿里云为底座，阿里巴巴依靠技术驱动的第二引擎逐渐形成。阿里云市场份额连续六年上涨，稳固了云计算世界前三、亚太第一云站位，计算、存储、网络、安全四项IaaS基础设施能力领跑全球云厂商；达摩院实现了前沿企业研究院的建制，成为阿里巴巴技术与人才高地，并与国内外140多个高校院所构建起学术合作网络平头哥攻克5nm高性能通用CPU芯片研发，完成关键跨越，跻身中国一流芯片公司阵营。张勇表示，作为平台经济的代表企业之一，阿里巴巴致力于通过科技创新和商业创新的结合，服务国家的高质量发展，服务消费者对美好生活的追求，服务产业的数字化变革。

DataFrame分别对业务逻辑执行过程和数据加工过程做加速，加速带来服务RT降低和吞吐量提升，意味着用户可以上更复杂的模型、加更多路的召回，同时节省更多的机器资源。2.1

Block中基本都存在一些UpSampling，所以通过引入相位谱检测，可以在Deepfake的跨库检测上取得相当不错的性能。由阿里巴巴与中国科技大学联合研发的该项技术（《Spatial-Phase

作者：黄非、孙健、李永彬、张佶、戴音培、余海洋、耿瑞莹、高星、严明01人机对话概况提起人机对话这个词，你可能会感到困惑，但说起人机对话技术的应用和体验，你绝对不会陌生。比如以Siri为代表的手机语音助手、智能音箱、车载对话机器人等类似的消费级硬件对话交互，这种以语音为基础的对话形式使人机交互更加方便快捷；另一类场景是服务场景的对话机器人，比如用户在周末/晚上时间给客服打电话时，首先接听用户电话的大概率是一个对话机器人，该类机器人主要应用在客服、泛交互等服务场景。简单来讲，人机对话就是指让机器能够理解人类的自然语言并能够与人进行相应对话交互的智能系统。从人工智能研究初期开始，人们就致力于开发高度智能化的人机对话系统。通常意义上的人机对话在技术框架上主要包括5个子系统，如下图所示：根据人机对话所讨论的领域开放程度，可以分为开放域的人机对话和垂直领域的人机对话；根据人机对话有无明确目标可以分为聊天（无特定目标）和有目标导向的对话（goal-oriented

商业和组织系列推荐人：鲁肃阿里巴巴集团CTO推荐理由：十年前我从专业走上管理岗位时，给自己找了几位书本上的导师，其中一位就是稻盛和夫先生。他的《活法》、《干法》教会我第一个成功公式：人生与工作的结果

p174）说到组合复用，再结合产品要的配置，以及我需要的柔性设计，那么把以前所有的改变状态的代码，都组织为命令对象，让命令返回修改后的单据的编辑稿版本(Value

服务一个人的系统，和服务一亿人的系统，复杂度有着天壤之别。本文从工程师文化、组织战略、公司内部协作等角度来分析软件复杂度形成的原因，并提出了一些切实可落地的解法。01何为研发效能？当我们谈研发效能的时候，我们在谈些什么？这个议题被抛出来，有人讨论，是因为存在问题，问题就在于实际的研发效率，已经远低于预期了。企业初创的时候，一个想法从形成到上线，一个人花两个小时就完成了，而当企业发展到数千人的时候，类似事情的执行，往往需要多个团队，花费好几周才能完成。这便造成了鲜明的对比，而这一对比产生的印象，对于没有深入理解软件工程的人来说，显得难以理解，可又往往无计可施。细心的读者会留意到，前文我既用了“效能”一词，也用了“效率”一词。这是为了做严谨的区分，效能往往是用来衡量产品的经济绩效，而效率仅仅是指提升业务响应能力，提高吞吐，降低成本。这里的定义引用了乔梁的《如何构建高效能研发团队》课程材料，本文并不讨论产品开发方法，因此后面的关注都在“效率”上。本世纪

AI开放平台，探索让技术能力赋能更多行业，同时反推技术前行，推动AI的可持续发展。本文以阿里云视觉智能开放平台为例，讲述AI平台的定位、架构、实现、运营及进化。01阿里视觉AI简介视觉技术作为AI技术的主要组成部分，在大量业务场景（电商零售、金融物流、文娱营销、企业服务等多个行业）贡献了各类技术创新与应用实践。同时，达摩院作为阿里集团先进技术的集中探索研发基地，沉淀了很多优秀的视觉算法能力，分布在如下各个场景和环节当中：这些产品技术，几乎覆盖了视觉技术的方方面面：如何寻找一个合适的方式，来释放这内在汇聚的能力和能量，赋能百行千业，同时反推技术前行，由内而外，由Close走向Open，不管是从技术发展角度，还是从社会价值角度，都有很大价值。本文主要基于近年的探索实践，来阐述阿里视觉AI的开放及平台之路。02视觉AI的平台化当前AI技术进展很大，但离社会预期，满足现实需求，有很大的距离。这个矛盾可以抽象一下，即：客户多样化的AI需求与有限的AI能力供给之间的矛盾。需求是无限的，以有限的资源去支持自然不可能，再加上AI能力的特殊性（有一定研发和运行门槛、效果有一定不确定性），即便是汇聚了阿里所有的AI能力和力量，也只能提供部分核心能力和典型案例。供需GAP，通过提供工具服务去缩短这个差距是一个路径，如下图。所以，如果真的有一个相对通用的AI平台(公有、专有AI能力各有适合发挥的场所，这里先行探讨基于公有云的AI开放平台)那么它的核心价值无外乎两点：提供核心AI能力和典型案例；缩短供给与需求GAP的工具。来看如何建设AI“供给”和“需求”最短路径：有的用：提供满足视觉基本面的多样、标准化的能力，完善的能力供应链和匹配体系，一站式、最大程度满足用户的主流AI需求；易用：提供全生命周期的能力体验和使用流程，稳定高效的平台基础设施支撑，实现快速接入、低门槛、稳定的使用；用得起：通过单能力极致优化，多能力系统优化，降低平台成本；通过定额免费满足中小AI需求，获得低成本的使用能力，实现较高ROI；好用：提供实用专业的能力，AI从行业中来，提炼沉淀，并通过系统化的方式反哺行业。一个成功的可持续的平台，对所有参与者都应该能找到其所需要的。平台体系一般有三个重要干系人，需求方（AI开发者或高校师生）、供给方（算法能力提供者，如达摩院算法工程师）及平台本身，平台需要同时考虑供需的需求和价值体现。AI需求、场景的多样化，和方法、数据、资源的有限之间的矛盾，可以基于部分核心AI能力，通过市场化机制、系统化的手段，更高效地减轻。这里有两个核心点：部分已有的AI能力，冷/初始启动，解决可标准化、有一定通用性的问题；系统化的机制，形成快速适应、规模效应、反馈闭环、多维度的在线进化体系。03阿里视觉智能开放平台作为阿里巴巴视觉技术小组发起的，阿里云视觉智能开放平台（vision.aliyun.com），正是在上述思考下的研发并上线的产品，其上线以来，一步一个脚印，已迭代三个大版本：借阿里视觉小组力量团结了多达数十个团队支持，整合或引入了阿里云上多个产品的能力，也支持了集团内外多个业务方。视觉开放平台自一上线起，就确认了自己的愿景：让天下没有难用的视觉AI，这也是平台发展的出发点和准绳，从中形成了“全面、专业、好用、易用”等平台特点：从构架上说，视觉开放平台是一个多层次多维度的体系，基本可分为三层，基础层、能力层、应用层，还有一些用户和运营工具。作为一个平台，每一层都需要非常大的研发和尽力投入，要有大且持续的资源投入，面对层出不穷的困难的心气，耐得住寂寞的心态。为了更好地理解，可以用另一个更简洁的方式来描述：这里将平台三层分别介绍一下：1.基础平台首先，视觉AI开放平台是一个平台，作为基于云的AI产品，资源管理（以GPU为主）、推理平台、稳定性保障、监控跟踪、成本效率提升，这些一个都逃不掉。这些服务于平台第一要性（在线AI能力上线及运行）。最重要的可以抽象成AI能力的（非研发生产）全链路的生命周期管理，包括：规划-->选品-->评测-->上新-->运行-->监控-->更新-->下线等。其中需要强调的是评测这一块，算法质量的保证（上与不上）需要有一个标准可衡量的评测机制，这也是将AI算法不确定性变为确定的一个方法，包括横向同类能力PK，纵向与已有能力PK，并得到一个规范的评测报告。此外满足第二特性（缩短供求的在线效率工具）主要依赖于"能力再生产"模块，这里稍微展开一下，除了拿来即用的（能力或案例模板），需要进行二次或多次开发的能力，都归于再生产或再开发，一般有三种模式：组合编排：这是对原子能力的重新组合，变成能力簇，可称为分子能力，这类可以是代码开发，也可以是所谓“低代码”图形的方式组合。组合可以是简单的串并联，也可以是稍微复杂的DAG图，甚至是多层次嵌套的类似G语言的全套图形开发方式（如LabView）；对已有原子能力（一般表现为预训练模型）的再生产：这里指用户通过平台工具在线进行（离线的或脱离开放平台的不在讨论范围内），包括：模型结构、参数权重调整、量化加速、大模型到小模型、少样本tune/不同域数据场景的迁移等；AI能力的在线迭代进化，这在互联网经典能力“搜推广”中得到广泛应用，在AI平台中还未有成熟的模式，在线学习、增量学习等，这些互联网算法进化模式，在解决数据安全、隐私等问题后，相信迟早在视觉AI领域也会得到应用的。Q：和PAI有什么关系？A：PAI可以理解成一系列基础设施和工具，我们基于开放平台的产品定位，引入PAI的能力来进行视觉AI能力的再生产实现。一句话，PAI是我们的基础和工具。2.能力中心视觉开放平台首先是一个能力中心，目前汇聚了集团大部分的视觉AI能力（达摩院能力为主），共计15大类200+个，如下：回到前面视觉技术的分类体系，我们会发现这里基本都有一一对应的类目，也从另外一个角度反映了开放平台确实是阿里视觉领域第一个真正意义上全类目覆盖的平台。能力虽多，但基本上可以组织成三大类，基本面能力、优势能力、行业应用类能力。基本面能力：包括人脸人体、OCR、检测、打标等，这些AI能力应用广泛，平台必须要有，在性能上至少不能成为明显的短板，不然就是一个小众的AI平台；优势能力：基于阿里自有场景锤炼的、具有一定技术优势、差异化的AI能力，以此建立平台能力竞争力，如分割、关键点、超分、商品识别等，这些优势能力本身也可能是基本面能力；行业应用能力：平台首先提供的是一些相对通用的AI能力，更多是泛互联网领域的。但另外一些场景需要的（如海外场景、增强修图、人身检验等），或者行业属性重的能力（如医疗、教育等），也是非常有价值的。这也体现了本平台的通用性和开放性。这些能力的选择（选品）本身也需要有一个策略，这里Voronoi量化腔又可以派上用场了，在无限的模拟空间选择合理的可量化的代表点，这个选择可以从需求大小、自有能力优势等多维度去衡量，也需要考虑适合公共云的特性，以及考虑能力再生产的价值（比如某些能力可以采用大模型/预训练模型，以方便后续小模型生产）。3.场景应用从平台定位看，平台需要提供一些典型的AI解决方案。从发展阶段看，平台在面临冷启动的阶段，没有规模化的用户的时候，可以把研发团队自己作为一个特殊的客户，自己先吃狗粮，看自己能否基于平台构建一些典型案例，如老片修复、人身核验、云修图等。开放平台本身是PaaS（AIaaS）层的，基于此可以构建SaaS层的应用示例，让用户参考，或者拿来复制改造。这里举几个例子，来验证基于平台快速构建应用的案例：1）口罩佩戴监测这个案例来自于2020年新冠爆发期间，由于需求迫切，希望能够快速实施上线，对未佩戴口罩人员的实时提醒，以及管理人员现场管理辅助，疫情防控指挥中心也能及时掌握各公共场所口罩佩戴预防措施的落实情况，提高管理决策精准度。解决思路是，结合开放平台提供的人脸识别、人脸口罩识别，以及钉钉小程序提醒、天猫精灵语音播报技术，打造口罩佩戴检测及统计预警系统。当时在一个月紧密开发后，达到实际部署要求，安装难度低，普通部署监控的工人即可操作，物业自有人员也可以部署；部署周期短，普通安装监控的工人，大约1小时部署一台设备。2）视频广告植入视频植入就是在视频中加入一些本来没有的内容，而且与上下文融为一体，用户感觉“它”本身就应该在那，最广泛的应用就是广告植入。视频植入是一项非常复杂的技术，需要考虑到方方面面，比如广告位检测、广告位跟踪等等，有时会遇到遮挡、移出屏幕等复杂情况跟踪，而且在视频植入之后还要考虑广告是否能够跟视频细节匹配、光影渲染等问题。解决思路：基于开放平台提供的精确分割，结合广告位检测、识别跟踪、视频分割、植入及渲染能力，打造全自动的视频广告检测与植入系统，可以实现批量化投放，结合场景化的广告植入，最大化内容价值。3）