ODC20技术能力开放专场丨全新七大系统能力开放引擎亮相
在2020 OPPO开发者大会上,备受业内关注的 ColorOS 11正式迎来发布,秉承「创造无边界」的理念,将为用户带来更加丰富精彩、多端互融、安全便捷的全场景体验。
OPPO ColorOS 设计总监陈希在主会场上表示,OPPO 系统能力开放引擎进一步扩大到七个,增加 AIUnit 与 FusionUnit,帮助开发者在移动端部署 AI 算法,实现手机与其他设备快速、稳定、低延时协同,在智能化、多设备、多场景等方面,将 OPPO 的系统能力全面开放,与开发者一同带给用户更好的创新体验。
在技术能力开放专场上,OPPO 进一步向开发者讲述了全新 AIUnit 与 FusionUnit 两大系统能力开放引擎,同时全新升级的 Hyper Boost、CameraUnit 与 MediaUnit 也正式与开发者见面。
01
AIUnit应用无限可能
AI技术全面助力开发者
为了给应用开发者和 AI 算法开发的研究人员提供更好的支持,OPPO 进行了 AI 能力的开放。目前,OPPO AI 开放能力主要包含 AIUnit 算法引擎和 AI Boost 模型推理加速框架。通过AIUnit 来帮助应用开发者更好地开发 AI 功能,而 AI Boost 可以帮助算法开发者部署算法到移动端侧。
AIUnit 引擎能力提供了视觉算法、视频算法、音频算法、感知算法四大方向的能力建设,能够向应用开发者提供人工智能算法 API,使应用开发者高效地编写用于在移动设备上运行的 AI 应用程序。目前,AIUnit 已经使用在 ColorOS 的相册、视频编辑、音频、感知方面等相关应用中,如系统相册的老照片修复、人脸聚类能力、视频增强能力、铃声编辑能力等。
而 AI Boost 作为面向移动端的 AI 模型加速框架,借助 OPPO 终端强大的硬件计算资源,帮助 AI 算法研究者将算法模型快速部署到 OPPO 终端设备上,最大限度地提供端侧 AI 加速能力。在 ETH 瑞士苏黎世大学 AI Benchmark 的评测平台上,借助 AI Boost,平台效能可提升 23-33%,在高通和 MTK 同芯片平台的产品中都优化达到了业界最佳表现,对标准的模型效能也提升了 30% 左右。
02
FusionUnit 智能互联能力
开启多端融合新场景
随着科技的飞速进步,用户身边的智能设备日益丰富,但繁杂的设备也让用户需要花费更多的时间去了解、配置以及使用。针对用户在多设备使用的场景下,如何能够优化这些设备的管理、协同和联动,FusionUnit提供了一整套的解决方案。
FusionUnit 应用重定向技术让用户在系统或者应用界面中,可以将当前屏幕或者某个应用界面共享给周边或者远程好友,实现多人同看视频或者好友观战等功能。同时,用户还可以为接收方赋予控制权限,允许对方使用此应用,并且在此过程中双方手机均可以离开当前页面。在支持设备上,未来将会覆盖手机、PC、电视等终端。
通过 FusionUnit 数据融合 SDK,多端设备可以实现便捷的应用级数据共享。例如,通过手机上的相册应用可以访问同 Wi-Fi 下其它所属设备上的照片文件,并且提供统一检索、传输能力,实现近场多设备数据一致,让用户可从任意一端进行统一资源管理。开发者借助FusionUnit,即可实现应用跨端接续的能力,保证用户在多端使用时的无缝感。
同时 FusionUnit 支持跨计算资源、跨设备算力的增强,可同时调动起CPU / GPU / NPU / DSP 等计算单元进行运算加速。在 AI 相关的实时视频流解析、离线视频处理等任务中,可大幅提高 AI 计算能力和应用帧率,实现端内多芯片计算协同。
03
Hyper Boost系统加速引擎
保障应用高速流畅运行
Hyper Boost 致力于为用户带来流畅顺滑的使用体验,在此次大会中,Hyper Boost 带来更多技术革新,增加了GPU加速、DDR加速、大核绑定、温控回调、4D振感等能力,让开发者在优化过程中能够根据具体应用场景来选择对应的能力。
目前,微信、QQ、淘宝、抖音、王者荣耀等头部应用和游戏均已接入 Hyper Boost系统加速引擎,国内市场日均调用次数超过2亿次,除此之外,Hyper Boost也积极走向海外,海外的开发者可非常简单地获取该能力,助力应用的流畅运行。
在开发适配方面,Hyper Boost 已由系统组件变为应用组件,让广大开发者升级调优更便捷。同时,Hyper Boost 还引入了云端配置管控功能,仅需在云端进行轻量化的适配工作,开发者便可以完成接入工作。
04
CameraUnit 与 MediaUnit
全面开放系统级影像与多媒体能力
CameraUnit作为OPPO影像能力的开放接口,可消除系统相机能力与三方应用之间的隔阂,将OPPO相机系统强大能力提供给三方使用。通过简单的API接口调用,三方应用可实现双摄同开、视频HDR、超级防抖、超广角、超级夜景等特性,实现与OPPO相机同样的拍摄效果,为用户带来丰富的相机能力以及优质的拍摄体验。
当前抖音、快手等三方应用已经接入了CameraUnit的超级防抖和超广角能力,接入后可利用系统原生的多源传感器信息融合和防抖场景智能分析,让用户使用三方应用拍摄视频时也实现超级防抖,在户外场景下拍出取景更大、内容更多、降噪明显 的视频成片,为5G时代年轻用户提供更多视频创作空间。
除此之外,OPPO智能相册支持用户在使用时根据时间、地点、人物、模糊词等标签,快速找到想要的图片,当前智能相册能力可覆盖超过80个场景。同时,相册的智能选图推荐服务可帮助用户根据时间节日、地点图集、精彩回忆等类别进行相册分类,大大提升用户体验。
值得一提的是,包含这么多种丰富功能的CameraUnit仅20KB大小,三方应用只需要进行简单配置对应的能力参数即可完成接入。
MediaUnit 支持将硬件级的低时延耳返能力开放给开发者,让用户可以自主调节音色、节奏、音准等各种参数,获得听唱同步的优质 K 歌体验。此外,针对直播、视频通话等场景,由于人们关注的往往是人的脸部表情和手部动作,通过提高这些区域的清晰度,可以有效的提高用户主观观看效果。凭借MediaUnit开放的ROI编码功能,开发者可以控制视频重点关注区域的码率分配情况, 弱化背景信息,在节约带宽的同时提升视频整体感官体验。
OPPO 一直致力于和全球开发者及厂商合作,促进软硬件生态融合,提升消费者使用体验。截至目前,ColorOS 整合系统能力数达到27个,拥有超过 100 家三方合作伙伴,日均接口调用次数达到3亿。未来,OPPO 也将不断提升系统轻快流畅的使用体验,同时持续开放系统能力,与更多开发者和用户共享技术开放带来的便利。
融合共创,打造多终端、跨场景的智能化生活
速览!2020 OPPO开发者大会精彩观点合集