300人研发，历时24个月！vivo自研芯片V1正式发布：能效比指数级提升，X70系列首发！
9月6日下午，vivo召开了主题为“芯之所像”的影像技术线上分享会，正式发布了vivo自主研发的首款专业影像芯片——vivo V1，全面开启手机硬件级算法时代。
同时，超高透玻璃镜片、全新镀膜工艺、蔡司自然色彩等vivo手机影像技术新成果一同亮相。通过与蔡司在影像芯片、光学器件和软件算法的全面协同合作，vivo在技术上大幅提升了夜间拍摄体验、减少眩光和鬼影，在专业人像和色彩上不断提升。
一、vivo首款自研专业影像芯片V1发布
对于全球头部的智能手机厂商来说，自研的手机芯片早已是一项不可或缺的核心竞争力。不论是在自研手机芯片上早已获得成功的苹果、三星、华为，还是仍在努力中的小米、vivo和OPPO等智能手机大厂。
从小米澎湃系列自研芯片的经验来看，对于原本在手机芯片研发上并没有太多积累的手机品牌厂商来说，贸然进行手机SoC主芯片的研发，不仅投入巨大、周期长、研发难度高，失败的风险也非常大。此前小米虽然推出了澎湃S1处理器，但是在市场上并未获得成功。
小米虽然曾在2017年成功推出自研的手机SoC芯片澎湃S1，但是这款芯片并未在市场上获得成功，时至今日，小米第二代手机SoC——澎湃S2仍是不见踪迹。或许正是由于澎湃S1的前车之鉴，也使得小米、vivo、OPPO等厂商都开始选择从难度相对较低，又能够直接提升用户极为关注的手机拍摄体验的ISP影像芯片入手。
此次vivo发布的首款自研芯片——vivo V1也正是一款专业ISP影像芯片。
为什么要做自研ISP影像芯片？
vivo影像算法总监杜元甲认为，随着手机摄影向生产力工具的演变、消费者拍摄需求的增加，手机的计算能力面临运算量大和高能耗的问题。尤其是在复杂光源的夜景以及拍摄视频时，运算量呈指数级增长，对手机的算力提出了更高的要求。但是，传统的软件解决方案，并不能很好的满足这一需求。
比如过去手机拍摄一张照片，大约需要0.5～1秒的时间，但是随着视频时代的来临，短视频的拍摄创作或者视频直播已经成为了用户对于智能手机功能的重要需求，这也对手机的影像处理能力提出了更大的挑战。比如，单单是2K@30fps视频，一秒就要处理30帧2K分辨率的图像，如果是更高的4K分辨率或更高的120fps帧率，那么对于手机处理器当中所集成的专门处理影像数据的ISP内核带来更加的严重负荷。
因此，vivo决定开发一款全定制的特殊规格的服务高速计算成像的专业影像芯片——vivo V1。在整体影像系统设计中，vivo V1可搭配不同主芯片和显示屏，起到扩充ISP高速成像算力，释放主芯片当中的ISP负载的作用，同时服务用户拍照和录像的需求，兼容兼得。
当然，vivo自研ISP芯片也并不是从零开始。vivo在之前的多代产品当中，就有引入专业芯片升级用户体验，由此也积累了大量经验。比如，在vivo X1、X Play中，vivo就将定制Hi-Fi芯片放入手机，提升手机行业的音频体验。到2017年，vivo将定制的DSP图像芯片放入到X9 Plus中，提升整个手机行业的影像HDR表现。
此次，vivo首颗自研专业影像芯片V1的研发，通过与手机SoC厂商深度合作，历时24个月，投入研发团队超300人，最终实现了自研影像芯片与主芯片软件算法协作，实现软硬结合，改善用户的影像体验。还原眼之所见、超越眼之所见。
vivo V1：高算力、低时延、低功耗
在处理器当中，CPU属于全能型选手，可以处理各种不同类型的复杂任务，但是其处理的效率则会因为任务的不同会有较大的差异。而GPU则主要是负责图形任务的处理，也适合于对于数据并行处理加速。DSP则可基于根据提供的DSP指令对特定类型的数字信号进行加速处理。
而vivo V1则是一款全定制的特殊规格的ASIC芯片，其计算能力和计算效率都直接根据特定ISP算法的需要和使用场景的需要进行定制的，所以其在处理影像任务时，相比CPU、GPU、DSP性能更高、时延更低、功耗更低，同时芯片的面积也更低。
杜元甲表示，在既定的业务下，V1既可以像CPU一样高速处理复杂运算，也可以像GPU和DSP一样，完成数据的并行处理。但不同的是，V1芯片在处理特定任务时具有高性能，低功耗的特点。面对大量的复杂运算，V1在能效比上相比DSP和CPU有指数级提升。
32MB超大缓存
为了进一步提升V1芯片单位时间内处理能力的最大化，同时发挥超低能耗优势，vivo还将将旗舰级桌面处理器的数据吞吐能力带到了手机中。
vivo创新的优化了数据在芯片内部的储存架构和高速读写电路，实现等效32MB的超大缓存，全片上储存。超越了目前旗舰级桌面电脑处理器16MB到24MB的数量级，读写速度高达35.84Gbps，做到1080P 60FPS的实时降噪插帧能力。
夜景影像效大幅提升
V1高速数据处理的针对性优化设计，让极其复杂的多个计算成像算法，在低功耗下并发实时处理变为可能。
在夜景拍摄下，要呈现清晰夜景，一方面可以提升进光量，但是这会增加噪点，另一方可以延长曝光时间，但是这又会导致视频拍摄帧率降低。而在V1的协助下，主芯片可以在低光录像时，以低功耗运行4K 30FPS的MEMC（Motion Estimate and Motion Compensation，运动预估和运动补偿）去噪和插帧算法，来实现高质量的夜景视频的拍摄。
所谓MEMC技术，可将低帧率的视频内容插帧到高帧率，比如将24FPS的视频插帧到60FPS，把60FPS的视频插帧到120FPS（根据两个相邻帧的关系，计算物体运动轨迹，反推运动矢量，计算出一张中间帧的画面，然后插入，提升视频帧率），大幅提升视频播放的流畅度。
可以说，V1极大的辅助并强化了主芯片在夜景下的影像效果，提升用户在夜景下的创作空间，配合主芯片ISP原有的降噪功能，实现二次提亮二次降噪。
实时预览：能力越强，能耗越低
在主芯片ISP强大成像能力基础上，叠加V1内计算成像算法，可以得到1+1>2的成像效果。
但提升效果并不意味着就要牺牲功耗，通过将软件算法转移至V1的专用硬件电路中，让复杂的计算成像功能不仅存在于成片中，在默认拍照和录像预览下即可开启。
在高速处理同等计算成像算法时，相比软件实现的方式，V1的专用算法硬件电路功耗降低了50%，做到能力更强，能耗更低。
杜元甲表示表示，在手机影像的道路上，vivo对极致影像的技术突破不断探索。专业影像芯片V1的亮相，是vivo芯片战略的第一步，未来vivo将会在芯片领域进行更全面的探索，针对特定场景拓展，最终实现全场景目标。
二、vivo携手蔡司，关键器件全面优化提升
人眼，是一个复杂的光学系统，而镜头作为手机的眼睛，同样也有着自己的复杂结构。vivo团队与蔡司团队根据双方在光学技术领域上的认知，把光学器件进行拆解，从光线第一个到达的保护镜片，到成像的镜头和滤光片，对每一个部件进行优化提升。
超低色散高透玻璃镜片，突破手机光学器件天花板
由于手机内部空间有限，镜头已高度集成化，因此过往行业内大部分都选择塑胶镜片，但目前，塑胶材料在光学设计优化方面已遇到瓶颈。vivo投入巨大研发成本，与蔡司团队经过多轮验证，最终克服了工艺、良品率等技术限制，在手机上实现了高规格玻璃镜片，做到高透光率、超低色散、热稳定强的效果。大幅降低了夜景拍摄时眩光鬼影的出现。
vivo光学器件总监朱盼盼表示，相较塑料镜片，玻璃镜片有着天然的低色散优势。vivo的超低色散高透玻璃镜片，实现了镜头0.9F以内，色差设计值比上代降低了70%以上，在衡量色散能力的权威指标阿贝数上，得到了突破手机镜头阿贝数值的行业最高分81.6，比肩专业相机镜片，有效解决高反差场景的紫边、伪色等问题。
△注：阿贝数是衡量色散能力的权威指标，阿贝数越高，色散越轻微，画面越纯净。
相比于塑胶，玻璃的制作工艺难度更大，工艺步骤比原先增加了11步，工序复杂，整体生产良率在前期较低，每100片中才能挑选60片良品，成本更高。
vivo为使影像达到更高纯净度，将这块高规格玻璃镜片的中心透过率提高至95%，同时在70℃高温下，镜头后焦变化量从上一代纯塑镜头的66um减小到6um，降低了91%，热稳定性更强。
在保持大光圈前提下，使镜头高度比上一代降低了2.5%，为手机节省更多空间，利于大靶面Sensor的相机模组应用。
为了让用户获得更高纯净度的影像，vivo采用超高透玻璃镜片，克服工序复杂，工艺步骤多的难点，同时采用行业先进的AOA动态光学校准工艺，通过动态调整镜头里的部件，通过实时补偿，调整镜片厚度误差和镜片偏心误差引起的清晰度降低问题。依靠这种动态调整与反馈机制，保证了最终镜头的光学品质。
多重镀膜抑制眩光鬼影，与蔡司共同树立行业高标准
自诞生以来，蔡司T*镀膜一直是蔡司的看家本领，也是高画质成像的有力保障。得益于此，vivo蔡司携手将先进的镀膜技术应用在手机镜头中，带来媲美专业相机的成像效果。
面对炫光和鬼影等行业传统难题，vivo创新引入SWC镀膜技术。从实际效果来看，未应用SWC镀膜前，反射率平均值为0.8%；应用SWC镀膜后，反射率最低降低到0.1%，下降幅度达90%，大幅改善拍照的炫光和鬼影问题，提升影像纯净度。
为了降低反射，做到蔡司T*镀膜要求，vivo独家首发ALD原子层沉积工艺，即在超高透玻璃镜片上，通过特殊化学反应，让原子一层层沉积，形成每层约0.4纳米均匀分布的膜层，进一步降低光线反射。
这是手机行业颠覆性镀膜技术，是vivo在业界的首发，到目前为止也是行业独家。这一技术让反射率直接降低50%，均值达到0.25%，中心边缘更一致，几乎无角度偏移，有效改善鬼影问题，对拍照性能有显性提升。
为了解决手机拍照的“花瓣鬼影”问题，vivo在镜头中采用色素旋涂技术。
色素旋涂技术具备红光波段吸收效果，并解决色素与蓝玻璃的附着力问题。技术难点在于整个涂层厚度只有2um左右，只要有0.5um的凹坑就会出现成像不良，经过10次以上的不同工艺参数调试，降低色素由中心向边缘扩散的速度后，最终实现量产。
色素旋涂技术的应用，对花瓣鬼影的解决有明显效果，vivo也是国内第一家应用色素旋涂技术的厂商。
三、忠实还原人眼所见，演绎蔡司自然色彩
历经3年10款机型的打磨，vivo形成了自己“鲜活”“明快”“有质感”的风格，“vivo色彩”也受到广大用户喜爱。
本次“vivo”色彩再次升级。通过大量调研，vivo联合蔡司共同研发了一款“蔡司自然色”，满足专业用户的色彩需求。
由于每个人对色彩的理解不尽相同，为此vivo携手蔡司深入探讨制定了所见即所得的真实色彩理念，选取色块更丰富的140色卡进行精细化的标准定义，选取了80个实拍场景进行实景效果验收。
同时还引入了3D色彩映射矩阵算法调教262144个参数，使色相进一步准确，饱和度处理更加精细，最终使照片色相准确度ΔE提升约15.5%，为业内领先，在较小的ΔE和仍然良好的饱和度中找到平衡。
蔡司人像风格，在手机上复刻经典
回顾蔡司175年历史，为光学系统创造了很多经典，在世界优良的光学系统中占据最大比重。vivo选择以蔡司Biotar 58/2.0和Biotar75/1.5为代表的Biotar镜头，将旋转焦外成像特点为人像拍摄赋予绝佳的“氛围感”，配合vivo在人像领域的软硬件加持，在手机上重现蔡司经典人像风格。
还原镜头成像深度——3D-POP虚化效果
通过深度计算获得图片的深度信息，并给予图像合理的虚化效果，实现镜头成像的深度还原。在计算摄影的理念之下，vivo采用了深度卷积网络，学习了28万张人像分割、10万张手势分割图片，保证焦内主体清晰，虚化过度自然
焦外物体虚化，前景到焦平面，焦平面到远景，每个镜头各不相同，都需要建立虚化模型。通过函数计算虚化程度和光斑大小，最终呈现出景深范围内清晰，景深范围外深度渐进的3D-POP虚化效果。
还原口径蚀——建立像场分布模型
口径蚀是镜头无法避免的一种现象。位于画面边缘的光斑，在通过光圈时仅有一部分光路通过，点状光斑就会在口径蚀和光圈形状的共同影响下形成不同形状，营造出镜头特殊的氛围感。
根据蔡司专业镜头的焦外像场特性，建立像场分布式散焦模糊与光斑模型，通过智能光点检测与焦外旋转拉伸形变技术，实现焦外像场的口径蚀变化，每个光斑模型都经历超过500次模拟和超过200次实拍的考验，保证蔡司镜头原汁原味。
还原每个光斑——建立滤波核生成技术模型
为了还原每一个镜头光斑的形状，vivo建立了滤波核生成技术模型，模拟所有镜头每一个光斑形状。vivo与蔡司团队将模拟效果与真实镜头效果进行对比，从细节处对模型进行调整和修正，最终在手机上准确还原出Biotar和Sonnar的镜头效果。
更多功能，实现多维度影像体验
AI人脸增强算法：突破硬件限制，补充更多面部细节，提升人像基础画质。
延时摄影功能：将行业普遍使用的视频抽帧方式改为照片序列方式，提升延时视频的动态范围、弱光拍摄能力及综合画质表现，实现一键拍摄日转夜、夜转日的惊艳效果。
Log模式：利用对数曲线，将画面内容压缩成“灰片”的视频记录格式，最大限度保存传感器的动态范围。
超级夜景RAWHDR3.0算法：RAWHDR算法是将超级夜景算法从YUV域挪到RAW域，以获得更好的亮度和影调表现，全新RAWHDR3.0算法，让处理流程更合理，对色彩调整更细致。
SuperRAW：vivo的SuperRAW融合了自研的RAWHDR多帧算法，不论大光比逆光场景还是夜景环境，均能动态抓取最多10帧图像在RAW域进行超高位融合和降噪处理，输出14bit位深的超强RAW文件，显著提升信噪比和动态范围，充分发挥手机影像的潜能。
四、引领硬件级算法时代：不给场景设限、不给人设限、不给影像设限
vivo将影像技术研发，看作系统性技术工程。就像人眼，每个人看到的画面，都是通过眼球的感光细胞将信号传输给视神经，经视神经最终传送到大脑视觉中心，经由大脑处理加工后的结果。手机也是如此，通过平台、器件、算法等各方面的共同协作，决定最后的成像品质，算法与硬件，缺一不可。通过V1芯片，引领手机影像行业的下一个时代——“硬件级算法时代”。
vivo希望通过对手机影像不断的人文思考和技术探索，为用户带来场景、人、影像的无界体验。不给场景设限，何时何地想拍就拍；不给人设限，让所有人都能拍出更好的作品；不给影像设限，让手机影像的表达更加有力、直抵人心。vivo将在技术研发上不断突破想象，在光学设计上不停追求极致，在人性化的专业影像道路上不断前行。希望手机影像为人们的创作提供更大的可能性，让每个人有机会成为艺术的创作者。
据介绍，vivo将于9月9日19点30分正式召开新品发布会，发布专业影像旗舰vivo X70系列，届时将首发搭载专业影像芯片V1。
编辑：芯智讯-浪客剑
投资88.7亿美元！中芯国际临港12吋晶圆厂签约：月产能10万片，聚焦成熟制程
毛利率不到10%，手机均价仅252元！芯片缺货涨价之下，华勤业绩压力大增
美国出手阻拦！中资收购全球第二大OLED驱动芯片企业遭遇障碍
商汤科技赴香港IPO：三年半营收近百亿，毛利率达73.0%，扣非净亏损28.98亿！
上半年净利同比暴增234.52%，它才是国内功率半导体龙头！
行业交流、合作请加微信：icsmart01
芯智讯官方交流群：221807116
Go to "Discover" > "Top Stories" > "Wow"