支点 传统影像的完全颠覆XD Fusion 华为影像系统的支点

这是华为年度形象旗舰P40发布后，张文的第二次技术解读。不像之前侧重硬件，这次更侧重软件和算法机制。我之前说过，在“传感器:镜头:算法”的“1:1:1”手机成像系统中，随着硬件能力的逐渐收敛和对齐，算法成为区分手机品牌成像能力的新战场，并且正在孕育着这个比例向“1:1:2”甚至更高权重的转化。对于华为引领手机成像行业的目标来说，算法在现在和未来都显得尤为重要，这也是今年XD Fusion Image Engine诞生的原因。

温馨提示:什么是XD融合图像引擎？

XD Fusion其实是华为成像团队内部的一个代码。XD中的x表示Extreme，D表示Definition，fusion表示Fusion，合起来就是“超清晰图像引擎”。这是一个在华为讲了很多年的概念——把它放到行业里其实就是所谓的“计算摄影”。目前明确提出计算摄影概念的厂商有三家:谷歌、苹果、华为。

华为图像系统的概念

在说明XD Fusion的重要性之前，我觉得有必要回顾一下华为整个成像技术体系的发展轨迹和理念，因为只有理清这个问题，才能知道为什么今年P40系列会有IMX700，P40 Pro+会有10x光学长焦模组。

在华为的成像系统中，手机图像的开发分为:空和时间两个维度。其中，空指的是变焦，即让手机看得更远；时间意味着手机可以在全天条件下产生图像质量稳定的照片，因为在华为的成像团队看来，随着硬件和基础算法的发展，很多手机在良好的光照条件下可以拍出图像质量极佳的照片，但是一旦光线不好或者复杂，不同手机的性能就会拉大差距——我想华为之前肯定看过iPhone拍的《白天龙，夜Bug》的评测。

根据这个概念，从P9，我们可以看到这样一个发展轨迹:

P9，添加黑白传感器大大增强了手机的暗光拍摄能力，这一点我深表赞同；

P10，增加两次光模块，让手机开始看得更远；

P20，添加三重光模块，辅以IMX600定制外底组件，夜拍能力成为华为P系列手机的标志；

P30，增加5倍光模块，RYYB排列定制光敏元件，将P系列手机成像照度扩展到0.1Lux；

P40，加上10x光模块，RYYB布置的定制感光元件变大，同时扩展到其他图像模块。

回过头来看时间线，华为整个P系列的发展轨迹非常清晰，甚至可以在一定程度上回答很多人的疑问:“为什么华为一定要坚持RYYB，这种一开始似乎有些吃力不讨好的技术？”

随着技术的发展到现在，随着感光元件和镜头技术的发展，这些由拍摄空时间和时间产生的问题正在逐步得到解决。但华为成像团队之前需要解决的问题也在发生变化，或者达到参数的目标之后，需要进一步做的是更好更强，保持行业第一的地位。比如长焦体验已经完全划分为四个优化维度:一是清晰度，在所有客观指标中排名第一。从使用P40 Pro的现状来看，与P30 Pro相比进步明显；第二，色彩，这个我之前也有解读。随着8通道RGB色温传感器的加入和算法的改进，这个问题相对于之前的问题有了很大的改善；第三，稳定性，像我这种长期玩相机的人，感觉大变焦下拿相机比较容易，但是我觉得对于大多数普通消费者来说，拿长焦的稳定性不仅仅是技术的问题。问题，更容易有认知问题；四、倍数，这里主要指P40 Pro+上的10倍模块，后面会讲到。

硬件负责输入，软件负责输出

p系列经历了五代硬件的发展，其中Mate系列时不时穿插助攻，让P40一代机型获得了足够强大的图像硬件基础，比如单像素和尺寸足够大的传感器，可以看得更远并协同工作的镜头，高灵敏度的光捕捉能力，对环境色温更准确的感知，t of模块提供的光场信息，甚至在RAW域处理中加入AI直接识别拍摄对象的类型。但是对于一个完整的手机成像系统来说，它只解决了一半的问题，就是所有的这些信息都是输入的，单靠这些信息是不可能输出一张满意的照片的。面对这大量的输入信息，是软件系统，也就是算法。

其实刚才说的图像模块的硬件捕获的信息是华为整个XD Fusion图像引擎的第一个模块:硬件输入。如果说生成一张照片算做菜的话，华为的成像团队把这部分称为食材的准备，不仅需要足够的数量和品种，还存在质量问题——“西红柿炒鸡蛋好吃，但是西红柿烂了，鸡蛋臭了，厨师也没用”。这相当于再次回答为什么P40的主摄像头在大底和高像素的流派选择上确定了5000万像素和1/1.28英寸的尺寸。在华为成像团队的判断中，这是一个可以兼顾像素数量和质量的选择。同时他们也希望我们在看P40的时候，不要简单的误解华为只在硬件上下功夫。做硬件的目的不是堆砌硬件，而是为软件端操作提供良好的原材料。

接下来是XD Fusion图像引擎的第二个模块:机器视觉，中高层语义的分析、理解和分割。这里不得不提一下第一次加入Mate 10的“AI摄影师”，解决了以往图像拍摄中对客观世界的识别问题。有了AI的加入，手机的摄像头可以更像人脑，识别客观世界，识别场景，识别客观物体，比如蓝天白云，草花，猪，牛，猫，狗，识别人，包括皮肤，骨骼，五官。中高级语义的识别是将这些识别出的基本语义进行理解和切分，放入神经网络系统中进行处理。比如拍人像的时候，把人和背景分开的关键是为后期人像的进步和美化做准备。这个过程可以看作是原料的分类和初级加工——即烹饪过程中的各种“备用”。

XD Fusion的第三个模块:神经网络处理。这部分很有意思，因为一切都是模仿人脑的思维模式来完成照片信息，所以在这个模块里，有学习，有随机，有猜测...就连华为成像团队自己都说这个过程很神秘，但它的最终目的是给消费者提供一张优秀的照片。换句话说就是画质不清晰，噪点少，色彩不准确，模糊效果好，光影自然等等。我们经常看到“像素级处理”是在这个阶段进行的，最终成像是在这个阶段之后产生的。然后，一道美味的菜肴端上来了。

上述三个模块，其中协同工作的步骤和逻辑，构成了我们看到的XD Fusion方案，即XD Fusion超清晰图像引擎。当然，这只是一个大的划分。而AI-RAW算法，8色通道色温传感器+AI AWB自动白平衡算法都包含在XD Fusion中——可以称之为“技术池”，更生动，因为未来会有更多的东西放进去，会让它更强大。

说了这么多，我们也可以理解，XD Fusion图像引擎一直存在，但不是今年从天上掉下来的，也不是华为新开发的芯片。它是华为近年来在手机图像中积累的各种技术的集合，通过异构计算、多芯片协作、软件测算实现。只是今年，计算摄影逐渐成为手机成像行业公认的潮流，所以我们把它摆在了我们的面前。XD Fusion目前是华为手机中的系统级组件，主要专注于主摄像头工作，但不局限于主摄像头工作。同时，它还必须参与几乎99%的手机成像工作。每当使用后处理算法、多摄像机融合、机器视觉识别能力或图像质量的像素级优化时，就会进入XD Fusion的概念。从这个角度来说，XD Fusion比苹果的Deep Fusion更重要，它有触发条件。

那么，随着技术的发展，XD Fusion图像引擎能为消费者做吗？它存在的目的只有一个:“让普通消费者用最简单的方式拍出好照片”——这种说法近年来见得多了。那么，华为是如何认识到这个问题的呢？

在华为的成像团队看来，软件能力只是辅助，恢复摄影师的习惯和表现才是第一位的。但是软件测试的能力可以帮助消费者拍出更好的照片，得到更好的照片。就像最初的AI场景识别就是为了这个目的，然后就是AI保色的功能。今年新增了几个关键功能:AI精彩瞬间，去除路人，去除倒影，这些都是AI功能的演变。这一切都是围绕着两点进行的，这也是摄影的本质:一是了解光线，提高画质；第二，摄影是等待瞬间的艺术，现在AI的能力就是在这两个维度上提升。

所以在看似轻描淡写的“用最简单的方法拍出好照片”的目标背后，涉及到了很多操作。越简单，背后的工作越复杂。正是因为软硬件的配合，传统成像领域的定焦距概念在P40上也“模糊”了，即硬件的物理焦距和等效焦距只是变焦成像的原始素材，整个变焦焦距无缝衔接，都可以提供画质差别不大的优秀照片，这是XD Fusion打算在整个成像系统中实现和倡导的重要意义。

摘录:P40 Pro+的10x光学长焦模块

此次发布的P40系列被网友戏称为“中杯、大杯、超大杯”，而“超大杯”P40 Pro+因为全球首次搭载10x光学长焦模块而备受瞩目。它是怎么做到的？为什么后来才发布？

华为认为大功率光学长焦镜头是手机上实现变焦的最佳方式，但镜头模块的物理特性与手机的ID设计相悖。因此，华为P40 Pro+的10x光学远摄模块，在P30 Pro潜望镜镜头水平放置的远摄镜头模块和光敏器件的基础上，进一步采用全新的多反射潜望镜光路折叠技术，实现5倍反射光路，光路长度比上一代潜望镜远摄增加178%。

这个镜头模组的核心是用来折叠光路的镜头组。然而，如何避免光路失真，保证反射质量，已经成为在光反射高达四倍的过程中实现这一结果的重中之重。在生活中很多镜面反射的场景中，我们可以看到反射面上的图像变形，这是由于光路的扭曲造成的。华为相机团队最早想到借鉴芯片组装技术，但对比后发现，芯片组装技术对芯片变形的控制是10μm，无法满足该模块的光学精度要求。后来根据光学设计的模拟分析，这个模块最基本的光学规格需要达到纳米级，也就是精度要求是千分之一毛。同时，这种精度要求需要在批量生产中实现。经过多方努力和探索，镜头模组团队最终实现了高达30nm左右的装配精度，达到了10倍光学长焦模组的技术标准。

一方面可以高精度批量生产。另一方面，P40 Pro+长焦模块的对焦电机有特殊要求:可以带动多个反射面的反射镜移动，但不能干扰光路。电机只能“藏”在反射镜后面有限的空空间里，反射镜的大部分重量都挂在电机前端。在这种状态下，电机不仅需要抵抗长臂力作用下L形镜产生的大力矩，还能保持在不同的拍摄场景中，可以高精度稳定地移动镜子，提供稳定的光学性能。最后镜头模组团队采用滑槽式自动对焦电机，配合极强的磁力和精准的杠杆结构，微妙平衡了前镜的负载。同时，它还采用了优良的润滑材料，使电机能够高稳定性、高精度地移动镜子，实现自动对焦功能——这种独特的对焦电机就是该模块的专利之一。这款电机除了独特的设计和功能外，还具有使用寿命长的特点，即使经过百万次测试和极端环境测试，依然很努力。

这些技术难点不仅保证了P40 Pro+实现10倍光学长焦，还影响了它与P40/P40 Pro一起上市的时间。所以，目前我只能拿到技术分析，就提前了解一下吧，等拿到“超级杯”再一起看这个模块的表现。

写在最后

说实话，我写这个张文真的很吃力，不是因为不懂技术，而是因为整个XD Fusion图像引擎颠覆了我多年摄影曝光形成的很多概念，比如焦段的概念。想起一年前P30 Pro的“拍月亮”风起云涌，而今年，时隔一年，在华为XD Fusion图像引擎上看着这一系列技术描述，有种从大梦中醒来的感觉。“PS是对一张照片最起码的尊重”。既然我们都可以接受电脑上照片的后期处理，为什么手机做的这么好，把结果直接呈现给我们，大家一开始就不能接受呢？甚至RGGB三原色的传统捕捉都可以被RYYB+算法取代，甚至经典的RGB点阵显示都可以被QD-OLED技术颠覆，这可能是技术发展必须面对的问题。从照片到“出轨”再到照片，在现实和更美好的现实之间，我想大多数人都会选择后者。