像素大战的背后 高通骁龙865如何影响手机摄影？
如今的智能手机拍摄，像素数被一再提及：多款机型早已搭载1亿800万像素的影像传感器，开始调教大底的成像；相关专利的曝光也在提醒着消费者，两亿像素的传感器已经在研发中……
图片来源：Pingwest
更不用说被广泛采用的48MP和64MP传感器，似乎智能手机在用像素数量的堆砌宣示对于传统相机的颠覆。同时伴随着多摄系统的引入，手机在长焦端的实用性大幅提升；多颗摄像头的变焦接力与镜头切换让高像素发挥出效用。
当人们渐渐不再讨论手机能否超越相机的时候，手机成像却发生了翻天覆地的变化。原因就是CMOS尺寸有了巨大提升，客观上高像素具备成像细节层面无可比拟的优势；其次就是软件算法（包括夜景模式）乃至算法的载体硬件从根本上来说，变得不一样了。
驱动高像素的强力引擎——高通骁龙865
其实一亿像素最早出现在小米CC9 Pro系列上，彼时这款试验性质的高像素机型搭载的SoC还是高通骁龙730G，作为处理亿级像素运算量的核心，中端定位的SoC多少有些力不能及。所以不少用户反馈在一亿像素成像直出时，小米CC9 Pro会有转圈的图像处理过程。
而之后推出的三星S20 Ultra以及小米10系列，都鲜有类似的情况发生。并且即使搭载规格相近的主摄硬件模组，一亿像素“后来者”的成像素质都明显更好。从中不难得出结论，处理器的升级使得成像体验发生变化。
秘密就记录在骁龙865 5G移动平台的描述中：
与成像质量关联最大的部分为全新的Spectra 480 ISP，负责完成对感光元件输出的图像数据的传输与处理：打开快门，光线透过镜头、光圈折射并传递到摄像头感光元件（CMOS）上，传感器将数据传递到ISP进行处理。
计算摄影流程
Spectra 480 ISP支持硬件降噪功能，不仅仅是图像上的噪点控制，在视频上同样适用。其中MFNR代表多帧降噪，综合衡量夜景模式下的成像表现；ZSL表示零快门延迟，单镜头在30帧状态下输出64MP的图像。
作为一款“计算机视觉ISP”（CV-ISP），Spectra 480 ISP最高能够拍摄2亿像素静态图片、支持每秒处理20亿个像素，是搭载高像素机型图像处理的背后引擎。强悍的处理性能为运算提供了保障。
包括压缩比更高的HEIF格式在内（骁龙865对HEIF格式提供原生支持，可输出、保存并浏览HEIF格式图片）。Spectra 480 ISP在功耗降低16%的情况下，依旧能够实现画面细节增加高达18%，降噪处理能力提升40%的效果。其强大的算力直接表现在移动端的成像上。
第五代AI引擎加持骁龙865成就移动端成像
运算量上的增益对图像处理来所效果是肉眼可见的。传统的ISP每个时钟周期只能处理一个像素，骁龙865的Spectra 480 ISP每个时钟周期可以处理4个像素，处理速度提升4倍；此外硬件加速的引入，实现四单元CFA（色彩滤镜阵列）的硬件加速，在拍照的时候降低功耗，配合降噪算法，就实现夜景拍摄时的效果提升。
OPPO Find X2 Pro超清夜景3.0算法
高性能ISP搭配算法，曾使OPPO Find X2 Pro凭借双48MP的影像系统问鼎DxO。夜晚中缺乏照明的暗光环境一直都是手机夜景拍摄的难点，OPPO Find X2 Pro拍摄的照片却依旧可以做到良好的曝光度和色彩。在堆叠像素的当下，结合硬件特征的算法提升为手机拍摄指明了另外的迭代方向，而ISP就是背后的支撑。
OPPO Find X2 Pro超清夜景3.0算法
高通骁龙865对影像的增益还体现在对边录边拍的支持上。在影像录制方面已经有机型支持8K视频的录制，其次，Spectra 480 ISP支持在4K视频拍摄的同时能够输出全尺寸64MP的照片，这是业界首创，同时也需要强大的算力作为依托。
此外，骁龙865硬件上还支持4K/120帧的慢动作视频拍摄，并且在720P分辨率下能够无限时输出960FPS慢动作视频。此前，智能手机拍摄的慢动作视频时间是受限的，ISP对拍摄体验的提升不言而喻。
更重要的是，骁龙865搭载第五代AI Engine，AI性能是骁龙855的两倍多，成就了目前诸多旗舰机型在影像体验上的诸多玩法。例如第五代AI Engine下的语义分割，将整个图像或者视频分割为各个语义区域，针对各区域进行进行优化。
图片来源见水印
大家所熟知的小米10系列的魔法换天，就是在场景识别和计算摄影的直接体现。除了可以把一张静态图，变成动态的视频，还可以在天气不好时，直接改变所拍摄场景的天气状态，达到以假乱真的效果。
运用AI辅助进行人像拍摄同样是目前智能手机的拿手好戏，根据面部的状态实时美颜、人眼追焦乃至AI构图，则是能够完成纯“傻瓜式”的拍摄，提升图像体验。
对于日常使用来说，用户所不能察觉却意义重大的提升则是智能手机可以通过AI应用提升摄像头性能，在如今多摄情况下，手机能够完成平滑变焦，不仅仅是照片拍摄，视频的平稳切换镜头才是AI调整的重头戏。
引入AI处理之后，即可以实现左边这样的平滑变焦效果，可以在包括广角、超广角、长焦等多个摄像头之间实现平滑的光学变焦。
能效出众第五代AI引擎和ISP潜力待发掘
在智能手机的发展过程中，手机厂商想要自研独立ISP，对成像噪点、亮度乃至人像肤色进行定向算法优化并不是新鲜事，而目前安卓阵营高通自带的ISP的压倒性占比，原因就在于高通平台算法优化和成像的出色表现。
更重要的是，相较于过往平台对移动端AI算力方面的追求，高通骁龙865已经侧重于AI能效比方面的优化。考虑到移动设备计算能力、电池、存储空间等方面的限制，终端的AI运算，其实更注重运算的能效比。
针对现阶段移动端的AI运算，高通开发了深度学习带宽压缩的全新技术，对海量数据进行高达50%的压缩，而且这是一项完全无损的压缩技术，可以实现所有数据的精度不会有任何损失。作为业界首先搭载LPDDR5内存的移动平台，骁龙865在运行时可以释放更大带宽，将需要进入到芯片处理的数据压缩一半，节省电能、降低功耗。
诸项提升除了目前所能覆盖的移动端拍摄场景，其无损压缩与功耗优化能够支持用户手中的设备实现长久的“发光发热”。Spectra 480 ISP加上第五代AI Engine能够实现的应用，才是骁龙865对用户拍摄体验的提升。
结语
相较于镜头数量以及像素量级的“显性”提升，ISP对成像的增益似乎被忽略了，而且AI对于拍摄的优化也并不被大众熟知，而实际上伴随着高通骁龙865-5G移动平台性能的跃进，与之配套捆绑的“隐性”提升，才是像素大战背后的驱动因素。
OPPO Find X2 Pro（12GB/256GB/全网通/5G版） 120Hz超感屏，3K分辨率，多焦段影像系统
进入购买
小米CC9 Pro（8GB/128GB/全网通） 一亿像素，7P镜头，10倍混合光学变焦，双曲面屏
进入购买
小米10 Pro（8GB/256GB/全网通） 骁龙865，50倍数字变焦，双模5G
进入购买
三星Galaxy S20+（12GB/128GB/全网通） 6400万主摄，30倍超视觉空间变焦，8K投屏
进入购买
