用AI才能拍出好照片？这颗神秘引擎让手机拍摄更“会玩儿”
提起 AI，有不少朋友都会自然而然想到这是手机厂商的营销手段、这都是噱头。实际上，这个观念放在几年前的确没错，因为当时手机的 AI 大多都只停留在宣传上，这个看不见摸不着的东西并没有让用户真切地感知到用户体验方面的升级。
但时过境迁，AI的“处境”也放生了180度大转弯。手机上的 AI 已经在各个方面都发挥出了不可替代的作用，其中作为显著的就是拍摄功能的增加和性能的升级。在这方面，高通骁龙平台阵营表现可谓异军突起，其 AI Engine 人工智能引擎更是功不可没。
也许有些朋友会有这样的疑惑：好像除了相机的AI美颜也没感觉有啥人工智能在里边啊？其实，AI已经渗透到了手机拍摄的多个方面，也许你正在用的某项拍摄功能就是由AI实现的。
01当红旗舰的主打拍摄功能 没有第五代AI Engine全歇菜
2020年初，各大手机厂商纷纷推出了自家的旗舰产品，一个非常有趣的共同点就是，相机功能都得到了巨大的升级，比如美颜人像、超级夜景、视频超级防抖等等。相信有些买了新机的朋友已经体验到这些拍摄功能给我们带来的惊艳效果。
但也许大多数朋友都不知道的是：这些让人惊艳的拍摄功能，如果离了AI，基本都不能正常实现。
与此同时，随着通讯技术的发展，视频已经成为重要的社交手段，如何让普通人低成本地拍好视频成为了手机圈的全新课题。在这方面，OPPO Find X2 系列则以视频超级防抖功能在市场上一马当先：视频防抖效果好过手持拍过微电影，但剧烈抖动场景尤为明显的 iPhone 11 Pro。
那么OPPO Find X2系列是如何实现出众的视频防抖效果的呢？相信大家都听说过OIS光学防抖和EIS电子防抖，这两项防抖技术都无法单独实现大幅度的抖动维稳，所以OPPO采用了将这两项防抖相结合的HIS混合防抖技术。同时大幅度增强陀螺仪的灵敏度，更加灵敏的感应器可以为手机提供迅捷的抖动数据，从而为视频处理提供用于赠稳补偿的预测信息。
详细来说，手机根据指令采集第一帧画面，然后从预设的多组防抖参数中获取采样频率、防抖频率、防抖幅值这些与曝光时间对应的目标防抖参数，然后根据目标防抖参数对摄像头进行抖动补偿处理。这看似简单的功能流程，要通过相机硬件、感应器、芯片多重硬件进行协调处理，需要有庞大的算力支撑才能让这些功能顺利运行。
如果是常规处理器，算力不足将无法支撑功能的正常实现；即便是算力足够，高负荷运行也将带来不可忽视的时长和功耗。之前遇到这种庞大算力的问题，一般的解决方案就是将任务传至云端，依靠云端服务器算力进行支持，处理结束后再进行回传。但视频拍摄这种即时性的功能暂时只能依靠设备的本地算力进行支撑。OPPO Find X2系列所依靠的正是高通骁龙第五代AI Engine。
那么高通骁龙的AI Engine是如何进行算力支撑的呢？刚才提到，普通处理器进行某些场景的运算需要更高的功耗和时长，所以这些场景的运算需要异构解决方案来提升效率。而高通骁龙的AI Engine正是骁龙移动平台上加速终端侧人工智能用户体验实现的硬件与软件组件集合，可以让这些运算既迅速功耗又低。
详细来说，高通骁龙第五代AI Engine在硬件方面由Kryo 585 CPU、Adreno 650 GPU、Hexagon 698张量加速器组成，每一部分都有各自的运算专长。当遇到某些场景的大需求计算时，系统会将工作负载智能协调分配到CPU、GPU和张量处理器上进行。据高通官方数据，第五代AI Engine的AI算力达到了15TOPS，是上一代的2倍多，在保证高性能的同时功耗也更低。
当然，像需要大算力支撑的视频超级防抖功能只是第五代AI Engine在拍摄功能应用上的冰山一角，其实还有很多当前非常常见的功能都在依靠人工智能来实现。AI场景识别、AI美颜这样烂大街的功能无须再提，第五代AI Engine可以为这些功能提供充足的本地算力。相对有技术含量的夜景模式一般而言都是通过多帧合成技术，通过算法处理和硬件AI算力支撑来实现的。
值得一提的是，搭载第五代AI Engine的高通骁龙865芯片可以实现基于AI的光学变焦平滑切换。由于手机相机模组限制，当前的手机基本都采用多摄方案来模拟专业相机的变焦功能，但不同摄像头的色彩差异，以及切换操作上的卡顿让模拟体验大打折扣。
在这方面，realme作出了表率，在第五代AI Engine的基础上研发出SAT平滑变焦技术，可以模拟出单反镜头变焦的感觉，多个镜头切换画面稳定不跳跃，而且可以保持曝光、色温等效果的一致。
02手机相机发展AI功不可没 高通AI Engine带来更多可能
手机相机出现之初，不少人都希望它能赶超专业相机，但后来如何大家也都看得一清二楚：手机相机便携属性与影音圈体积即效果的广泛认知相悖，以现阶段的光学技术发展来说，手机非常有限的结构空间注定了在拍摄效果上不能与专业相机抗衡。
镜头和CMOS对于相机而言是非常重要的组成部分，专业相机上“越大越好”的认知虽然不一定完全准确但却具备一定的理论支撑。对于手机而言，便携属性限制了相机在这个方向上的发展，虽然镜头设计不断精进，比如多摄方案和潜望式镜头，CMOS尺寸也不断变大，但与专业相机还有质的差距。
基于AI Engine实现的智能超级夜景
所以想要让手机相机画质更好，手机只能发挥它在处理器运算上的优势，比如多帧合成可以大幅提升夜景亮度，可以通过运算进行控噪、进行对色彩的把控。而这些与芯片的AI算力都有着很强的关联性。
但从另一个角度来说，手机相机为什么非要赶超专业相机呢？它应该依据自身优势发挥独特的作用。比如手机相机用户大多是非专业用户，如何能让他们拍出自己喜欢的照片才是手机相机应该发展的目标；再比如手机是智能功能的集成端，提升设备的智能视觉能力才应该是真正的发展大方向。
这时候，AI的作用就显得非常重要了。比如上文提到的AI美颜，还有现在颇受欢迎的美体，可以让我们拍出更美的自己；AI场景识别，可以让我们拍出色彩更加讨好眼球的照片；超级夜景，可以拍出更明亮纯净的夜景；AI艺术拍摄，可以拍出更具有艺术效果的图像。诸如此类，不再一一列举。
在机器智能视觉方面，高通第五代AI Engine 的相关应用实际上已经有了大量的展示。首先是趣味性玩法，通过高通第五代AI Engine 可以实现 AR 游戏、可以实现实时 3D 人脸建模和面部表情肌追踪等功能。
再就是现在已经有了广泛应用的 AI 扫描翻译和 AI 扫描试题，可以真正做到哪里不会点哪里，通过高通第五代 AI Engine 可以对扫描的文本进行精准的内容抓取。
除了场景扫描，利用机器视觉来实现人机交互也将是未来的发展方向之一。比如通过高通AI Engine实现的人体动作识别、手部动作抓取等等，为摄影摄像精准识别提供了底层技术。此外，基于这些识别可以实现全新的人机交互方式，为后续的无接触式AR应用发展奠定了技术基础。
03高通AI Engine打造智能生态 多方合作优化铸就体验城墙
在经济全球化发展的大背景下，产业的任何一端都无法实现从源头到结尾的全部生态建设，即便强如高通也不行。但一家企业的战略远瞻、研发投入、实力却能决定以它为中心的生态体验质量是否能够最大化。高通在AI方面的建设恰巧印证了这条市场规律。
高通的AI基础科学研究可以追溯到2007年，早在十几年前就已经着手未来科技的研发战略眼光可见一斑。2013年，高通提出了“Zeroth”处理器计算的概念。高通希望通过一种模仿人脑的计算结构，缩小普通机器运算与人脑之间的差距，所谓的Zeroth即模拟神经元的运算处理器。相对于CPU和GPU，Zeroth可以更快的对外界的信号做出反应。
后来，功耗和运算效率更适合移动端的AI Engine面世，它更强调软硬件搭配，上文我们也提到了它的构成。从多方面加速终端侧人工智能的异构计算可以满足各家厂商对AI不同理解带来的不同需求。从骁龙820开始，AI Engine就一直是骁龙800系列旗舰芯片的标配，发展到骁龙865已经是第五代。
以上大多提到的只是硬件，AI Engine 还有一套软件工具和库：骁龙神经处理 SDK、Android NN 和 Hexagon NN Direct，Qualcomm AI Model Enhancer也不断升级。AI Engine 的硬件和软件共同支持开发者与 OEM 厂商实现和加速骁龙内核上的人工智能处理。
当然，从芯片到消费者手中的产品，这个过程并不是像上述说说那么简单，技术开发与融合到终端侧应用的落地需要全球化的协作，比如AI Engine需要支持操作系统、需要对各种软件工具进行适配、需要实现与硬件之间的互通、需要和各种软件开发商合作推出拥有相应优化的APP。
而高通AI Engine的强大之处在于，目前几乎所有知名的软件开发商都是高通AI生态的合作伙伴。回到我们这篇文章的主题，仅拍摄领域，高通就有AnyVision、虹软、旷视科技、Loom.ai、Nalbi、泼辣、商汤科技、创通联达、Uncanny Vision等知名合作伙伴共同开发。此外，腾讯、百度、亚马逊、阿里巴巴这些的云服务提供商也给骁龙平台的智能手机提供了降噪、夜拍、人脸识别、对象检测、视频分割、背景虚化等AI功能。
所以我们可以这样推断，高通的AI Engine之所以会深入诸如拍照等生活的各个场景，原因除了自身技术过硬外，还在于其多方合作优化已经高铸生态体验城墙。而这些则源自高通长远的战略远瞻、持续的研发投入和强大的行业影响力。
总结
看到这里，文初提到的 AI 无用论已经不攻自破，单单一个相机，高通骁龙平台上的智能手机就已经表现出了足够广泛与深入的人工智能应用。也正是得益于Qualcomm第五代AI Engine人工智能引擎，手机厂商们对于手机相机的未来思考才能真正走向现实、走入量产，身为消费者的我们也切切实实的感受到了 AI 给我们带来的体验红利。
