2024年4月24日发(作者:别蕙芸)
人工翟罐l落地应用
手机多摄时代
的A|‘‘视"界革命
口丈/王昊
从第一台带有摄像头的手机诞生开始,短短的十几年内手机摄像技术得到了质的飞
跃。计算机视觉已经成为手机终端不可或缺的技术,视觉技术应用的好坏,已经成
为评判一款手机产品的重要指标之一。随着技术的发展进步,用户对智能手机的选
择正在从配置优先逐步转向为体验优先,而在改善用户体验的过程中,Al将发挥
重要作用。
·96·
手机多摄时代的Al“视”界革命——
人工智能概念从上世纪50年代诞生起,经历数次浪潮的发展,直接推动了当下手
机摄影的崛起,促进了多项技术的创新,也开启了手机“多摄”时代的到来。
无论是最新发布的华为P30Pro/P30、小米9,还是去年发布的华为mate20
pro/
mate20、P20
pro,以及vivo
NEX双屏版、OPPO
R17
Pro等,我们可以非常清楚地看到,
以后置四摄、三摄为代表的多摄像头方案已成为更多旗舰手机的必备方案、标准配置,
并有着向中低端机型普及的趋势。值得关注的是,华为于今年3月26日发布全球首款
后置四摄方案的P30Pro,再一次引领了手机拍照领域的潮流。近期,网络上更是流传
着诺基亚正在研发后置五摄手机的方案。
手机轻薄化趋势、市场饱和与人工智能算法的发展,是推动手机多摄化发展的根
本原因。
目前,7毫米逐渐成为手机薄厚的一个标杆和分水岭。受制于传感器尺寸和镜头像
素的限制,要想在如此轻薄的手机上追求更高的成像质量,即使是参数优异的单摄像头,
也依然存在高感表现差、背景虚化不到位、特写不足等问题。如果在制造工艺允许的情
况下,单一手机摄像头能够集成不同焦段、不同镜头的光学特性,就可以同时实现不同
焦段的光学变焦、广角取景、大光圈虚化等功能。否则,要同时实现上述功能,只能将
不同特性的摄像头通过算法调教组合在一起。因此,在单摄像头的基础上再加入多颗功
能不同的摄像头,升级成为“多摄”,也就逐渐成为提高手机整体拍照质量的必经之路。
同时,受手机市场饱和的影响,以及人工智能算法的不断推动,手机厂商也可以
通过算法赋能新机型,让消费者获得更多的摄影玩法和更佳的使用体验,以便从激烈的
市场竞争中脱颖而出。从2017年开始,越来越多的手机厂商意识到,人工智能技术给
智能手机行业带来了新的价值,于是纷纷开始推出“AI+手机”。2018年,主流手机
厂商更是在各自的旗舰机型中全面引入AI技术,甚至搭载AI芯片,这些都正在成为市
场的主流。
现在,计算机视觉已经成为手机终端不可或缺的技术。视觉技术应用的好坏,已
经成为评判一款手机产品的重要指标之一。在2017年《IDC
Consumerscape
360。》调
研中,51%的用户会将拍照作为购买手机的七大选择因素之一,视觉应用正在成为提升
用户体验、影响用户购买行为的重要指标。
一、从后置双摄到后置四摄,“AI+手机"的影像升级之路
HTC开创了多摄手机的历史。2011年,HTC第一次推出一款型号为G17(EVO
3D)的裸眼3D手机,搭载了两颗平行式500万像素摄像头,最高可以支持录制分辨率
为720P的3D视频。这也是全球第一款支持录制裸眼3D视频的手机产品。它的诞生,
·97·
人工替雒l落地应用
·98。
也标志着手机多摄技术的发展进入萌芽时期。
2014年3月,HTC再次发布第一款真正意义上的双摄手机HTC
One
M8,搭载的
双镜头Duo相机,可提供拍照后重新聚焦等功能。随后,搭载双摄像头的华为荣耀6
Plus、奇酷旗舰版相继问世。在各大手机厂商、算法提供商的纷纷探索下,双摄技术在
2014—2015年期间得到迅速发展。
2018年上半年,全球首款采用后置三枚徕卡镜头方案的华为P20
Pro横空出世,
I/I.7英寸超大主摄CMOS,等效80mm超级长焦,基于全新算法的超级夜景和基于人
工智能的AI相机,同时能够媲美单反的拍照实力,一举突破当时的阶段性壁垒,把手
机摄影提升到一个全新的高度。而华为在三摄方面的探索,也被看成是引领行业变革和
发展。
2019年3月26日,华为再次发布了全球首款后置四摄方案的P30Pro,给用户近乎“全
焦段”的拍摄体验,再一次突破人们对手机摄影的想象。
以目前的技术来看,无论是后置双摄手机,还是三摄、四摄或是更多摄像头的手机,
在具体使用时,主要还是依靠其中的两个摄像头进行组合协作,来实现特定的功能。
这是由于手机摄像头是固定光圈,在硬件层面上并不能实现单反中大光圈“焦外
虚化”的效果。但所幸双摄像头能够形成类似人眼的双目视差,可以识别焦点所在的物
体与周围物体间的距离、深度、凸凹差异,从而形成立体视觉效果。所以两个摄像头进
行组合,也可以产生立体视觉,呈现类似单反相机的大光圈效果,让手机用户也能获得
单反级摄影体验和更多有趣的摄影玩法。
利用景深信息,多摄手机可以基于深度学习进行进一步的算法调教,实现前景虚化、
背景虚化、焦外成像、添加3D人像光效等“AI摄影”功能与应用,让用户能够轻松拍
出极具艺术气质的摄影大片。
此外,多摄手机还可以利用左右两个不同的摄像头,拍摄出两张不同的图片,然
后进行信息融合,增强图像质量,获得更好的分辨率、色彩和动态范围,或实现光学变
焦功能。
同时,基于人工智能算法,多摄手机可以智能分析出用户的年龄、肤色、体型等特征,
通过人脸检测、关键点检测、场景识别等AI算法,对画质进行精准提升,让成像更为自然,
为用户带来更完美的体验。
二、Al算法赋能多摄系统,拍照成为旗舰手机的主打卖点
具体来看,两两结合的摄像头模组,可以组成三种基本的方案:大分辨率彩色摄
像头+小分辨率彩色摄像头(RGB+RGB)、彩色摄像头+黑白摄像头(Bayer+Mono)、
手机多摄时代的A|ff视”界革命——
◆
▲--—■
1’瓢一
㈣
’9
■;=;;---‘—司■
o
■■意●—b●——_
广角镜头+长焦镜头(Wide+Tele)。每个组合都有自己独特的优势,实现不同种功能。
其中,RGB+RGB方案主要用于计算景深,实现背景虚化和重新对焦(即先拍照
后对焦)。在拍摄过程中,主摄像头与副摄像头有着不同的分工:大分辨率的主摄像头
负责当前被摄物体的取景,而小分辨率的副摄像头则配合主摄像头形成一个立体视觉系
统,从而可以获取场景的景深数据。
Bayer+Mono方案,除了能实现背景虚化和重新对焦功能外,还可以提升暗光或夜
景影像的成像质量,提高降噪性能。在数码摄像领域,CMOS在不考虑其他因素的情
况下,面积越大成像效果越好,然而由于受手机体积、厚度的限制,不可能无限地扩大
CMOS面积,这也直接催生了彩色摄像头模组+黑白摄像头模组(Bayer+Mono)双摄
方案的诞生。该方案在彩色CMOS(主摄像头)的基础之上,增加一块黑白CMOS(副
摄像头),来解决因物理尺寸限制导致CMOS面积受限的问题。在拍摄图像时,两颗
CMOS会同时成像,其中彩色CMOS负责颜色信息,黑白CMOS只负责记录拍摄物
体的灰度信息,最后通过后期处理,将两张图片合成为一张,提高成像质量。
Wide+Tele方案则在RGB+RGB方案的基础上,增加了光学变焦功能,以便拍摄
更远、更清晰的画面。受体积限制,手机摄像头基本采用的是28ram的定焦镜头,并不
能够像相机那样伸缩变焦。如果想要对画面进行放大和缩小,则采用数码变焦的方案,
以损失画质为代价直接对照片进行剪裁。所以为了实现光学变焦功能,Wide+Tele的双
摄方案中,Tele镜头通常采用焦距为50mm以上的长焦定焦镜头。当需要拍摄远处的
物体时,手机就会调用长焦镜头。同时,在普通状态下拍照时,长焦镜头也能辅助增强
·99·
人工翟罐I落地应用
细节画质。但此方案需要在算法调教上付出更多的精力。
上述三种方案中,Bayer+Mono和Wide+Tele这两种方案的应用最为广泛,前者以
华为P9/IO系列、Mate9/10系列为代表,后者因iPhoneX/8/7
6等机型的采用而被熟知。
Plus、OPPO
Rll、小米
手机后置三摄方案能
够很好地补足双摄方案的
不足。以华为P20Pro的
后置三摄为例,该机采用
了RGB+Mono+Tele的
方案:一颗4000万像素
RGB主镜头、一颗3倍
光学变焦的800万像素长
焦镜头,以及一颗2000
图2:西纬工作人员正在用装有三摄模组的工程样机拍摄样片
万像素的黑白摄像头,能
够将双摄方案的所有优势
涵盖在内并集成在一种方案中。在人工智能算法的赋能下,手机可以在兼顾高倍无损变
焦能力的同时,还能够在低光性能、变焦、高分辨率、景深虚化等方面提供更优质的体
验。我们可以清晰地看到,P20pro所制定的三摄、大尺寸CMOS、AI相机和超级夜景
等游戏规则,也成为了接下来手机相机发展的潮流。
图3:手机三摄模组
·1
00
·
手机多摄时代的AlI‘视”界革命——
而2019年下半年发布的华为Mate
20
Pro机型,在P20pro的基础上更进一步,
并对其三摄方案进行了升级,用兼具微距功能的超广角取代了后者的黑白镜头,采用
RGB+Ultra+Tele的组合方案:主摄像头为4000万像素,光圈F/1.8;副摄像头为2000
万像素的超广角镜头,光圈F/2.2;第三颗摄像头为800万像素的长焦摄像头,光圈
F/2.4。在这种情况下,手机内置的人工智能算法就显得尤为重要,能够根据具体的拍
照场景,自动通过算法调整选用哪颗摄像头。基于该组合方案,Mate
20
Pro能让用户
在手机上体验超级广角功能,并提供更多有趣的视角。如今,超广角追随着三摄成为了
主流旗舰机际配。
华为最新发布的P30Pro,仍然主打摄影的卖点,采用了RGB+Ultra+Tele+ToF的
四摄组合方案,分别为一颗4000万像素广角主镜头、一颗2000万像素超广角镜头、一
颗采用了潜望镜设计的800万像素长焦镜头和一颗ToF镜头,能够支持5倍光学变焦、
10倍混合变焦,以及最高50倍的数字变焦能力。ToF镜头还可以支持捕捉场景中的深
度信息,实现更自然的人像虚化拍照,也可以运用在3D体感游戏和AR应用上。
虽然多摄方案能够从技术层面提升手机拍照的成像质量,但并不意味着多摄手机就
一定能够拍出好照片。多颗CMOS芯片,以及手机厂商、算法及方案提供商后期的精
心算法调教,才是最终影响成像结果优劣的主导因素。
三、前置摄像,3D人脸识别成为核心应用
手机前置摄像方案配合相应的人工智能算法可以为用户提供自拍、人脸识别、人脸
解锁、人证比对等功能。其中,识别与认证是手机视觉技术最基础的应用。
在识别方面,通过高效的人脸识别算法,手机可以实现毫秒级的人脸解锁和金融级
的人脸支付,配合3D深度传感器,可以进一步提高人脸识别的准确性和抗伪造能力,
真正实现解放双手、进行生物识别验证、解锁手机、完成支付验证等功能,还能应用于
AR和3D体感游戏等突破性应用场景上。
2017年苹果秋季新品发布会上,苹果发布10周年纪念版iPhoneX,并带来最有代
表性的技术——基于3D结构光技术的Face
ID。2018年6月,OPPO发布未来旗舰新
初-一OPPO
Find
X,这也是安卓阵营第一款真正意义上量产的搭载3D结构光的手机,
同时支持3D人脸解锁和3D人脸支付功能。
此外,荣耀旗舰机Magic2于今年3月7日再次面向市场推出3D感光版新机,搭
载由旷视研发的3D人脸识别算法,在由两个红外感光镜头和一个散斑投射器组成的
3D感光技术方案的支持下,可以为消费者提供精准安全的人脸支付、无惧黑暗的全天
候3D人脸解锁使用体验,能够有效支持3D人脸金融安全支付功能,包括基于人脸的
人工翟罐I落地应用
·
102
·
隐私保护、基于机主人脸特征识别的应用锁、基于机主人脸特征识别的文件保密柜、
3D人脸支付、3D活体检测和安全环境数据处理等功能。
更进一步看,手机要实现3D人脸识别功能,核心技术是如何得到人脸的深度图。
目前,市面上主流的解决方案,按照其工作原理不同,可以分为三种:ToF(Time
of
Flight,飞行时间技术)、结构光以及仿生双目。
ToF方案是向目标物体连续发射光脉冲,然后使用传感器接收从目标物体
反射回的光,通过计算光脉冲飞行往返的时间,便可以得到物体不同位置的深
度信息。
结构光方案则通过激光器,将有一定结构特征的光线投射到目标物体上,再通过
红外摄像头进行信息采集。由于目标物体位置不同和深度信息不同,所以采集到的图像
相位信息不同,通过计算便可以得出3D模型。
仿生双目方案即通过两个摄像头拍摄不同的照片,得到视差计算出深度信息。仿
生双目方案可分两种,一种是采用两个彩色摄像头的被动式方案,另一种是采用两个红
外感光镜头的主动式方案。
在认证方面,通过深度学习技术,相关部门和机构、企业可以将用户照片(或图像)
与第三方权威底图照片在云端进行1:1比对,精准判断用户的真实性,通过人脸识别
和活体检测等算法,可以有效鉴别照片、视频、模型等欺骗行为。目前,该技术已经广
泛应用于互联网金融风控、共享出行司机和乘客验证、社保等行业甄别欺诈行为,以保
障用户利益。
四、多摄方案加持下,高倍光学变焦将是未来趋势
在手机摄影领域中,光学变焦无疑是最实用的功能之一,并因此得到各大手机厂
商不遗余力的发展。随着手机后置双摄到最新四摄方案的升级,其光学变焦的能力也随
硬件和人工智能算法的提升而朝高倍化方向发展。
华为P20Pro开启了手机至少有三个定焦镜头组合实现高倍光学变焦能力的先河。
在光学变焦方面,4000万像素的主摄像头,配合800万像素的长焦副摄,在保证细节
清晰的前提下,华为P20Pro能够支持3倍光学变焦、5倍混合变焦以及10倍数字变焦,
这也让手机有了能够媲美带伸缩变焦镜头卡片机的光学变焦能力。回到几年前,要在如
此纤薄的手机上实现如此高倍数的变焦效果是难以想象的。即使是Wide+Tele的双摄
手机,一般实现的也只是2倍光学变焦。
华为P30
Pro则开启了手机潜望式光学变焦的时代。在手机机身内部放置一个和手
机屏幕垂直的内驱光学变焦模组,然后利用折射镜接收外界光线。这相当于让复杂的光
手机多摄时代的Al“视”界革命——
学变焦系统与机身实现了平行设计,不影响手机本身的厚度,节省转换了手机内部空间,
让即使拥有纤薄机身的手机,也能保证高水准的变焦水平,并且和单反或伸缩式卡片机
相比,可以更好地防尘防水。与其他镜头相比,潜望式摄像头多了光学转换部件,由光
学传感器、滤光片、转圈马达、镜头组、棱镜等一系列部件组成,能够达到极高的光学
变焦倍数。具体来看,华为P30Pro潜望式超级变焦镜头支持5倍光学变焦、10倍混合
变焦以及50倍最大数码变焦。在50倍的变焦下,还能拍月亮,手动拍摄即可,3秒曝
光时长,不需要三脚架。
五、AI将成为消费者选择手机的必要因素
人工智能对于智能手机的价值,是能够提前预测用户需求、主动给出相应指引或回
应、实现从Smart到Intelligent。未来,手机将成为用户联网和交互的中心,因而用户对
智能手机的选择也正在从过去的配置优先逐步向体验优先转变。在改善用户体验中,人
工智能将发挥重要作用。
其中,3D视觉将成为计算机视觉领域的核心应用。随着光学器件的不断进步,算
法与解决方案不断优化,3D深度视觉的精度和实用性得到大幅提升。在此背景下,3D
应用也将为用户带来颠覆性的人机交互体验。据IDC观察,2018年,3D摄像头被越来
越多的主流手机厂商所采用,新的3D视觉时代已经开启。
同时,软硬件结合已成为必然趋势。从大的趋势来看,无论是从双摄到三摄乃至四
摄的关键升级过程中,都是由硬件结合人工智能算法,来给用户提供各种各样的摄影体
验,轻松用手机拍摄出能够媲美单反相机的照片。如华为P30Pro搭载的3200万像素
前置镜头,支持AIHDR+逆光自拍,以及后置四摄支持的纯手持进行暗光拍摄和高倍
率混合变焦,能够让手机拥有超越人眼的夜景捕捉能力和如同望远镜一般的超强远摄能
力,这背后就需要强大的人工智能算法做支撑。
AI手机重点案例及算法介绍
首台安卓量产3D结构光手机发布一0PP0
Find
x
2018年6月,OPPO发布未来旗舰新机一OPPO
Find
X。秉承“让手机变得更聪明”
的理念,该机基于3D结构光的人脸识别应用,由OPPO研究院上海软件研究中,t5
AI
实验室与旷视联合研发。在旷视3D人脸识别解决方案支持下,OPPO
Find
X具备毫秒
极速解锁和百万分之一精度的安全支付功能,并在影像环节上可基于3D面部信息进行
智能打光。OPPO
Find
X打响了安卓阵营3D结构光量产的第一枪,并推动旷视3D视
·103
·
人工罂雒I落地应用
查看内容精选
·1
04·
觉产品的大规模应用。
“美学革命",hi
A.ig光效技术的里程碑一vivo
X23
2018年9月6日,vivo发布了号称“美学革命”的全新旗舰机vivo
X23。为了适
配芯片与硬件的升级,vivoX23采用了旷视提供的算法优化版的红外双通零光感人脸解
锁技术与A1人像光效技术,以提升硬件兼容度,为用户带来更优质的手机使用体验。
基于旷视人脸识别算法,系统可自动检测手机用户面部1024个特征维度并进行高精度
智能匹配。基于旷视与高通合作使用的DSP技术,vivoX23的解锁功耗降低一半的同时,
还将速度稳定在0.1秒内,实现无配合式的毫秒级响应。同时,vivoX23采用了基于上
百万张覆盖全人种的人脸数据训练的升级版A1人像光效处理技术,并新增伦勃朗光与
彩虹光两款定制光效。
希区柯克变焦,手机也能拍出电影大片的效果
DollyZoom又叫希区柯克变焦,是一种专业的电影拍摄手法。在电影拍摄时,转动
变焦镜头改变FOV的同时,把摄像机移向或者远离物体,使物体在画面中一直保持相
同大小。因此,机位在远离物体的同时,镜头向前推进,或者与此相反。这样画面就会
在变焦中产生一种连续的透视变形,最直观的特点是背景改变大小而主体不变。此功能
拍摄手法较为复杂,需要滑轨、变焦镜头等设备的配合。而旷视通过A1人脸检测、特
征检测、视频稳像等技术的结合,创新性地首次将此功能在手机上实现,能够智能一键
式地实现拍摄主体人物的大小和位置相对不变,而背景持续变化的迷魂特效。
超画质赋能,智能降噪无惧夜晚低光环境
随着人工智能算法的发展,手机超画质技术即将成为“AI+手机”的核心技术之一。
该技术通过对原始图像进行检测、分析、降噪和融合等处理,能够解决用户在夜晚和低
光照环境下拍摄照片时产生的画面亮度偏暗、噪声过大、动态范围不佳等画质问题,并
通过人工智能学习高画质数码相机的成像特性,还原景物原有的细节纹理,使画面品质
得到整体提升。
依托在RAW域进行算法处理的技术的创新突破,在智能降噪的同时,超画质技术
能够更好地保留画面质感,大幅度优化拍摄和影像处理的时间,显著提升用户在夜晚和
低光照环境下的拍摄体验。OPPO最新的旗舰机Reno将搭载超画质技术。
应用场景将着重以优化城市风光场景为主,有多点灯光等人工照明的场景,如常
见的夜晚广场、霓虹灯、建筑灯光及大桥上的装饰夜灯等景观。
2024年4月24日发(作者:别蕙芸)
人工翟罐l落地应用
手机多摄时代
的A|‘‘视"界革命
口丈/王昊
从第一台带有摄像头的手机诞生开始,短短的十几年内手机摄像技术得到了质的飞
跃。计算机视觉已经成为手机终端不可或缺的技术,视觉技术应用的好坏,已经成
为评判一款手机产品的重要指标之一。随着技术的发展进步,用户对智能手机的选
择正在从配置优先逐步转向为体验优先,而在改善用户体验的过程中,Al将发挥
重要作用。
·96·
手机多摄时代的Al“视”界革命——
人工智能概念从上世纪50年代诞生起,经历数次浪潮的发展,直接推动了当下手
机摄影的崛起,促进了多项技术的创新,也开启了手机“多摄”时代的到来。
无论是最新发布的华为P30Pro/P30、小米9,还是去年发布的华为mate20
pro/
mate20、P20
pro,以及vivo
NEX双屏版、OPPO
R17
Pro等,我们可以非常清楚地看到,
以后置四摄、三摄为代表的多摄像头方案已成为更多旗舰手机的必备方案、标准配置,
并有着向中低端机型普及的趋势。值得关注的是,华为于今年3月26日发布全球首款
后置四摄方案的P30Pro,再一次引领了手机拍照领域的潮流。近期,网络上更是流传
着诺基亚正在研发后置五摄手机的方案。
手机轻薄化趋势、市场饱和与人工智能算法的发展,是推动手机多摄化发展的根
本原因。
目前,7毫米逐渐成为手机薄厚的一个标杆和分水岭。受制于传感器尺寸和镜头像
素的限制,要想在如此轻薄的手机上追求更高的成像质量,即使是参数优异的单摄像头,
也依然存在高感表现差、背景虚化不到位、特写不足等问题。如果在制造工艺允许的情
况下,单一手机摄像头能够集成不同焦段、不同镜头的光学特性,就可以同时实现不同
焦段的光学变焦、广角取景、大光圈虚化等功能。否则,要同时实现上述功能,只能将
不同特性的摄像头通过算法调教组合在一起。因此,在单摄像头的基础上再加入多颗功
能不同的摄像头,升级成为“多摄”,也就逐渐成为提高手机整体拍照质量的必经之路。
同时,受手机市场饱和的影响,以及人工智能算法的不断推动,手机厂商也可以
通过算法赋能新机型,让消费者获得更多的摄影玩法和更佳的使用体验,以便从激烈的
市场竞争中脱颖而出。从2017年开始,越来越多的手机厂商意识到,人工智能技术给
智能手机行业带来了新的价值,于是纷纷开始推出“AI+手机”。2018年,主流手机
厂商更是在各自的旗舰机型中全面引入AI技术,甚至搭载AI芯片,这些都正在成为市
场的主流。
现在,计算机视觉已经成为手机终端不可或缺的技术。视觉技术应用的好坏,已
经成为评判一款手机产品的重要指标之一。在2017年《IDC
Consumerscape
360。》调
研中,51%的用户会将拍照作为购买手机的七大选择因素之一,视觉应用正在成为提升
用户体验、影响用户购买行为的重要指标。
一、从后置双摄到后置四摄,“AI+手机"的影像升级之路
HTC开创了多摄手机的历史。2011年,HTC第一次推出一款型号为G17(EVO
3D)的裸眼3D手机,搭载了两颗平行式500万像素摄像头,最高可以支持录制分辨率
为720P的3D视频。这也是全球第一款支持录制裸眼3D视频的手机产品。它的诞生,
·97·
人工替雒l落地应用
·98。
也标志着手机多摄技术的发展进入萌芽时期。
2014年3月,HTC再次发布第一款真正意义上的双摄手机HTC
One
M8,搭载的
双镜头Duo相机,可提供拍照后重新聚焦等功能。随后,搭载双摄像头的华为荣耀6
Plus、奇酷旗舰版相继问世。在各大手机厂商、算法提供商的纷纷探索下,双摄技术在
2014—2015年期间得到迅速发展。
2018年上半年,全球首款采用后置三枚徕卡镜头方案的华为P20
Pro横空出世,
I/I.7英寸超大主摄CMOS,等效80mm超级长焦,基于全新算法的超级夜景和基于人
工智能的AI相机,同时能够媲美单反的拍照实力,一举突破当时的阶段性壁垒,把手
机摄影提升到一个全新的高度。而华为在三摄方面的探索,也被看成是引领行业变革和
发展。
2019年3月26日,华为再次发布了全球首款后置四摄方案的P30Pro,给用户近乎“全
焦段”的拍摄体验,再一次突破人们对手机摄影的想象。
以目前的技术来看,无论是后置双摄手机,还是三摄、四摄或是更多摄像头的手机,
在具体使用时,主要还是依靠其中的两个摄像头进行组合协作,来实现特定的功能。
这是由于手机摄像头是固定光圈,在硬件层面上并不能实现单反中大光圈“焦外
虚化”的效果。但所幸双摄像头能够形成类似人眼的双目视差,可以识别焦点所在的物
体与周围物体间的距离、深度、凸凹差异,从而形成立体视觉效果。所以两个摄像头进
行组合,也可以产生立体视觉,呈现类似单反相机的大光圈效果,让手机用户也能获得
单反级摄影体验和更多有趣的摄影玩法。
利用景深信息,多摄手机可以基于深度学习进行进一步的算法调教,实现前景虚化、
背景虚化、焦外成像、添加3D人像光效等“AI摄影”功能与应用,让用户能够轻松拍
出极具艺术气质的摄影大片。
此外,多摄手机还可以利用左右两个不同的摄像头,拍摄出两张不同的图片,然
后进行信息融合,增强图像质量,获得更好的分辨率、色彩和动态范围,或实现光学变
焦功能。
同时,基于人工智能算法,多摄手机可以智能分析出用户的年龄、肤色、体型等特征,
通过人脸检测、关键点检测、场景识别等AI算法,对画质进行精准提升,让成像更为自然,
为用户带来更完美的体验。
二、Al算法赋能多摄系统,拍照成为旗舰手机的主打卖点
具体来看,两两结合的摄像头模组,可以组成三种基本的方案:大分辨率彩色摄
像头+小分辨率彩色摄像头(RGB+RGB)、彩色摄像头+黑白摄像头(Bayer+Mono)、
手机多摄时代的A|ff视”界革命——
◆
▲--—■
1’瓢一
㈣
’9
■;=;;---‘—司■
o
■■意●—b●——_
广角镜头+长焦镜头(Wide+Tele)。每个组合都有自己独特的优势,实现不同种功能。
其中,RGB+RGB方案主要用于计算景深,实现背景虚化和重新对焦(即先拍照
后对焦)。在拍摄过程中,主摄像头与副摄像头有着不同的分工:大分辨率的主摄像头
负责当前被摄物体的取景,而小分辨率的副摄像头则配合主摄像头形成一个立体视觉系
统,从而可以获取场景的景深数据。
Bayer+Mono方案,除了能实现背景虚化和重新对焦功能外,还可以提升暗光或夜
景影像的成像质量,提高降噪性能。在数码摄像领域,CMOS在不考虑其他因素的情
况下,面积越大成像效果越好,然而由于受手机体积、厚度的限制,不可能无限地扩大
CMOS面积,这也直接催生了彩色摄像头模组+黑白摄像头模组(Bayer+Mono)双摄
方案的诞生。该方案在彩色CMOS(主摄像头)的基础之上,增加一块黑白CMOS(副
摄像头),来解决因物理尺寸限制导致CMOS面积受限的问题。在拍摄图像时,两颗
CMOS会同时成像,其中彩色CMOS负责颜色信息,黑白CMOS只负责记录拍摄物
体的灰度信息,最后通过后期处理,将两张图片合成为一张,提高成像质量。
Wide+Tele方案则在RGB+RGB方案的基础上,增加了光学变焦功能,以便拍摄
更远、更清晰的画面。受体积限制,手机摄像头基本采用的是28ram的定焦镜头,并不
能够像相机那样伸缩变焦。如果想要对画面进行放大和缩小,则采用数码变焦的方案,
以损失画质为代价直接对照片进行剪裁。所以为了实现光学变焦功能,Wide+Tele的双
摄方案中,Tele镜头通常采用焦距为50mm以上的长焦定焦镜头。当需要拍摄远处的
物体时,手机就会调用长焦镜头。同时,在普通状态下拍照时,长焦镜头也能辅助增强
·99·
人工翟罐I落地应用
细节画质。但此方案需要在算法调教上付出更多的精力。
上述三种方案中,Bayer+Mono和Wide+Tele这两种方案的应用最为广泛,前者以
华为P9/IO系列、Mate9/10系列为代表,后者因iPhoneX/8/7
6等机型的采用而被熟知。
Plus、OPPO
Rll、小米
手机后置三摄方案能
够很好地补足双摄方案的
不足。以华为P20Pro的
后置三摄为例,该机采用
了RGB+Mono+Tele的
方案:一颗4000万像素
RGB主镜头、一颗3倍
光学变焦的800万像素长
焦镜头,以及一颗2000
图2:西纬工作人员正在用装有三摄模组的工程样机拍摄样片
万像素的黑白摄像头,能
够将双摄方案的所有优势
涵盖在内并集成在一种方案中。在人工智能算法的赋能下,手机可以在兼顾高倍无损变
焦能力的同时,还能够在低光性能、变焦、高分辨率、景深虚化等方面提供更优质的体
验。我们可以清晰地看到,P20pro所制定的三摄、大尺寸CMOS、AI相机和超级夜景
等游戏规则,也成为了接下来手机相机发展的潮流。
图3:手机三摄模组
·1
00
·
手机多摄时代的AlI‘视”界革命——
而2019年下半年发布的华为Mate
20
Pro机型,在P20pro的基础上更进一步,
并对其三摄方案进行了升级,用兼具微距功能的超广角取代了后者的黑白镜头,采用
RGB+Ultra+Tele的组合方案:主摄像头为4000万像素,光圈F/1.8;副摄像头为2000
万像素的超广角镜头,光圈F/2.2;第三颗摄像头为800万像素的长焦摄像头,光圈
F/2.4。在这种情况下,手机内置的人工智能算法就显得尤为重要,能够根据具体的拍
照场景,自动通过算法调整选用哪颗摄像头。基于该组合方案,Mate
20
Pro能让用户
在手机上体验超级广角功能,并提供更多有趣的视角。如今,超广角追随着三摄成为了
主流旗舰机际配。
华为最新发布的P30Pro,仍然主打摄影的卖点,采用了RGB+Ultra+Tele+ToF的
四摄组合方案,分别为一颗4000万像素广角主镜头、一颗2000万像素超广角镜头、一
颗采用了潜望镜设计的800万像素长焦镜头和一颗ToF镜头,能够支持5倍光学变焦、
10倍混合变焦,以及最高50倍的数字变焦能力。ToF镜头还可以支持捕捉场景中的深
度信息,实现更自然的人像虚化拍照,也可以运用在3D体感游戏和AR应用上。
虽然多摄方案能够从技术层面提升手机拍照的成像质量,但并不意味着多摄手机就
一定能够拍出好照片。多颗CMOS芯片,以及手机厂商、算法及方案提供商后期的精
心算法调教,才是最终影响成像结果优劣的主导因素。
三、前置摄像,3D人脸识别成为核心应用
手机前置摄像方案配合相应的人工智能算法可以为用户提供自拍、人脸识别、人脸
解锁、人证比对等功能。其中,识别与认证是手机视觉技术最基础的应用。
在识别方面,通过高效的人脸识别算法,手机可以实现毫秒级的人脸解锁和金融级
的人脸支付,配合3D深度传感器,可以进一步提高人脸识别的准确性和抗伪造能力,
真正实现解放双手、进行生物识别验证、解锁手机、完成支付验证等功能,还能应用于
AR和3D体感游戏等突破性应用场景上。
2017年苹果秋季新品发布会上,苹果发布10周年纪念版iPhoneX,并带来最有代
表性的技术——基于3D结构光技术的Face
ID。2018年6月,OPPO发布未来旗舰新
初-一OPPO
Find
X,这也是安卓阵营第一款真正意义上量产的搭载3D结构光的手机,
同时支持3D人脸解锁和3D人脸支付功能。
此外,荣耀旗舰机Magic2于今年3月7日再次面向市场推出3D感光版新机,搭
载由旷视研发的3D人脸识别算法,在由两个红外感光镜头和一个散斑投射器组成的
3D感光技术方案的支持下,可以为消费者提供精准安全的人脸支付、无惧黑暗的全天
候3D人脸解锁使用体验,能够有效支持3D人脸金融安全支付功能,包括基于人脸的
人工翟罐I落地应用
·
102
·
隐私保护、基于机主人脸特征识别的应用锁、基于机主人脸特征识别的文件保密柜、
3D人脸支付、3D活体检测和安全环境数据处理等功能。
更进一步看,手机要实现3D人脸识别功能,核心技术是如何得到人脸的深度图。
目前,市面上主流的解决方案,按照其工作原理不同,可以分为三种:ToF(Time
of
Flight,飞行时间技术)、结构光以及仿生双目。
ToF方案是向目标物体连续发射光脉冲,然后使用传感器接收从目标物体
反射回的光,通过计算光脉冲飞行往返的时间,便可以得到物体不同位置的深
度信息。
结构光方案则通过激光器,将有一定结构特征的光线投射到目标物体上,再通过
红外摄像头进行信息采集。由于目标物体位置不同和深度信息不同,所以采集到的图像
相位信息不同,通过计算便可以得出3D模型。
仿生双目方案即通过两个摄像头拍摄不同的照片,得到视差计算出深度信息。仿
生双目方案可分两种,一种是采用两个彩色摄像头的被动式方案,另一种是采用两个红
外感光镜头的主动式方案。
在认证方面,通过深度学习技术,相关部门和机构、企业可以将用户照片(或图像)
与第三方权威底图照片在云端进行1:1比对,精准判断用户的真实性,通过人脸识别
和活体检测等算法,可以有效鉴别照片、视频、模型等欺骗行为。目前,该技术已经广
泛应用于互联网金融风控、共享出行司机和乘客验证、社保等行业甄别欺诈行为,以保
障用户利益。
四、多摄方案加持下,高倍光学变焦将是未来趋势
在手机摄影领域中,光学变焦无疑是最实用的功能之一,并因此得到各大手机厂
商不遗余力的发展。随着手机后置双摄到最新四摄方案的升级,其光学变焦的能力也随
硬件和人工智能算法的提升而朝高倍化方向发展。
华为P20Pro开启了手机至少有三个定焦镜头组合实现高倍光学变焦能力的先河。
在光学变焦方面,4000万像素的主摄像头,配合800万像素的长焦副摄,在保证细节
清晰的前提下,华为P20Pro能够支持3倍光学变焦、5倍混合变焦以及10倍数字变焦,
这也让手机有了能够媲美带伸缩变焦镜头卡片机的光学变焦能力。回到几年前,要在如
此纤薄的手机上实现如此高倍数的变焦效果是难以想象的。即使是Wide+Tele的双摄
手机,一般实现的也只是2倍光学变焦。
华为P30
Pro则开启了手机潜望式光学变焦的时代。在手机机身内部放置一个和手
机屏幕垂直的内驱光学变焦模组,然后利用折射镜接收外界光线。这相当于让复杂的光
手机多摄时代的Al“视”界革命——
学变焦系统与机身实现了平行设计,不影响手机本身的厚度,节省转换了手机内部空间,
让即使拥有纤薄机身的手机,也能保证高水准的变焦水平,并且和单反或伸缩式卡片机
相比,可以更好地防尘防水。与其他镜头相比,潜望式摄像头多了光学转换部件,由光
学传感器、滤光片、转圈马达、镜头组、棱镜等一系列部件组成,能够达到极高的光学
变焦倍数。具体来看,华为P30Pro潜望式超级变焦镜头支持5倍光学变焦、10倍混合
变焦以及50倍最大数码变焦。在50倍的变焦下,还能拍月亮,手动拍摄即可,3秒曝
光时长,不需要三脚架。
五、AI将成为消费者选择手机的必要因素
人工智能对于智能手机的价值,是能够提前预测用户需求、主动给出相应指引或回
应、实现从Smart到Intelligent。未来,手机将成为用户联网和交互的中心,因而用户对
智能手机的选择也正在从过去的配置优先逐步向体验优先转变。在改善用户体验中,人
工智能将发挥重要作用。
其中,3D视觉将成为计算机视觉领域的核心应用。随着光学器件的不断进步,算
法与解决方案不断优化,3D深度视觉的精度和实用性得到大幅提升。在此背景下,3D
应用也将为用户带来颠覆性的人机交互体验。据IDC观察,2018年,3D摄像头被越来
越多的主流手机厂商所采用,新的3D视觉时代已经开启。
同时,软硬件结合已成为必然趋势。从大的趋势来看,无论是从双摄到三摄乃至四
摄的关键升级过程中,都是由硬件结合人工智能算法,来给用户提供各种各样的摄影体
验,轻松用手机拍摄出能够媲美单反相机的照片。如华为P30Pro搭载的3200万像素
前置镜头,支持AIHDR+逆光自拍,以及后置四摄支持的纯手持进行暗光拍摄和高倍
率混合变焦,能够让手机拥有超越人眼的夜景捕捉能力和如同望远镜一般的超强远摄能
力,这背后就需要强大的人工智能算法做支撑。
AI手机重点案例及算法介绍
首台安卓量产3D结构光手机发布一0PP0
Find
x
2018年6月,OPPO发布未来旗舰新机一OPPO
Find
X。秉承“让手机变得更聪明”
的理念,该机基于3D结构光的人脸识别应用,由OPPO研究院上海软件研究中,t5
AI
实验室与旷视联合研发。在旷视3D人脸识别解决方案支持下,OPPO
Find
X具备毫秒
极速解锁和百万分之一精度的安全支付功能,并在影像环节上可基于3D面部信息进行
智能打光。OPPO
Find
X打响了安卓阵营3D结构光量产的第一枪,并推动旷视3D视
·103
·
人工罂雒I落地应用
查看内容精选
·1
04·
觉产品的大规模应用。
“美学革命",hi
A.ig光效技术的里程碑一vivo
X23
2018年9月6日,vivo发布了号称“美学革命”的全新旗舰机vivo
X23。为了适
配芯片与硬件的升级,vivoX23采用了旷视提供的算法优化版的红外双通零光感人脸解
锁技术与A1人像光效技术,以提升硬件兼容度,为用户带来更优质的手机使用体验。
基于旷视人脸识别算法,系统可自动检测手机用户面部1024个特征维度并进行高精度
智能匹配。基于旷视与高通合作使用的DSP技术,vivoX23的解锁功耗降低一半的同时,
还将速度稳定在0.1秒内,实现无配合式的毫秒级响应。同时,vivoX23采用了基于上
百万张覆盖全人种的人脸数据训练的升级版A1人像光效处理技术,并新增伦勃朗光与
彩虹光两款定制光效。
希区柯克变焦,手机也能拍出电影大片的效果
DollyZoom又叫希区柯克变焦,是一种专业的电影拍摄手法。在电影拍摄时,转动
变焦镜头改变FOV的同时,把摄像机移向或者远离物体,使物体在画面中一直保持相
同大小。因此,机位在远离物体的同时,镜头向前推进,或者与此相反。这样画面就会
在变焦中产生一种连续的透视变形,最直观的特点是背景改变大小而主体不变。此功能
拍摄手法较为复杂,需要滑轨、变焦镜头等设备的配合。而旷视通过A1人脸检测、特
征检测、视频稳像等技术的结合,创新性地首次将此功能在手机上实现,能够智能一键
式地实现拍摄主体人物的大小和位置相对不变,而背景持续变化的迷魂特效。
超画质赋能,智能降噪无惧夜晚低光环境
随着人工智能算法的发展,手机超画质技术即将成为“AI+手机”的核心技术之一。
该技术通过对原始图像进行检测、分析、降噪和融合等处理,能够解决用户在夜晚和低
光照环境下拍摄照片时产生的画面亮度偏暗、噪声过大、动态范围不佳等画质问题,并
通过人工智能学习高画质数码相机的成像特性,还原景物原有的细节纹理,使画面品质
得到整体提升。
依托在RAW域进行算法处理的技术的创新突破,在智能降噪的同时,超画质技术
能够更好地保留画面质感,大幅度优化拍摄和影像处理的时间,显著提升用户在夜晚和
低光照环境下的拍摄体验。OPPO最新的旗舰机Reno将搭载超画质技术。
应用场景将着重以优化城市风光场景为主,有多点灯光等人工照明的场景,如常
见的夜晚广场、霓虹灯、建筑灯光及大桥上的装饰夜灯等景观。