iPhone 6 Plus 防抖和多帧成像机制研究
夏昆冈 于 2014.11.22 21:04:50 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:09.68/513

iPhone 6 Plus是苹果首款具有光学防抖摄像头的手机,它的实际防抖效果如何?我们认为,很好,非常好,1/4秒手持拍摄成功率也能较高,明显优于其他机型,我们好奇这其中的秘密,到底是什么样的机制让它的防抖变得出色。

我们先来看看官方的说明:“光学图像防抖动功能,协同 A8 芯片、陀螺仪和 M8 运动协处理器,测量动态数据并进行精确的镜头移动,以补救弱光条件下手部抖动带来的影响。然后再加上长、短曝光影像的融合,进一步减轻拍摄主体晃动的问题”

这段描述解释了光学防抖的基本工作流程,侦测抖动量的工作是由主处理器、协处理以及陀螺仪共同完成,然后通过调整镜头中的线圈来控制镜片的移动,完成抖动的补偿,这个过程,其实与其他手机、相机的镜头的光学防抖原理是一样的,让iPhone 6 Plus防抖变得出类拔萃的是后面这句描述,重点在于“长、短曝光”,这里面有玄机。

iPhone 5S发布时,摄像头增加了一个“自动图像防抖动功能”,这个防抖和光学防抖又有什么不同?这个防抖的原理是多帧拍摄对齐合成。

  • 多帧防抖是纯数字的防抖技术,它的基本原理是,单帧拆成多帧拍摄,然后对齐合成。苹果设定的多帧为4帧,举个栗子:假设测光得到了1/20秒,这个值对于一般人来说可能并不安全,会导致手抖,那么多帧防抖机制此时会启动,让摄像头连续拍摄4帧1/80秒的照片,当然,也可能拍摄成4张曝光时间并不等长的照片,然后对齐,对齐示意如图,多帧的交集可以合成一张不抖动的图像。

  • 多帧的意义不止防抖,在苹果官方文案中也明确的说明了,降噪也可以依赖多帧实现,原理又是怎样呢?成像的噪点其实是无序排列的,也就是说上一张这个位置的噪点可能是红噪点,而下一张同一个位置可能是绿噪点,这样就有了比较条件,可以比较容易的将噪点筛选出来,图示中的红绿点表示噪点,当然,这只是图示,不会有这么巨大夸张的噪点的,噪点重叠的区域,可以得到白点,白点则根据进一步法的算法进行猜色和插值处理,达到去除噪点的效果,这种方法对处理常见的红绿噪点很有效。

    多帧还可以用于HDR,这里不再赘述HDR的合成原理,想必大家都知道了,从iPhone 5S起,有个成像上的变化就是HDR似乎是关不掉的,暗部总会被稍稍提亮,iPhone 6 Plus的成像也继承了这个特点,应该是有个非常轻度的HDR在起作用,虽然APP单独提供了HDR选项,这个选项只是更重口味的HDR而已。

    回到iPhone 6 Plus身上,它并不只是光学防抖,而是光学防抖加多帧防抖以及多帧合成组合运用的,我们来一看一组对比样张。

    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 14:28:06
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO694;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 14:26:09
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 14:23:33
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO50;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/30秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:48:43
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:48:20
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO200;曝光时间=1/33秒;日期=2014.11.13 17:48:56
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO80;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 15:01:16
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO700;曝光补偿=0.0EV;曝光时间=1/14秒;日期=2014.11.13 14:55:38
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO900;曝光时间=1/14秒;日期=2014.11.13 15:02:50
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:34:51
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO400;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:35:29
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 17:35:12
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO320;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:55:44
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO3000;曝光补偿=0.0EV;曝光时间=1/10秒;日期=2014.11.13 17:56:28
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO3100;曝光时间=1/20秒;日期=2014.11.13 17:57:34

    这组样张采用了3台支持光学防抖的机型拍摄,除了iPhone 6 Plus之外还有vivo Xshot以及nubia Z7。iPhone 6 Plus 光圈 F2.2,Xshot为F1.8,Z7是F2.0,为什么要强调光圈?请各位留意曝光时间和感光度参数。你会发现iPhone 6 Plus的光圈最小,自动感光度却往往是最低的,曝光时间是最长的,这似乎很好理解,为了画质。

    如果细心一点,会发现iPhone 6 Plus的曝光量与另外两款明显不同,曝光量由光圈、快门时间决定,而感光度则是曝光效率,这3个值决定了最终的曝光量,你会发现,iPhone 6 Plus的曝光量明显更小,曝光差异甚至接近2EV,但iPhone 6 Plus的画面没有出现曝光异常。

    可以认为,这是多帧合成技术导致的“参数异常”。iPhone 6 Plus 将单帧拆解成了4帧,而且每一帧的曝光参数并不一样,例如感光度和曝光时间都不一样,用低感光度和相对较长的曝光时间获得基础帧,用中等曝光参数获得矫正帧,用过曝的参数获得HDR的修正数据和部分噪点副本,苹果将这样的处理简单的解释为了“长、短曝光影像的融合”。合成的结果,曝光时间是时间总长,而感光度则可能使用了最低的那一帧,因此得出“异常的参数”。

    看到这里,你或许困惑,光学防抖的意义到底体现在哪儿?我们查看了一下拍摄的大量样张,iPhone 6 Plus的最长快门时间为1/4秒,这对光学防抖的镜头来说其实也是不安全的,按照苹果的说法,多帧防抖是4帧合成,那么1/4秒可以拆解成平均1/16秒一帧,而1/16秒对光学防抖来说,是比较安全的,这就是光学防抖的意义。其实精髓,仍旧在多帧技术上。

    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/3049秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:25:41
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/2035秒;日期=2014.11.12 13:24:55
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1876秒;日期=2014.11.12 13:26:19
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1163秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:28:27
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1087秒;日期=2014.11.12 13:28:38
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 13:28:59
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1721秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:05:03
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1226秒;日期=2014.11.12 14:05:24
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1428秒;日期=2014.11.12 14:05:19
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1099秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:29:20
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1051秒;日期=2014.11.12 14:29:48
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 14:29:40

    再看一组白天的对比样张,情况类似。多帧应该还是启动了,只不过多帧更多是为了HDR、降噪[蓝天]。

    多帧技术其实并不新鲜,将多帧玩得出神入化的是索尼,自从索尼的感光器能够实现高帧率连拍之后,就陆续的开发出了全景、多帧防抖、多帧降噪等实用型技术,这些技术出现一定是有技术背景的,就是感光器能够进行快速高帧率拍摄以及处理器也能处理得过来,这样的技术条件其实在手机上也在慢慢实现,甚至有机会超越相机,因为手机在可编程以及处理器方面有着绝对的优势。

    iPhone 5 到 5S,摄像头最大的变化就是感光器内部带宽的改善,其中连拍速度大幅提升达到10FPS,而之前只有3.xFPS,这样的技术进步才使得多帧合成技术有了用武之地。其实苹果只不过复制了索尼曾经在相机领域做过的事情,不同的是,苹果把这些技术做的不显山露水,悄悄间就完成了,用户根本不需要了解背后到底发生了什么技术变革。

    现在的主流感光器,例如IMX214,其实也具备了高速帧率的性能特点,但真正在挖掘新型感光器机型,却非常少,更多的还在秀初级参数的阶段,例如我家的相机能XX FPS高速连拍,而没有想到用这些性能去做些什么。而现在,各厂商的工程师们是时候动手了。

    注:由于技术资料非常有限,不能保证全对,所以阅读时请保持将信将疑的状态,如果你是开发人员,相信这篇文章应该对你是很有意义的。

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    113.115.054.***
    113.115.054.***
    发表于2018.11.15 23:57:11
    99
    123.153.160.***
    123.153.160.***
    发表于2018.06.02 11:00:39
    98
    183.042.048.***
    183.042.048.***
    发表于2018.01.20 20:01:09
    97
    171.040.145.***
    171.040.145.***
    发表于2017.01.24 20:07:04
    96
    183.038.072.***
    183.038.072.***
    发表于2016.12.12 14:30:08
    95
    211.162.033.***
    211.162.033.***
    发表于2016.05.20 14:09:22
    94
    113.140.011.***
    113.140.011.***
    发表于2016.02.26 17:35:04
    93
    220.249.163.***
    220.249.163.***
    发表于2015.12.09 09:00:21
    91
    014.204.008.***
    014.204.008.***
    发表于2015.12.06 19:38:14
    90
    121.031.040.***
    121.031.040.***
    发表于2015.10.15 23:29:57
    89
    219.132.255.***
    219.132.255.***
    发表于2015.07.09 17:04:51
    88
    059.049.241.***
    059.049.241.***
    发表于2015.06.30 10:17:12
    87
    058.241.044.***
    058.241.044.***
    发表于2015.04.21 07:45:57
    86
    001.204.136.***
    001.204.136.***
    发表于2015.04.13 13:34:34
    85
    223.240.230.***
    223.240.230.***
    发表于2015.04.12 23:47:24
    84
    061.148.244.***
    061.148.244.***
    发表于2015.04.03 22:32:16
    83
    114.247.236.***
    114.247.236.***
    发表于2015.03.02 17:25:08
    81
    125.227.116.***
    125.227.116.***
    发表于2015.02.26 17:43:00
    80
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    1579 为防止广告机贴垃圾,不得已而为之
    表情
    正文
    京ICP备11010137号 京ICP证110276号 京公网安备110114000469号