iPhone 6 Plus 防抖和多幀成像機制研究
夏昆岡 于 2014.11.22 21:04:50 | 源自:www.soomal.com | 版權:原創 | 平均/總評分:09.68/513

iPhone 6 Plus是蘋果首款具有光學防抖攝像頭的手機,它的實際防抖效果如何?我們認為,很好,非常好,1/4秒手持拍攝成功率也能較高,明顯優于其他機型,我們好奇這其中的秘密,到底是什么樣的機制讓它的防抖變得出色。

我們先來看看官方的說明:“光學圖像防抖動功能,協同 A8 晶片、陀螺儀和 M8 運動協處理器,測量動態數據并進行精確的鏡頭移動,以補救弱光條件下手部抖動帶來的影響。然后再加上長、短曝光影像的融合,進一步減輕拍攝主體晃動的問題”

這段描述解釋了光學防抖的基本工作流程,偵測抖動量的工作是由主處理器、協處理以及陀螺儀共同完成,然后通過調整鏡頭中的線圈來控制鏡片的移動,完成抖動的補償,這個過程,其實與其他手機、相機的鏡頭的光學防抖原理是一樣的,讓iPhone 6 Plus防抖變得出類拔萃的是后面這句描述,重點在于“長、短曝光”,這里面有玄機。

iPhone 5S發布時,攝像頭增加了一個“自動圖像防抖動功能”,這個防抖和光學防抖又有什么不同?這個防抖的原理是多幀拍攝對齊合成。

  • 多幀防抖是純數字的防抖技術,它的基本原理是,單幀拆成多幀拍攝,然后對齊合成。蘋果設定的多幀為4幀,舉個栗子:假設測光得到了1/20秒,這個值對于一般人來說可能并不安全,會導致手抖,那么多幀防抖機制此時會啟動,讓攝像頭連續拍攝4幀1/80秒的照片,當然,也可能拍攝成4張曝光時間并不等長的照片,然后對齊,對齊示意如圖,多幀的交集可以合成一張不抖動的圖像。

  • 多幀的意義不止防抖,在蘋果官方文案中也明確的說明了,降噪也可以依賴多幀實現,原理又是怎樣呢?成像的噪點其實是無序排列的,也就是說上一張這個位置的噪點可能是紅噪點,而下一張同一個位置可能是綠噪點,這樣就有了比較條件,可以比較容易的將噪點篩選出來,圖示中的紅綠點表示噪點,當然,這只是圖示,不會有這么巨大夸張的噪點的,噪點重疊的區域,可以得到白點,白點則根據進一步法的算法進行猜色和插值處理,達到去除噪點的效果,這種方法對處理常見的紅綠噪點很有效。

    多幀還可以用于HDR,這里不再贅述HDR的合成原理,想必大家都知道了,從iPhone 5S起,有個成像上的變化就是HDR似乎是關不掉的,暗部總會被稍稍提亮,iPhone 6 Plus的成像也繼承了這個特點,應該是有個非常輕度的HDR在起作用,雖然APP單獨提供了HDR選項,這個選項只是更重口味的HDR而已。

    回到iPhone 6 Plus身上,它并不只是光學防抖,而是光學防抖加多幀防抖以及多幀合成組合運用的,我們來一看一組對比樣張。

    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=單點;感光度=ISO64;白平衡=自動;曝光補償=0.0EV;曝光時間=1/15秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.13 14:28:06
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO694;曝光補償=0.0EV;曝光時間=1/33秒;日期=2014.11.13 14:26:09
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光時間=1/33秒;日期=2014.11.13 14:23:33
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=單點;感光度=ISO50;白平衡=自動;曝光補償=0.0EV;曝光時間=1/30秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.13 17:48:43
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光補償=0.0EV;曝光時間=1/33秒;日期=2014.11.13 17:48:20
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO200;曝光時間=1/33秒;日期=2014.11.13 17:48:56
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=單點;感光度=ISO80;白平衡=自動;曝光補償=0.0EV;曝光時間=1/4秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.13 15:01:16
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO700;曝光補償=0.0EV;曝光時間=1/14秒;日期=2014.11.13 14:55:38
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO900;曝光時間=1/14秒;日期=2014.11.13 15:02:50
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=單點;感光度=ISO64;白平衡=自動;曝光補償=0.0EV;曝光時間=1/15秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.13 17:34:51
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO400;曝光補償=0.0EV;曝光時間=1/33秒;日期=2014.11.13 17:35:29
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光時間=1/33秒;日期=2014.11.13 17:35:12
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=單點;感光度=ISO320;白平衡=自動;曝光補償=0.0EV;曝光時間=1/4秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.13 17:55:44
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO3000;曝光補償=0.0EV;曝光時間=1/10秒;日期=2014.11.13 17:56:28
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO3100;曝光時間=1/20秒;日期=2014.11.13 17:57:34

    這組樣張采用了3臺支援光學防抖的機型拍攝,除了iPhone 6 Plus之外還有vivo Xshot以及nubia Z7。iPhone 6 Plus 光圈 F2.2,Xshot為F1.8,Z7是F2.0,為什么要強調光圈?請各位留意曝光時間和感光度參數。你會發現iPhone 6 Plus的光圈最小,自動感光度卻往往是最低的,曝光時間是最長的,這似乎很好理解,為了畫質。

    如果細心一點,會發現iPhone 6 Plus的曝光量與另外兩款明顯不同,曝光量由光圈、快門時間決定,而感光度則是曝光效率,這3個值決定了最終的曝光量,你會發現,iPhone 6 Plus的曝光量明顯更小,曝光差異甚至接近2EV,但iPhone 6 Plus的畫面沒有出現曝光異常。

    可以認為,這是多幀合成技術導致的“參數異常”。iPhone 6 Plus 將單幀拆解成了4幀,而且每一幀的曝光參數并不一樣,例如感光度和曝光時間都不一樣,用低感光度和相對較長的曝光時間獲得基礎幀,用中等曝光參數獲得矯正幀,用過曝的參數獲得HDR的修正數據和部分噪點副本,蘋果將這樣的處理簡單的解釋為了“長、短曝光影像的融合”。合成的結果,曝光時間是時間總長,而感光度則可能使用了最低的那一幀,因此得出“異常的參數”。

    看到這里,你或許困惑,光學防抖的意義到底體現在哪兒?我們檢視了一下拍攝的大量樣張,iPhone 6 Plus的最長快門時間為1/4秒,這對光學防抖的鏡頭來說其實也是不安全的,按照蘋果的說法,多幀防抖是4幀合成,那么1/4秒可以拆解成平均1/16秒一幀,而1/16秒對光學防抖來說,是比較安全的,這就是光學防抖的意義。其實精髓,仍舊在多幀技術上。

    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=模式;感光度=ISO32;白平衡=自動;曝光補償=0.0EV;曝光時間=1/3049秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.12 13:25:41
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光補償=0.0EV;曝光時間=1/2035秒;日期=2014.11.12 13:24:55
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光時間=1/1876秒;日期=2014.11.12 13:26:19
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=模式;感光度=ISO32;白平衡=自動;曝光補償=0.0EV;曝光時間=1/1163秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.12 13:28:27
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光補償=0.0EV;曝光時間=1/1087秒;日期=2014.11.12 13:28:38
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光時間=1/854秒;日期=2014.11.12 13:28:59
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=模式;感光度=ISO32;白平衡=自動;曝光補償=0.0EV;曝光時間=1/1721秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.12 14:05:03
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光補償=0.0EV;曝光時間=1/1226秒;日期=2014.11.12 14:05:24
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光時間=1/1428秒;日期=2014.11.12 14:05:19
    制造商=APPLE;型號=IPHONE 6 PLUS;鏡頭=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;測光模式=模式;感光度=ISO32;白平衡=自動;曝光補償=0.0EV;曝光時間=1/1099秒;曝光程式=程式模式;場景類型=標準;日期=2014.11.12 14:29:20
    制造商=VIVO;型號=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光補償=0.0EV;曝光時間=1/1051秒;日期=2014.11.12 14:29:48
    制造商=NUBIA;型號=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光時間=1/854秒;日期=2014.11.12 14:29:40

    再看一組白天的對比樣張,情況類似。多幀應該還是啟動了,只不過多幀更多是為了HDR、降噪[藍天]。

    多幀技術其實并不新鮮,將多幀玩得出神入化的是索尼,自從索尼的感光器能夠實現高幀率連拍之后,就陸續的開發出了全景、多幀防抖、多幀降噪等實用型技術,這些技術出現一定是有技術背景的,就是感光器能夠進行快速高幀率拍攝以及處理器也能處理得過來,這樣的技術條件其實在手機上也在慢慢實現,甚至有機會超越相機,因為手機在可編程以及處理器方面有著絕對的優勢。

    iPhone 5 到 5S,攝像頭最大的變化就是感光器內部頻寬的改善,其中連拍速度大幅提升達到10FPS,而之前只有3.xFPS,這樣的技術進步才使得多幀合成技術有了用武之地。其實蘋果只不過復制了索尼曾經在相機領域做過的事情,不同的是,蘋果把這些技術做的不顯山露水,悄悄間就完成了,用戶根本不需要了解背后到底發生了什么技術變革。

    現在的主流感光器,例如IMX214,其實也具備了高速幀率的性能特點,但真正在挖掘新型感光器機型,卻非常少,更多的還在秀初級參數的階段,例如我家的相機能XX FPS高速連拍,而沒有想到用這些性能去做些什么。而現在,各廠商的工程師們是時候動手了。

    注:由于技術資料非常有限,不能保證全對,所以閱讀時請保持將信將疑的狀態,如果你是開發人員,相信這篇文章應該對你是很有意義的。

    請評分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    113.115.054.***
    113.115.054.***
    發表于2018.11.15 23:57:11
    99
    123.153.160.***
    123.153.160.***
    發表于2018.06.02 11:00:39
    98
    183.042.048.***
    183.042.048.***
    發表于2018.01.20 20:01:09
    97
    171.040.145.***
    171.040.145.***
    發表于2017.01.24 20:07:04
    96
    183.038.072.***
    183.038.072.***
    發表于2016.12.12 14:30:08
    95
    211.162.033.***
    211.162.033.***
    發表于2016.05.20 14:09:22
    94
    113.140.011.***
    113.140.011.***
    發表于2016.02.26 17:35:04
    93
    220.249.163.***
    220.249.163.***
    發表于2015.12.09 09:00:21
    91
    014.204.008.***
    014.204.008.***
    發表于2015.12.06 19:38:14
    90
    121.031.040.***
    121.031.040.***
    發表于2015.10.15 23:29:57
    89
    219.132.255.***
    219.132.255.***
    發表于2015.07.09 17:04:51
    88
    059.049.241.***
    059.049.241.***
    發表于2015.06.30 10:17:12
    87
    058.241.044.***
    058.241.044.***
    發表于2015.04.21 07:45:57
    86
    001.204.136.***
    001.204.136.***
    發表于2015.04.13 13:34:34
    85
    223.240.230.***
    223.240.230.***
    發表于2015.04.12 23:47:24
    84
    061.148.244.***
    061.148.244.***
    發表于2015.04.03 22:32:16
    83
    114.247.236.***
    114.247.236.***
    發表于2015.03.02 17:25:08
    81
    125.227.116.***
    125.227.116.***
    發表于2015.02.26 17:43:00
    80
    提示
    本貼不可匿名回復,回復等級為:1 ,您現在正處在潛水狀態
    回復
    驗證碼
    9585 為防止廣告機貼垃圾,不得已而為之
    表情
    正文
    京ICP備11010137號 京ICP證110276號 京公網安備110114000469號