Pat Lawlor作品:移動影像的突破 解讀高通驍龍處理器是如何改變攝影的[上]
Soomal 于 2015.11.01 03:03:56 | 源自:www.soomal.com | 版權:編譯 | 平均/總評分:09.29/130
  • 原文:《Breakthrough Mobile Imaging Experiences》,是高通于2015年1月發表的一份白皮書文檔,作者Pat Lawlor,高通技術市場部主管。這篇文章中主要介紹了數字影像市場的市場變革,高通處理器的數字影像處理功能等內容。其中不乏商業宣傳成份,但對于普通人和行業人員來說,可以通過其中的數據資料,理解手機攝影成為主流的趨勢,以及簡單了解數字影像的工作結構和原理。
    • 1,提綱摘要

      移動影像改變了人們記錄和分享回憶的方式。如今智能手機已是我們長久的伙伴,而相機則以過去無法想像的方式成為我們提高生活品質和增進交流的關鍵。捕捉并傳輸每一個生活的瞬間映像已是如今各地人們的現代生活日常。從讓他人一窺我們的生活,到生產工作中進行協助和解決問題,相機正以驚人的視覺表達力傳達著許多無法靠言語的交流。

      移動領域在推進相機技術發展上扮演了舉足輕重的角色,并開拓了數字影像領域的可能性。但由于手機的物理尺寸限制,在移動裝置提供數位單眼相機級別的畫質仍是巨大的挑戰。不同于數位單眼,將巨大的圖像傳感器和長又粗的鏡頭裝在能放進口袋的智能手機上顯然是不可行的。為了克服這一挑戰,高級移動處理器已經推出了許多創新和改進處理以彌補智能手機所采用的小尺寸光學元件的傳統缺點。

      通過攝像頭和多媒體的創新,高通技術公司[QTI],正在成為重新定義移動裝置視覺體驗的領導者。QTI采用一種全面的系統設計,通過SoC[System on a Chip,片上系統]提供了一套卓越的終端攝像頭解決方案,并保持了電池的長效續航和性能效率的最大化。

      本文討論了移動影像的發展趨勢,并介紹了移動影像的突破性經驗,具體而言,本文突出了以下幾點:

      1)移動影像的崛起

      2)高通驍龍處理器是如何以智能手機的大小提供數位單眼般的畫質

      3)高通驍龍處理器給移動影像體驗帶來了怎樣的革新

      4)QTI如何推動了相機系統的創新

    • 2,移動影像的崛起

      集成拍照功能的手機全球銷量從2000年的僅100萬臺激增到2013年的14億,而Strategy Analytics的分析報告預計2017年將達到18億。現在智能手機不僅吞噬著相機行業的出貨量,畫質也逐漸媲美[甚至強于]傳統的傻瓜相機。通過高通在2014年的一份調查顯示,超過80%的智能手機用戶對手機攝像頭的便利性表示喜歡,幾乎一半的人更愿意使用智能手機而非其它傳統相機。這份調查也表明了手機攝像頭是人們不再選擇數位單眼和卡片機的主要原因。得力于解析度更高的圖像感光器,更完善的圖像處理和更快的響應速度(縮短了點擊-捕捉和拍攝時間),手機攝像頭所能提供的畫質越來越高。甚至能在困難的環境下提供高級別畫質,像是高速運動攝影(如運動攝影)或是弱光環境下的拍攝。正因為這些品質的提升,手機攝像頭已經蠶食了超過50%的數位單眼相機的用戶市場。現在,超過60%的智能手機用戶在任何情況甚至是特殊場合下都會選擇使用手機攝像頭拍照。

      攝像頭已成為移動手機最常用的功能。在一份Strategy Analytics最近的調查中,98%的歐美受訪者的手機上有攝像頭,48%的美國受訪者中每周至少使用一次攝像頭功能。超過半數的受訪人認為拍照畫質是影響他們選擇下一臺智能手機的重要選項。

      如今,移動裝置拍攝的照片要遠多于專用的數位相機。根據Tomi Ahonen年鑒的數據,只用手機攝像頭拍照,沒用過獨立相機的人超過90%。在一份高通于2014年進行的調查中,約80%的傻瓜相機用戶認為智能手機攝像頭更方便、易用,易于共享。智能手機讓日常消費者能及時拍攝,便于編輯,即刻分享,成為廉價的大眾化攝影工具。根據Mary Meeker的數據,在2014年8月,每天有18億張照片通過Flickr這個全球知名的在線照片共享服務供應商上傳共享,其會員使用得最多的前三款相機都是智能手機。

      消費者想要獲得更好移動影像畫質的欲望,和其它幾個關鍵系統生態的驅動與技術的進步,預計將進一步加快移動影像和拍照手機的普及。

      2.1,生態驅動

      OEM廠商——差異化需求:為了利用大眾對移動影像的需求,有創造力的OEM廠商正在研發具有卓越畫質和高級功能的超薄智能手機。為了讓自己銷售的智能手機與眾不同,三星最近已將相機和智能手機事業部門合并。剛剛并購了諾基亞裝置和服務事業的微軟裝置部,正將先進獨特的影像功能應用于Lumia商標的Windows Phone手機。HTC在One系列提供了一套被命名為ImageSense圖像功能方案,其中包括被稱為UltraPixel的大畫素傳感器。OPPO銷售的N3則開創移動產業的多個先例,例如遠程控制和帶馬達轉動機構的1600萬畫素攝像頭可在206°的范圍自動轉動跟蹤拍攝對象。

      應用程式和服務供應商——更高的收入:拍照手機也是服務供應商創造有吸引力的服務,并獲得更高的收入的關鍵要素。例如亞馬遜的Firephone上提供的Firefly功能,可讓用戶通過攝像頭拍照識別產品資訊,并能直接通過手機在亞馬遜網站上下單訂購。

      作業系統供應商——更多的用戶量:為了提升用戶數量,系統供應商正增加攝像頭的框架和應用接口,便于應用開發者和OEM裝置廠商獲得越來越先進的相機功能。

      部件供應商——更高的品質:面對激烈的價格和質量競爭,圖像傳感器、鏡頭和模塊的廠商也將創新作為它們的產品區分手段。

      用戶——分享欲:人們渴望捕捉、存儲,并與親人分享視覺記憶,尤其在這個社交媒體網路的新時代,進一步加快了移動影像的興起,今天,超過60%的智能手機用戶上傳或分享他們的照片。

      2.2,技術驅動

      得益于諸多硬體[HW]和軟體[SW]的發展與創新,智能手機在改善相機性能方面獲得了巨大的進步。

    • 更大的圖像傳感器:圖像傳感器包含了數百萬個被稱為光電二極管的感光點,用于記錄透過鏡頭看到的資訊。一個更大的傳感器可從兩方面獲得比小傳感器更多的資訊:更大的畫素點和/或更多的畫素數,更大的傳感器生成的圖像可有更大的動態范圍、更少的噪點、更好的細節、和更強的弱光畫質。朝更高的畫素數發展已是目前的主要趨勢,盡管這并不一定是性能更好的證明。

      在過去,智能手機的圖像傳感器尺寸只有1/3英寸甚至更小。2013年,諾基亞推出的Lumia 1020 Windows Phone手機采用了2/3英寸的傳感器,擁有4倍感光面積。索尼Xperia-Z1的傳感器為1/2.3英寸,和消費級卡片相機相同。諾基亞的6英寸手機Lumia 1520,集成了內置PureView技術的2/3英寸2000萬畫素傳感器,也是目前集成大于標準尺寸圖像傳感器的最新機型。集成大尺寸感光器的這一趨勢預計會在下一代機型中持續。[注:1520的感光器尺寸實際上是1/2.5英寸]

      解析度更高的攝像頭:移動裝置的相機技術已經顯著改善,使解析度得到了明顯的提升。提升解析度和幀率帶來的壓力仍會持續。今天,主流高階位移動裝置的攝像頭感光器已達到1600萬至2100萬畫素。而且高解析度的靜止照片拍攝和視訊錄制已成為趨勢。例如三星Galaxy S5、OPPO N3、摩托羅拉Droid Turbo、索尼移動Xperia Z3等許多高階機型可拍攝并錄制4K視訊。我們期待更多的4K裝置在市場上涌現。

      加大感光器尺寸的需求仍受限于手機的厚度,使得增加攝像頭解析度是以犧牲畫素點尺寸作為代價的。轉移至更小畫素(未來將達到1.1微米或更小)導致通光量減少,帶來更多噪點,更糟的色彩和動態范圍的縮減。在相機模塊設計和移動處理器的進步,有助于小畫素帶來的挑戰。

      更有力的移動處理器:今天的廠商要讓智能手機能提供數位相機一樣的畫質、解析度和幀數體驗,并可將這一切集成在一個小圓塊里。移動處理器需要更多的性能去處理從更小的感光器和鏡頭生成的光學成像。集成在現代移動處理器中的高通量圖像訊號處理器[ISP]有助于提供所需的高幀率和解析度。通過ISP,以及CPU、GPU和DSP等其他處理引擎的運算性能,為先進的相機功能提供了助力,如高動態范圍[HDR]、圖像再對焦和照片編輯等功能。

      圖像防抖:現代智能手機可以通過數種圖像穩定技術幫助用戶拍攝更清晰的圖像和更平滑的視訊片段。光學圖像穩定系統[OIS]通過移動感光器或鏡頭組件的方式工作以抵消相機抖動。諾基亞Lumia 920是首個支援OIS的手機,此后多款高階智能手機,如Galaxy S5[注:S5不支援光學防抖,S6才是]、LG G3和Google Nexus 5也支援OIS。電子圖像穩定系統[EIS]和數字圖像穩定系統[DIS]帶來了修正視訊抖動的技術。相機的運動通過陀螺儀直接測量[EIS]或是靠圖像中的移動來預算[DIS]。視圖幀隨后被移動到比相機視野[FOV]更廣的范圍,移除已錄制視訊中的抖動。

      多攝像頭:現代智能手機可以擁有多個前置或后置攝像頭。例如,使用多個后置攝像頭或攝像頭陣列可在同一時間拍攝多張使用不同設定的照片,并帶來許多高級特性玩法,諸如快速對焦、類光學變焦能力、景深測量、弱光攝影等等。多個前置攝像頭也可以帶來新的用戶體驗,如通過手勢識別等更自然的方式進行交互。

      先進的計算攝影:除了ISP提供相機功能,計算攝影[Computational Photography]的圖像處理技術,增強和擴展了數字攝影功能。可用于HDR、弱光拍攝、照片拼接等和其它諸多圖像增強技術。計算機視覺[CV]讓裝置“看到”現實中的事物或與其“關聯”的能力達到了一個新的臺階。CV能讓裝置掃描環境,并從捕捉的圖像中提取有意義的資訊——讓人理解現實世界中身邊的事物,并向用戶傳達相關聯的資訊。例如,一個增強現實[AR]應用可以在博物館的一個恐龍展上,通過CV技術識別不同的物種并展示相關資訊,甚至通過虛擬圖像描繪一只生活在自然棲息地的特定恐龍。

       

      3 在移動裝置體積中提供單眼級別的畫質

      眾所周知數位單眼相機可依靠自身的畫質拍攝高解析度照片,即使在弱光環境和高速運動物體也能應對。它們具有快速連續地處理多張照片的爆發能力。速度是照片拍攝和圖像處理的關鍵,它能讓用戶捕捉到所有想要的鏡頭瞬間。捕捉光線并將其準確地轉換為畫素點就是數字攝影的本質。數位單眼使用昂貴、巨大的圖像傳感器和光學玻璃組件以捕獲盡可能多的光線。然而,受限于體積,嚴格的功耗和發熱控制,移動手機的攝像頭設計需另辟蹊徑。巨大的圖像傳感器和長又粗的鏡頭裝在追求時尚的當代智能手機上顯然不可行。為了減輕移動平臺感光器和光學組件的限制,驍龍SoC在設計中已集成了先進的影像處理功能,便于提供嶄新的單一攝像頭以及多攝像頭的影像體驗和令人驚嘆的質量。

    • 驍龍處理器在低功耗下帶來了革命性的移動影像體驗,提供先進的功能和數位單眼般的畫質,尤其是:

      一個為非凡的畫質和高吞吐量,高級特性設計的卓越圖像處理器[ISP];

      利用異構計算的優勢采用全面的方法設計的功率優化系統晶片[SoC]。

      3.1 雙高速ISP的靈活性和分載能力

      驍龍處理器的設計讓手機攝像頭捕捉人所經歷的所有色彩、結構和活力的時刻。提供了無與倫比的畫素吞吐量,同時還保持著高品質。驍龍處理器的雙ISP架構可支援雙高品質攝像頭。雙ISP還利用計算攝影[CV]支援許多引人關注的特色功能,如即時自動對焦、散景[背景虛化]和雙攝像頭變焦等。

      下文將主要介紹驍龍ISP無與倫比的處理速度高超的成像質量

      無與倫比的速度:高通ISP的零快門延時能力[Zero Shutter Lag,ZSL]和雙攝像頭性能是QTI高通技術優勢的集中體現。驍龍ISP的設計,甚至超越了高階數位單眼和數位相機。驍龍810處理器為雙ISP架構,每個ISP可運行最高600MHz主頻。當雙ISP處于串聯模式下,可提供最高1.2G畫素的吞吐量,結合ZSL以提供實時拍攝更清晰圖像的能力。并通過驍龍的非核心區處理能力獲得明顯更高的解析度。雙ISP不僅能獲得更高的解析度和幀數,還能讓雙攝像頭實現照片和視訊實現畫中畫,和4k解析度錄像與截圖的無縫結合。驍龍810有一個能證明其強大能力的例子,就是以同步的方式實現1600萬畫素急速連拍(1號ISP以30fps ZSL方式達到驚人的15fps連拍速度)和2號ISP進行4K視訊錄制。

      卓越的畫質:ISP通過高級圖像處理模組提供了卓越的色彩和噪點處理。由于驍龍ISP的能力太廣泛,在這里無法進行過于詳細的描述,因此本文將重點介紹幾個能提供卓越畫質的功能模塊。這些先進的功能將有助于搭載驍龍處理器的智能手機獲得空前的認可。

      3.1.1 杰出的噪點過濾能力

    • 驍龍處理器可通過高級的前后處理降噪功能在弱光環境的拍照和視訊模式下獲得清晰、高品質和高解析度的照片。它具有先進的拜耳降噪濾鏡和硬體的小波濾噪,有助于在保持場景細節的前提下生成最干凈的圖像。

      驍龍處理器還具備高級視訊降噪能力,提供熱噪、蚊式噪點、塊狀噪點的降噪功能,為驍龍驅動的手機帶來出色的4K視訊體驗。

      3.1.2 自適應局部色調映射[Local Tone Mapping,LTM]

    • LTM技術通過在單一圖片上改變單影調方式讓照片變得更美觀。這能提高暗部的細節,使其變得更明顯,改善了對比度和清晰度,獲得更高的動態范圍。LTM在拍照和視訊錄制下都可使用。

      3.1.3 先進的鏡頭修正

      由于智能手機的限制,緊湊小尺寸的攝像頭光學模組有相當的挑戰性。這會導致色差和景深內的像差的出現。驍龍800處理器提供了一個高級的修正模塊通過四組全通道進行高粒度網格修正。每一個傳感器通道都是實時可編程的。可基于不斷變化的光線條件更新并進行動態的色彩修正。即使從生產線下來的手機使用了不同的攝像頭,驍龍ISP也可以通過單機校正的方式保存不同的組件參數。

      3.1.4 先進的3A技術

      如下圖所示,先進的自動對焦、自動曝光和自動白平衡是驍龍處理器提供卓越畫質的關鍵。

      為速度更快、拍照更清晰而改進的反差式對焦:及時拍攝清晰的瞬間對智能手機而言一直是個挑戰。無論是單獨的或是協同工作的加速對焦技術,都會是在反差式對焦成像是否清晰的支柱。驍龍處理器提供一個雙核心和更大的內核,這將極大地提高反差對焦的性能。

      內核1基于圖像較大區域的指標,提供一個平滑和大致的驅動器運行方向測量。內核2基于細節進行度量,為達到峰值對焦的位置提供了很好的精度。兩個核心協同工作,可提供快速精確的焦點搜索。而大內核可基于圖像的特性進行更精確的計量。

      自動曝光[AE]和自動白平衡[AWB]:AE和AWB是數位影像世界的兩個最大難題。你的相機正在拍攝的場景,其光線的色彩和強度都是在不停變化的。AE和AWB的工作就是檢測環境光的特性,調整相機系統,以保持準確的顏色和亮度。

      高通以一個先進的統計引擎開始,為AE和AWB提供了靈活而強大的解決方案。這個引擎能檢測色溫和亮度范圍,這些統計驅動著復雜的算法,有益于ISP通道和圖像傳感器保持合適的色彩特性。同時避免過飽和或是高光和低光的反差。對于OEM廠商尋求自己獨特的AE和AWB設定,高通為驍龍處理器提供了一個靈活的API用于訪問統計引擎和控制ISP。

      3.1.5 14-bit的HDR圖像ISP

      高通以其優越的ISP技術,成為卓越畫質和高解析度攝影的領導者。在驍龍810處理器上,有一個14位的雙ISP用于擴展高性能圖像傳感器的動態范圍。自動曝光的算法確保合適的硬體設定使其能最大限度地利用14位ISP。

      高色深能保持亮部和暗部的細節,提供杰出的HDR視訊性能。這是專為提升動態范圍和減少由于壓縮導致的圖像失真,讓你的照片和視訊擁有出色的HDR效果。

      [未完待續]

      請評分
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
03
翻譯這活兒挺累,

看的懂和寫成文有一大段路要走。
發表于2015.11.07 23:42:49
46
059.049.241.***
059.049.241.***
發表于2015.11.06 17:14:58
45
085.025.236.***
085.025.236.***
發表于2015.11.06 09:50:30
44
10
信噪比和動態更好的感光器,光學性能更好的鏡片組,更智能靈活的ISP,都是相互作用,相互驅動。無論三星高通聯發科NVIDIA,它們處理器內置的ISP工作流程都是大同小異

手機小底的動態和反差表現或許不好看,但可以通過PS之流的軟體進行數字上的影調和明暗調整變得更順眼,這也是手機處理器內置ISP努力的方向。
nbx修改此貼于2015.11.05 01:31:25
發表于2015.11.05 01:28:04
43
113.067.129.***
113.067.129.***
發表于2015.11.03 12:23:31
40
Z1剛上市就買了,表示索尼的攝像頭軟體優化真是渣。陰天的相片發黃,成像效果不如同時期iPhone5
此帖使用LENOVO K50-T5提交
發表于2015.11.02 23:14:07
39
111.161.077.***
111.161.077.***
發表于2015.11.02 22:14:03
38
03
發表于2015.11.02 16:37:26
36
03
當前世界移動為王,手機基本取代PC成為最大的資訊智能載體.手機軟硬體發展速度超乎想象.cpu性能上強如A9級別足以超越現在的atom,圖形上A9X和tegra X1都達到筆記本入門顯示卡的水準,intel熒幕表現上s6edge這種怪獸的硬指標隨意吊打W元級專業顯示器.軟硬體都全面跨進64bit.
然而完成這也就幾年的時間.
話說回來,從08年的ip3g到15年的ip6s這7年,手機成像質量進步了多少?同樣的08年佳能5d2到15年的5ds有進步了多少?
體積和功耗上的限制決定什么不如什么,只有在技術水準一致的情況下才是絕對正確的.當前的智能手機在所有裝置中的地位決定了廠商研發優先級遠高于單眼.單眼多年累積下來的技術,多數均已下放到手機上就是很好的證明.
當然短時間達到入門單眼的水準的確不太可能.但放眼長期(5-10年)則不是沒有可能.單眼將越來越小眾,而低階則被淘汰.
發表于2015.11.02 15:03:47
35
123.138.032.***
123.138.032.***
發表于2015.11.02 12:53:11
34
101.254.***.***
101.254.***.***
高通給了多少錢?!!!
此帖使用LGL22提交
發表于2015.11.02 09:57:17
32
03

此帖使用H60-L01提交
發表于2015.11.02 09:27:59
31
10
別動不動就道德批判好不好,把文章看明白了再說想說的好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好好不好

發表于2015.11.01 22:31:11
30
03
手機提供單眼級別畫質,這句話和soomal以前批判某些手機用了某某晶片就宣稱音質超越隨身音頻播放器一樣可笑,不知soomal怎么想的,手機再強大,由于定位和體積、鏡頭等的限制,永遠也不可能在畫質上超越單眼,因為單眼也在進步和進化。希望soomal堅持客觀、公正的立場,在商業大潮中獨樹一幟,站穩腳跟。
發表于2015.11.01 21:30:22
29
提示
本貼不可匿名回復,回復等級為:1 ,您現在正處在潛水狀態
回復
驗證碼
4800 為防止廣告機貼垃圾,不得已而為之
表情
正文
京ICP備11010137號 京ICP證110276號 京公網安備110114000469號