计算摄影计算了哪?
夏昆冈 于 2021.10.12 18:17:10 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:09.36/131

计算摄影是个时髦的词,简单的说,就是以前大部分需要人工完成的合成、修饰、处理等后期步骤交给算法来计算完成,它的重点是计算,而不是摄影,它并不是一种新的摄影类型,计算摄影会消耗大量的算力,因此必须得到通用处理器或者专业图像处理器的算力支持。计算摄影是个大概念,往下细分,里面大致有图像处理、计算光学、感光器计算、计算照明,接着细分的化,还能分出近百种子类来,而且还在不断丰富中,只要需要使用到图形处理器的操作和算法,全都可以装入“计算摄影”的大桶里,有手机厂商在炒计算摄影这个热点,其实,已经没有谁不是计算摄影了。这篇文章就来聊聊计算摄影,看看我们摄影中哪些地方需要计算。

色彩风格

制造商=OLYMPUS;型号=PEN-F;镜头=LUMIX G 25/F1.7;焦距=25毫米;光圈=F1.7;测光模式=模式;感光度=ISO200;白平衡=手动;对比度=标准;饱和度=低;锐度=标准;曝光补偿=0.3EV;曝光时间=1/125秒;曝光程序=光圈优先;场景类型=标准;日期=2016.03.08 17:23:23
制造商=OLYMPUS;型号=PEN-F;镜头=LUMIX G 25/F1.7;焦距=25毫米;光圈=F1.7;测光模式=模式;感光度=ISO200;白平衡=手动;对比度=标准;饱和度=高;锐度=标准;曝光补偿=0.7EV;曝光时间=1/60秒;曝光程序=光圈优先;场景类型=标准;日期=2016.03.08 17:20:37

不同的相机和手机厂商,对色彩都有都有自己的审美,逐渐形成自己的风格。在默认提供自由风格的同时,拍照设备往往还能提供额外的色彩风格选择,或者滤镜。

镜头矫正

镜头畸变是什么?
我们经常在相机、镜头、手机摄像头的测评文字中看到“畸变”这个词,对于不太接触摄影的读者,不大理解什么是畸变。

镜头不可避免的会出现畸变,尤其超广,所以不少相机针对自家的镜头,会启动镜头矫正功能,这也能算计算摄影,通过矫正,让镜头拍摄网格时横平竖直。矫正还有消除紫边、暗角等,其实SOOMAL认为彗差也是可以通过计算消除的。

图像降噪

相机输出JPG图像,一定会降噪,因为从RAW直接输出,会有大量的噪点,曝光时间越长,噪点也就越明显。当年用相机长时间曝光拍夜景,拍15秒,降噪也得等15秒,就看到指示灯狂闪,只能等着。这是在计算,把噪点算掉,只是早年相机的图形处理器算力实在是太弱了。相机自带的算法耗时之外,可能效果也不理想,真正的老法师都用电脑并使用某些带特殊算法的软件来对图像降噪。

机内后期

相机的色彩风格、镜头矫正以及图像输出等一系列操作被统称为机内后期,其实已经就属于计算摄影范畴了,但提起计算摄影,未必能想起这些。

多帧应用

老法师们经常玩多帧,例如堆栈方式处理星空,再例如拼接宽幅照片等,但都得靠人工一帧帧的处理,索尼NEX系列,开创了相机自动化多帧的先河,多帧全景、多帧降噪、数字防抖等。这毫无疑问属于计算摄影了。

多帧开花在相机,结果却在手机上。多帧应用对算力有着无底洞一样的需求,相机用的处理器实在不够用。手机引入了这些多帧的应用方法,并且发扬光大,多帧在相机上是花样功能,在手机上成为了最核心的应用模型,时至今日,大部分手机出片都与多帧有关。多帧应用是典型的计算摄影,其实计算摄影时代早就开启了。

全景与延时

全景是个深受大家喜欢的一个功能,旅游区的使用率尤其高。早期不少机型,全景是通过视频抽帧的方式采样,成像质量都不理想,分辨率也不行,后期都使用连拍采样,分辨率自然高得多,画质也上去了。vivo有个的超级全景,与通用的模式不同,它的每一帧采样都是多帧HDR合成而来,所以能应付复杂的光影场景,付出的代价就是耗费多得多的算力。

延时摄影也是不少人喜欢的,这个功能来自相机,在相机上是拍摄定时间隔的序列帧然后使用电脑合成成视频的方式来实现的,在手机上则可以支持直接生成视频。

数字防抖

  • SOOMAL已经多次科普数字防抖的基础原理了,基于多帧对齐。虽然大部分中高级手机的主摄都自带光学防抖,但几乎都是采用混合防抖模式,即光学+数字防抖,这样能进一步的提升防抖性能。拍摄静止帧对算力压力并不大,但视频中使用数字防抖就不一样了,有些机型在拍摄4K或者高帧率视频时,防抖功能就消失了,因为算力或者算法跟不上,在视频拍摄中,数字防抖与静止帧防抖的区别是,视频防抖是前后帧对齐,数据量大,还需要快速响应,因此对算力需求要大得多。

    HDR

    HDR也是老法师门爱使用的一项法宝,依赖堆栈,人肉对齐。到了手机这,HDR成为小绿豆感光器对抗大底的最有力武器,短腿柯基骑上电驴后跑得比猎犬还快,是因为柯基找对了方法。在HDR的支持下,手机也有了良好的宽容度,拿得出手的暗部细节,关键是省事。

    暴力的堆栈:夜景和星空

    聊聊华为P20 Pro的“夜景”
    P20 Pro的“夜景”功能让人印象深刻,是其最大的亮点,借助这个功能,P20 Pro在弱光下做到出类拔萃的优秀。今天我们聊聊这个“夜景”功能。
    制造商=HUAWEI;型号=CLT-AL00;焦距=4毫米;等效焦距=27毫米;光圈=F1.8;测光模式=模式;感光度=ISO800;白平衡=自动;对比度=标准;饱和度=标准;锐度=标准;曝光补偿=0.0EV;曝光时间=4000000000/1000000000秒;曝光程序=程序模式;场景类型=标准;日期=2018.04.23 19:21:30
    制造商=VIVO;型号=VIVO X70 PRO+;焦距=7毫米;等效焦距=23毫米;光圈=F1.6;测光模式=中央平均;感光度=ISO4800;白平衡=自动;曝光补偿=0.0EV;曝光时间=16000/1000秒;曝光程序=程序模式;场景类型=标准;日期=2021.09.27 19:36:23

    华为的夜景模式和vivo的星空模式,堪称堆栈的典范,通过长时间采样,抽取合格的合成帧,达到一键输出的目的,在相机时代,全靠人工,费时费力。星空模式是更为暴力的堆栈,还加入了消除星轨的计算,它会计算星空旋转的角度并选择天空区域后叠加。

    对特定区域或对象的色彩渲染

    针对特定区域,进行增强的色彩渲染,这是手机在普遍使用的一种图片观感优化机器。最常见的优化对象就是天空,把蓝天的饱和度拉高点,虽然失真,但是美丽,消费者普遍更喜欢这样的失真。

  • 但总是会有点破绽,例如上图。留意树枝包围的天空和外部天空的颜色就没有连贯性,外部天空是经过色彩处理后回填。这种技术有时会翻更大的车,阴云密布的场景,可能会被当作蓝天白云来处理。

    AI场景识别与定向优化

    识别出场景类型,然后进行定向的优化,这样的逻辑很容易理解,但真正做好不容易。关键在于如何解读场景。

  • 例如上图,可以解读成

    • 花卉
      花卉和蜜蜂
      蜜蜂在花朵旁边飞翔
      蜜蜂在珍珠梅旁边飞翔
      蜜蜂在白色的珍珠梅旁边飞翔
      蜜蜂在正在开放的白色珍珠梅旁边飞翔
      阳光下,蜜蜂在正在开放的白色珍珠梅旁边飞翔
      阳光下的珍珠梅花丛,蜜蜂在正在开放的白色珍珠梅旁边飞翔
      阳光下的珍珠梅花丛,蜜蜂在正在开放的白色珍珠梅右侧飞翔,微距场景
      ……

    不同的解读结果对应的优化预设自然不一样。AI场景识别这些年进步较大,发现植物就优化成“绿叶”的人工智障已经不多了。现在AI场景识别后触发对应的优化也越来越成熟,已经成为了菜鸟的好帮手。

    对焦优化与AI物体识别

    什么是对焦优化?
    现在手机对焦系统经过数年发展,对焦速度已经获得大大的提升,从最初的纯反差对焦到现在的PDAF、双核对焦、全像素双核对焦等。现在中高端手机,对焦速度已不是问题,但是体验却大部有不同,其中差别就在优化,对焦的优化。

    SOOMAL在各种文章里叨叨对焦优化很多年,到今年,主流的品牌旗舰,终于都实现了最基本的优化工作。有的优化不是依赖算力,只是逻辑上的优化,有的则需要算力支持。例如人脸识别后对焦的问题,早期算力算法都不太好,经常出现鬼脸现象,例如在树林里发现一张脸,并对焦过去,这就是鬼脸,现在基本不会有这种现象了。更先进的逻辑优化应该基于更广泛的物体识别,包括常见的禽畜日用品等等,以前觉得不可想象,现在是理所当然,iPhone已经在走出第一步了,能够识别常见动物。更需要逻辑优化的不是静止图像,而是视频,如何理解拍摄者意图,将是设备开发商们要准备的持久战。

    人像模式

    人像模式是在手机上土生土长的原生技术,它的核心技术有两个,一个是抠像,一个是美颜。抠像的基本原理是利用多摄像头的视差寻找大致的轮廓,依赖其他的技术,进一步求得精准的边缘,抠像技术这些年没有大进步,基本处于停滞状态了,业界似乎没有找到更强的算法来升级。

    制造商=VIVO;型号=VIVO S10 PRO;焦距=6毫米;等效焦距=23毫米;光圈=F2.0;测光模式=中央平均;感光度=ISO448;白平衡=自动;曝光补偿=-1.0EV;曝光时间=10000/1000000秒;曝光程序=未知;场景类型=标准;日期=2021.08.01 14:27:41
    制造商=VIVO;型号=VIVO S10 PRO;焦距=6毫米;等效焦距=23毫米;光圈=F2.0;测光模式=中央平均;感光度=ISO122;白平衡=自动;曝光补偿=-1.0EV;曝光时间=10000/1000000秒;曝光程序=未知;场景类型=标准;日期=2021.08.01 14:12:51

    关于美颜,做得相对优秀的是vivo,美颜不是简单的液化拉皮去痘,他们的做法是生成一个面部模型,然后强化影调,让面部看起来更加立体。

    景深的模拟,焦外风格化

    制造商=APPLE;型号=IPHONE 11 PRO;镜头=iPhone 11 Pro back dual camera 6mm f/2;焦距=6毫米;等效焦距=52毫米;光圈=F2.0;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/122秒;曝光程序=程序模式;场景类型=标准;日期=2019.10.17 10:09:20
    制造商=VIVO;型号=VIVO X70 PRO+;焦距=7毫米;等效焦距=23毫米;光圈=F2.0;测光模式=中央平均;感光度=ISO419;白平衡=自动;曝光补偿=0.0EV;曝光时间=20000000/1000000000秒;曝光程序=程序模式;场景类型=标准;日期=2021.10.01 19:44:54

    人像模式给人印象最深刻的就是浅景深,看上去像单反拍的一样。背景通过抠像剥离,然后根据深度信息产生渐进的虚化,做得不太好的算法就是简单的高斯模糊。为了让焦外看上去更真实,有的手机例如iPhone会模拟二线性失真,还有的手机例如X70 Pro系列,可以模拟几种蔡司镜头的焦外风格。

    纹理的重建与修复

    因为降噪、或者因为镜头光学素质、感光器性能等、或者动态物体遮掩等原因,总会有应该保留的细节被丢失,这时要做的是将丢失的细节算回来。细节特征的获取可以通过诸多方式,例如弱光场景中的一块布,已经知道它是布料了,但没有捕捉到纹理,这个时候可以通过纹理库中的典型纹理来进行修复,增加点细节,虽然细节是假的,但看起来可能舒服,纹理还可以通过其他途径获得,例如使用其他摄像头同时采样。通过日积月累,摄像头识别出场景物体,并多重采样结合典型纹理进行修复是完全可能的。一个极端的例子,就是P月算法,指向月亮,无所谓清不清楚,算法会自动贴上已知的月球纹理。

    超采样,多镜头融合

    多帧成像,本质上就是超采样,用时间换多重采样,以改善画质。除此之外,多镜头也可以构成超采样,经过处理后进行画质增强,例如使用2X拍摄人像,此时主摄也在采样,作为纹理副本使用,类似的技术理论上还可以改善数字变焦的成像质量。

    取景增强

    因为手机大量的应用多帧,所以成像结果和取景时的情形可能不一样,没有做到真正的所见即所得,在这方面,做的最好的是iPhone,但后来竞品也慢慢追赶上来了,现在大部分中高级机型可以实时HDR预览,这需要消耗大量的算力。

  • 随着手机在弱光场景下的实用性越来越高,弱光下取景也在改善,例如X70 Pro+就对弱光取景进行了优化。 各种视频社交软件,还有AR增强,例如加猫胡须加假发,卡哇伊得要死得那种,也是增强。

    计算摄影的边界

    上次那个P月事件,就引发过一轮计算摄影的边界在哪的思考?计算摄影离不开计算,但和摄影的关系是?是先摄影后计算还是无所谓摄得好不好都能算出来?摄影的乐趣会从此消失?摄影的真实性该如何确保?关于这个,暂时不会有答案,答案是不断尝试试探出来的。

  • 欢迎大家聊聊你对计算摄影的看法,这次拿出一台iQOO Neo 5手机,几乎充新,作为助兴奖品,是不是有点眼熟,是的,是上个月那台,中奖的哥们竟然没来领,这个月接着抽。在留言处登录SOOMAL ID 留言就算参与了活动。

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    03
    总体来说计算摄影是利大于弊,当然也有某为那样无法关闭导致HDR失真发白‘、逆光下色彩奇怪的情况,但瑕不掩玉,应该说计算摄影大大提高了手机成片率,降低了摄影的门槛。
    有时候甚至感觉相机不如手机,哈哈。
    当然要放大一看,还是用相机吧。
    感觉总会有一家相机厂商先开始计算摄影的。那就真的打开了新时代大门了。
    此帖使用Win10提交
    发表于2021.10.20 10:39:03
    147
    这项技术我是十分接受的 对于拍照小白来说十分实用 只要不是台灯p成月亮就可以了
    此帖使用LENOVO L38041提交
    发表于2021.10.19 14:05:39
    146
    03
    以前很多需要拍摄者自己注意、调整的,人工智能都帮你做了,而且做的更好,手机才是真正的“傻瓜相机”。
    此帖使用Win10提交
    发表于2021.10.19 09:53:01
    145
    03
    现在没有绝对的理由都不考虑买相机了, 手机走天下。摄影摄像功能越高越好,希望手机算法随时随着新的系统版本升级, 尝试不同的口味。
    此帖使用Win10提交
    发表于2021.10.18 22:16:06
    144
    03
    说到这个就想起华为拍月亮的事情了,还导致了某人的离职。
    此帖使用iPhone提交
    发表于2021.10.18 14:34:01
    143
    03
    从P50用更差的硬件得到更好的成像质量可知,手机的计算摄影非常重要。
    以华为的实力和能力应该可以拍照成像质量方面做得更优秀,但为何总是有些遗憾为什么呢?个人估计因为有苹果在前,华为必须要追赶并且想超越,华为选择了创新,因创新更有广告效应更有卖点更容易让人觉得很利害很牛B,这几年给大众的印象华为引领了拍照翻潮流。所以这几年一直在创新新的算法,创新新算法需耗费大量的人力物力而无时间去打磨旧有的算法。如果华为能够在创新的同时分一些人力物力对旧有算法进行精细打磨完善,那么真的是在手机拍照上领跑了。以上仅是个人的看法未必是对的。另外华为夜景动不动就耗时几秒可能会同ISP的带宽和速度有关,始终在这方面高通还是有优势的。
    此帖使用EVR-AL00提交
    发表于2021.10.18 14:32:35
    142
    还在用上古手机的凑个热闹,有没有手气享受一下新手机呢?
    发表于2021.10.18 13:21:43
    141
    大家拍摄照片都自动上传进行AI学习,再往后,拍摄时,直接云端对比该位置其他的照片,挑一张好的来合成处理,甚至做到无镜头也可以拍照。。。
    此帖使用Win10提交
    发表于2021.10.17 20:58:01
    140
    03
    计算摄影,只要是往好的方向发展,带来画质的提升,我都喜欢。毕竟手机装在衣服口袋里实在是太方便了,这是未来的趋势,从这一点说,国产手机VIVO现在真的在用心做,比绝大部分手机厂商都强,加油!
    发表于2021.10.17 20:17:16
    139
    不同品牌或不同人对摄影的定义理解不一样,还原真实还是讨好眼球,也影响着计算摄影的方案。
    此帖使用M2102K1C提交
    发表于2021.10.17 12:50:32
    138
    175.044.134.***
    175.044.134.***
    发表于2021.10.17 10:39:21
    137
    03
    减少后期,简单快捷。目前看来易用已经达到,离好用还有大段距离,主要是硬件配置,与专业摄影的差距目前很难靠算法弥补。
    此帖使用V2049A提交
    发表于2021.10.15 18:03:28
    136
    03

    此帖使用Win10提交
    发表于2021.10.15 16:30:52
    135
    03
    原来拍摄的定义是指记录下还原被拍摄物最原始的形态(人眼中的)。现在因为计算摄影的融入,已经彻底改变,因为可以随意改变、提升、美化被拍摄对象,可以是人、动物、植物、大自然,这是计算摄影的幕后推动力!讲不上好与坏,透过计算摄影拍下的图像,难以分辨是否是真实的世界!
    此帖使用Win10提交
    发表于2021.10.15 15:59:17
    134
    03
    国内厂商这些年积累的拍照经验真的取得了很大的进步,以前就只有三星苹果索尼这几个拍照好的,现在国内厂商这方面全面开花了,希望将来有更多像iQOO8Pro,vivo x70Pro+这样的全能机子,屏幕好,音质好,拍照好,这对我们来说足够实用了。
    此帖使用Win10提交
    发表于2021.10.15 15:18:06
    133
    03
    俗话说“素质不够,计算来凑”
    可以眼见的就是这些年来,凭借着小镜头,手机摄影越来越厉害了,尽管极致画质方面还比不上专业相机,但是旗舰机能拍出足够用足够看的好照片早已经不新鲜了。
    以往大多数厂商都是一个镜头负责一小段,基本上也是在实际拍照的那个小镜头上使劲,而且往往是主摄使劲,副摄围观。
    今年开始,越来越多的厂商把不同焦段的镜头都用上了主摄级别,号称没有弱鸡没有凑数。当然效果也是显而易见的。
    但是大部分厂商可能还是一镜干活,多镜围观。也有个别厂商比如荣耀,开始发力协同各个镜头同时工作,通过算法来提高拍摄效果。这必然是计算摄影的发展方向。
    个人感觉,手机夜景拍摄效果可能已经吊打大多数相机了。未来就凭着计算摄影多镜头协同和其他优秀算法和硬件的加入,手机摄影全面持平相机甚至超越相机已经不是不可能的了。
    照片,最重要的是好看,不是真实。这点上来说,手机计算摄影能做得太多。
    此帖使用YAL-AL10提交
    ——详细阅读
    发表于2021.10.15 15:06:30
    132

    此帖使用Win10提交
    发表于2021.10.15 13:44:54
    131
    很有道理
    此帖使用iPhone提交
    发表于2021.10.15 10:45:31
    130
    03

    此帖使用Android设备提交
    发表于2021.10.15 00:35:49
    129
    提示
    本贴可以匿名回复 ,您现在正处在潜水状态
    回复
    验证码
    3877 为防止广告机贴垃圾,不得已而为之
    表情
    正文