Soomal手机摄像头评分试行方案
Soomal 于 2017.11.03 15:04:33 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:09.74/331

自2012年以来的5年的时间里,Soomal累计发布了8000+张手机摄像头样张以及99份拍摄体验报告,这期间,我们看到了手机成像的巨大进步,我们早就不认为手机摄像头只是玩具,而已经是可以常用以及好用的摄影器材。而Soomal也积累了大量基于实际场景的评估分析经验,我们认为,可以尝试给手机摄像头的成像质量和体验进行量化评分了。

  • 评估方法

    Soomal的测评方法将于通行的方法有所不同,大部分评分机制基于实验室的测试项目,例如拍标板、拍色板等,而Soomal则基于实际拍摄样张判断。

    用于评估的样张将主要采用手持自动模式拍摄,辅以少量的手动模式拍摄,某些极限测试可能启用支架,这类情况会单独说明。拍摄覆盖日常生活场景,题材包括但不只限于风景、人物、微距、静物等。

    为什么基于实拍而不去实验室拍摄?

    1、已有大量的实验室评分测试可供参考,而基于实拍的评分还很少。
    2、基于实景实拍,可以最大程度的模拟用户操作。在实验室测试中,有不少环节是可以做定向优化的,例如实验室拍摄中使用固定云台,如果手机具有AI机制,会判断场景启动特别优化,例如会判断手机是否处于固定机位并启用最适合当前状态的最佳参数,例如使用更低的感光度等,这样的自动设置对传统的量化测试有利。这类优化机制会不少,但在手持拍摄中却难以生效。现在的手机HDR功能会根据不同场景做出不一样的调整,实验室中的单一场景远远不够,需要多场景。测光也会遇到类似的情况,不同的场景下,不同手机的测光方式会不一样。

    实验室拍摄和实景拍摄的评估方法大致上并不冲突,可以视为互为补充。我们希望Soomal的评分方式能给更多的参考性。

    评分基准参考对象

  • 三星Galaxy S8+智能手机。选择S8+的原因是其成像在各方面都达到了较高水平,目前综合体验[成像及相关]最优之一的手机。我们以S8+为基准,将其表现对应的分数设为100,若评分对象得分超过100,则可认为综合表现优于S8+,反之则不如。S8+又细分很多版本,这里特指基于高通处理器平台以及采用索尼IMX333感光器的G9550。

    评分权重构成

    项目 权重 说明
    对焦 20% 速度、预对焦、对焦逻辑、自动焦点设定等
    测光 10% 准确性、智能识别等
    画质 30% 细节、噪点控制、HDR等
    色彩 20% 风格、白平衡、质感等
    体验 20% 易用性、功能性、稳定性、屏幕性能等

    Soomal评分只针对静态图像和相关功能、体验的综合表现,暂时不对视频拍摄功能进行评分。评估项目分为对焦、测光、画质、色彩、体验五大类,分别占有20%、10%、30%、20%和20%的权重。

    对焦:对焦大项包括速度、预对焦、对焦逻辑、基于图像识别就是的自动焦点设定,例如人脸识别。Soomal认为,对焦不能单说对焦有多快,再快的对焦,在预对焦算法下也是可以改善体验的。对焦逻辑的优化也是非常非常重要的,例如微距拍摄,优先远处对焦就会被认为对焦逻辑存在缺陷。人脸识别后设置焦点于人脸,是不少机型的自动功能,确实改善了对焦体验,我们期待AI加持下的新技术能够自动判断哪个才是被摄对象并自动设置焦点。

    测光:自动测光以精准为美,溢出、死黑都会丢分。如果会根据场景自动优化测光结果,会获得更多评分。有些机型在场景变化中测光会响应偏慢,这种情况会扣分。如果自动HDR有利于测光结果,会偏向加分。焦点点测光联动、手动曝光补偿等辅助功能原则上不予加分,但非常有特色的设计可以加分。

    画质:画质包括细节、噪点控制、HDR、畸变等与硬件软件直接相关的指标。细节主要指的是解析力,它和软件硬件诸多因素相关,我们不会锐化过度的“伪细节”优评。噪点控制不仅评估弱光下的表现,还有HDR条件下的暗部、晴天场景的暗部表现等。HDR部分推崇“适度”原则,我们并不认为“用力很猛”的HDR就是好HDR,HDR对画质的影响我们也会加入到评分系统当中,很多机型的HDR会带来显著的暗部噪点,HDR导致的重影也会被纳入评分当中。畸变控制的评估不追求完美化,肉眼无法察觉的明显形变就可以算合格。

    色彩:色彩大项主要包括的是与观感相关的项目。包括色彩风格,白平衡倾向、质感等。色彩风格指的是鲜艳、明快、平淡、阴晦等,我们可以接受多种色彩风格,并不认为手机的色彩就要追求准确度,“好看”就会好评。白平衡倾向影响冷暖趋势,适度的偏移可以接受并不被扣分,例如iPhone一贯的偏暖,会被认为是稳定的偏移。而飘忽不定的白平衡系统会被扣分。质感,是大家敏感却又很少在各种测试中被提及的观感指标,Soomal将质感纳入色彩体系的评估当中,例如将金属拍成了塑料味道,这种质感会被扣分。

    体验:易用性、稳定性将是体验的重要组成部分,功能优秀的会加分,功能较少的不扣分,而屏幕性能将纳入体验系统,包括强光下的可视性评估和跨系统的色彩一致性[色彩管理]。有的手机在强光下会自动降低亮度,以前只是吐槽,现在一定会被扣分,没有色彩管理的手机也将在此处丢分。

    A+B评分构成

    现在双摄像头设计盛行,所以,Soomal的评分是A+B构成。B组评分针对双摄像头之副摄像头。
    项目 权重 说明
    对焦 20% 速度、预对焦、对焦逻辑、自动焦点设定等
    测光 10% 准确性、智能识别等
    画质 30% 细节、噪点控制、HDR等
    色彩 20% 风格、白平衡、质感等
    功能 20% 焦距、模拟虚化、其他等

    B组评分与A组类似,第五大类由体验变成了功能。

    功能:指的是多焦距和模拟景深虚化等,带来更多焦距是毫无疑问会获得更多评分的。模拟景深虚化根据实际表现评估,包括抠像准确性、适用性、功能性等。双摄像头可能对AR、MR等摄影应用产生重要影响,优秀者可以给予加分。

    评分示例与排名原则

    以上每个大类基准100分,根据权重计算累加后即该组总分。
    手机型号:手机甲
    项目 权重 得分
    对焦 20% 110
    测光 10% 90
    画质 30% 110
    色彩 20% 120
    体验 20% 90
    总分
    103

    假设手机甲各项得分如上,其该组总分为103。
    手机型号:手机乙
    A
    B
    项目 权重 得分 项目 权重 得分
    对焦 20% 100 对焦 20% 70
    测光 10% 90 测光 10% 80
    画质 30% 100 画质 30% 60
    色彩 20% 110 色彩 20% 80
    体验 20% 90 功能 20% 60
    总分
    99+68

    假如手机乙采用双摄像头设计,两组各项得分如上,其两组评分为99和68,总分则表达为99+68的形式。

    总分排名只对A组排名,在排名系统中,手机甲将高于手机乙。而双摄像头机型可以组建双摄排行榜,方便比较。

    暂时试行不断丰富

    这套评分方案将自发布之日起开始试行,以后诸位能看到Soomal的手机摄像头拍摄体验多了综合评分,这么做的原因主要是我们的经验已经积累得足够,是时候提供更显而易见的参考性了。由于是试行方案,还有诸多不完善的地方,我们将不断丰富和修缮方案中的不足。

    Soomal 于2017年11月3日

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    123.127.***.***
    123.127.***.***
    现在pixel xl/piexl 2xl的相机已经被剥离和打上补丁后,在很多系统都可以装,并且普遍反馈画质(白天的HDR+,暗光的解析度和去噪)大大优于原生相机。(条件为android 7,高通处理器,已成功有小米系列 5/5s/6 niubia Z11/Z17 乐视 Pro3 1+3/T 5 Redmi Note3等)
    xda论坛上
    https://forum.xda-developers.com/oneplus-3/how-to/modded-google-camera-hdr-60fps-video-t3658552
    其它系统的
    https://www.celsoazevedo.com/files/android/google-camera/

    能否对这个APP配合好的传感器配置做一下评测?
    发表于2017.11.07 19:24:23
    85
    数码多的器材和测试量化,对比怕不怕不够严谨? 加上DXO MARK还有中文了
    森泃妏蚚Win10枑蝠
    发表于2017.11.07 15:52:46
    84
    03
    发表于2017.11.06 13:42:14
    83
    03
    此帖使用ZUK Z2131提交
    pyncell修改此贴于2017.11.05 20:15:06
    发表于2017.11.05 20:14:37
    82
    027.154.024.***
    027.154.024.***
    发表于2017.11.05 15:44:08
    81
    03
    这下跟有看头了
    此帖使用MX4 PRO提交
    发表于2017.11.05 15:41:47
    80
    122.226.***.***
    122.226.***.***
    有规则永远好过无规则,量化打分虽然可能不全面或存在偏差,但是确实有利于普通用户的直观比较。
    十分期待。

    顺便好奇一下,如果是副摄像头是“黑白镜头”或“景深镜头”怎么打A+B呢?
    发表于2017.11.05 14:00:28
    79
    感觉这事靠谱!
    发表于2017.11.05 11:24:32
    78
    03
    尤其是入门级的单反,以及镜头评分
    此帖使用LENOVO X3C70提交
    发表于2017.11.05 10:16:20
    76
    03
    S8评测就提到的评分标准终于出了。
    恭喜!同时祝顺利~
    PS:那新的iPhone岂不是正好赶上了(馆长笑)
    此帖使用SM-G9008W提交
    发表于2017.11.05 08:09:16
    75
    061.158.149.***
    061.158.149.***
    发表于2017.11.05 08:06:51
    74
    03
    虽然这个摄像头对于一些客户来说也很重要
    此帖使用ZUK Z2131提交
    发表于2017.11.05 05:41:21
    73
    183.160.***.***
    183.160.***.***
    72
    03
    再弄个天梯排行 每月更新
    此帖使用Win10提交
    发表于2017.11.04 22:49:11
    71
    真的是辛苦Soomal的各位了!这是很有价值很有意义的事情啊!
    此帖使用Win10提交
    发表于2017.11.04 22:47:41
    70
    03

    此帖使用VIVO XPLAY6提交
    发表于2017.11.04 22:24:38
    69
    115.155.100.***
    115.155.100.***
    发表于2017.11.04 21:47:35
    68
    140.243.***.***
    140.243.***.***
    把以前的手机也一起做个评分
    此帖使用MI 5提交
    发表于2017.11.04 19:58:52
    67
    061.178.018.***
    061.178.018.***
    发表于2017.11.04 19:06:01
    66
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    7013 为防止广告机贴垃圾,不得已而为之
    表情
    正文