必应词典手机版，凭单摄完虐 iPhone XS 揭秘谷歌相机夜视功效-掘金网

三星 Galaxy S10 将可以做一些 iPhone 做不到的事情

Google Pixel 手机一直坚持单摄，虽然硬件不算顶尖，然则凭借着壮大的算法，Pixel 手机的照相水平异常突出。上个月，Pixel 3 公布会的 Keynote 显示其暗光摄影的成像效果甚至完虐 iPhone XS，让人惊叹不已。克日，Google 又为自己的相机应用增添了 “Night Sight” 功效（夜视功效），用户无需三脚架和闪光灯就能在夜间拍出锐利清洁的照片，并获得了众多评测博主的好评。

本文就将为读者先容弱光条件下摄影的难点以及机械学习在这一问题中的应用。

01. 弱光拍摄的难点

人人若是在夜晚拍过照片的话，肯定会发现拍出的照片上有许多噪点，使得照片看起来颜色和亮度都很不平均。噪点或者叫噪声的泉源有两个：散粒噪声和读取噪声。散粒噪声指进入感光元件的光子数目太少造成可观察的光子数目不均。散粒噪声的泛起与我们所使用感光元件的质量没有关系，不外智能手机的感光元件太小，以是受散粒噪声影响比通俗相机更大。读取噪声则是由将电信号转换成读数时的随机错误造成的。感光元件的质量越好那么读取噪声也就越小。

把所有噪声的泉源都思量进去我们可以得出一个信噪比，信噪比越高则意味着我们拍出的照片质量越好。感光元件巨细稳定的情形下信噪比和曝光时间成正比，以是看来只要练成铁手就能完善地解决这个问题。然而照样想简朴了，就算拍摄者能长时间稳稳地举着手机被拍的工具也没法保持长时间不动。

2014 年公布的 HDR+ 功效改善了散粒噪声和读取噪声的问题，不外 HDR+ 的本意如它的名字一样是为了提高照片的动态局限。HDR+ 的原理是连拍许多张照片，然后通过图像识别把多张照片举行叠加成一张照片。每张照片的曝光时间能凭据用户手抖的水平和拍摄目的的移动自动调治来保证照片的锐度，这样就在保证锐度的前提下增添了曝光时间，以是照片的信噪比也能提高了。

看起来弱光摄影的问题已经完善解决了，就连拍几十张后合并成一张就行了。然而现实的情形是就算用多张照片合并的方式照样对光照有要求，光照低于一定的尺度就算再多拍效果也欠好。标示光源亮度的物理量是光通量，它的单元是流明。单元面积接收到的光通量叫做照度，单元是勒克斯。他们之间的关系人人可以参照压力与压强的关系来明白。为了让人人能直观地领会差别勒克斯的观点，下面表中用生涯中的场景与勒克斯数值做了对比：

通俗的手机相机从 30 勒克斯最先就不太行了，若是使用 HDR+ 或者类似合成多张照片的手艺也许能降到 3 勒克斯但再低也就不行了。我们开发夜视功效的目的是让手机在 0.3 到 3 勒克斯之间不补光只按一次快门也能拍出好照片，而要实现这一目的最主要的手段就是尽可能多地捕捉光子。

02. 曝光时间限制和模糊问题

延伸曝光时间虽然能提高信噪比拍出更清洁的照片，但也同时带来了两个问题。Pixel 手机默认的拍摄模式是零快门延迟，意思是说用户一打开相机应用实在相机就最先摄影存储在缓存里了。当用户按下快门的时刻手机遇提取最新拍摄的 9 至 15 张相片来举行合成，这样就能保证拍到的是用户按快门的那一刻。

用户在摄影时手机遇显示预览，为了维持最低 15 帧的显示刷新，HDR+ 能实现的最慢快门速率也只有 66 毫秒。以是为了进一步延伸曝光时间，夜视功效改变了拍摄模式。用户使用夜视功效摄影时按下快门后相机才会最先拍摄，以是用户必须维持一小段时间只管不动。

延伸曝光带来的第二个问题是画面模糊。虽然 Pixel 2 和 Pixel 3 配备了光学防抖镜头但最多只能支持到 1/8 秒快门。Pixel 3 为领会决这一问题应用了所谓的动作丈量手艺，也就是使用光流法来判断画面的移动，然后再动态调整快门速率来让画面只管清晰。Pixel 1 ? 和 Pixel 2 虽然不会默认使用动作丈量，不外用户开启夜视模式时它们也会使用动作丈量。这样若是用户画面晃动不大的话每张照片的曝光时间最多能到 333 毫秒。这项手艺也针对 Pixel 1 和使用了脚架的情形举行了优化。Pixel 1 没有光学防抖，以是快门的时间就稍微短一些而若是手机完全没有移动的话快门时间最高可达一秒。

除了快门时间，应用也会凭据情形调整所拍的照片张数来削减用户守候的时间。若是使用三脚架只拍 6 张就可以合成了，若为手持则最多会拍 15 张。以是使用 Pixel 手机摄影，凭据相机是前置照样后置、手持稳定性、画面稳定性和亮度的差别，合成前所拍摄的照片在 15 张 1/15 秒快门照片和 6 张 1 秒快门的照片之间。下面的图中我们可以看到一点区别：

左图我们可以看到狗头部的动作。中心图为动作丈量关闭状态下拍摄，快门为 73 毫秒，能显著看到模糊。右图为动作丈量开启状态下拍摄，快门为 48 毫秒，比关闭动作丈量清晰一些。

下面的图是手持和三脚架拍摄的差别效果：

左图为手持拍摄，略微有发抖。拍摄了 15 张快门 333 毫秒的照片举行合成。右图为手机判断无发抖以是拍摄了 6 张快门 1 秒的照片举行合成。

03. 对齐与合成

拍摄多张照片举行合成不是什么新鲜的方式，在天文和微距摄影上都有很普遍的应用。虽然原理听起来很容易，但将手持拍摄的照片对齐就很难题。我们从 2010 年就最先举行对齐与合成相关的研究，最早的功效是 iOS 平台一个叫做 Synthcam 的应用。

夜视功效的原理实在和 Synthcam 差不多，但提高了照片的分辨率。Pixel 1 和 2 中使用的 HDR+ 融合算法提高了剔除无效照片的能力，Pixel 3 中使用的超高分辨率变焦手艺虽说并不是为削减噪点所开发但客观上也实现了除噪点的效果。这项手艺某些条件下效果优于 HDR+ 但对盘算能力要求更高，以是没有应用在 Pixel 1 和 Pixel 2 上。

04. 其他难题

原理听起来挺简朴，但开发夜视功效的过程中照样碰到了不少难题。

|1. 弱光条件下自动白平衡失效

自动白平衡的目的是将差别色温条件下拍摄的照片都调整为白光下拍摄的颜色，否则人眼在回看照片时会发现显著的色差。

白平衡在数学上属于不适定问题。好比感光元件判断拍到的雪花是蓝色的，但无法判断雪花到底是真的蓝照样天的蓝色映在雪花上。现在的自动白平衡算法在强光条件下效果不错，但在弱光拍摄时就异常禁绝了。

为此我们训练了一个模子来判断照片的白平衡是否正常并作出矫正。为了训练这个模子我们使用 Pixel 手机在种种光照条件了拍了许多照片并手工对白平衡举行调整。下图中我们能看到应用模子前后的显著区别。

|2. 色调映射

人眼在弱光下是分不清晰颜色的，由于只有不能判断颜色的视杆细胞才能在晚上事情。但人眼看不到并不示意到晚上颜色就没有了，以是夜视功效想逾越人眼的极限必须在夜间也能拍出清晰的颜色。

下面这张图就是在夜间通过长时间曝光所拍摄的（注重天空中可以看到星星）。虽然偶然拍拍这种把晚上拍成日间的效果也不错，但生怕人人照样想能把晚上拍成晚上。

实在艺术家们很早就发现了让观众感受所画的是夜间的方式，如下图所示：

画家提高画面的对比度并把阴影部门直接涂黑来营造出夜间的效果。我们也使用了类似的方式，好比使用 S 形色调映射。不外怎么掌握其中的度照样挺值得思索的，下面这张用 Pixel 3 拍的照片就异常乐成：

05. 夜视模式的极限

当照度低于 0.3 勒克斯时手机的自动对焦功效会失效，以是我们在 Pixel 3 的夜视模式增添了两个手动对焦按钮：近和远。近模式的对焦距离约为 1.2 米，远模式则在约 3.6 米处对焦。在远模式下景深是从 1.8 米到无穷远。虽然照度低于 0.3 勒克斯也能拍出好照片，但就必须借助三脚架和第三方应用了。

那么理论上对摄影来说照度能低到什么水平呢？我想当捕捉到的光子会受到读取噪音影响时就差不多了。另外另有其他的噪声泉源，好比受温度影响的暗电流，不外我可不建议人人为了降噪点把手机泡到液氮里。就算这些问题全都解决了也会有风吹树摇，超长曝光摄影照样很难题。

06. 注重事项

用夜视功效摄影很有趣，若是使用适合的话能够拍出效果异常好的照片。夜视功效在 Pixel 3 上面的效果是最好的，一方面是由于它芯片速率最快，另外自动白平衡算法也是以 Pixel 3 为基础训练的。不外就算用的不是 Pixel 3 夜视功效也能让你在弱光下拍出好照片（预览里的噪点并不会泛起在完成的照片上）。文章最后就给人人一些更好地使用夜视功效的注重事项吧：