落地请开手机高清，谷歌发文详解 Pixel 3 中的摄影黑科技

传锤子科技裁员资金负担沉重罗永浩回应

前些天，谷歌公布了全新 Pixel 3/Pixel 3XL 手机，其最新的 AI 摄影功效令人感应惊艳。Night Sight 夜间摄影效果吊打 iPhone XS；Top Shot 功效可以延续拍摄多张 HDR+照片，自动去掉发抖、眨眼的废片，推荐效果最好的一张；Photo Booth 模式可以在检测到人脸有微笑或者有趣的脸色时自动摄影，帮你留下珍贵的一刻；Super Res Room 通过摄像头的变焦功效拍摄具备高分辨率的照片。

Super Res Room 可以说是此次几项全新 AI 摄影功效中最难明白的一个，也让不少业内人士感应好奇。幸而，谷歌盘算成像领域首席科学家 Peyman Milanfar 和软件工程师 Bartlomiej Wronski 在 Google Blog 特意公布一篇博文，讲述了 Super Res Room 手艺实现的所有历程。

一直以来，使用算法（而不是镜头）来举行数码变焦的移动装备相机就像是 “丑小鸭”。数码变焦的图像质量难以与数码单反相机的光学变焦相提并论，因此传统看法以为，大型相机的庞大光学机制无法被更紧凑的移动装备相机和伶俐的算法替换。

依附 Pixel 3 上新的 Super Res Zoom 功效，我们正在挑战这一观点。

此前，数码变焦手艺主要是升级单个图像中的像素，Pixel 3 中的 Super Res Zoom 手艺则否则。Super Res Zoom 的做法是将许多帧的图像直接合并以发生更高分辨率的图像，这个方式能大大改善图片的细节，能许多其他智能手机上的 2 倍光学变焦镜头大致相当。

2 倍变焦：Pixel 2 vs. Super Res Room Pixel 3

数码变焦的挑战

数码变焦是难题的。由于一个好的算法期望从低分辨率的图像最先，并可靠地 “重修” 缺失的细节——在典型的数字变焦中，单个图像的一小部门被放大，天生一个大得多的图像。传统上，这是通过线性插值方式来实现的，这种方式试图重新创建在原始图像中丢失的信息，但会使得图像模糊，缺乏纹理和细节。基于单图像来提升图像质量一样平常接纳机械学习的方式 (包罗我们自己的早期事情 RAISR)。这些图像放大了一些特定的图像特征，如直线边缘，甚至可以合成某些纹理，但无法恢复自然的高分辨率细节。虽然我们仍然使用 RAISR 来提高图像的视觉质量，不外 Super Res Zoom 创新性地接纳了多帧图像方式。

彩色滤镜阵列和脱模

重构细节尤其难题，由于数码照片已经不完整了。通过一种叫做脱模 (Demosaicing)的历程，我们可以从部门颜色信息中重构丢失的信息。在典型的消费相机中，相机传感器元件只用于丈量光的强度，而不是直接丈量光的颜色。为了捕捉场景中泛起的真实颜色，摄像机使用放置在传感器前面的颜色滤镜阵列，以便每个像素只丈量一种颜色 (红色、绿色或蓝色)。如下图所示，它们以拜耳模式排列。

拜耳马赛克彩色滤镜：每 2×2 组像素捕捉由特定颜色过滤的光——两个绿色像素 (由于我们的眼睛对绿色更敏感)，一个红色，一个蓝色。这种模式在整个图像中重复泛起。

然后，在给定部门信息的情形下，摄像机处置管道必须重构所有像素的真实颜色和所有细节。脱模 (Demosaicing) 历程的第一步是要预测丢失的颜色信息，通常会选取四周像素的颜色举行插值，这意味着 RGB 数字图像的三分之二现实上是重修的！

脱模行使相邻像素重修丢失的颜色信息

在最简朴的形式中，这可以通过对相邻值举行平均来实现。大多数真正的解谜算法都比这更庞大，但由于只能获得部门信息，脱模的效果仍然不完善而且有很重的人工痕迹。虽然大尺寸的单反相机也存在这种情形，但它们更大的传感器和更大的镜头能比一样平常的移动相机能够捕捉到更多的细节。

若是你在移动装备上举行缩放变焦，情形会变得更糟；然后，算法被迫通过四周的像素举行插值来填补更多的信息。然而，这也不是一无是处，由于纵然受到移动装备光学的限制，高速连拍（Burst Photography）以及多幅图像的融合可以用来实现超分辨率。

从高速连拍（Burst Photography）到多帧超分辨率

虽然单个帧不能提供足够的信息来填充缺失的颜色，然则我们可以从高速延续拍摄的多个图像中获得一些缺失的信息。谷歌的 HDR+算法在 Nexus 手机和 Pixel 手机上获得了乐成应用，它已经行使多帧的信息使手机照片到达了更大传感器所期望的质量水平，是否可以使用类似的方式来提高图像分辨率?

多帧超分辨率的观点泛起已经有十多年历史了（在天文摄影上，类似的观点被称为 “drizzle”），通过捕捉和组合多个细微位置差异的照片可以发生相当于光学变焦的效果，至少在 2-3 倍的低倍变焦和优越的照明条件下。在这个历程中，一样平常的想法是将低分辨率的图像部门直接对齐并合并到一个理想 (更高) 分辨率的网格上。下面是一个理想化的多帧超分辨率算法若何事情的例子:

（与顶部的需要插值的脱模历程相比，用多个图像填充，每个图像水平或垂直移动一个像素更为理想）

在上面的示例中，我们捕捉了 4 个帧，其中 3 个帧正确地移动了一个像素：从水平偏向、垂直偏向以及同时从水平和垂直偏向。所有的洞都会被填满，基本就不需要任何脱模。一些单反相机支持这种操作，但只有当相机在三脚架上，传感器/镜头能举行移动，这有时被称为 “微步”（microstepping）。

多年来，这种 “超级分辨率” 的高分辨率成像方式的应用仍然主要局限于实验室，或以其他方式控制的设置中。在这些设置中，传感器和主体是对齐的，它们之间的移动要么是有意控制的，要么是受到严酷限制的。例如，在天文成像中，用牢固的望远镜来拍摄星空的移动轨迹。但在当今智能手机等普遍使用的成像装备及应用程序中，超级分辨率的现实应用仍是可望而不可及的。

多帧超分辨率功效需要知足一些条件。首先，也是最主要的一点，镜头需要比所使用的传感器更好地处置细节 (相反，你可以想象这样一个情形，镜头设计得很差，添加一个更好的传感器没有任何利益)。数码相机有的一种常见的且不受欢迎的效果，叫做混叠（aliasing）。

图像混叠

当摄像机传感器不能忠实地示意场景中的所有模式和细节时，就会发生混叠。混叠的一个很好的例子是龟纹图案（ Moiré patterns），当两种同样的图案以一定的角度重叠会泛起的征象。

由两组平行线发生的莫尔条纹, 一组垂直，另一组倾斜 5°

此外，当物体在场景中移动时，对物理特征 (如表边) 的混叠效果也会发生转变。您可以在以下连拍序列中考察到这一点，在连拍序列中，相机的稍微运动会发生时变的混叠效果:

左图：高分辨率下的桌子边缘的单幅图像，右图：连拍发生的差别图像帧。混叠效果和云纹效果在差别的帧之间是可见的——像素似乎跳来跳去，发生差别的彩色图案

然则，我们也能因祸得福，若是剖析混叠效果发生的模式，就会获得颜色和亮度值的多样性，以实现超分辨率。尽管如此，要在手持移动装备和任何连拍序列中实现高分辨率，依然有诸多挑战存在。

手部移动实现超分辨率

如前所述，一些单反相机提供了特殊的三脚架超分辨率模式，类似于我们现在形貌的方式。这些方式依赖于相机内传感器和光学器件的物理运动，但需要相机完全稳固。然而，这在移动装备上是不切现实的，由于它们险些总是手持的。

然而，借助手部运动方案，我们将这个最大的难点变成了我们的优势。当我们用手持相机或手机拍摄一组照片时，画面之间总会有一些运动。光学图像稳固 (OIS) 系统可以抵偿相机的大运动——通常距离 1/30 秒以内的 5-20 像素移动——但不能完全消除更快、更低的幅度、自然的手震颤。当使用高分辨率传感器的手机摄影时，这种手抖的幅度只有几个像素。

在举行处置后，连拍中手掌震颤的效果

为了行使手部发抖的优势，我们首先需要将高速连拍的照片排列在一起，我们选择高速连拍图像中的单个图像作为 “基” 或参考帧，并对齐与之相关的所有其他帧。对齐后，这些图像大致连系在一起。固然，手部运动不太可能将图像正确地移动单个像素，因此我们需要在每个新捕捉的帧中插入相邻像素，然后将颜色注入基帧的像素网格中。

当由于装备是完全稳固的 (例如放置在三脚架上) 而没有泛起手部运动时，我们仍然可以通过有意 “发抖” 相机来到达模拟自然手部运动的目的，通过强迫 OIS 模块在镜头之间稍微移动。这个移动异常小，选择的时刻不会滋扰正常的照片——然则你可以在 Pixel 3 上自己考察它，你可以把手机完全牢固，好比把它按在窗口上，或者最大限度地缩放取景器。如下图所示，可以考察远处物体细小但延续的椭圆运动。

战胜超分辨率的挑战

以上是我们对理想历程的形貌，听起来很简朴，然则要实现超分辨率并不是那么容易。有许多缘故原由导致没有被普遍应用到手机等消费产物中，例如其需要大量的算法创新。挑战可以包罗:

纵然在优越的光照条件下，连拍的单个图像也是有噪声的。一个适用的超分辨率算法需要意识到这种噪音，并准确事情。我们不想只获得更高分辨率的噪声图像——我们的目的是既提高分辨率，又能发生更小的噪声。
左：在优越的光照条件下拍摄的单帧图像，由于曝光不足，仍然可能包罗大量的噪声。右：连拍处置后合并多帧的效果。
在连拍的图像之间的运动不仅仅局限于相机的运动，可能有庞大的场景中运动如风吹动的树叶、水面涟漪、汽车、人的面部转变、火焰的闪灼——甚至一些不能被视为独立运动的如吸烟。一样平常来说，完全可靠和局部对准是不可能的，因此纵然运动估量不完善，一个好的超分辨率算法也要能用。
由于大多数运动是随机的，纵然有优越的对齐，数据可能在图像的某些区域麋集，而在其他区域希罕。超分辨率的关键是一个庞大的插值问题，因此数据的不规则流传使得在网格的各个部门天生更高分辨率的图像具有挑战性。

以上所有的挑战似乎都使得超分辨率在实践中不可行，或者充其量只能局限于静态场景和放在三脚架上的相机。行使 Pixel 3 上的 Super Res Room，我们了一种稳固、正确的连拍分辨率增强方式，它使用自然的手部运动，而且足够壮大，可以部署在手机上。

以下是我们解决上述挑战的方式:

为了在高速连拍（Burst Photography）情形下有效地合并帧，并为每个像素天生一个红色、绿色和蓝色的值，而不需要举行除噪，我们开发了一种跨帧集成信息的方式，该方式思量了图像的边缘，并响应地举行了调整。具体地说，我们剖析输入帧并调整我们若何将它们组合在一起，权衡增添的细节，分辨率，噪声抑制和平滑。我们通过沿着显著边缘的偏向合并像素，而不是跨越它们来实现这一点。效果是我们的多帧方式提供了噪音削减和细节的增强之间的最佳平衡。
为了使算法能够可靠地处置庞大的局部运动场景 (人、车、水或树叶移动)，我们开发了一个鲁棒性模子来检测和减轻对齐误差。我们选择一帧作为 “参考图像”，并只有当我们确信我们找到了准确的对应特征才将来自其他帧的信息合并到它。通过这种方式，我们可以制止像 “重影” 或运动模糊，或者是错误地合并图像的部门。

一辆快速行驶的公共汽车的连拍图像。左: 没有鲁棒性模子下合并。右: 有鲁棒模子下合并

推动移动摄影手艺的生长

去年谷歌推出的人像模式 (Portrait mode)，以及之前 HDR+ pipeline 都展示了移动摄影的优越性。今年，我们从变焦下手。Super Res Room 能提高盘算机摄影手艺水平，同时缩小移动摄影和数码单反之间的质量差距。

超分辨率的观点比智能手机的泛起早了至少 10 年。在险些同样长的时间里，它也通过影戏和电视在民众的想象中存在，它也是学术期刊和学术会议上成千上万篇论文的主题。现在，在你手掌中的 Pixel 3 里，超分辨率真实存在。

若何最大限度地行使 Super Res Room?

这里有一些关于若何在 Pixel 3 的手机上使用 Super Res Room 的技巧：