视觉3D技术新突破：用于虚拟显示的无斑点全息术
江苏激光联盟导读：
来自斯坦福大学最新研究成果，3D成形术更真实，效果更好。
虚拟和增强现实耳机的设计目的是让佩戴者直接进入其他环境、世界和体验。虽然这项技术已经因其身临其境的品质在消费者中大受欢迎，但未来全息显示器可能会更像现实生活。斯坦福计算成像实验室在追求这些更好的显示器的过程中，结合了他们在光学和人工智能方面的专业知识。11月12日发表在《科学进展与工作》上的一篇论文详细介绍了他们在这一领域的最新进展，该论文将于12月在SIGGRAPH ASIA 2021上发表。
这项研究的核心是面对这样一个事实，即当前的增强和虚拟现实显示只向每个观众的眼睛显示2D图像，而不是我们在现实世界中看到的3D或全息图像。
Gordon Wetzstein解释说：“他们在感知上并不现实，斯坦福计算成像实验室负责人Wetzstein和他的同事们正在努力找到解决方案，以弥合模拟和现实之间的差距，同时创造出更具视觉吸引力和更容易观看的显示器。
研究人员开发了一个部分相干波传播模型，该模型与最近提出的环中相机（CITL）校准技术的改进版本结合使用。这种方法使我们能够实现前所未有的实验质量的二维和多平面三维全息图像创建的时间和空间非相干LED光源。此外，我们通过实验验证了空间相干但时间非相干的超辐射发光二极管（SLED）可以进一步提高LED的图像清晰度，而不会产生相干激光观察到的散斑。
发表在《科学进步》杂志上的这项研究详细介绍了一种减少常规激光全息显示中常见的斑点失真的技术，而SIGGRAPH Asia的论文则提出了一种更真实地表示物理的技术，如果3D场景存在于现实世界中，则该技术将应用于3D场景。
架起模拟与现实的桥梁
几十年来，现有全息显示器的图像质量一直受到限制。正如Wetzstein所解释的，研究人员一直面临着让全息显示器看起来像LCD显示器一样好的挑战。
一个问题是很难以全息图的分辨率控制光波的形状。阻碍高质量全息显示创造的另一个主要挑战是克服模拟与真实环境中相同场景之间的差距。
此前，科学家们试图创建算法来解决这两个问题。Wetzstein和他的同事也开发了算法，但使用了神经网络，这是一种人工智能，试图模仿人脑学习信息的方式。他们称之为“神经全息图”
全息显示设置上显示的分辨率图结果。我们提供（A）使用各种光源显示的分辨率图的特写照片和（B）全息显示设置的插图。这些全息图在实验上仅为绿色通道捕获，并以灰度显示。请注意，仅当使用LED作为光源时，才需要照明路径上的针孔和光谱过滤器。
韦茨斯坦说：“人工智能几乎彻底改变了工程和其他领域的所有方面。”。“但在全息显示或计算机全息这一特定领域，人们才刚刚开始探索人工智能技术。”
斯坦福计算成像实验室博士后研究员Yifan Peng正在利用他在光学和计算机科学方面的跨学科背景，帮助设计用于全息显示的光学引擎。
“直到最近，随着新兴的机器智能创新，我们才有机会使用强大的工具和能力来利用计算机技术的进步，”彭说，他是《科学进步》论文的主要作者之一，也是SIGGRAPH论文的合著者。
使用相干激光（a和D）和部分相干LED（B和E）以及SLED（C和F）光源，通过实验捕捉了不同光源的二维全息图像。所有结果均使用正文中描述的CITL优化计算。度量分别表示PSNR（分贝）和结构相似性。在这两个例子中，激光和底座光源都比LED具有更清晰的图像特征。但是，激光产生的斑点无法单独在软件中消除。SLED光源和CITL算法的结合成功地去除了残留的斑点，同时获得了清晰的图像细节。
他们创建的神经全息显示器涉及训练神经网络，以模拟显示器中发生的真实物理现象，并获得实时图像。然后，将其与摄像机在环校准策略配对，该策略提供近乎即时的反馈，以通知调整和改进。通过创建一种算法和校准技术（与所看到的图像实时运行），研究人员能够创建具有更好颜色、对比度和清晰度的更逼真的视觉效果。
新的Sigraph Asia论文强调了实验室首次将神经全息系统应用于3D场景。该系统可生成包含视觉深度的高质量、逼真的场景表示，即使有意将部分场景描述为远离或失焦。
《科学进步》的工作使用了相同的相机在环优化策略，并结合人工智能启发的算法，为使用部分相干光源LED和底座的全息显示提供了改进的系统。这些光源因其成本、尺寸和能量要求而具有吸引力，并且它们还具有避免依赖相干光源（如激光）的系统产生的图像出现散斑的潜力。但是，帮助部分相干源系统避免斑点的相同特性往往会导致图像模糊，缺乏对比度。通过建立一种特定于部分相干光源物理的算法，研究人员利用LED和底座制作了第一张高质量、无散斑的二维和三维全息图像。
实验捕获的二维全息图像和相应的相位图。我们给出了使用SLED获得的全息图像（B）以及使用所提出的CITL策略自动优化的SLM相位图（A）。该结果显示了清晰的图像细节，没有明显的斑点瑕疵。
转化潜能
Wetzstein和Peng认为，未来几年，新兴人工智能技术与虚拟现实和增强现实技术的结合将在许多行业变得越来越普遍。
Wetzstein说：“我非常相信可穿戴计算系统以及AR和VR的未来；我认为它们将对人们的生活产生革命性的影响。”。他说，未来几年可能不会，但Wetzstein相信增强现实技术是“巨大的未来”
SLED和激光全息的实验3D结果。昆虫和鸟位于a（a）近（0.5米）和a（B）远平面（光学无限）。SLED和激光的峰值信噪比分别为21.94和20.95 dB。
尽管增强虚拟现实目前主要与游戏相关，但它和增强现实在包括医学在内的各个领域都有潜在的用途。医学生可以使用增强现实技术进行训练，也可以将CT扫描和核磁共振成像的医学数据直接叠加到患者身上。
Wetzstein说：“这些类型的技术每年已经用于数千次手术。”。“我们设想，更小、更轻、更舒适的头戴式显示器将成为未来手术计划的重要组成部分。”
Nvidia的访问学者、两篇论文的合著者JonghyunKim说：“看到计算如何在相同的硬件设置下提高显示质量，这非常令人兴奋。更好的计算可以制作更好的显示器，这可以改变显示器行业的游戏规则。”
来源：Speckle-free holography with partially coherent light sources andcamera-in-the-loop calibration,ScienceAdvances (2021). DOI:10.1126/sciadv.abg5040. www.science.org/doi/10.1126/sciadv.abg5040