MIT Media Lab项目：Layered 3D
基于光场衰减的层析图像合成与高动态范围显示
该文章来自MIT Media Lab 项目主页（英文）。版权归原作者所有。
Layerd 3D: 基于光场衰减的层析图像合成与高动态范围显示
Gordon Wetzstein, Douglas Lanman, Wolfgang Heidrich, Ramesh Raskar
University of British Columbia – Imager Laboratory
MIT Media Lab – Camera Culture Group
ACM SIGGRAPH 2011. Transactions on Graphics 30(4).
图1：价格便宜的，无需眼镜的基于空间光场衰减的显示技术。（左）一叠空间光调制器（例如印刷MASK）在背光照明时再现出目标光场（这里是一个汽车）。（右）目标光场如左上方所示，同时还有使用迭代层析重建得到的最佳5层分解。（中）当观察者站在左上方（品红）和右上方（青色）时的斜轴投影。目标光场与5层原型机分别如左侧与右侧所示。这种基于光衰减形式的3D有着准确、高分辨率的运动视差、遮挡、透明度和高光，在图中如行李箱、栅栏、窗户和车顶所示。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group #
摘要
我们开发了一种由紧凑型光衰减材料构成的适用于图像合成显示的层析技术。当使用均匀背光照明时这种空间衰减营造出4D光场或者高对比度2D图像。由于任意角度观察时任意单个衰减器都是不连续的，迭代层析重建最小化了目标光场与发射光场之间的区别，但任然受到光衰减的物理规律限制。多层是传统视差挡板的一般化，这种显示技术从理论到实验都被证明优于现存的双层显示结构。相对于parallax barriers 3D显示，空间分辨率、景深和亮度都得到提高。对于固定景深的平面，我们的优化方案允许最优的高动态范围显示，确认了现存的启发式方案，提供了第一个多级分离层的扩展。我们通过采用廉价制造方式展示基于光场衰减显示的优点与限制，这种方法就是分离多次印刷透明度的有机玻璃。
文档
引用
G. Wetzstein, D. Lanman, W. Heidrich, R. Raskar. Layered 3D: Tomographic Image Synthesis for Attenuation-based Light Field and High Dynamic Range Displays. Proc. of SIGGRAPH 2011 (ACM Transactions on Graphics 30, 4), 2011.
技术简介
图2：多层显示原型机。（左）我们通过在有机玻璃上分离透明胶片并且在后方使用照明（例如一个LCD panel）制造了一个多层显示系统。（右）印刷胶片与有机玻璃。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
表1：多层显示技术优势。相比现存的裸眼3D技术，我们实现了更清晰，亮度更高的图像，但是需要额外的层和更厚的边框。翻转动画，对于不相关的多视角图像，是通过强化parallax-barrier如降低采样来处理，如文章7.1节所述。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
图3：多层3D显示。骰子场景是为了展示左侧与右侧显示的优势，如左侧栏顶部和底部分别所示。对应的五层原型机（图2）对比如右图。插图表明了层相对于场景的位置。不同于传统的附加体积显示，透明度与遮挡都被准确的再现，使得不透明物体的运动视差得以准确再现。（底部）从左上顺时针方向依次为2、3和5层分解，顺序从显示系统的前段到后部。所有的层均匀分布在整个显示系统。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
图4：多层景深对重建工艺品的影响。从左到右显示的是龙场景的重建，依次使用2、3和5层，从正面直视。右侧为区域放大。洋红色区域位于显示区的头部，是由随着层数逐渐增加的分辨率显示构成。青色区域，位于尾部，在显示区后，有着明显的光晕效应，如同图3中的骰子。如论文4.2节所述，多层显示景深上界表明了空间分辨率与景深成反比关系。由于描述尾部边缘需要高空间分辨率，导致工艺品没有合适的预滤波。在这个例子中，一个大概的预滤波方程17（见论文）被应用来估计5层分解，允许工艺品保留在2层和3层分解中。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
图5：多层显示性能。从左到右的每一个场景是目标光场的直接观察对比原型机图像和模拟与目标观察之间的误差。由于有合适的预滤波，工艺品均等的在深度进行分布，产生几乎靠近高对比度的边缘（例如龙的轮廓和汽车的挡泥板）。注意车顶的高光镜面反射被保留，同时降低了对比度和窗户的透明度。附加的结果在supplementary material和视频中。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
图6：多层，无视差HDR图片显示。目标HDR图像的色调图如左上图示。多层HDR显示原型机，分别为1、2和3层（每一个都有3.3:1的对比度）如上行所示；注意对比度是如何随着采用我们的层析图像合成技术和多层非连接衰减层而改进。左下是目标图像和模拟重建之间的绝对误差。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
图7：多层裸眼3D显示的优势。龙的模拟观察入图所示，从左到右依次是使用集成成像、视差挡板和我们的多层方法。显示参数选择7×7视角，导致分辨率的下降。相比视差挡板，我们的方法亮度提高49倍，分辨率超过另外两种方法相似的倍数。
Image credit: UBC, Imager Laboratory; MIT Media Lab, Camera Culture Group
致谢
We thank the reviewers for their insightful feedback and recognize the support of members of the Imager and Camera Culture groups at the University of British Columbia and the MIT Media Lab, respectively. We also thank Dolby and Samsung Electronics for their sponsorships and David Roodnick for helping to build the prototypes. Gordon Wetzstein was supported by a UBC Four Year Fellowship. Wolfgang Heidrich was supported under the Dolby Research Chair in Computer Science at UBC. Ramesh Raskar was supported by an Alfred P. Sloan Research Fellowship.
相关项目
- Content-Adaptive Parallax Barriers: Optimizing Dual-Layer 3D Displays using Low-Rank Light Field Factorization
- BiDi Screen: A Thin, Depth-Sensing LCD for 3D Interaction using Light Fields
联系方式
Technical Details
Douglas Lanman, PhD, Postdoctoral Associate, MIT Media Lab
dlanman (at) media.mit.edu
封面图片：Photo by Caleb Minear on Unsplash
Comments ()