三维计算机视觉技术

douer

现实世界的三维结构信息不仅是展示的有力手段，更是连接现实与虚拟的桥梁。三维计算机视觉技术则是一种利用图片、视频以及各类深度传感器信息，采用几何、统计以及优化等数学工具对现实世界进行三维建模的技术。由于三维计算机视觉技术使用照片等与日常生活息息相关的媒体信息，因此该技术将会成为三维展示、定位和人机交互等应用领域的重要技术之一。目前IDL的3D组已经在以下两个技术方面有了初步的成果。

基于图片的三维重建

相片是人们日常生活中不可或缺的一部分，它在记录一个难忘的时刻的同时，也记录下了所拍摄内容的部分结构信息。利用这些结构信息，通过多张不同视角拍摄的相片则可以恢复出被摄对象的三维结构。这一技术在移动平台迅速发展和普及的今天，将极大拓展普通用户获取感兴趣信息的方式。由于计算得到三维结构的同时，我们还得到了拍摄这些相片时相机所在的空间位置和朝向，因此可用于无GPS等定位信息存在时的室内外定位场合。将三维技术与基于图像的渲染技术相结合，还可以在离散的相片之间生成一系列虚拟的相片，连续播放时能产生媲美视频的效果，让美好的记忆更加生动。

基于深度信息的高精度建模

高精度模型不仅仅可以用于物体的展示，还可以用于3D打印和电影特效等，因此高精度模型在工业和娱乐领域都有着重要的应用。我们目前可使用激光测距仪和Kinect等设备采集深度信息，并通过点云拼接技术得到扫描对象的三维点云，最后在点云基础上采用表面重建技术得到可供计算机进行贴图和光照渲染的表面模型。

相信经过我们的努力，这些技术马上就可以和大家见面，给大家的生活增添更多乐趣！

基于RGB-Depth三维重建

近年来，随着三维深度成像技术的发展(如structure light和time of light)，出现了越来越多的轻便的消费级别深度相机(微软Kinect, 华硕Xtion Pro Live, Intel RealSense, Google Tango)，可以预见深度相机将会成为移动设备标配，越来越走进我们的生活。深度相机提供了三维距离信息，通过实时计算深度相机的位置和朝向，可以实现对现实三维世界的实时重建。彩色相机和深度相机的结合，可以完整的重现多彩的现实三维世界。基于RGB-Depth图像，我们研究实时的三维物体和场景重建，SLAM，快速有效的loop检测和loop closing技术，实现了一个实时重建系统。基于RGB-Depth重建即使可以实现实时的三维物体建模，三维室内地图创建和定位，并结合渲染技术应用于三维展示(商品，场景)，实时的室内虚拟现实和增强现实等应用中。

人体重建效果

带颜色人体重建效果

室内场景重建效果

基于图像的定位技术

在缺乏GPS信息的公共室内环境内，针对个人用户的定位技术具有广阔的商业应用前景。不同于基于WIFI或Bluetooth的解决方案，基于图像的定位技术具有成本低、精度高、无需对场景现有结构进行改动等优势。更重要的是，该技术能估计出用户所拍摄相片在三维场景中的姿态，非常适宜于后期基于视觉的增强现实应用，例如自然地叠加和显示广告等。

在一个典型的应用环境例如商场，我们需要提前扫描一次整个商场环境获得其室内三维结构信息和图像数据库。当用户通过手机拍摄一张商场内环境的相片时，我们可以通过地点识别和三维相机姿态估计的技术获得用户精确的位置和相机方向。

扫描商场获得的大型点云和图像数据库

用户手机图像定位示例

Augmented Reality（AR） 增强现实

所谓现实，以为我们可看到的、听到的、触摸到的这个世界。这个世界是符合一定物理规则的，比如世界是三维的，任何物体都符合透视关系，简单的说就是近大远小等等。我们可以通过相机进行采集、计算来获得当前景物的三维逻辑关系，并在此基础上，增加符合物理规则的事物、人物等，此即为增强现实。

增强现实可以连接现实与远方。轻触浮动的AR图标，即可将我们从写意的纸币背景带向遥远的桂林山水，那里的山水风景，人文美食近在眼前。

我们提供实时，稳定的跟踪技术，使得虚拟的物品无缝衔接到现实中，而又提供与现实不同的体验。

增强现实也可以将人类的生活变得更加便捷，比如，我们不用到饭店，就可以看到菜品的三维图像，并提前点单；比如，我们不必亲自到塞班岛，便可了解那里的美丽风光。

增强现实，为人类提供了实现梦想的机会，为人类提供了更高效、便捷的生活模式。

图 1 浮动的AR图标