【贺】深圳市科技创新委员会公布深圳市2020年第4批科技计划项目验收结果,我院陶文兵老师项目《基于无序混合媒体的大尺度复杂城市场景三维重建》成功通过验收！！
项目概述：三维重建是计算机视觉的一个前沿的研究领域之一，在古文物修复、医学影像、游戏场景建模、城市三维地图建模等方面的应用越来越广泛。目前的三维重建技术对于小规模场景已经应用地非常成熟，而在大规模场景三维重建中，由于图像数量大、目标场景复杂，存在算法效率与内存消耗问题，导致重建速度慢、重建效果差。
针对这些问题，陶文兵老师团队在图像匹配、稀疏三维重建、稠密点云生成和表面网格重建四个方面开展了如下研究：
基于GPU与级联哈希的快速图像匹配方法。针对图像匹配阶段耗时较长的问题，本研究将级联哈希匹配算法的低复杂度和GPU的高运算性能结合，并且对原算法中的哈希编码计算、哈希排序等步骤进行了更加适合GPU并行计算方向的优化。并且针对大规模场景三维重建图像数量大的特点，提出了一种硬盘-内存-GPU数据调度策略，使得本方法能够在数据不能一次性载入内存或者GPU的情况下，也可以在不影响速度情况下进行匹配。
第二，基于位置与几何约束的图像匹配方法。除了在图像匹配算法、运算设备的改进，降低图像匹配对数目也是加快图像匹配的方向，因此本研究还在寻找有效匹配列表方面提出了两种方法。针对有GPS信息的图像数据集合，使用GPS确定图像的位置然后查找固定的近邻，从而得到有效匹配列表。而针对没有GPS信息的图像数据集合，本研究使用抢占式匹配策略得到有效匹配列表，通过极线几何约束进一步提高GPU级联哈希匹配的效率。
第三，大规模城市场景稀疏点云区域分块重建。本研究还针对城市场景稀疏重建的特点，采用带GPS信息的图像数据集，并且利用GPS信息和地图中的道路信息，将图像数据集划分为多个子集，每个子集并行的重建，最后整合成为一个完整的稀疏三维点云模型。
第四，总结了基于深度图的稠密点云生成算法的理论基础；研究了联合地视图选择和深度-法线图估计的稠密重建算法原理，并对其中存在的问题进行了分析和总结；研究了经典的泊松表面重建的算法理论和基于外存的多级流式泊松表面重建流程，并针对大规模场景的处理，对后者的具体实现效率进行了分析。
第五，提出了一种结合空间传播和像素级优化的深度-法线图估计算法。该方法将稠密重建分为深度图提取、优化和融合三部分，并在每个部分提出了一些创新。首先，通过引入空间传播来提高深度图提取的效率。接着，为了获得更好的准确性和完整性，引入了一种像素级深度调整策略用于深度图优化，并构建了两个过滤噪声的滤波器用于深度图过滤，然后在优化和过滤之间迭代数次。最后，优化后的深度图以高度并行的方式进行融合。算法在各种基准数据集和实际场景数据上得到了验证，在效率、准确性和完整性方面取得了非常好的效果。另外为了使算法能够应用于大规模场景，针对内存溢出的问题，首先运用CMVS对重建的图片进行聚类，然后把算法依次单独应用到每个类中，最后把每个类的稠密点云拼在一起得到总的稠密点云。由于每个类比较小，这样就防止了内存的溢出。
第六，改进了基于外存的多级流式泊松表面重建算法。通过分析基于外存的多级流式泊松表面重建的算法原理和实验结果，发现可以对算法中的预处理步骤进行简化以提高效率。具体而言，删去了预处理步骤中索引块内的排序，并对预处理的过程进行了精简使得效率得到了较明显的提高。
项目成果：该项目对基于SfM框架的大规模城市场景三维重建的研究和实现，能够在使用无人机采集城市场景的大量带有GPS信息图像的数据输入情况下，能够比较快速准确的实现稀疏三维点云重建。
项目负责人：陶文兵，现为华中科技大学自动化学院教授，博士生导师。入选2014年中国高被引学者（Most Cited Chinese Researchers）计算机领域榜单。目前承担International Journal of Computer Vision, IEEE Transactions on Image Processing等24家国际期刊的审稿工作，与国内外专家学者建立了广泛的合作研究及学术交流联系。
研究领域：计算机视觉，机器人目标识别，大场景三维重建，机器学习
