现实数据合成点状云与场景建模在3D电影应用.docx

《现实数据合成点状云与场景建模在3D电影应用.docx》由会员分享，可在线阅读，更多相关《现实数据合成点状云与场景建模在3D电影应用.docx（8页珍藏版）》请在第一文库网上搜索。

1、摘要本文提出了从现实世界中采集数据合成3D虚拟图像的方法。3D电影制作是当前电影市场的一大热门要点，但是当前的自动3D化的技术并不成熟，导致按照当前通过视差处理得到的3D电影”的观看感受并不时非常的好。原因是这种直接从现实世界中提取数据合成3D图像的方法仅仅是针对于图像整体的处理，会有很大的失真问题，为了解决这个问题，卡内基梅隆在制作3D版泰坦尼克号的时候，将每一帧都进行人工的调试,从而达到3D立体的效果。而当下的其他的一些电影仅仅只是用算法进行调整，3D效果并不是非常好。本文将当前的主流电影制作和VR场景制作技术和游戏的3D模型进行结合，尝试得到一种新的电影制作方法。本文准备将场景进行3D化

2、的建模；同时将对人的动作再用多台环绕相机进行拍摄，合成人物的空间点状云运动模型，再在后期对此模型进行纹理和颜色的处理。将场景和人物模型进行匹配，得到的便是3D电影。关键词：3D建模，点状云，针孔摄像机模型，点云拼接英文关键词：3D modeling, point cloud registration, Pinhole camera model, Image fusion目录摘要I目录II一、引言11.1 研究背景11.2 创意来源11.3 当前研究情况11.4 核心创意点2二、正文22.1 技术实现思路22.2 相关技术分析32.2.1 点状云合成与拼接32.2.2 点云拼接32.2.3 双目

3、立体成像42.2.4 预计技术难点42.3 应用与价值42.3.1 应用场景42.3.2 市场需求52.3.3 推广模式5三、结论5参考文献5II北京航空航天大学第二十九届“冯如杯”学生创业大赛参赛作品一、引言1.1 研究背景计算机图形学的进步和发展使得电影特效技术在不断发展，当前应用传统技术的3D电影效果并不是足够的理想。我们借鉴计算机动画建造场景的优势，来提高场景的3D效果。但是动画电影又缺乏真实世界的数据，所以怎样进行提取现实世界的数据（如：演员的表演动作）是其中创新点。1.2 创意来源通过体验游戏的流畅画面和完美的模型所可以产生的逼真效果和VR技术的发展，我想到了场景建模的想法，同时也

4、是借鉴暴雪公司的CG电影。高清影像技术的发展和深度学习尤其是图像识别的发展，使得现在能够识别出来精度足够的图像，我们就可以得到精确的图片，这启发我是否可以对通过这采集精确的图像，进一步处理后得到漂亮的模型。双目摄像机的产生和由图像合成点状云的算法的提出，启发多摄像机来避免“空洞”的产生。1.3 当前研究情况3D电影的原理是视差，即，不同的图像分别被传输到左眼和右眼以形成立体声,并且这两个图像通过拍摄和计算机CG生成。（或两者的混合物）计算机CG制作的自由度非常高，也就是说，您可以调整任何所需的深度和立体声效果。拍摄更有限。由于角度问题，相机与焦点之间的距离，并非所有立体声效果都易于控制。Cam

5、eron在拍摄“阿凡达”之前研究了 3D立体相机，解决了拍摄立体声的技术瓶颈，并了解技术限制。拍摄电影时，他可以避免镜头设计的立体声效果不佳。“阿凡达”中没有很多真人。许多CG和现场CG混合镜头确保了最终的3D效果。纯粹的CG电影（如“玩具3”和“熊猫2”）的立体效果也更好，受益于拍摄问题的局限性。在3D电影中，业界通常使用针孔双摄像头来获得双拍图像，使用DIBR技术来参考纹理图像和视点的深度图像，并通过使用3D图像映射方程将参考图像中的像素映射到目标图像，从而生成虚拟视点图像。但感知没有太大改善。”目前的3D电影只能达到2.4D,未来最高只有2.99D,一般是2.1D, 2.2D电影卡内基梅

6、隆1.4 核心创意点全CG加动作捕捉，以及CG角色和真实演员的高还原度。将电影中的最重要的人物进行数据采集，收集点状数据，合成立体图像；对背景和环境等内容，进行建模处理,由导演进行选择生成相关的场景。最后将这两点进行合成，从而生成3D模型，再设计camera （观察者点）便可以3D化非常高的视频了。二、 正文2.1技术实现思路1：对出现频率高的，容易建模的场景进行环境建模，比如：房间，桥梁，路边，水边等人类规则的建筑进行类似于游戏3D立体化。2：将演员置于玻璃空房中，采用环绕多台摄像机来对演员进行拍摄。通过不同角度的拍摄，我们可以将其进行立体化的处理，合成空间点状云，得到形状模型。再通过设计光

7、学的数据，对图像的光亮角度进行调配。3：合成：将人物的点状云和环境进行位置匹配，再由光流法设计光线的角度，从而合成出3D的场景。如图一，图二4：点状云，后续处理运用识别算法，对点状云进行更深一步的加工，如识别人体的结构，由处理人员将色彩和纹理等进行调整。最后进行“上骨”将运动模型统一起来。与动作捕捉到的信息进行配合，得到相应的动作。图一图二2.2 相关技术分析221点状云合成与拼接采集数据：使用多台Kinect深度相机对在透明玻璃房间中的演员进行拍摄，得到深度图和其他数据。根据相机的位置摆放和匹配相似度高的地方来合成点状称为“点云拼接“原理如图三。三维点云的拼接过程主要分为两个阶段：初始拼接（

8、粗拼接）和精确拼接。通常，我们测量的点云位于它们各自的坐标系中。对于距离初始位置较远的两点云，我们首先使用初始拼接使两个点云具有太大的初始距离彼此接近。缝合的一个步骤奠定了基础。然后，使用精确拼接，两个点云的位置更接近，并且重叠部分的误差进一步减小，从而拼接成更大规模的点云。粗拼接中两组点云的交点用作精确拼接的初始位置，降低了精确拼接的难度。精确拼接的目的是将两个点云拼接成更大的点云，为三维重建奠定基础。这两个阶段中使用的算法和目的是不同的。每个像素的深度虚拟视点渲染过程可以分为两个步骤：第一步是基于参考视点的摄像机参数和深度信息以及坐标系中像素的三维坐标;然后根据虚拟视点的相机参数获得三维坐

9、标。再次将该点投影到虚拟视图成像平面上以绘制虚拟场景。2.2.3 双目立体成像使用两个或更多个相机同时获取图像，并且该算法用于通过比较由不同相机同时获得的图像的差异来计算深度信息，从而进行多角度三维成像。结构光的代表产品是微软的Kinect 一代。通过发射特定图案的斑点或点阵的激光红外图案，当待测物体反射图案时，相机捕捉反射图案，并计算斑点或上述点的大小，并计算原始散斑或点的大小。为了比较，测量被测物体和相机之间的距离。2.2.4 预计技术难点1：精确度，再对细节部分例如脸部色泽描写的时候，怎样达到自然的状态？2：细节处理，毛发等细节的东西是非常的困难处理的，还有衣服的延展和皱褶时很难实现的。

10、3：环境建模减小复杂度的途径通用的模型，当前没有足够的设计3D素材，这需要行业的发展更进一步，从而提高效果，降低成本。2.3 应用与价值2.3.3 应用场景由于本文的方法的制作成本较高，商业片等大投资的篇目是最佳的选择。以“变形金刚为例，进行分析。1：背景建模由于变形金刚的大量场景全部是由计算机渲染得到的，所以在这里将已有的计算机的渲染图像进行3D化是一件很容易的事情，直接渲染两个位点即可，在这里不在详细说明2：人物动作在拍摄时，演员在一个完全透明的玻璃房间里，由多台摄像机进行记录（当然是越多越好），之后运用本文的技术，合成多台计算机的数据，将人物的动作进行点状云化,之后有化妆师等专业人士，对

11、得到的模型进行服装设计，再由动画师进行“上骨”的操作,从而得到一个完整的人物动态模型。2.3.4 市场需求大众需要高质量的3D电影，随着VR的应用越来越广泛，从现实中采集数据是其发展的必要趋势。本文提到的点状云建模是其解决方案之一。2.3.5 推广模式从游戏应用点状云法，引入现实世界的元素。将其发展成熟，随后可以应用到高档商品的展示上，最后我们将其运用到电影上。三、结论这是一种电影行业的新技术，将采集现实数据和应用虚拟模型，通过采集演员的出色表演，再进一步的合成运动模型，从而生成了全新的3D动作场景模型，这便能够再提升电影3D效果的时候，又尽可能多的保留了现实世界的细节。参考文献1桑坤.视频图像2D转3D算法研究D.北京邮电大学,2015.杨婕.基于深度图像的虚拟视点绘制方法研究D.华北电力大学（京）,2017.3李文涛.基于深度相机的点云拼接技术研究D.沈阳航空航天大学,2018.4张斐.大区域图像修复算法研究D.南京邮电大学,2013.