虽迟但到!实景三维中国建设又有新动作
最近,自然资源部就实景三维中国建设做出了新动作——落实新的技术规范,印发了新型基础测绘与实景三维中国建设技术文件(5-7)。 技术文件详情这份文件包括三份子文件。其中,《基于1∶500 1∶1000 1∶2000基础地理信息要素数据转换生产基础地理实体数据技术规程》,规定了基于1∶500 1∶1000 1∶2000基础地理信息要素数据转换生产基础地理实体数据的基本要求、作业流程、质量控制、成果归档等。该文件适用于二维表达形式基础地理实体数据的转换生产。《基础地理实体数据采集生产技术规程》是这次的核心技术文件,规定了基础地理实体数据采集生产的基本要求、作业流程、质量控制、成果归档等。适用于基于航天遥感影像、航空遥感影像(含倾斜摄影影像等)、移动测量数据(含全景影像等)、激光点云数据、Mesh三维模型、数字高程模型(DEM)、数字正射影像(DOM)、真正射影像(TDOM)等进行基础地理实体(自然和人工地理实体)数据采集生产。该技术规程的推出,说明不再采用传统直接用以要素为对象的采集作业方法。并重新确立了二、三维图元采集、属性数据采集、实体语义化处理等关键环节组成的数据采集方法。这份技术规程里出现的一个关键词是地理实体,什么是地理实体?图元又是什么?此类技术名词的解释具体可查看详细的技术文件,进入微信公众号【大雁云】回复 “ 422 ” ,即可获取完整的3份文件。最后一份文件是《基础地理实体语义化基本规定》,它规定了基础地理实体语义化内容、语义化内容获取、语义化内容表达及语义化成果质量检查等。适用于基础地理实体语义化相关工作。 技术文件名解读这三份文件都是新型基础测绘与实景三维中国建设技术文件。新型基础测绘与实景三维中国这两个词圈内人都很熟悉,但是两者的关系是什么?有何不同?自然资源部国土测绘司司长武文忠近期解答了我们的疑问,详细说明了新型基础测绘、实景三维中国和时空大数据平台三者之间的关系,帮助大家理清了建设逻辑。新型基础测绘是要构建能力基础,实景三维中国是要构建数据基础,时空大数据平台是要构建服务基础。所以,新型基础测绘是构建实景三维中国的能力支撑体系;而实景三维中国是新型基础测绘的标准化产品之一,它又是时空大数据平台的基础时空数据集;而时空大数据平台则是新型基础测绘和实景三维中国的服务窗口。三者是相互关联、相互依存的上、中、下游关系。 全面推进实景三维中国建设随着国家政策的不断落实,实景三维中国建设带来的市场规模将会不断增长。国家全面推进实景三维中国建设里的通知里提到:到2025年,5米格网的地形级实景三维实现对全国陆地及主要岛屿覆盖。深圳作为中国特色社会主义先行示范区,开始全面推进实景三维建设,近日宣布已完成全市2200平方公里城市级实景三维(MESH)模型构建,用以支撑数字政府和智慧城市建设。中国的面积约960万平方公里,共有333个地级区划,如此大的实景三维(MESH)模型建模需求怎么实现?市场上有很多软件,但是能满足大规模、大面积范围重建的软件真的屈指可数,即使跑得动大规模、大面积范围的实景三维重建,缺点也可能是速度慢,或者是精度不高,实景三维(MESH)模型质量不合格。(实景三维重建全过程)实景三维影像数据的处理需要依赖计算机算力(CPU+GPU),越大规模的实景三维重建要求的算力也越多。而要实现快速、高精度、高质量的大规模建模需求,借助云计算会是一个绝佳选择,也就是说将建模软件部署到云端,进行实景三维云重建。大雁云就是提供实景三维云重建服务的云计算平台,它在全国多地设有自建机房,拥有庞大的(总量50000+)节点机资源,可以灵活调动算力,满足用户随时可用的实景三维重建需求。有了庞大的算力,实景三维重建速度相较用户利用本地算力(CPU+GPU)将会得到指数级的提升。(大雁云实景三维云重建效率)值得一提的是,大雁云是Bentley公司授权的大中华区首家且唯一ContextCapture Center软件全SaaS化实景三维云计算平台。ContextCapture Center一直在大规模实景三维重建市场上占据绝对地位,和大雁云合作,将其部署到云端,从实景三维重建升级为实景三维云重建,这样的实景三维重建方案简直是王炸组合!(ContextCapture Center与大雁云合作的授权证书)从自然资源部此次发布技术文件的动作来看,全国各省市全面推进实景三维建设的步伐又进一步加深了。大雁云作为一款提供的产品,紧紧跟随国家发展的步伐。将自己的实景三维云重建技术广泛运用在新型基础测绘的源数据收集分析环节,助力构建新型基础测绘的能力基础和数据基础。同时前瞻实景三维新技术,践行云计算助力实景三维重建的角色,不断赋能实景三维中国建设。(大雁云重建完成详情)大雁云的实景三维云重建技术到底如何?免费体验~现在只要是新用户,注册账号就能免费领200元大雁券体验光速云重建服务!另外,现在认真填写大雁云有奖问卷还有机会获得另外的100元大雁券免费体验大雁云哦!(长按扫码填写问卷)
2022-05-05
摄影测量的苦, 终于有人知道了!
(源自B站up主“影视飓风”)我想,你脑海里浮现的第一句话肯定是“哇!在哪拍的?”事实上,这并不是实拍,而是B站著名up主“影视飓风”用照片合成生成的实景三维模型。这条视频在12日一经推出,立即红爆B站全网,引起摄影测量、测绘人广泛共鸣。截至22日,视频播放量超242w,荣登科技榜前10。越来越多测绘行业外的人知道了摄影测量,知道了实景三维重建!这条爆红的视频到底讲了啥?其实up主主要向大家科普了摄影测量从无人机航测到实景三维建模这一过程,测绘行业里的人分别称之为外业和内业。从外业无人机采集照相到软件自动建模,一句话似乎概括了摄影测量的所有工作。而每一环节的艰辛,恐怕只有测绘人才能懂:无人机采集照片要跑外面,要注意飞行环境和天气,有时候光是赶路就要奔波半天,遇到采集点不能开车进去,那只能背着几斤大石头重的的设备徒步走。好不容易飞完,很多人会顺着原路回来后进行实景三维重建。路程漫漫,路上的时间也是时间,要是工程紧急,这些路上的时间利用起来,也能节省很多重建的时间了。设想一下:在采集点就将照片导入自动建模软件,利用路上的时间重建,然后回到家,打开笔记本电脑,模型就建出来了,那得多开心啊!但很多软件并不支持随时随地建模,因为算力有限,特别是在摄影测量采集范围大的情况下。采集的范围越大,照片也就越多,处理起来需要的计算机算力(CPU+GPU)支撑就越多。为解决这一困难,大雁云出现了。大雁云在贵州、内蒙古等地设有自建机房,拥有庞大的(总量50000+)节点机资源,所以可以实现算力灵活调动、随时可用的实景三维重建需求。这一实现过程被叫做云计算,准确来说,叫“实景三维云重建”。一台普通的笔记本,下载大雁云客户端,导入采集好的照片,这个大雁云就能在云端自个重建去,我们等重建完成,就完事了!大雁云的这个重建过程相比传统建模,速度是翻数倍的。它快的原理其实很简单:大雁云将二维照片自动合成三维模型。这个自动合成的过程也叫处理过程,大雁云会将它分解成一张张照片(甚至是每像素)的处理,而每张照片的处理都需要算力的支撑(CPU+GPU)。(大雁云重建完成详情)算力可分为一个个算力节点,也就是说,算力节点越多,就能处理越多照片。照片总量少点的甚至几个节点同时处理一张照片,这不比一个节点处理一张照片快吗?举个例子,一个场景由100个瓦片组成,一台机器(相当于1个算力节点)跑需要100个小时,而大雁云挑出100台机器,1个小时就可以跑完!总而言之,在庞大算力的支撑下,用大雁云处理小场景和大场景都有优势。它目前支持无人机、专业单反相机、手机拍摄的小数据图片进行实景三维云重建。传统实景三维建模没办法实现无人机飞完后导入照片立马重建,还有一个原因是传输速度慢。摄影测量采集到的照片越多,将照片从电脑本地导入自动建模软件里的速度越慢。怎么能实现快速传输呢?市场上传输用的普遍是传统UDP和TCP,传统UDP速度快,但数据可能丢包;TCP安全,能保证文件的完整性,但是速度会慢。有没有安全不丢包又快的传输协议?有。镭速大文件传输软件用的是自研的UDP,它的优点是又快又安全又能保证文件的完整性。它的传输速度也比FTP和HTTP快数百倍,最大程度地跑满带宽,还不影响其它网络流量。镭速传输(Raysync )团队获得最佳虚拟化支持奖3月,它凭借自己出色的传输能力在2021年度国际数据传输大赛(DMC21)中获得最佳虚拟化支持奖。大雁云小课堂2021年度数据传输大赛(简称DMC21)是由新加坡国家超级计算中心(NSCC)组织的一项国际竞赛,旨在汇集来自行业和学术领域的专家,鼓励国际团队提出最先进和创新的数据传输解决方案。而大雁云的文件传输就是由镭速完成的(大雁云和镭速出自同一家母公司——瑞云科技),上传、下载数据的速度都是杠杠的!大雁云在实景三维建模方面的专业度和精确度也不用担心,因为它是和Bentley的明星产品ContextCapture Center(简称为CC)合作的,是Bentley公司授权的大中华区首家且唯一ContextCapture Center软件全SaaS化实景三维云计算平台。大雁云的操作页面也基本照顾了CC老用户的使用习惯。CC的建模能力有多强,业内的人都心知肚明。大雁云为了满足行业内对数据信息及精度的需要,3月也上线了功能~大雁云小课堂空中三角测量,又称“空三”,是学习摄影测量不得不提到的重头戏。摄影测量的任务就是在尽可能地减少外业工作的前提下,通过解析相片,获取测区的地理信息。 回到B站这条出圈的视频上,我们可以看到“摄影测量+实景三维重建”除了用于地理测绘领域,在保存世界文化遗产上也能发挥重要作用,甚至还能用于搭建游戏场景、影视背景、考古文物还原等!(源自B站up主“影视飓风”)据调查,摄影测量工作已经深入考古工作了,几乎每一个考古工地都会用到摄影测量进行遗址遗迹以及遗物的数字记录。这相较之前手动记录数据,效率得到了质的提升,这就是科技带来的革新!(郧县人遗址进行三维实景建模的基础数据采集工作)摄影测量(包括所有测绘人)的外业工作尽管非常苦,但靠自己的双手建成一个个逼真的数字三维模型,看到它们在文物保护、影视游戏、数字工程、智慧城市等领域发挥着至关重要的作用,内心也会觉得很富足,因为我们都在做有意义的事!*以上图片源自网络,致敬所有坚守在自己岗位的测绘人们!
2022-04-24
【三维云重建】Bentley ContextCapture与大雁云如何实现实景三维云重建?
Bentley的ContextCapture Center(下文均简称“ContextCapture”)是一款功能强大的实景建模软件,可由简单的照片或点云自动生成详细三维实景模型。它在智慧城市和BIM领域有着广泛的应用,比如在数字经济发达的芬兰,打造了赫尔辛基3D+智慧城市项目。在国内近几年的实景三维城市建设中,也处处可见ContextCapture应用在城市规划中的成功案例,如上海,青岛,西宁等等。近期也同香港地政署合作,为香港绘制了系列实景三维地图。(赫尔辛基市利用城市级别数字孪生模型推进数字化)同时在BIM领域,在与上海勘测设计研究院的合作中,将数字孪生技术应用在三峡的海上风电场和长江的大保护项目。(具体项目简介,请查看文末专区介绍)近期国家提出实景三维中国建设,计划在2025年,完成2米左右的DEM全覆盖和5公分左右的实景三维全覆盖,即覆盖中国293个地级市。随着实景三维中国建设的深入发展,以及中国城市变化速度的日益加快,国内城市实景三维的需求将会大大增加。如ContextCapture实景建模技术,能和云计算相结合,三维模型的生产效率将会得到指数级的增长。熟悉大雁云这款产品的都知道,大雁云是Bentley公司授权的大中华区首批ContextCapture Center软件全SaaS化实景三维云计算平台。凭借夯实的云计算实力,真正做到了行业内的实景三维云建模。关于大雁云如何助力实景三维中国的内容,可以查看往期文章介绍大雁云如何赋能实景三维中国建设。当Bentley实景建模技术ContextCapture与专注为视觉行业提供垂直云计算服务的瑞云(大雁云所属公司)结合在一起,将产生哪些优势和价值?请参见大雁云与Bentley软件实景建模产品经理高亮的对话。(Bentley软件ContextCapture官网)专访预告:•ContextCapture为什么会与大雁云合作?•ContextCapture与大雁云的合作内容有哪些?•拥有云计算的大雁云进行实景三维重建有哪些优势?大雁云:Bentley与大雁云共同研发的内容有哪些?高亮:大雁云是一款Bentley同瑞云科技联合打造的实景建模云服务产品。不论是大雁云的客户端或服务端,我们都进行了深度的定制工作。 (大雁云官网页面)有了这样的深度定制,客户就能在大雁云轻松实现数据的顺畅传输,进行任务的高效分发和生产。大雁云:您眼中的大雁云优势有哪些?高亮:得益于云服务,大雁云首先有着非常简单易用的特点。因为它把用户的应用场景都提取出来了,所以用户能够以最简便的几个步骤,将数据进行预处理,之后再提交到云端进行处理。第二个特点是高效,高效一方面是借助于ContextCapture强大的算法,能够高效生产出高质量的实景模型。另一方面是借助瑞云科技庞大的云计算基础,以及它高效的云服务调度技术。因为大雁云是跟ContextCapture合作的,所以它充分照顾到了原来ContextCapture用户的使用习惯,包括界面、控制点的量测、质量报告等。我们知道,ContextCapture本身是一款桌面端软件,用户在使用过程中,需要进行一些操作设置及软硬件的适配。而大雁云做到了与ContextCapture界面的无缝衔接,即充分照顾到了原来ContextCapture用户的使用习惯,帮助他们快速从桌面端过渡到云端。大雁云:ContextCapture会如何助力实景三维中国建设?高亮:2025年,国家要完成2米左右DIM的全覆盖,另外还有5公分左右的实景三维全覆盖,即覆盖所有地级城市。因为我们知道,中国的地级城市大概有293个,所有的地级城市就包含了293个城市。加上一些有条件的县级行政区,都要实现实景三维全覆盖的话,将会产生非常庞大的应用需求,这也意味着需要生产很多实景三维数据。覆盖之后,还需要定期进行更新。因为中国的城市变化非常快,比如上海和北京,有时候是半年一更新,又或是一年一更新。那其他的地级城市,是不是也要保持这样的更新频率?所以这是一个非常大的需求,对我们整个实景建模技术也提出了很大挑战,也是为什么我们推出大雁云服务的一个原因。(大雁云客户端界面)如果我们能够借助云计算,就能让行业生产效率得到指数级的增长。那么再说回到这个实景三维中国,它不仅仅包括数据的生产,还包括国家级、省级离线和在线交互式实景平台的建设。那它又包含了一个数据库的建设,还包含了一个共享平台建设,还有背后如此庞大的实景数据,它该如何来管理?所以这些都是在我们在实景三维中国建设的内容里面,也为我们产品的发展提出了一个很好的指向。未来希望能够基于数据生产,然后再拓展到数据的管理、平台、数据的共享,甚至到一些平台的在线应用等等,这些都是我们目前考虑到的发展方向。大雁云:实景三维重建云计算会给地理信息行业带来怎样的革新?高亮:实景三维全自动建模与云计算相结合后,生产力将会带来指数级的增长。而海量的数据会使得我们的城市管理更加精细化,也使得‍‍‍数字孪生资产的全生命周期运维、基于大数据的人工智能分析等都成为可能。总而言之,实景建模云计算为智慧城市提供了良好的数字基础。*ContextCapture相关项目介绍(点击加粗文字查看项目详情):如果想及时知晓ContextCapture和大雁云合作的新消息或功能上线通知,敬请关注公众号【大雁云】。对了,大雁云空三功能于3月15日正式上线了,云上全流程空三,省心又高效!点击下载体验空三!具体的使用操作戳链接⬇另外大雁云渠道合作商招募计划已开启!有意加入立即扫码咨询~详情见往期推荐文章~(填完表单会有专人联系您)---相关阅读推荐:
2022-04-19
大雁云首场直播预告︱看工程建设如何“玩转”数字施工?
CHINTERGEO(中国测绘地理信息技术装备展览会)中国测绘地理信息技术装备论坛(线上)作为CHINTERGEO展览会中的一项重要活动,云集了国内外著名专家学者和企业家,大家共同研讨行业发展大计和热点技术,前瞻行业发展方向,致力拓展企业经营之路。大雁云此次,有幸以演讲嘉宾的身份,受邀参加中国测绘地理信息技术装备论坛(线上)第三期——看工程建设如何“玩转”数字施工。具备多年大数据产品及数据可视化项目经验的刘明燕(商务主管),将以“云计算助力实景建模”为演讲主题和大家一同探讨云计算如何赋能传统测绘、地理建筑行业,真正“玩转”数字施工。(大雁云实景建模商务主管:刘明燕)工程建设领域有了云计算的支撑,可轻松在“云”上建模。联合大数据、物联网、区块链、BIM等其他新技术,传统施工方式将逐渐向数字化转型,而整个工程建设领域也逐渐向数字化、虚拟化和信息化的方向变革。本次直播,大雁云很荣幸能够听到其他嘉宾(直播名单详见下图),从其他新技术方向发表对数字施工的新思考。大家记得在1月21日周五13:30准时进入直播间收看直播。直播时间1月21日周五13:30——16:00。现在点击下图扫码预约~这次直播分享除了能听到独家行业干货,还有机会抽取新年好礼,因为每位演讲嘉宾各准备了20份直播礼物,分享期间会发起3次抽奖,大家不要错过啦!直播间奖品详情:测绘人专属咖啡杯*20笔记本+电脑包*20虎年精美坚果礼盒*20扫码关注👇回复“6”预约观看直播---相关阅读推荐:
2022-01-21
倾斜摄影测量在实景三维建模中的关键技术研究
三维城市运用描述城市地上景观的三维模型来表达数字城市空间信息,是表达城市信息的重要载体,对城市规划、建设、管理和应急响应有着及其重要的作用,三维城市已经展现出其较高的经济价值和应用潜力。传统的三维城市模型生产制作是结合遥感影像图和地形图,得到精确的、可靠性强的建筑物模型、道路模型及其他景观小品模型,将组成城市要件的各类三维模型集成为三维城市场景,这种方法适合于普通精度的三维城市建模,但是对于高精度、高仿真、大区域的建模,传统方法势必需要投入更多的作业人员,其建模速度、效率以及时效难以满足三维城市的应用。 1、倾斜摄影测量概述 1.1 倾斜摄影测量技术倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术,它颠覆了以往正射影像只能从垂直角度拍摄的局限,通过在同一飞行平台上搭载多台传感器,同时从一个垂直、四个倾斜等五个不同的角度采集影像,将用户引入了符合人眼视觉的真实直观世界。拍摄相片时同时记录航高、旁向重叠度、GPS坐标数据等,为后续三维建模的分析整理提供有利条件。 1.2 倾斜摄影技术特点将无人机倾斜摄影测量技术应用于构建三维城市,具有以下特点:第一,可操作性强。获取数据途径简便快捷,后续无需作业人员再次现场拍摄;数据处理主要通过计算机软件解算,自动化程度高;第二,三维模型更接近真实场景。相比于只从垂直角度拍摄的正射影像,大量倾斜影像可提供建筑物多角度纹理信息,补充地物的侧面细节,使建模效果符合人眼真实场景,弥补了人工建模仿真度低的缺陷;第三,投入成本低。在相同的拍照时长中获取五倍数据,大量数据为批量进行特征点提取和同名点匹配提供先决条件,缩短节省建模时间,节约劳动力成本;直接获取建筑物多面信息,减少航拍次数,降低仪器损耗;第四,具有较大的视场角。增添倾斜角度的航摄相机后,可根据倾斜摄影相机安放角度不同,可适当调节视场角。 2、倾斜摄影测量在中的关键技术研究 2.1 试验区概况本次试验位于山西省东南部的某县城,地处上党盆地西侧,东望太行与长治县搭界,西枕太岳与沁水、安泽为邻,南接高平、北毗屯留,地势西高东低,呈三级阶梯状。该地属温带半湿润大陆性气候,气候温和,四季分明,年平均气温9.2℃。摄区地势平坦,房屋建筑密集,建筑高度适中,航摄面积约为40.5km2。 2.2 倾斜影像数据获取利用北京四维远见SWDC-5倾斜航摄仪对试验区进行倾斜摄影,东西向竖直飞行19条航线,设置67×19个曝光点,获取下视和斜视共计6365张真彩色航空影像以及下视影像原始POS数据。相片航向重叠和旁像重叠为70%,飞机相对航高750m。SWDC-5相机的摄影倾角为450、相幅大小8176×6132、下/斜视焦距为82.1mm/50.7mm,同时在航摄区域内布设了密集的相控点和检查点,采用WGS-84坐标系,其精度满足1:1000大比例尺成图要求。SWDC-5倾斜航摄仪由五台非量测型的相机集成而成,由于非量测型相机不能提供内方位元素,且在相机安装调试阶段会产生一些残余相差,这样会造成较大的光学畸变,所以在航空摄影前需要对相机进行严格标定,通过检校获取相机内方位元素和各项畸变参数。采用空间后方交会数学模型对非量测相机进行检校,解求出相机内外方位元素及畸变参数。由于本试验采用的是“下视影像POS数据+相机相对位置关系”的方式进行数据导入以恢复倾斜影像粗略的外方位元素,为了获得下视相机与侧视相机之间安装的相对位置关系,在执行航拍任务前需要在检校场对倾斜相机进行平台检校,同时为了保证倾斜影像外方位元素的精度,在下视影像POS数据导入之前,需利用下视影像、下视相机参数及下视影像粗略外方位元素进行空三解算,以获取下视影像精确地外方位元素。 2.3本试验采用Smart3Dcapture建模软件进行全自动快速建模生产,其生产流程如下: 2.3.1数据预处理首先创建photos.csv文件,其中包括倾斜影像数据的存储路径及下视影像的POS信息;其次创建cameras.csv文件,该文件记录每个相机的像素、像幅、焦距、主点、相机旋转参数方向参数及相机之间相对位置姿态参数等信息,主要用于创建空三工程时设置相机参数;最后根据创建好photos.csv和cameras.csv文件由工具生成block.xml文件,xml文件记录了工程的影像POS信息和相机参数信息。打开Smart3D Capture Master,导入预先生成的block.xml文件,软件自动根据block文件创建工程。导入block文件后,检查影像排序和相机旋转方向是否正确。 2.3.2空三加密检查无误后,输入相应的数据参数提交空三工程。Smart3D首先会对五个视角的影像进行大量特征点提取,对获取的特征点采用多基线多特征匹配技术自动匹配同名点,然后采用光束法区域网平差进行整体平差计算,剔除粗差点。反复进行平差计算、点位调整,直到空三结果满足要求,输出空三加密报告,实现多视角影像空三解算,最后得到每张影像精确的外方位元素及消除畸变差的影像,以供后续三维重建使用。 2.3.3三维模型构建Smart3D系统的三维重建过程是基于瓦片技术,本次试验把建模区域共分割成为672个300m×300m的“Tile”,将每一个瓦片打包建立成为一个任务,利用消除畸变差的多视影像和空三优化后的高精度外方位元素构建立体像对,采用多视影像密集匹配技术生成地物超高密度三维点云,然后按照设置的优先等级对分割区域内的三维点云构建不同层次细节度的不规则三角网(TIN)模型,通过三角网优化及简化后生成带白模的三维模型,然后在经过畸变差改正和匀光匀色处理后的影像上全自动提取位置对应的纹理信息,并将其映射到对应的模型的三角面片上,实现纹理贴附,最终生成纹理清晰逼真的城市三维模型成果。 结束语综上所述,利用SWDC-5倾斜航摄仪和Smart3Dcapture建模软件生成的该县城的三维模型平面精度较高,从该县城的三维模型成果展示中可以看出,模型完整,纹理真实,尤其对立面细节上表现良好,能够将建筑的悬挂及镂空部分构建出来,真实地反应了地物地貌特征。本文《整理发布,如需转载,请注明出处及链接:---相关阅读推荐:
2021-12-23
三维重建技术概述——重建流程
三维重建流程本文使用Kinect采集景物的点云数据,经过深度图像增强、点云计算与配准、数据融合、表面生成等步骤,完成对景物的三维重建。图2-6 基于深度传感器的三维重建流程图图2-6显示的流程表明,对获取到的每一帧深度图像均进行前六步操作,直到处理完若干帧。最后完成纹理映射。下面对每个步骤作详细的说明。 2.1 深度图像的获取景物的深度图像由Kinect在Windows平台下拍摄获取,同时可以获取其对应的彩色图像。为了获取足够多的图像,需要变换不同的角度来拍摄同一景物,以保证包含景物的全部信息。具体方案既可以是固定Kinect传感器来拍摄旋转平台上的物体;也可以是旋转Kinect传感器来拍摄固定的物体。价格低廉、操作简单的深度传感器设备能够获取实时的景物深度图像,极大的方便了人们的应用。 2.2 预处理受到设备分辨率等限制,它的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用,必须对深度图像进行去噪和修复等图像增强过程。作为本文的重点问题,具体的处理方法将在第四章进行详细的解释说明。 2.3 点云计算经过预处理后的深度图像具有二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的直线距离,以毫米为单位。以摄像机成像原理为基础,可以计算出世界坐标系与图像像素坐标系之间具有下式的转换关系:则k值只与有关,而等参数只与摄像机的内部构造有关,所以称为像机的内参数矩阵。以摄像机作为世界坐标系,即,则深度值即为世界坐标系中的值,与之对应的图像坐标就是图像平面的点。 2.4 点云配准对于多帧通过不同角度拍摄的景物图像,各帧之间包含一定的公共部分。为了利用深度图像进行三维重建,需要对图像进行分析,求解各帧之间的变换参数。深度图像的配准是以场景的公共部分为基准,把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。计算出相应的平移向量与旋转矩阵,同时消除冗余信息。点云配准除了会制约三维重建的速度,也会影响到最终模型的精细程度和全局效果。因此必须提升点云配准算法的性能。三维深度信息的配准按不同的图像输入条件与重建输出需求被分为:粗糙配准、精细配准和全局配准等三类方法。(1)粗糙配准(Coarse Registration)粗糙配准研究的是多帧从不同角度采集的深度图像。首先提取两帧图像之间的特征点,这种特征点可以是直线、拐点、曲线曲率等显式特征,也可以是自定义的符号、旋转图形、轴心等类型的特征。随后根据特征方程实现初步的配准。粗糙配准后的点云和目标点云将处于同一尺度(像素采样间隔)与参考坐标系内,通过自动记录坐标,得到粗匹配初始值。(2)精细配准(Fine Registration)精细配准是一种更深层次的配准方法。经过前一步粗配准,得到了变换估计值。将此值作为初始值,在经过不断收敛与迭代的精细配准后,达到更加精准的效果。以经典的由Besl和Mckay提出的ICP(Iterative Closest Point,迭代最近点)算法为例,该算法首先计算初始点云上所有点与目标点云的距离,保证这些点和目标点云的最近点相互对应,同时构造残差平方和的目标函数。基于最小二乘法对误差函数进行最小化处理,经过反复迭代,直到均方误差小于设定的阈值。ICP算法能够获得精正确无误的配准结果,对自由形态曲面配准问题具有重要意义。另外还有如SAA(Simulate Anneal Arithmetic,模拟退火)算法、GA(Genetic Algorithm,遗传)算法等也有各自的特点与使用范畴。(3)全局配准(Global Registration)全局配准是使用整幅图像直接计算转换矩阵。通过对两帧精细配准结果,按照一定的顺序或一次性的进行多帧图像的配准。这两种配准方式分别称为序列配准(Sequential Registration)和同步配准(Simultaneous Registration)。配准过程中,匹配误差被均匀的分散到各个视角的多帧图像中,达到削减多次迭代引起的累积误差的效果。值得注意的是,虽然全局配准可以减小误差,但是其消耗了较大的内存存储空间,大幅度提升了算法的时间复杂度。 2.5 数据融合经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息。因此必须对点云数据进行融合处理,以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格,网格把点云空间分割成极多的细小立方体,这种立方体叫做体素(Voxel)。通过为所有体素赋予SDF(Signed Distance Field,有效距离场)值,来隐式的模拟表面。SDF值等于此体素到重建表面的最小距离值。当SDF值大于零,表示该体素在表面前;当SDF小于零时,表示该体素在表面后;当SDF值越接近于零,表示该体素越贴近于场景的真实表面。KinectFusion技术虽然对场景的重建具有高效实时的性能,但是其可重建的空间范围却较小,主要体现在消耗了极大的空间用来存取数目繁多的体素。为了解决体素占用大量空间的问题,Curlessf等人提出了TSDF (Truncated Signed Distance Field,截断符号距离场)算法,该方法只存储距真实表面较近的数层体素,而非所有体素。因此能够大幅降低KinectFusion的内存消耗,减少模型冗余点。图2-7 基于空间体的点云融合TSDF算法采用栅格立方体代表三维空间,每个栅格中存放的是其到物体表面的距离。TSDF值的正负分别代表被遮挡面与可见面,而表面上的点则经过零点,如图2-7中左侧展示的是栅格立方体中的某个模型。若有另外的模型进入立方体,则按照下式实现融合处理。其中,指的是此时点云到栅格的距离,是栅格的初始距离,是用来对同一个栅格距离值进行融合的权重。如图2-7中右侧所示,两个权重之和为新的权重。对于KinectFusion算法而言,当前点云的权重值设置为1。鉴于TSDF算法采用了最小二乘法进行了优化,点云融合时又利用了权重值,所有该算法对点云数据有着明显的降噪功能。 2.6 表面生成表面生成的目的是为了构造物体的可视等值面,常用体素级方法直接处理原始灰度体数据。Lorensen提出了经典体素级重建算法:MC(Marching Cube,移动立方体)法。移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处。对于一个边界体素上一条棱边的两个端点而言,当其值一个大于给定的常数T,另一个小于T时,则这条棱边上一定有等值面的一个顶点。然后计算该体元中十二条棱和等值面的交点,并构造体元中的三角面片,所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接此数据场中的所有体元的三角面片,构成等值面。合并所有立方体的等值面便可生成完整的三维表面。 性能优化Kinect等深度传感器的出现,不仅给娱乐应用带来了变革,同样对科学研究提供了新的方向。尤其是在三维重建领域。然而由于三维重建过程涉及到大量密集的点云数据处理,计算量巨大,所以对系统进行相应的性能优化显得非常的重要。本文采用基于GPU(Graphic Processing Unit,图形处理器)并行运算功能,以提高整体的运行效率。NVIDIA公司于1999年提出了GPU概念。在这十几年间,依靠硬件行业的改革创新,芯片上晶体管数量持续增多,GPU性能以半年翻一番的速度成倍提升。GPU的浮点运算能力远超CPU上百倍,却具有非常低的能耗,极具性价比。因GPU不仅广泛应用于图形图像处理中,也在如视频处理、石油勘探、生物化学、卫星遥感数据分析、气象预报、数据挖掘等方面崭露头角。作为GPU的提出者,NVIDIA公司一直致力于GPU性能提升的研究工作,并在2007年推出了CUDA架构。CUDA(Compute Unified Device Architecture,统一计算设备架构)是一种并行计算程序架构。在CUDA的支持下,使用者可以编写程序以利用NVIDIA系列GPU完成大规模并行计算。GPU在CUDA中被用作通用计算设备,而不只是处理图像。在CUDA中,将计算机CPU称为主机(Host),GPU称为设备(Device)。主机端和设备端都有程序运行,主机端主要完成程序的流程与串行计算模块,而设备端则专门处理并行计算。其中,设备端的并行计算过程被记录在Kernel内核函数中,主机端可以从Kernel函数入口执行并行计算的调用功能。在此过程中,虽然Kernel函数执行同一代码,但却处理着不同的数据内容。Kernel函数采用扩展的C语言来编程,称为CUDAC语言。需要注意的是,并不是所有的运算都可以采用CUDA并行计算。只有独立性的计算,如矩阵的加减,因为只涉及到对应下标的元素的加减,不同下标元素毫无关联,所以适用于并行计算;而对于如阶乘的计算则必须对所有数累积相乘,故无法采用并行计算。CUDA具有线程(Thread)、程序块(Block)、网格(Grid)三级架构,计算过程一般由单一的网格完成,网格被平均分成多个程序块,每个程序块又由多个线程组成,最终由单个线程完成每个基本运算,如图2-8所示。图2-8 CUDA模型为了更深入的理解CUDA模型的计算过程,计算某点的深度值与三维坐标之间的转换:上式中的表示深度值,内参数矩阵是已知量,是该点的坐标。可以发现这个点的转换过程与其他点转换过程是相互独立的,所以整幅图像中各点的坐标转换能够并行执行。这种并行计算可以大幅提升整体计算的速率。例如,利用一个网格来计算一幅像素的深度图像到三维坐标的转换,只需要将此网格均分成块,每块包括个线程,每个线程分别操作一个像素点,便可以便捷的完成所有的坐标转换运算。通过GPU的并行计算,三维重建性能得到了大幅的提升,实现了实时的输入输出。对于Kinect在实际生产生活中的应用奠定了基础。
2021-04-01
  • 24小时全国服务热线:
    400-003-4560
  • 跳转联系我们,发送邮箱:
    liumingyan@rayvision.com
  • 关注我们
    大雁云官方公众号