单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,,*,医学图象三维重建及可视化,技术研究,秦绪佳,浙江大学,CAD,＆,CG,国家重点实验室,2019.9.28,医学图象三维重建及可视化技术研究秦绪佳浙江大学CAD＆CG国,1,绪论,1.1,引言,1.2,基于三维数据的建模与可视化,?,1.,三维数据的来源与分类,?,2.,三维数据建模及可视化研究内容,?,数据预处理,?,建模,?,绘制与显示,1 绪论1.1 引言1.2 基于三维数据的建模与可视化?1.,?,3.,数据建模技术综述,?,三维几何模型,?,基于三维数据的建模方法,?,1),?,2),?,?,基于断层轮廓的表面重建,基于体素的等值面重建,3),几何变形模型,4),体素建模,?3.数据建模技术综述?三维几何模型?基于三维数据的建模方法,1.3,医学图象三维重建技术综述,?,?,?,?,1,医学图象的预处理,2,医学图象的分割,3,三维重建方法,4,模型的网格简化,1.3 医学图象三维重建技术综述????1 医学图象的预处理,1.4,医学图象三维重建在医疗中的应用,?,?,?,?,1,在医疗诊断中的应用,2,在手术规划及放射治疗规划中的应用,3,在整形与假肢外科中的应用,4,在虚拟手术及解剖教育中的应用,1.4 医学图象三维重建在医疗中的应用????1 在医疗诊断,1.5,论文背景及主要工作,?,1,论文背景及研究意义,?,2,本文的主要工作,1),图象预处理，组织器官分割与提取,2) MC,、,MT,算法构建表面几何模型,3),模型表面网格简化，剖切与开窗,4),由表面几何模型转换成实体几何模型,5),适用于适形放射治疗规划的医学图象,三维重建系统的开发,1.5论文背景及主要工作?1 论文背景及研究意义?2 本文的,2,医学图象预处理与人体组织的分割,?,医学图象预处理,?,分割流程,图,2.1,三维医学图象分割流程,2医学图象预处理与人体组织的分割?医学图象预处理?分割流程图,2.2 CT,、,MRI,图象的获取与输入,2.2,二维图象处理与规则体数据封装,?,1,二维图象滤波,(1),邻域平均法,(2),中值滤波法,(3),保持边缘滤波法,2.2 CT、MRI图象的获取与输入2.2 二维图象处理与规,?,2,断层图象间插值,?,3,三维规则体数据封装,(1),内存记录方式,(2),体数据文件格式,图,2.4,体数据内存记录方式,?2 断层图象间插值?3 三维规则体数据封装(1) 内存记录,2.3,交互分割过程,?,1,三维图象二值化,1,若,q,?,f,(,x,,,y,,,z,),?,q,?,1,2,f,',(,x,,,y,,,z,),?,?,0,其余,?,2.3 交互分割过程?1 三维图象二值化1若q?f(x,y,,二值化结果,图,2.8,断层图象二值化结果,二值化结果图2.8断层图象二值化结果,?,2,数学形态学操作进行区域修整,(1),二值形态学操作简述,(a),原图象,(b),结构元素,(c),对原图象的腐蚀,(d),对腐蚀图象的膨胀,图,2.9,开启操作,(a),原图象,(b),结构元素,图,2.10,(c),对原图象的膨胀,闭合操作,(d),对膨胀图象的腐蚀,?2 数学形态学操作进行区域修整(1)二值形态学操作简述(a,?,3,种子填充法进行组织提取,图,2.12,交互分割结果,图,2.13,对分割区域的重建,?3 种子填充法进行组织提取图2.12 交互分割结果图2.,3,基于规则体数据的三维表面模型的,构建,3.2.1,体素模型,(a),方向无关的三线性插值模型,图,3.1,体素模型,(b),方向有关的三线性插值模型,3 基于规则体数据的三维表面模型的构建3.2.1 体素模型(,3.2.2,等值面（,IsoSurface,）定义,?,1,三线性插值结果,f,(,x,,,y,,,z,),?,a,?,a,x,?,a,y,?,a,z,?,a,xy,?,a,yz,?,a,zx,?,a,xy,0,1,2,3,4,5,6,7,?,2,等值面定义,{(,x,,,y,,,z,),|,f,(,x,,,y,,,z,),?,c,},,c,是常,?,等值面是三次曲面,3.2.2 等值面（IsoSurface）定义?1三线性插值,3.3,移动立方体（,Marching Cubes,）算,法抽取等值面,?,1 MC,算法的基本原理,a,体素中等值面剖分方式的确定,1,）,如立方体顶点的数据值≥等值面的值，则定义该顶点,位于等值面之外，记为“0”；,2,）,如立方体顶点的数据值＜等值面的值，则定义该顶点,位于等值之内，记为“,1,”。
8,个顶点，每个顶点共有,2,个状态，因此共,256,种组合状态,?,?,根据互补对称性,,,256,128,15,根据旋转对称性，,256,(1),体素中由三角片逼近的等值面计算,(2),三角片各顶点法向量计算,3.3 移动立方体（Marching Cubes）算法抽取等,医学图象三维重建及可视化技术研究课件,?,2,等值面连接方式上的二义性,(a),连接方式二义性的二维表示,(b),连接方式二义性的三维表示,图,3.4 MC,方法的二义性,图,3.5,拓扑不一致造成孔隙,?2 等值面连接方式上的二义性(a)连接方式二义性的二维表示,3.3.3,渐近线判别法消除二义性,3.3.3 渐近线判别法消除二义性,3.3.4 MC,算法的重建结果及分析,(a),256,×,256,×,109MRI,表皮重建,三角面片：,696889,顶点：,347322,（,b,）,128,×,128,×,93CT,颅骨重建,三角面片：,187559,顶点：,94015,（,c,）,128,×,128,×,93CT,表皮重建,三角面片：,137799,顶点：,69331,图,3.8,MC,算法重建的表面模型,3.3.4 MC算法的重建结果及分析(a)256×256×1,3.4,移动四面体（,Marching,Tetrahedra,）算法抽取等值面,3.4.1 MT,算法的基本原理,图,3.9,立方体的四面体剖分,图,3.10,四面体中的等值面,3.4 移动四面体（Marching Tetrahedra）,3.4.2,四面体剖分的一致性处理,图,3.11,立方体剖分为四面,体的不同方式,图,3.12,两相邻立方体剖分不一致时共有,面的剖分情况,图,3.13,相邻立方体公共面上的剖分一致性,3.4.2 四面体剖分的一致性处理图3.11 立方体剖分为四,3.4.3,相关性处理加速,MT,重建速度,?,1,体素内的相关性处理,?,2,体素间的相关性处理,图,3.14,剖分后立方体的顶点及棱边编号,3.4.3 相关性处理加速MT重建速度?1 体素内的相关性处,3.4.4 MT,算法的重建结果及分析,(a) 128,×,128,×,113CT,颅骨重建,（,b,）,104,×,185,×,220CT,脚骨骼重建,三角面片：,423998,三角面片：,365858,顶点：,211905,图,3.15,(c) 128,×,128,×,113CT,表皮重建,三角面片：,331290,顶点：,165808,顶点：,183056,MT,算法重建的表面模型,3.4.4 MT算法的重建结果及分析(a) 128×128×,4.,三维模型的网格简化与模型的剖切,4.2,基于边收缩的网格简化算法,?,1,网格简化算法简述,?,（,1,）抽样（,Sampling,）,（,2,）自适应细分,(Adaptive subdivision),（,3,）删除,(Decimation),?,?,?,（,4,）顶点合并,（,Vertex merging,）,4.三维模型的网格简化与模型的剖切4.2 基于边收缩的网格简,?,2,基于边收缩的网格简化算法,Hoppe,采用显式能量函数,E,（,M,）来度量简化网格与原始网格,的逼近度［,Hoppe96,］：,E,(,M,),?,E,(,M,),?,E,(,M,),?,E,(,M,),?,E,(,M,),dist,spring,scalar,disc,其中,E,dist,(M),为,M,的距离能量，它定义为点集到网格的距离平方：,2,E,(,M,),?,d,?,(|,K,|)),?,(,x,dist,i,,,v,i,?,1,n,E,spring,(M),为弹性能量，这相当于在的每条边上均放置一条弹性系数,为,k,的弹簧，即：,2,E,(,M,),?,k,||,v,?,v,||,spring,?,i,j,{,i,,,j,},?,K,E,scalar,(M),度量,M,的标量属性的精度，而,E,disc,(M),则度量了,M,上视觉,不连续的特征线（如边界线、侧影轮廓线等）的几何精度。
E,?,E,(,M,),?,E,(,M,),?2 基于边收缩的网格简化算法Hoppe采用显式能量函数E（,边收缩过程示意图,(a),收缩前,图,4.1,边收缩过程,(b),收缩后,边收缩过程示意图(a)收缩前图4.1边收缩过程(b)收缩后,?,4,网格简化结果,MT,重建结果,简化,50,％,简化,90,％,简化,90,％表面绘制,?4 网格简化结果MT重建结果简化50％简化90％简化90％,MC,重建结果,简化,50,％,简化,85,％,简化,85,％表面绘制,MC重建结果简化50％简化85％简化85％表面绘制,4.3,三维模型的剖切,4,.3.1,模型三角面片的剖切处理,?,1,平面方程的确定,ax + by + cz + d = 0,4.3 三维模型的剖切4.3.1 模型三角面片的剖切处理?1,?,2,三角面片与剖切平面的求交检测,定义空间一点,P,（,X,Y,Z,）,,,定义“距离”,D,：,D,=,aX,+,bY,+,cZ,+,d,则有：,1,）若,D,＞,0,，,P,点处在,A,半空间；,2,）若,D,＝,0,，,P,点处在平,面上；,3,）若,D,＜,0,，,P,点处在,B,半空间。
图,4.6,切面与三角面片的交,?2 三角面片与剖切平面的求交检测定义空间一点P（X,Y,Z,?,3,三角面片与剖切面的切割运算,?,4,表面模型的剖切,(1),边表和顶点表均为动态链表结构,?,class,?,class,Cedge,CedgeVertex,(2),表面模型的剖切计算,?3 三角面片与剖切面的切割运算?4 表面模型的剖切(1)边,4.4,剖切截面的生成,4.4.1,边界多边形包含关系检测与确定,?,1,封闭环的检出,?,2,封闭轮廓的包含性检测,4.4 剖切截面的生成4.4.1 边界多边形包含关系检测与确,夹角之和检验法,:,?,?,i,?,1,n,i,?,0,?,?,i,?,1,n,i,?,2,?,夹角之和检验法:??i?1ni?0??i?1ni?2?,4.4.2,剖切面区域的三角剖分,?,1.,任意平面多边形,Delaunay,三角剖分示意图,图,4.11,图,4.7,对应轮廓的三角剖分,4.4.2 剖切面区域的三角剖分?1.任意平面多边形Dela,4.5,手术开窗操作,开窗操作一般是用,立方体,或,棱柱,对,重建模型进行切割，模型处于剖切体,之内的部分被切割掉，之外的部分被,保留下来。
4.5 手术开窗操作开窗操作一般是用立方体或棱柱对重建模型进,4.6,实验结果分析,(a),剖切,(b),开窗,(c),开窗,图,4.12,模型的剖切与开窗,4.6实验结果分析(a)剖切(b)开窗(c)开窗图4.12模,5,由基于轮廓重建的表面模型构建,实体几何模型,5.1,引言,5.2,相关工作,?,（,1,）提取边界轮廓线,?,（,2,）提取轮廓线上的特征点,?,（,3,）轮廓对应,?,（,4,）三维表面重建,5 由基于轮廓重建的表面模型构建实体几何模型5.1 引言5.,（,a,）轮廓线,（,b,）基础轮廓表面模型,（,c,）左分支表面模型,图,5.3,轮廓及表面子模型,（,d,）右分支表面模型,（a）轮廓线（b）基础轮廓表面模型（c）左分支表面模型图5.,5.3,实体几何模型的构建,?,1,边界模型的数据结构,图,5.4,系统,B-,rep,模型的数据结构及半边的结构示意,5.3 实体几何模型的构建?1 边界模型的数据结构图5.4,?,2,实体造型的基本操作,欧拉特征关系：,v,?,e,?,f,?,2,(,s,?,h,),其中,v,、,e,、,f,、,s,、,h,分别代表顶点、边、小面、壳和,孔。
v,?,e,?,f,?,2,(,s,?,h,),?,r,基本的欧拉操作包括如下互逆的,5,对：,MVFS,，,MEV,，,MEF,，,MEKR,，,KFMRH,；,KVFS,，,KEV,，,KEF,，,KEMR,，,MFKRH,其,中,M,表示构造，,K,表示删除，,S,、,E,、,V,、,F,、,R,、,H,分别,表示体、边、顶点、面、环、孔2 实体造型的基本操作欧拉特征关系：v?e?f?2(s?h,?,3,由轮廓重建的表面模型重建实体几,何模型的方法,用图,5.10(a),的表面模型说明构建实体的主要步骤：,(a),(b),?3 由轮廓重建的表面模型重建实体几何模型的方法用图5.10,实体几何模型的构建结果,（,b,）光照图,（,a,）线框图,图,5.11,实体模型,实体几何模型的构建结果（b）光照图（a）线框图图5.11,6,适用于适形放射治疗规划的医学图,象三维重建系统的开发,图象输入,（,CT/MRI,）,二维图象预处理,（滤波、插值）,图象分割与提取,（自动分割、手工勾画）,三维重建,（,MC,、,MT,表面重建）,病变体投影轮廓,（由此计算光栅廓线）,照射射束设置,（放射治疗规划）,效果显示,（,颜色、半透明）,几何操作,（剖切、手术开窗）,图,6.1,三维重建过程示意图,6 适用于适形放射治疗规划的医学图象三维重建系统的开发图象输,?,重建系统结构,图,6.2,系统结构,?重建系统结构图6.2系统结构,?,系统程序流程,图,6.3,系统程序流程,?系统程序流程图6.3 系统程序流程,?,系统数据结构,图,6.4,系统数据结构,?系统数据结构图6.4 系统数据结构,系统界面,系统界面,治疗射束安排与光栅轮廓线计算,治疗射束安排与光栅轮廓线计算,7,结论与展望,7.1,工作总结,?,(1),对输入图象进行了滤波、断层插值并封装成规则,体数据。
定义了体数据的内存记录方式及外存文件格式，,压缩存储空间2),提出并实现了三维医学图象交互分割的方法，交,互分割的技术路线是：先分析断层图象，交互给定分割,阈值，对图象二值化，然后选择适当的形态学操作进行,区域修整，最后用种子填充的方法填充出所要区域3),实现了,MC,算法和,MT,算法构造表面模型针对,MT,算法，,为避免体元棱边与等值面交点的重复性插值计算，提出,了相关性处理方法采用相关性处理，加快了,MT,算法的,重建速度7 结论与展望7.1 工作总结?(1)对输入图象进行了滤波、,?,(4),实现了,Hoppe,的边收缩算法，重建模型经简化,90,％，,依然能较好地保持原模型特征，基本不影响视觉效果模型经网格简化，绘制时间大大缩短，提高了交互时绘,制能力5),提出了对重建模型实施剖切及手术开窗的一种方法6),提出了基于轮廓重建的表面模型构建实体几何模型,的方法实现步骤可作为造型系统的一种造型方式7),开发了一个适用于多叶光栅适形调强放射治疗的医,学图象三维重建系统提出并建立了系统数据结构，提,出了自动分割与手工勾画轮廓的方法对分割出的组织,重建其三维几何模型，并对模型实现了网格简化。
实现,了治疗射束的设置及多叶光栅轮廓的计算4)实现了Hoppe的边收缩算法，重建模型经简化90％，,7.2,展望,?,（,1,）基于知识模型的医学图象的分割,?,（,2,）多模态图象的匹配和融合,?,（,3,）表面绘制与直接体绘制的结合,?,（,4,）虚拟手术工作环境,7.2 展望?（1）基于知识模型的医学图象的分割?（2）多模,谢谢大家光临！,谢谢大家光临！,。