传统意义上的三维可视化技术是指运用计算机图形学和图像处理技术,将三维体数据转换为二维图像或图形模型,并在计算机上显示、处理及交互的理论、方法和技术[1].随着计算机图形图像等技术的不断发展,以逐步被应用于医学领域,开创了数字医疗的新时代.医学图像三维重建及可视化技术是一种运用计算机图形学、图像处理、计算机视觉以及人机交互技术,将医学图像数据转换为图形或图像在电脑屏幕上显示出来,并进行交互处理的理论、方法和技术.
目前该技术是当前医学图像处理的研究热点,已经有许多的学者对 3D 标量数据场( 如: CT、MRI 等图像构成的标量体数据) 的三维可视化进行研究.但是,由于 X - 射线计算机断层成像技术( Computed Tomography,缩写 CT) 和磁共振成像( Magnetic Resonance Imaging,MRI) 成像会受采集断面精度影响与采集灰色图像的制约,从而限制了三维可视化图像的精度及仿真效果.此外,相对于西医学科,中医学科特有的穴位及经筋病灶点不能确切的通过 CT 和 MRI等常规手段采集出医学图像,很难建立出标准的三维可视化图像提供给临床医学及教学研究.
医学图像的三维可视化可以通过世界顶级三维软件Maya 来实现.本研究根据膝骨性关节炎病灶点断面图像数据,通过 MAYA 数字化技术制作膝部经筋循行区域、病灶点及经筋的三维可视化结构.利用计算机图像重建技术将一系列二维图像转换为三维数字模型,不但能精确、直观地显示膝骨关节复杂的内部三维结构和毗邻众多组织的空间位置关系,而且可在三维空间任意显示、测量、旋转、切割、重组、缩放.通过三维可视化数字模型,为中医学科诊断病情实现三维诊断分析、为中医学科临床治疗方法( 如灸法、针刀、长圆针等) 选择提供科学的依据.使膝骨关节病的研究向三维空间的定量研究发展,从解剖结构研究向三维解剖结构与生理功能同步研究发展,并将成为未来膝骨关节炎经筋病灶点损伤诊治的新的发展方向和生长点.
1 膝骨性关节炎经筋病灶点触诊规律
膝骨性关节炎( knee osteoarthritis,KOA) ,是一种以关节软骨退行性病变和继发性骨质增生为主要病理特征的慢性骨关节疾病,大多都属于经筋损伤而引起的疾病,中医在治疗经筋疾病方面有着非常大的优势.本研究前期随机筛选 516 例膝骨性关节炎患者的 765 个膝关节,经长期临床观察发现膝骨性关节炎的疼痛部位具有规律性的分布,并且与经脉、经筋的循行相关.通过对古典循膝部经筋理论的研究,结合现代临床生物力线的解剖学特点,采用触诊法总结出 KOA4 类经筋辨证分型中膝关节疼痛部位附近的结筋病灶点,并且沿生物力线,在经筋的远端附着点也找到了相应的疼痛反应点,即远端结筋病灶点[2].①足阳明经筋的常见结筋病灶点分布规律; ②足太阳经筋的常见结筋病灶点分布规律; ③足少阳经筋型的常见结筋病灶点分布规律; ④足三阴经筋型的常见结筋病灶点分布规律.
2 基于 MAYA 的三维可视化具体实施流程
人体膝骨关节医学图像三维可视化影像的制作主要是基于 Maya 为核心的计算机图形工作流.Maya 是美国 Au-todesk 公司出品的世界顶级三维动画软件,被广泛应用于电影特技、图形可视化、游戏设计及开发、网站资源开发等.
Maya 是一个以高度可扩展性工作流为基础的强大工具,制作效率极高,渲染真实感极强,是电影级别的高端制作软件.Maya 可在 WindowsNT 与 SGIIRIX 操作系统上运行,借助 Maya 的各项功能,可以完成各种具有挑战性的制作工作.由于 Maya 是计算机图形工作流的主要核心,并兼具稳定性和可扩展性,提供强大的动画、建模、模拟、渲染、运动匹配技术及合成集成化工具.所以,在数字图形可视化和三维制作的计算机大型软件中,Maya 成为本研究首选的解决方案.将二维数据转化为三维数据是膝骨关节医学图像三维可视化的核心工作,主要涉及五大方面的工作内容: 前期总结膝骨性关节炎病灶点分布规律及数据、制定数据采集方案、数据采集、三维数据的制作以及渲染合成三维数据等.本项目三维可视化实施流程如图 1 所示.
2. 1 分析三维可视化制作内容 运用计算机图形学和图像处理技术,制作人体膝骨关节医学图像三维可视化影像,涉及学科领域多,并且工作流程复杂.因此在制作医学图像三维可视化影像前,首先应根据前期研究成果仔细分析所需制作的内容,将工作主要分解为以下四大部分: ①标准人体.通过计算机三维制作软件 MAYA 及高级数字雕刻软件制作一个与真实等高的男性人体.②膝骨关节系统.
膝关节是人体关节软骨面积最大和滑膜最多的关节,其内部结构也最为复杂,作为负重关节,它的运动远非一个单纯铰链式运动.膝关节周围遍布肌肉、肌腱、韧带、筋膜等,其滑液囊的数量在人体关节中所占数量最多.此部分内容通过计算机三维制作软件 MAYA 及数字绘图软件来制作完成.③经筋系统.从现代医学来看,经筋是软组织形态的高度概括,其主体包含肌肉、肌腱、腱鞘、筋膜、韧带、关节囊、滑膜、滑囊、纤维管、脂肪垫等,是人体筋肉系统的总称[3].此部分内容通过计算机三维制作软件 MAYA 及相关三维可视化软件来制作完成.④结筋病灶点.依据前期研究总结的足阳明、足太阳、足少阳和足三阴经筋常见结筋病灶点分布规律,通过影视后期合成与编辑软件中为人体膝骨关节医学图像三维可视化影像添加经筋病灶点,并配以医疗研究说明字幕.
2. 2 可视化模型( the Visualization Models) 三维数据的获取是通过分析临床观察发现膝骨性关节炎的疼痛部位的分布规律,对应 CT、MRI、组织切片等序列图像数据,建立三维模型设计底图.本研究建模采用基于几何造型的建模技术与基于数字图像的建模技术相结合的方式.如插页Ⅱ图 2 所示,基于几何造型的建模技术是由专业人员通过使用大型三维制图软件 Maya,运用计算机图形学、艺术设计和解剖学相关知识,构建高精度的三维人体模型.基于数字图像的建模技术是使用专业单反数码相机对人体局部进行多角度拍摄,通过对数字图像自动重构,获取精确三维模型的方法.这两种方式相互结合,可以最大的提高三维模型的精确度、艺术性,提高制作效率,节约制作成本.
使用 Maya 标准技术构建具有简单拓扑的基础模型,其三维文件常被保存为经过优化的 MB 格式,但 MB 文件格式通常无法兼容其他数字处理程序,影响三维可视化工作流程的实施.针对格式不兼容的问题,其解决方案是导出通用文件格式来保存关于三维模型的信息.用于在建模程序之间传送几何信息的文件格式最常用的是 OBJ( Ob-ject) 和 DXF( Drawing Interchange Fomat) ,在本研究中使用OBJ 格式.导出的 OBJ 文件含有关于顶点的位置和法线、相关的图像映射以及物体面的几何信息,导出的文件将导入到高级数字雕刻软件中处理细节.
2. 3 UV 映射器与高级数字雕刻 在为三维模型绘制高分辨率贴图前,给三维表面进行 UV 映射是十分必要的工作.
一般而言,一张贴图是由一系列的像素组成的,每个像素基于贴图的水平值和垂直值对应一个贴图坐标.这些贴图坐标沿着 UV 坐标( U 为水平值,V 为垂直值) 被映射从 0 ~ 1范围内.这个过程叫做 UV 映射,坐标被称为 UV 坐标.
UV 映射是三维表面着色过程的一个重要部分,使用 UV 坐标定义图像贴图是一种非常精确的方法,将被映射的图像的特定像素与三维多边形结构中的特定顶点进行匹配,有效的避免了贴图在三维表面的拉伸变形.由于本研究中的三维模型多为高精度多边形,UV 点的数量极大,导致映射编辑工作量大.为了提高工作效率,采用了由美国 Headus公司出品的一款 UV 映射专用软件 UVLayout.它基于物理算法,与传统 UV 映射方式相比较,可以快速、便捷的展开三维物体的 UV,贴图非常准确的放置到三维表面中,并且与 MAYA 可进行无缝式操作连接.
为了制作照片级别的三维人体,需要通过塑造人体肌肉结构与皮肤的细节来增加视觉真实感.本研究使用由 pixo-logic 公司出品的专业三维数字雕刻建模软件 ZBrush 与Maya 的建模流程相结合,制作复杂高分辨率模型.通过ZBrush 的雕刻笔刷塑造逼真的人体组织结构造型和肌肉肌理,塑造出皱纹等微小的皮肤细节.由于导入 Zbrush 的OBJ 模型已经含有正确的 UV 映射信息,所以可以在ZBrush 中将模型的复杂细节烘焙解算,并导出高分辨率纹理贴图和精确的法线贴图.烘焙的纹理贴图和法线贴图可以被所有的大型三维软件 Maya、Max 等识别和应用,此工作流程将最复杂最耗费精力的角色建模和贴图工作变为便捷高效.
2. 4 高分辨率纹理贴图绘制,使用 SSS 材质 制作高分辨率纹理贴图主要基于对以下四类图像的整合.其一,以CT、MRI 等医学图像数据为设计底图.其二,通过 ZBrush将模型的复杂细节烘焙解算导出高分辨率纹理贴图和精确的法线贴图.其三,使用专业单反数码相机对人体局部进行多角度拍摄,通过数字绘图软件整理、拼接获取精确的摄影图像.其四,使用激光扫描仪扫描局部肌肉组织或已有图片资料.通过数字绘图软件提供的各种类型的笔刷和笔触、各种颜色和密度的颜料,处理、修补以上四类数据图像,创建统一的、真实的二维高分辨率贴图.为了以后精确渲染,要非常注意贴图的细节,图像贴图选用 2048 ×2048 像素.
本三维可视化研究的材质使用 MentalRay 提供的次表面散射材质.在计算机图形学中,SSS 是次表面散射材质( Subsurface Scattering) 的英文缩写,是一种解决半透明物体材质渲染问题的方法,这个方法的核心就是构造了一个适当的双向表面散射反射率分布功能( Bidirectional surfacescattering reflectance distribution function,缩写 BSSRDF) ,一个描述光线如何被物体反射的函数.这种技术能够处理所有的皮肤和相似的表面材质,把它们变成散射光可以通过的材质[4].如图 3 所示,人物体表皮肤可分为表皮层( epi-dermis) 和真皮层( dermis) 两层,我们所看到的真实皮肤效果是进入皮肤的光线因皮肤组织的不同,产生不同的散射半径和散射强度.通过次表面散射材质,快速生成具有层次感且真实的半透明皮肤、脂肪和肌肉所特有的视觉效果.
2. 5 全面的检查数据质量 制作完成三维模型与纹理数据后,要进行全面的数据质量检查,对项目中的错误进行及时修改.其检查内容主要包括以下三方面: ①数据的完整性.肌肉和骨骼模型数据应符合本项目根据膝骨关节医学图像三维可视化制作提出的内容及各项技术指标,并符合医疗解剖学标准的要求,无遗漏.各类信息要素的几何表现应准确,数据的命名、分层与组织不能有重复或遗漏.确保三维模型、UV 数据与贴图数据相对应、无遗漏.②数据逻辑的一致性.三维模型的面状要素应闭合,拓扑结构是否正确,检查三维模型的法线是否统一.三维模型的线状要素的接点匹配应准确,裂边的线段要及时发现并缝合.三维模型的点状要素应具有唯一性.三维模型的 UV 要素应均匀、无叠压,布局要合理统一.贴图数据命名、格式、分辨率和艺术风格要具有一致性.③数据的精确性.确保三维模型能精确的再现实际人体解剖关系.确保贴图数据的准确无误,清晰完整,对有接缝的贴图做无缝化处理.
2. 6 灯光与摄像机动画 本项目光照系统,主要使用两种方式制作.首先,使用传统添加虚拟灯光的方式,通过调节灯光属性及物体阻光度参数,控制三维角色模型光照强度、颜色与特殊视觉效果.但创建高度真实的图像时,这种方法并不是一个理想的解决方案.其次,使用高动态范围图像( High Dynamic Range,缩写 HDR) 结合 Mental Ray 的光线追踪技术辅助灯光照明,模拟真实自然的环境光照条件.通过这种方法,减弱了直接光照的局限性.Maya 支持高动态范围图像,使用 HDR 图像代替虚拟灯光即可创建真实复杂的大型场景照明效果.HDR 图像与 RGB 图像最基本的区别是 HDR 图像中保存了大量的光照信息.标准的 RGB( 8bit) 图像最大亮度值是 255/255/255,如果用这样的图像结合 Mental Ray 渲染器渲染场景,即使是图片中最亮的白色也不足以提供足够的照明来模拟真实世界中的情况,渲染的图像对比度弱,缺乏真实感.标准的 HDR 图像最大亮度值相当于太阳光的亮度值,正是由于 HDR 图像中含有的高对比光照信息,为场景提供了准确的照明信息以及真实的反射效果.添加光照系统后,调节虚拟摄像机参数,控制视野( 角度、距离等) .对三维角色模型进行旋转、缩放、移动等操作,通过摄像机即可直观方便地观察到人体膝骨关节内部组织结构的大小、形状及位置.
2. 7 使用 Mental Ray 渲染器进行渲染 选择不同的渲染器,调节不同的渲染参数,会导致最终三维角色模型的渲染效果及精度的不同.由于膝骨关节医疗可视化研究项目要制作出真实的人体肌肉及相关结构组织.通过反复测试多种方案,最终选择内置于 Maya 软件中的 Mental Ray 渲染器进行渲染.使用 mental ray 计算全局照明的结果与从其他光能传递和扫描线渲染器相比较,获得的图像效果非常接近而且速度快.Mental Ray 渲染器是基于物理的间接照明,可以生成灯光效果的物理校正模拟,包括光线追踪反射和折射、焦散、全局照明和最终聚集.本项目主要使用Mental Ray 的光线追踪技术和最终聚集技术,实现高质量影视级别的医疗数字图像.
①光线追踪技术( ray tracing) : 在计算机图形领域中,光线追踪是一种普遍应用于创建超真实、高质量的三维场景图像的渲染技术.在真实世界中,如果一个能反射周围环境的物体周围还有很多其他物体,它们就会相互反射.一般的环境贴图技术达不到这样的效果,于是在渲染照片级图像的时候,就要用到光线追踪的技术.光线追踪技术能够营造出更真实的光影效果,而且大大超越人们靠想像模拟出的效果.光线追踪的基本原理是从摄影机的位置,通过影像平面上的每个像素取样( sampling) 位置,发射一束光线,计算光线和几何图形间最近的交点,再计算该交点的着色,并追踪其路径一直逆向追踪到光源[5].对光线追踪来说,越复杂的三维模型与场景,由于像素取样数的增加,导致追踪光线数目的增加,以及导致渲染时间的增加.所以本研究通过场景管理、使用合理的算法、减低光源数量、降低追踪深度级别等因素来提高渲染效率.
②最终聚集技术( Final Gathering,缩写 FG) : 本研究通过 Mental Ray 渲染器中的最终聚集( Final Gathering) 技术完成对物体散射、反射进行计算,快速创建高质量间接照明效果.最终聚集技术是一种以非物理学精度为基准,模拟全局照明( Global illumination,缩写 GI) 的全新计算技术.FG 算法是以摄影机为基准点发出一道光线利用这道光线与物体做交错,而该交错点则会被 Mental Ray 渲染器认为是需要发光的位置.本研究选用最终聚集技术制作可视化图像的主要因素是这种算法的三大优点.其一,场景里面的每一样物体都可以是发光体,也就是说场景里面任何一件模型其实都可以被当作光源来使用.其二,配合高范围动态图像( HDR) 实现全局照明效果的应用,? 渲染效果非常逼真,常应用于电影工业或非物理学精度的可视化领域中.其三,FG 算法与 GI 算法相比,计算量小且简单易控.GI 是利用光子在物体之间进行重复的反弹来进行照明,而FG 算法不使用光子仅会对光线进行一次投射.
③渲染测试与优化渲染: 渲染不是一蹴而就的,三维文件的质量、渲染参数的设置、硬件设备等各方面的因素都会影响到渲染效果,所以不管是小型项目还是大型项目,渲染测试是快速并顺利完成渲染的前提.渲染测试与优化渲染主要工作是平衡渲染时间、内存管理以及图像质量之间的关系.对于本次渲染采用光线追踪技术和最终聚集技术,有三个主要的制约因素: 首先,渲染时间; 其二,内存限制;其三,噪点.为此作了前期渲染测试,通过各种方案优化渲染设置获得最具真实感的渲染效果.为了建立高质量影视级别的医疗数字图像,渲染图像分辨率设置为 2048 × 2048,图像格式设置为 Tiff.为了便于数字图像后期合成,图像文件含有 Alpha 通道.如插页Ⅱ图 4 所示,最后通过三维制作软件 Maya 批量渲染输出序列图片.
2. 8 图像合成、编辑与数字媒体输出 项目的最后一个阶段是将所有的视觉素材集中到一起合成创建最终产品,任何关于颜色、叠加文字、特效处理、声音处理或丢失图像信息的问题都需要在这个阶段中处理.通过影视后期合成软件将计算机分层渲染的图像合成为一个完整的图像,然后对图像颜色重新校正.进行颜色校正的主要策略是建立一个具有正确颜色平衡的镜头,然后调整其他所有镜头的颜色与之匹配.后期数字编辑工作是对渲染视频的精确规划和控制,为各视觉元素设置精确的时序.在本项目编辑视频时,注意时序与节奏两大编辑原则的把握.时序是视频片段中随时间变化的运动.时序通常决定着在哪一帧位置进行切换或淡入、淡出,以及在切换后放置什么镜头.特别是添加创建的声音和音乐元素时,要确定时序是否正确.节奏是时序确定后得到的结果,对影视等视觉媒体原理的掌握是创建合理节奏的关键.
此外,为便于医疗研究,字幕处理工作显得尤为重要,其主要包括为人体膝骨关节医学图像三维可视化影像添加经筋病灶点,为影像视频素材添加医疗研究说明字幕等,见插页Ⅱ图 5 ~6,插页Ⅲ图 7 ~8.数字编辑工作中,要及早发现丢失或漏掉的视频片段与医疗研究说明字幕,及时处理生产过程中的错误,从而生成更好的数字产品.最后成品输出环节,采用的视频标准是 HDV/HDTV 制式,图像分辨率设置为 1280 × 720,每秒 25 帧,像素长宽比为 16 ∶ 9.
通过影视后期合成软件编码输出人体膝骨关节医学图像三维可视化影像数据文件,压制刻录至 DVD、VCD 中,为研究、教学、储存和显示复杂医学三维图像提供了方便.
3 结 语
基于大型三维制作软件 Maya 的计算机图形工作流程,制作高精度医学图像三维可视化已经达到了实用阶段.通过建立精确的膝骨关节及周边肌肉组织的三维模型,使用计算机图形技术将中医学科膝骨关节炎经筋病灶点研究成果生成直观的人体膝骨关节医学图像三维可视化影像.
不仅可以精确地获取人体骨骼的空间位置、大小、形状等信息,还可以显示膝骨关节复杂的内部三维结构和毗邻众多组织的空间位置关系,为中医学科诊断病情实现三维诊断分析、为中医学科临床治疗方法选择提供科学的依据.因此,基于三维制作软件 Maya 的计算机三维可视化技术,无论在中医学科临床应用方面,还是在中医理论研究方面都具有重大的意义.
参考文献
[1] Charles D. Hansen ,Chris R. Johnson. The Visualization Hand-book [M]. Burlington: Elsevier Butterworth - Heinemann,2005: 30 - 34.
[2] 张书剑,张小卿,韩煜,等. 膝骨性关节炎经筋病灶点触诊规律分析[J]. 中国针灸杂志,2012,32( 3) : 267 -272.
[3] 张蓉,李峰,王常海,等. 经筋理论在膝关节骨性关节炎发病机制及治疗中的作用[J]. 中国康复医学杂志,2007,22( 7) :644 - 646.
[4] HenrikWann Jensen,Stephen R. Marschner,Marc Levoy,et al.A Practical Model for Subsurface Light Transport[C]. In ACMComputer Graphics ( SIGGRAPH) ,2001: 511 - 518.
[5] Isaac Kerlow,着,陈宝国,红然,译. 3D 动画与特效制作艺术[M]. 北京: 人民邮电出版社,2010: 142 -143.
