人工智能全髋关节置换术髋臼杯放置算法的实验研究

作者：吴东1柴伟1刘星宇2安奕成3张逸凌4陈继营1唐佩福1

作者单位：1中国人民解放军总医院第一医学中心骨科，北京 100853;2清华大学生命科学院，北京 100084;3斯坦福大学计算机学院，斯坦福 94305;4哈佛大学医学院，波士顿 02138;

　　通信作者：唐佩福，Email:pftang301@126.com

　　【摘要】 目的 研发基于人工智能深度学习技术的全髋关节置换术（total hip arthroplasty,THA）髋臼假体型号算法并进行初步验证。方法 回顾性分析2019年4月至2020年4月30例股骨头坏死患者资料，其中男15例，女15例；年龄（54.8±10.5）岁（范围33~72岁），左侧13髋，右侧17髋，均接受初次单侧THA.在完成髋关节图像手工标注的基础上，训练人工智能深度学习卷积神经网络对患者髋关节CT骨质进行分割，而后识别骨盆解剖标志位点，并对骨盆位置进行矫正并模拟安放髋臼杯，分别采用dice overlap coefficients（DOC）、平均误差等参数对上述步骤的精度进行评估，最终形成人工智能髋臼假体型号算法。并使用该算法与Orthoview二维术前规划软件分别对患者髋臼杯大小进行规划，将两组规划结果与已完成的实际手术结果进行比对，分别计算其符合率，从而回顾性验证本算法的规划效果。结果 在算法方面，与其他经典分割网络相比，G-net网络可更精准的完成对股骨头坏死髋关节骨质的分割，DOC为92.51%±6.70%,且具有更好的鲁棒性（robustness），点识别网络平均误差为0.87个像素值。在临床应用效果方面，人工智能组完全符合率为96.7%（29/30），较Orthoview组的73.3%（22/30）高23.4%,差异有统计学意义（χ2=6.405,P=0.011）。结论 深度学习技术可精准分割患者髋关节CT图像，识别髋关节特征点，人工智能THA髋臼杯放置算法与传统二维术前规划方式相比具有较高的准确性。此算法有望实现准确、快速的THA三维术前规划。

　　【关键词】 人工智能；学习；神经网络（计算机）；关节成形术，置换，髋；规划制订

　　【基金项目】 国家自然科学基金项目（81772320）；中国人民解放军总医院2019年度医疗大数据与人工智能研发项目（2019MBD-041）

Study on artificial intelligence-based algorithm for acetabular cup in total hip arthroplasty

Wu Dong1, Chai Wei1, Liu Xingyu2, An Yicheng3, Zhang Yiling4, Chen Jiying1, Tang Peifu1

1Department of Orthopedics, the first Medical Centre, Chinese PLA General Hospital, Beijing 610041, China;2School of Life Scienc-es, Tsinghua University, Beijing 100853, China;3Stanford University of Computer Science, Stanford 94305, USA;4 Harvard Medical School, Boston 02138, USA

　　Corresponding author: Tang Peifu, Email: pftang301@126.com

　　【Abstract】 Objective To develop a set of algorithms that could predict the precise size of acetabular cup preoperatively by the deep learning neural network technology.Methods Retrospective analysis was performed on 30 patients with femoral head necrosis from April 2019 to April 2020, including 15 males and 15 females. At the age of （54.8±10.5） years （range 33-72 years）。 Thirteen hips on the left and seventeen hips on the right, who underwent primary unilateral THA. Based on the manually segmented hip joint CT database, a deep learning convolutional neural network was trained to realize automatic segmentation. A customized algorithm was created to fit the surface of the acetabulum. By the application of another deep learning convolutional neural network, the identification of anatomical points of the pelvis and correction of the pelvic position were realized. So that the placement of the acetabulum cup could be done. DOC （dice overlap coefficients） as well as the average error parameter were adopt-ed to evaluate the accuracy of the above steps. The novel algorithm and Orthoview software were retrospectively used to template the acetabular cup separately. The results of both groups were compared with the actual size and the coincidence rate was calculat-ed to evaluate the accuracy of the novel algorithm. To verify this algorithm, the conformance rate was calculated respectively.Re-sults Compared with other classical segmentation networks, the G-NET network can segment the pelvic with femoral head necro-sis more accurately （DOC 92.51%± 6.70%）。 It also has better robustness. The average error of the point recognition network is 0.87 pixels. Among the 30 patients, the AI-based algorithm group had a complete coincidence rate of 96.7% and the Orthoview group had a complete coincidence rate of 73.3%. The difference was statistically significant （χ2=6.405, P=0.011）。Conclusion The artificial intelligence-based algorithm can segment the CT image series and identify the feature points of the patient's hip ac-curately. Compared with the conventional 2D preoperative planning method, the AI-based algorithm is relatively more accurate.This artificial intelligence-based 3D preoperative software has promising prospect to makeaccurate surgical plan efficiently.

　　【Key words】Artificial intelligence; Learning; Neural networks （computer）； Arthroplasty, replacement, hip; Program Devel-opment

　　【Fund program】National Natural Science Foundation of China （81772320）； The 2019 Medical Big Data and Artificial In-telligence Research and Development Project of Chinese PLA General Hospital （2019MBD-041）

　　在全髋关节置换术（total hip arthroplasty,THA）中，髋臼假体的放置对手术效果具有至关重要的作用，其角度、大小及位置不良均会使术后相关并发症的发生率提高[1].目前，THA术前髋臼假体常无法得到精准的规划，大多数术者依赖术中对髋臼假体位置的判断，但由于受患者体位、术者经验的影响较大，此种判断方法常产生误差[2].一直以来，精准的髋臼术前规划都是THA领域的研究热点。以往通过在X线平片上进行术前二维模板测量[3-5],以实现对术中所需髋臼假体的型号、大小进行预判，但由于X线片投照角度、放大率等的影响，且X线片无法准确显示髋臼三维结构，术前规划中髋臼假体放置大多由术者凭临床经验完成，可重复性低、效率低，难以有效满足临床需要[6].三维影像分析软件如Mimics（Materialize公司，比利时），虽可通过CT扫描实现对髋臼假体大小、位置的准确预测[7],但其需要较为繁琐的手动分割、放置，效率较低。

　　近年来，人工智能技术在骨科影像识别与分割领域得到了广泛应用，并取得了良好的效果[8-10].既往髋臼假体的三维术前规划，其限速步骤主要体现在对髋关节CT扫描图像进行手工分割、体位矫

　　正、假体摆放三个方面[11].人工智能深度学习神经网络可利用自身网络结构特点快速完成上述步骤，有望实现精准、快速的分割，从而有效弥补手工处理三维CT图像所带来的准确性较低、可重复性差的不足[8].在骨盆位置矫正过程中，传统的手工术前规划需要规划者手工标定髂前上棘、泪滴等解剖位点，准确性较低、可重复性差[12],在前期智能分割完成的骨盆三维图像基础上，利用计算机辅助技术可对关键解剖位点进行快速识别，有效提高骨盆矫正精准度。在此基础上可根据髋臼三维结构，精准匹配所需假体大小。

　　本研究通过对基于人工智能的THA髋臼假体术前规划算法进行编写、集成，将其深度融入THA术前规划的图像分割、识别、矫正过程中，并对比该算法在精准度方面的相关指标，如dice overlap coef-ficients（DOC）和平均误差，目的在于：①开发一套基于人工智能的THA髋臼假体术前规划算法；②验证该算法在髋臼骨质分割、骨盆矫正、髋臼表面拟合、网络识别过程中的准确性；③初步验证该算法的临床适用性。

资料与方法

　　一、纳入与排除标准

　　纳入标准：①经临床症状、体征以及影像学检查诊断为ARCO分期Ⅳ期股骨头坏死，符合THA手术指征；②对患者影像学资料进行人工智能THA髋臼假体规划；③主要观察指标为dice overlap coeffi-cients（DOC）、平均误差、假体型号符合率，对该算法进行评价；④回顾性病例研究。

　　排除标准：①患者神经肌肉功能不全；②患者精神上无能力或者不能理解参与研究的要求；③对一种或多种植入的材料有过敏史；④髋关节或身体其他部位存在活动性感染病灶；⑤髋关节周围有严重的骨质疏松、代谢性骨病、放射性骨病、肿瘤；⑥既往行THA手术史者；⑦影像学资料不全者。

　　二、一般资料

　　按照纳入及排除标准，本研究回顾性研究中国人民解放军总医院2019年4月至2020年4月收治的股骨头坏死患者30例（30髋）进行验证，男15例，女15例；年龄（54.8±10.5）岁（范围33~72岁），左侧13髋，右侧17髋。

　　所有患者术前有跛行、患侧髋关节疼痛症状，体格检查可见内收肌压痛，髋关节活动受限。本组30例患者Ficat分期均为Ⅳ期以上。

　　三、人工智能THA髋臼假体规划算法

　　采用神经网络技术对骨质进行分割，结合计算机图形学算法在分割基础上对髋臼进行拟合，计算出髋臼的旋转中心以及半径。利用点识别算法对骨盆双侧髂前上棘进行识别，依靠双侧髂前上棘进行骨盆矫正，综合髋臼旋转中心，半径及骨盆矫正的结果，从而将髋臼假体放置在合适的位置。

　　（一）骨质分割

　　（二）髋臼表面拟合

　　（三）骨盆矫正

　　（四）安放髋臼杯

　　四、临床应用验证

　　五、评价标准

　　（一）分割效果评价

　　（二）骨盆矫正效果评价

　　（三）临床应用效果评价

　　六、统计学处理

结 果

　　一、髋臼骨质分割

　　二、骨盆矫正结果

　　三、网络识别结果

　　四、髋臼杯安放结果

　　五、临床验证结果

讨 论

　　一、现阶段THA术前规划的缺点

　　在全髋关节置换手术中，术前规划具有至关重要的作用[4,13].但现阶段由于技术条件所限，高效准确的术前规划方式并没有在国内得到广泛开展，大部分医院还在应用传统二维模板测量的方法以粗略评估假体大小[14-15].但二维模板测量因X线影像的固有特性所限，具有较多局限性，如无法获取准确且连续的放大率[16]、需要marker标定[17]等，在数字化影像越来越得到广泛运用的今天，二维模板测量已经逐渐无法适应日益增长的临床需求[14,18].三维术前规划软件可完整反映患者解剖结构，有效判断髋关节旋转中心变化、股骨偏距变化以及下肢腿

　　长差变化，已逐渐成为业内研究的热点[19-22].但现阶段三维术前规划软件操作复杂，效率较低，对规划者的临床经验及计算机技术均有较高的要求[12,23-24].

　　二、针对髋臼杯放置算法进行的优化

　　本研究所介绍的髋臼假体放置算法具有很高的准确性和可重复性，在原理上，本研究所应用的深度学习神经网络优点具体体现在以两个方面：①分割网络的结构合理，其分割结构包含多种尺度的信息且密集连接结构可以极大提高网络的学习速度；②分割网络的精度较高，从而可以实现精准的髋臼表面形态拟合，这对髋臼杯大小型号的选取有决定性作用。

　　在骨盆矫正方面，创新性的用点云渲染技术来实现骨盆的表面成像，髂前上棘在X线影像和CT扫描中都很难利用传统方式进行识别，而经过表面成像后髂前上棘点在正投影中显示效果就会更加清晰，此时利用点识别算法进行定位精度就会很高。

　　而本研究中所采用的点识别算法本身利用的是高斯热力图拟合的原理[25],相对于传统点识别网络直接对关键点坐标进行拟合具有相当高的鲁棒性和精确度保证，因为高斯热力图本质是点云概率分布，而根据大量点云分布计算出的结果相对单一点坐标的预测有着明显的优势。

　　三、人工智能骨质分割网络的改进空间

　　本髋臼杯放置算法中，使用人工智能深度学习卷积神经网络对髋关节进行精准分割是该算法的关键步骤，而所使用的的densenet网络与其他分割网络相比，减轻了梯度消失的问题，加强了特征的传递，高效利用目标图像特征。虽然在一定程度上减少了参数的数量，但是相较于其他算法，占用内存空间较大，因此在后续的工作中我们可以在此方面进一步优化，使得其在不改变分割效果的前提下，减少参数的数量，缩小模型的大小，从而加快模型分割的速度。

　　目前densenet分割效果虽好，但在细节方面还有待提升，尤其对于复杂病例而言，在分割的边缘还是不太平滑，易出现杂质，在后续研究中可以在像素级别上进行试验，尝试使用更加复杂的网络结构从像素水平对图像进行分割，以提高分割精度。

　　点识别网络模型借鉴了resnet网络的思想，也采用了跳跃连接来辅助上采样，有助于训练过程中计算梯度的反向传播，虽然模型较小，而且运行速度很快，但是目前精度还有待提高，由于数据集的各种病种增加了识别点的复杂度，所以在后续工作中，可以在现有基础上进一步增加更复杂的病例，尝试加深网络的层数及调试各种参数来增加模型的准确度。

　　四、人工智能THA髋臼杯放置算法的临床意义

　　回顾性临床研究表明，本算法可以有效估计实际应用的髋臼假体大小，准确率达到96.7%,显着优于Orthoview组（73.3%）。既往研究中只有使用操作较为复杂的三维术前规划软件才能实现接近的准确率（94%~96%）[26-27].但即使是熟练掌握上述三维规划软件的规划者，其平均规划时间约30 min,本系统从导入DICOM数据至完成臼杯放置，平均耗时为（4.01±1.08）min（图像处理器：Nvidia GeForce GTX TITAN X GPU），显着高于传统三维手术规划方式。在人工智能组中存在1例规划结果与实际结果差2号的患者，因其原髋臼周围存在有内植入物，内植入物伪影对人工智能分割过程造成影响，从而导致规划结果不准确。

　　本研究还存在有以下不足：①本研究为回顾性研究，纳入病例较少，有待开展前瞻性队列研究以对该算法的精准性和有效性进一步验证；②仅对比了假体型号大小，未对比旋转中心位置，需在后续研究中进一步论证；③仅纳入了ARCO分期Ⅳ期股骨头坏死的患者，未纳入先天性髋关节发育不良、强直性脊柱炎等复杂病例。

　　综上，本研究首次将人工智能技术应用于THA髋臼杯放置算法中，为实现精准的术前规划提供了新的手段。未来将使用本算法实现多病种的智能三维术前规划，并在更广泛的临床应用中对这一算法进行优化，进一步提高该算法的准确度及规划效率，为数字化骨科及精准医疗的开展提供新思路。

　　参考文献

　　[1]Lewinnek GE, Lewis J L, Tarr R, et al. Dislocations after total hip-replacement arthroplasties[J]. J Bone Joint Surg Am, 1978, 60（2）：217-220.

　　[2]Holzer LA, Scholler G, Wagner S, et al. The accuracy of digital templating in uncemented total hip arthroplasty[J]. Arch Orthop Trauma Surg, 2019, 139（2）： 263-268. DOI: 10.1007/s00402-018-3080-0.

　　[3]Older J. Low-friction Arthroplasty of the Hip: A 10-12-year Fol-low-up Study[J]. Clin Orthop Relat Res, 1986, 211: 36-42.

　　[4]Della Valle AG, Padgett DE, Salvati EA. Preoperative planning for primary total hip arthroplasty[J]. J Am Acad Orthop Surg,2005, 13（7）： 455-462. DOI: 10.5435/00124635-200511000-00005.

　　[5]Str-m NJ, Pripp A H, Reiker-s O. Templating in uncemented to-tal hip arthroplasty-on intra- and interobserver reliability and pro-fessional experience[J]. Ann Transl Med, 2017, 5（3）： 43. DOI: 10.21037/atm.2017.01.73.

　　[6]Knafo Y, Houfani F, Zaharia B, et al. Value of 3D preoperative planning for primary total hip arthroplasty based on biplanar weightbearing radiographs[J]. Biomed Res Int, 2019, 2019: 1932191. DOI: 10.1155/2019/1932191.

　　[7]Tostain O, Debuyzer E, Benad K, et al. Ten-year outcomes of ce-mentless anatomical femoral implants after 3D computed tomogra-phy planning. Follow - up note[J]. Orthop Traumatol Surg Res,2019, 105（5）： 937-942. DOI: 10.1016/j.otsr.2019.04.019.

　　[8]Hosny A, Parmar C, Quackenbush J, et al. Artificial intelligence in radiology[J]. Nat Rev Cancer, 2018, 18（8）： 500-510. DOI: 10.1038/s41568-018-0016-5.

　　[9]Zeng G, Zheng G. Deep learning-based automatic segmentation of the proximal femur from MR images[J]. Adv Exp Med Biol, 2018,1093: 73-79. DOI: 10.1007/978-981-13-1396-7_6.

　　[10]Park J, Hwang D, Kim KY, et al. Computed tomography super-res-olution using deep convolutional neural network[J]. Phys Med Bi-ol, 2018, 63（14）： 145011. DOI: 10.1088/1361-6560/aacdd4.

　　[11]Huppertz A, Radmer S, Asbach P, et al. Computed tomography for preoperative planning in minimal-invasive total hip arthroplas-ty: radiation exposure and cost analysis[J]. Eur J Radiol, 2011, 78（3）： 406-413. DOI: 10.1016/j.ejrad.2009.11.024.

　　[12]Wu P, Liu Q, Fu M, et al. Value of computed tomography-based three-dimensional pre-operative planning in cup placement in to-tal hip arthroplasty with dysplastic acetabulum[J]. J Invest Surg,2019, 32（7）： 607-613. DOI: 10.1080/08941939.2018.1444828.

　　[13]González Della Valle A, Slullitel G, Piccaluga F, et al. The preci-sion and usefulness of preoperative planning for cemented and hy-brid primary total hip arthroplasty[J]. J Arthroplasty, 2005, 20（1）：51-58. DOI: 10.1016/j.arth.2004.04.016.

　　[14]曹正， 杨伟， 杨敏之， 等. 数字化模板计划在直接前方入路人工全髋关节置换术中的应用研究[J].中国修复重建外科杂志，2019, 33（11）： 1374-1378. DOI: 10.7507/1002-1892.201903108.

　　Cao Z, Yang W, Yang MZ, et al. Application of preoperative digital-template planning in total hip arthroplasty via direct anterior ap-proach[J]. Chin J Repar Reconstr Surg, 2019, 33（11）： 1374-1378.DOI: 10.7507/1002-1892.201903108.

　　[15]Pourmoghaddam A, Dettmer M, Freedhand AM, et al. A patient-specific predictive model increases preoperative templating accu-racy in hip arthroplasty[J]. J Arthroplasty, 2015, 30（4）： 622-626.DOI: 10.1016/j.arth.2014.11.021.

　　[16]Conn KS, Clarke MT, Hallett JP. A simple guide to determine the magnification of radiographs and to improve the accuracy of pre-operative templating[J]. J Bone Joint Surg Br, 2002, 84（2）： 269-272. DOI: 10.1302/0301-620x.84b2.12599.

　　[17]Sinclair VF, Wilson J, Jain NP, et al. Assessment of accuracy of marker ball placement in pre-operative templating for total hip ar-throplasty[J]. J Arthroplasty, 2014, 29（8）： 1658-1660. DOI: 10.1016/j.arth.2014.03.013.

　　[18]Salem HS, Marchand KB, Ehiorobo JO, et al. Benefits of CT scan-ning for the management of hip arthritis and arthroplasty[J]. Surg Technol Int, 2020, 36: 364-370.

　　[19]Savov P, Budde S, Tsamassiotis S, et al. Three-dimensional tem-plating in hip arthroplasty: the basis for template-directed instru-mentation-[J]. Arch Orthop Trauma Surg, 2020, 140（6）： 827-833.DOI: 10.1007/s00402-020-03394-7.

　　[20]Kobayashi H, Cech A, Kase M, et al. Pre-operative templating in THA. Part II: a CT-based strategy to correct architectural hip de-formities[J]. Arch Orthop Trauma Surg, 2020, 140（4）： 551-562.DOI: 10.1007/s00402-020-03341-6.

　　[21]Marongiu G, Prost R, Capone A. Use of 3D modelling and 3D printing for the diagnostic process, decision making and preopera-tive planning of periprosthetic acetabular fractures[J]. BMJ Case Rep, 2020, 13（1）： e233117. DOI: 10.1136/bcr-2019-233117.

　　[22]Shi XT, Li CF, Cheng CM, et al. Preoperative planning for total hip arthroplasty for neglected developmental dysplasia of the hip [J]. Orthop Surg, 2019, 11（3）： 348-355. DOI: 10.1111/os.12472.

　　[23]Inoue D, Kabata T, Maeda T, et al. Value of computed tomography-based three-dimensional surgical preoperative planning software in total hip arthroplasty with developmental dysplasia of the hip[J].J Orthop Sci, 2015, 20（2）： 340-346. DOI: 10.1007/s00776-014-0683-3.

　　[24]Zeng Y, Lai O J, Shen B, et al. Three-dimensional computerized preoperative planning of total hip arthroplasty with high-riding dislocation developmental dysplasia of the hip[J]. Orthop Surg,2014, 6（2）： 95-102. DOI: 10.1111/os.12099.

　　[25]Prestipino S, Saija F, Giaquinta PV. Phase diagram of the Gauss-ian-core model[J]. Physical Review E, 2005, 71（5）： 050102. DOI:10.1103/PhysRevE.71.050102.

　　[26]Hassani H, Cherix S, Ek ET, et al. Comparisons of preoperative three-dimensional planning and surgical reconstruction in prima-ry cementless total hip arthroplasty[J]. J Arthroplasty, 2014, 29（6）： 1273-1277. DOI: 10.1016/j.arth.2013.12.033.

　　[27]Sariali E, Mauprivez R, Khiami F, et al. Accuracy of the preopera-tive planning for cementless total hip arthroplasty. A randomised comparison between three - dimensional computerised planning and conventional templating[J]. Orthop Traumatol Surg Res,2012, 98（2）： 151-158. DOI: 10.1016/j.otsr.2011.09.023.