近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）研究员刘佐珠课题组在Cell Press细胞出版社期刊Patterns上发表了题为“Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction”的研究论文。该论文第一作者为ZJUI博士研究生刘家祥，通讯作者为ZJUI研究员刘佐珠，哈佛大学郝晋博士为共同第一作者，四川大学华西口腔医学院教授赵志河为共同通讯作者，其他作者还包括ZJUI2022届本科毕业生林航正、ZJUI研究员王高昂等。

 

该论文提出了一种名为Deep Dental Multimodal Fusion (DDMF)的框架，能够自动融合CBCT和IOS等三维口腔影像，实现临床可适用的牙冠-牙根-颌骨三维重建。这一创新成果将为数字化口腔领域提供有力的智能诊疗关键技术支撑。

 

 

 

研究亮点

1. 面向临床三维牙齿冠-根-骨重建需求，确定了锥形束CT（CBCT）和口内扫描（IOS）多模态融合任务；

2. 开发了基于深度学习的端到端的CBCT和IOS多模态融合框架；

3. 设计了CBCT和IOS单模态精确分割以及多模态融合的新算法；

4. 建立了大规模多模态数据集，并通过实验和临床测试验证了其性能优越性。

 

论文简介

三维CBCT和IOS影像能分别呈现复杂的口腔结构和精准的牙冠牙龈信息，在数字化口腔诊疗中具有关键作用。在临床诊疗中，可以通过融合CBCT和IOS数据构建高精度的三维口腔冠-根-骨模型，进而实现高效精确的口腔疾病诊断、治疗方案设计和预后疗效评估。然而，不同患者口腔解剖特征的复杂性和多样性、三维CBCT图像和IOS点云之间的模态差异、大规模真实数据集和临床实验验证的缺乏等为实现临床可适用的三维CBCT和IOS多模态融合和三维冠-根-骨重构带来了诸多挑战。

 

 

图1 DDMF框架图

 

 

为了克服上述挑战，本文提出了一种名为DDMF的口腔三维影像多模态融合框架，利用深度学习技术将CBCT和IOS数据精确分割后再进行三维融合，实现了高精度的牙齿冠-根-骨重建。DDMF框架包括基于神经网络的CBCT语义分割模块（TSTNet）、IOS语义分割模块（IOSNet）和三维多模态融合模块。该方法通过引入先验知识驱动的数据增强机制、设计新的损失函数和网络架构、以及基于点曲率和几何空间特征的三维图像-点云融合算法，显著提升了CBCT/IOS语义分割和多模态融合性能。

 

 

图2 CBCT语义分割可视化结果

 

研究团队构建了含503个CBCT和28,559个IOS数据的大规模多模态数据集，在大量实验和临床可适用性测试中均取得了优异表现，并将多模态口腔冠-根-骨重构过程从传统的5-7小时（人工成本）降低至20-25分钟。

 

 

图3 DDMF冠-根-骨三维重建结果

 

 

本次研究联合了四川大学华西口腔医学院赵志河教授课题组，以及来自哈佛大学、空军军医大学、时代天使公司、南洋理工大学、深圳市第二人民医院、奥普特等单位的合作团队，由浙大/华西等单位科研团队与国内口腔医疗器械龙头企业时代天使合作，旨在通过高校-医院-企业三位一体的产学研合作，为口腔正畸医生提供“所见即所得”的精准牙齿冠-根-骨结构，助力诊疗方案模拟设计并降低传统错颌畸形诊疗过程中骨开窗开裂等各类风险。在临床实践中，DDMF将集成在时代天使Intelligent Root System（IRS）平台，进一步提高诊疗精度和效率并降低治疗成本，为数字化口腔领域提供智能高效的辅助诊疗手段，并助力计算机与口腔医学交叉领域的创新研究与应用发展。

 

 

 

图4 基于DDMF的正畸诊疗临床风险分析。

 

 

该研究受到国家自然科学基金委、浙江省自然科学基金委、浙江大学-时代天使智慧医疗联合研究中心等资助。

 

 

作者介绍

 

刘家祥

博士研究生

 

刘家祥，ZJUI和浙江大学计算机科学与技术学院人工智能专业联合培养博士研究生，导师为刘佐珠研究员，研究方向为医疗人工智能和多模态数据处理。目前在Patterns、IEEE TCSVT/TMM/TETCI/ISBI等期刊/会议上发表论文多篇。曾获得2020年研究生国家奖学金，2022/2023年江苏省集萃研究生奖学金。

 

 

 

郝晋

博士

 

郝晋，2022年毕业于哈佛大学，获得博士学位。目前担任斯坦福大学吴蔡神经科学研究所博士后研究员，其研究兴趣涵盖神经科学和基于深度学习的数字医学领域。担任Frontiers in Neuroscience杂志期刊编委，在Patterns、Nature Communications、IEEE Trans、JDR等领域旗舰期刊上发表多篇论文。

 

 

 

 

冯洋

博士

 

冯洋，2015年获得爱丁堡大学医学图像处理博士学位。目前就职于时代天使公司，担任软件研发负责人，时代天使研究院学科带头人。主要从事点云和图像处理、正畸分析以及诊疗中的CAD自动化等领域的研究工作。在Patterns、IEEE TMI、ICLR、MICCAI等领域旗舰期刊和顶级会议上发表多篇论文。

 

 

 

金作林 

教授

 

金作林，空军军医大学(第四军医大学)口腔医学院正畸科主任，教授、主任医师，博士研究生导师。四川大学口腔正畸专业博士后，美国哥伦比亚大学访问学者。现任中华口腔医学会正畸专业委员会(COS)主任委员，中华口腔医学会理事，陕西省口腔医学会理事，陕西省口腔正畸专委会前任主任委员，《中华口腔正畸学杂志》副主编，爱丁堡皇家外科学院口腔正畸专科考官。精准与数字颅颌面整复专委会常委。世界正畸医师联盟会员，美国正畸协会会员。擅长骨性错合畸形的早期矫治及成人正畸。主要从事牙周组织重建与正畸、颅颌面错合畸形与生长发育、隐形矫治生物力学研究。负责国家自然科学基金4项，陕西省科技项目15项，发表论文146篇，SCI收录45篇，主编著作2部，主译论著3部。获得军队医疗成果二等奖和陕西省科技进步二等奖。

 

 

 

 

赵志河

教授

 

赵志河，1992年毕业于华西医科大学口腔医学院口腔正畸学专业获博士学位，现为四川大学华西口腔医学院教授，四川大学华西口腔医学院教授委员会主任，国家卫生计生委有突出贡献中青年专家，四川省学术和技术带头人，国际牙医师学院(ICD)Fellow。曾经担任中华口腔医学会第五届口腔正畸专业委员会主任委员，现任中华口腔医学会常务理事。《中华口腔正畸学杂志》副总编，《中华口腔医学杂志》、《华西口腔医学杂志》等核心期刊编委，SCI收录期刊International Journal of Oral Sciences编委。

 

 

 

刘佐珠

研究员

 

刘佐珠，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院研究员/博士生导师，浙江大学医学院附属口腔医院兼聘教授。主持国自然、浙江省重点、浙江大学重大横向等多项课题。研究兴趣主要为机器学习和医学人工智能。在Patterns、IEEE Trans、ICLR、ACL、JDR等领域旗舰期刊和顶级会议上发表多篇论文。

 

 

 

 

相关论文信息

 

研究成果发表在Cell Press旗下Patterns期刊上，点击“阅读全文”或扫描下方二维码查看论文。

 

论文标题：

Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction

 

论文网址：

https://www.cell.com/patterns/fulltext/S2666-3899(23)00194-0

 

DOI：

https://doi.org/10.1016/j.patter.2023.100825