近日，我院一项关于高分辨率三维口扫影像语义分割的研究成果TSegFormer: 3D Tooth Segmentation in Intraoral Scans with Geometry Guided Transformer 被医学图像处理国际顶级会议MICCAI(2023)接收，我院博士生熊慧敏和2023届电子与计算机工程专业本科生黎堃乐、谭凯元为论文共同第一作者，ZJUI研究员、助理教授刘佐珠为论文通讯作者。该论文提出了一种全新的端到端的IOS语义分割框架并设计了一种基于新型点曲率的几何引导损失函数，进一步提高了算法的分割、泛化性能和算法的临床可适用性，为数字化口腔实践应用提供了高精度的算法基础和可信赖的数据基础。 MICCAI全称为Medical Image Computing and Computer Assisted Intervention，是国际公认的跨医学影像计算（MIC）和计算机辅助介入（CAI）两个领域的顶级综合性学术会议之一，涵盖医学图像计算、计算机辅助介入、计算机辅助诊断等多个领域。
此项研究成果主要聚焦人工智能与口腔医学交叉研究。当前的数字化口腔医疗中，口内扫描仪（intra-oral scanner, IOS）被广泛应用于提供高精度的三维牙冠和牙龈信息的情况，且实现精准的三维IOS牙齿牙龈分割在多类口腔疾病诊疗（如口腔正畸）中至关重要。然而，在实现全自动的临床可适用的IOS分割上仍面临不少挑战，如已有算法仍面临过度依赖耗时的基于算法或人工的后处理技术，在不同复杂病例中泛化性能较差和临床可适用性评估缺乏等。
▲ TSegFormer架构
针对以上问题，该团队在论文中提出了一种全新的端到端的IOS语义分割框架-TSegFormer。通过设计特定的多任务3D Transformer架构，在IOS点云中精准捕捉不同牙齿和牙龈之间的局部和全局依赖性，进而提高算法的分割和泛化性能。同时，论文中设计了一种基于新型点曲率的几何引导损失函数，以端到端的方式实现精准的牙齿-牙齿和牙齿-牙龈边界分割，在避免耗时后处理的同时进一步提高了算法的临床可适用性。该论文还创建了一个包含16000个高精度真实世界IOS的数据集，据悉，该数据集已成为当前已知最大的多中心IOS数据集。TSegFormer在大量实验中，也展现了当前最优的理论分割性能和面向真实世界应用的临床测试性能。 该项目以黎堃乐、谭凯元两位本科生的本科生科研训练项目（SRTP）为起点，通过与实验室博士生的积极合作，经导师的悉心指导，从学校的科研训练项目成功转化为在相关领域国际顶级会议上发表的成果，体现了ZJUI本科生在学术领域的高度创新和探索能力。这也表明ZJUI本科生不仅具备深厚的专业知识、突出的实践研究能力和批判性思维，更彰显了ZJUI在国际化教育、跨学科研究和创新型人才培养方面的特色与实力。目前，黎堃乐和谭凯元两位同学也即将赴卡内基梅隆大学和伊利诺伊大学厄巴纳香槟校区深造。
▲ 黎堃乐
▲ 谭凯元
该论文合作单位还包括了哈佛大学、新加坡A*STAR、时代天使公司等。该项目受到国家自然科学基金委和浙江省自然科学基金委支持。
