基于多任务学习的眼前节OCT图像折射率修正和分析


项目简介



眼前节相关的疾病是导致失明的主要原因之一。然而, 目前并没有一种方法可以自动识别所有主要的眼前节结构。 利用不同任务之间的特征交换, 本研究设计了一种全自动的多任务深度学习方法, 同时完成眼前节OCT图像中角膜, 虹膜, 晶状体, ICL和IOL的分割, 以及巩膜突(SS)和虹膜根(IR)的定位。 同时, 眼前节OCT设备在成像过程中会受到人眼不同结构对光的折射的影响, 不能准确地反应眼前节结构的几何位置和形状。部分商业系统提供了自动修正功能, 但是只能在较为稀疏的扫描图像上进行 (例如Heidelberg ANTERION对一只人眼仅提供6张修正后图像, 图像之间有30度的间隙), 因此会损失眼前节结构的细节信息。 基于多任务学习的结果, 我们提出了一种折射率自动修正方法, 可以利用密集采集的未修正图像结合多任务算法的分割结果恢复更多细节。 利用上述分割和关键点检测的结果以及修正后的眼前节OCT图像, 可以计算多种眼前节相关的临床指标, 用于疾病的诊断, 手术规划和术后评估。


结果



图1. 分割结果可视化对比



图2. 关键点检测结果可视化对比。绿: SS, 红: IR



图3. 折射率修正结果。利用已知几何参数的透镜量化本研究提出的折射率修正方法和Heidelberg ANTERION系统所用方法之间的差异。(a1)验证实验中使用的透镜, (a2)本研究提出的方法修正的透镜截面扫描图, (a3)Heidelberg ANTERION修正的透镜截面扫描图, (b1)-(c1)两张未修正的眼前节OCT图片, (b2)-(c2)本研究提出的方法修正的图片


图4. 本研究可以自动计算的主要眼前节临床指标