基于記憶驅(qū)動的多模態(tài)醫(yī)學影像報告自動生成研究

摘要： 醫(yī)學影像報告自動生成任務(wù)面臨疾病類型多樣、報告描述缺乏專業(yè)性和流暢性等多重挑戰(zhàn)。為解決以上問題，本文提出一種基于記憶驅(qū)動的多模態(tài)醫(yī)學影像報告自動生成方法（mMIRmd），首先使用基于移位窗口的層次視覺轉(zhuǎn)換器（Swin-Transformer）提取患者醫(yī)學影像的多視角視覺特征，通過基于轉(zhuǎn)換器的雙向編碼模型（BERT）提取病史信息的語義特征，然后將多模態(tài)特征進行融合，提高模型對不同...