一種基于共同注意網(wǎng)絡的醫(yī)學視覺問答方法

摘要： 最近很多研究提出了醫(yī)學視覺問答（MVQA）的注意力模型。在醫(yī)學研究中，不僅“視覺注意力”的建模至關重要，對“問題注意力”進行建模同樣具有重大意義。為了在醫(yī)學圖像和問題的注意過程中進行雙向推理，本文提出一種新的MVQA架構(gòu)，稱為MCAN。該架構(gòu)融入一種跨模態(tài)共同注意網(wǎng)絡FCAF，用于識別問題中的關鍵詞和圖像中的主要部分。通過元學習通道注意模塊（MLCA）自適應地為每個單詞和區(qū)域進...