摘要
多模态大语言模型在通用领域表现优异,但在医疗等专业场景及多语言低资源环境下受限。为解决印度农村地区患者使用本土语言及多模态输入(如医学影像)进行复杂医疗咨询的难题,本文构建了大规模多语言多模态医疗问答数据集 ArogyaBodha。同时,提出 ArogyaSutra,一种基于演员 - 评论家的多智能体框架,整合工具接地与双重记忆机制,实现逐步感知推理的决策,并利用存储的模拟轨迹进行蒸馏。实验表明,该框架显著提升了多种印度语言的医疗推理准确率。
AI 推荐理由
论文核心解决多模态医疗推理问题,提出基于推理的决策框架。
研究机构
Indian Institute of Technology Patna
Indian Institute of Technology Kanpur
Prasannadeb Women's College
论文信息