基本信息

1. 标题：ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models.

2. 期刊：arXiv

3. IF/JCR/分区：无

4. DOI：arXiv:2302.07257

5. 作者：沈定刚教授团队

1. 导读

2023年年初最火热的话题之一就是OpenAI的ChatGPT1，给人类带来了巨大的冲击。1月底，美国《财富》杂志2/3月合刊的封面文章《全球爆红的ChatGPT是如何诞生的？》引爆了创投圈。在这巨大的浪潮冲击下，如何让其在医疗领域发挥其强大的作用呢？沈定刚教授团队给出了初步的答案。在本文中，作者提出了一种将大型语言模型（LLMs）集成到医学影像计算机辅助诊断网络中的初步方法。

2. 背景动机

2.1 计算机辅助诊断（CAD）

传统的计算机辅助诊断网络模型是基于各种计算机视觉的先进算法在大量数据上进行训练，使他们能够学习识别特定于医学领域的视觉信息中的复杂模式和关系，在医学领域的各个任务中已取得了显著性地效果。

2.2 大型语言模型（LLMs）

大型语言模型（如ChatGPT）是经过大量文本数据训练的高级人工智能系统，在自然语言处理方面取得了显著成果，并有可能彻底改变各个行业。ChatGPT已经成功通过了部分美国医疗执照考试，展示了其在增加医疗专业人员提供护理方面的潜力。然而LLMs目前难以从医学影像中解释和提取信息，从而限制了他们全面支持临床决策过程的能力。但医学影像在临床决策中发挥着巨大的作用，如何整合 LLM 以理解计算机视觉任务中的视觉信息是一个有趣的问题。

2.3 视觉语言模型

一种流行的将视觉信息转换为语言的方法是通过图像描述。通过训练大量的数据，基于深度学习的图像描述模型可以生成连贯的描述。

在医学图像分析中，研究人员使用异质图、知识图谱和自监督算法等方法对图像进行描述来生成影像报告。

近年来，随着模型规模的增大，该领域的进展已转向视觉语言预训练和利用预训练模型，如：CLIP2、Frozen3和Flamingo4等。

3. 研究目的

本文目标是将 LLM 的医学领域知识和逻辑推理的优势与现有医学图像 CAD 模型的视觉理解能力