技术笔记

基于视觉语言模型(Qwen-VL)的医疗图像自动化分析实践

2026年3月15日 | 分类: 多模态AI

摘要： 纯文本提取面临复杂表格、医疗检查单或带图处方的瓶颈。本文探讨如何将多模态大模型（如 Qwen-VL-Max）引入医学文本流水线，实现化验单的图片OCR解读与结构化临床语义提取。

1. 多模态模型在临床的应用场景

传统的 OCR (光学字符识别) 工具虽然能还原字符，但缺乏对医疗上下文的理解。比如，在一张血常规化验单照片中，不仅仅是识别出“Hb” 和 “105”，还需要结合患者年龄性别推断出“贫血”这一诊断。视觉语言模型（VLM）可以看作是一次性完成 OCR + 语义分析。

2. 方案设计：Qwen-VL + 结构化输出

在 AI 麻醉门诊系统的功能扩展中，我集成了 qwen-vl-max 模型。用户只需上传各种检验报告或门诊病历的照片，系统后端即发起图文提问。

const response = await openai.chat.completions.create({
    model: "qwen-vl-max",
    messages: [
    {
        role: "user",
        content: [
            { type: "text", text: "分析这张化验单，提取检查项目、结果，并总结异常指标。" },
            { type: "image_url", image_url: { url: `data:image/jpeg;base64,${base64Image}` } }
        ],
    },
    ],
    response_format: { type: "json_schema", json_schema: labReportSchema }
});

3. Json Schema 强约束的价值

直接让大模型输出文本，后续依然难以对接业务系统。通过指定严格的 response_format，我们强制模型将所有的解析发现放入一个严格的 JSON 结构中。这意味着这不仅是一个“闲聊”的总结，而是一个可以存入数据库的标准化评估依据。

4. 结论与下一步

目前的多模态模型在清晰拍打的医疗单据上准确率可达95%以上。下一步的研究将重点评估它在复杂心电图模式识别或连续多页病历图片关联分析上的能力。

← 返回列表