技术笔记

医学本体库SNOMED CT的本地化部署与向量化索引

2026年3月10日 | 分类: 数据工程

摘要： SNOMED CT提供了一个极其庞大且复杂的临床医疗术语本体库。将其与大语言模型（LLM）结合，可以显著减少模型在医学实体上的幻觉。本文记录了将亿级术语体系在本地进行解析，并借助Milvus向量数据库进行高维向量化索引的全过程。

1. SNOMED CT 数据结构初探

SNOMED CT 的核心文件以 RF2 (Release Format 2) 提供，包含 Concept（概念）、Description（描述）和 Relationship（关系）。在处理时，我们需要的是概念的“全称”（Fully Specified Name）以及由于同义词产生的多种表述。

2. 文本向量化 (Embedding)

为了让 RAG（检索增强生成）系统能快速匹配相似概念，我选用了通义千问系列中的 text-embedding-v2 模型对所有术语的 Description 进行向量化计算，输出维度设为1536维。考虑到数据量级，采用异步并发调用 API 是一大优化点。

3. Milvus 向量引擎部署

我通过 Docker 本地部署了 Milvus Standalone 版本，并为其创建了相应的 Collection：

from pymilvus import CollectionSchema, FieldSchema, DataType, Collection

concept_id = FieldSchema(name="concept_id", dtype=DataType.VARCHAR, max_length=100, is_primary=True)
term_vector = FieldSchema(name="term_vector", dtype=DataType.FLOAT_VECTOR, dim=1536)
semantic_tag = FieldSchema(name="semantic_tag", dtype=DataType.VARCHAR, max_length=200)

schema = CollectionSchema(fields=[concept_id, term_vector, semantic_tag], description="SNOMED CT Vector Index")
collection = Collection(name="snomed_index", schema=schema)

4. 踩坑经验

索引构建超时： 当插入百万级数据时，创建 IVF_FLAT 索引耗时极长。最终采取了分批次插入，调大 nlist 参数，并确保内存分配充足才避免 OOM 崩溃。

5. 总结

将结构化的本体库转化为非结构化向量，不仅打破了传统 SQL 匹配的僵硬感，这为基于 LLM 的智能术语归一化处理奠定了决定性的基石。

← 返回列表