当AI被问“该不该换髋关节”，它们的回答靠谱吗？一份来自骨科指南的核对清单

髋关节骨关节炎是常见的肌肉骨骼问题，随着人口老龄化，因它导致的功能受限和照护负担日益受到关注。尽管已有基于证据的临床实践指南，例如德国骨科与创伤外科学会（DGOU）2021年发布的S3指南，但指南在 routine 实践中的落地仍不充分。与此同时，越来越多的人开始向大型语言模型（LLM）询问与指南相关的信息——从“什么情况下可以考虑全髋关节置换”到“哪些风险因素需要先优化”。问题是：这些回答与指南推荐的一致性究竟如何？

近期一项基准研究（EKIT-Hip）对此进行了评估。研究从2021年德国S3指南中提取了26个结构化、无上下文的问题，覆盖诊断与影像、痛苦程度评估、替代治疗方案评估、禁忌证以及可修改风险因素优化等五个主题，于2024年11月至2025年2月期间，通过五个LLM系统的消费者网页界面提交，共获得130条回答。三位未被告知模型身份的骨科专科医生对回答的准确性和全面性进行了评分。需要说明的是，该研究仅描述回答与指南的一致性，并未评估临床决策支持的有效性或安全性。以下这份核对清单，或许能帮助你在面对类似信息时多一分审慎。

清单一：先弄清楚“问的是什么”

• 问题是否结构化、无上下文？该研究使用的是从指南推荐中提炼的静态问题，不涉及具体患者病例。现实中的提问往往夹杂个人病史和细节，回答的可靠性可能不同。
• 是否覆盖了指南的核心主题？研究覆盖了五个主题，但未涵盖全部六个主题。若你的问题落在未覆盖的领域，不能直接套用该研究的结论。
• 是否明确“这是参考信息，不是专业意见”？研究结论明确表示，数据不支持任何被评估系统的无监督临床使用。任何回答都应视为参考，而非替代专业机构或专业人士的判断。

清单二：看回答质量，别只看“像不像”

研究采用四点准确性量表和五点全面性量表进行评分。结果显示，不同系统之间的准确性存在差异：GPT-4o平均准确性最高（3.69±0.55），GPT-4次之（3.62±0.57），随后是GPT-4o mini（3.27±0.78）、Gemini Advanced（3.08±0.84）和Consensus Premium（2.54±0.71）。被评为“良好或优秀”的回答比例，GPT-4o和GPT-4均为25/26（96.2%），而Consensus Premium为15/26（57.7%）。全面性排序与准确性一致，GPT-4o平均得分最高（4.31±0.79）。

• 是否存在“差评”回答？Consensus Premium有2/26被评为“差”，Gemini Advanced有1/26；ChatGPT各版本均为0/26，但精确95%置信区间为0–13.2%，因此不能排除任何系统存在有临床相关意义的错误率。
• 回答长度是否等同于质量？回答长度差异明显，从Consensus Premium的32.4±11.5词到GPT-4o的77.8±24.9词，分别约为指南原文长度的1.29倍和3.19倍。长回答不一定更准确，短回答也不一定更差。
• 是否比较了不同系统？在混合模型中，GPT-4o相对于Consensus Premium获得更高准确性评级的 odds 为51.8（95% CI 12.4–215.9），GPT-4为35.4（95% CI 9.2–136.4）；GPT-4o与GPT-4之间未显示差异（OR 1.47，多重校正后95% CI 0.23–9.21），其配对平均差异（0.08分，90% CI -0.11至0.26）落在±0.5分的等效范围内。

清单三：把回答放进“决策流程”里核对

如果你或家人正在面对髋关节骨关节炎的决策，不妨按以下步骤核对信息，而不是直接采信某个回答：

1. 确认问题是否属于指南范畴。先明确你关心的是诊断、痛苦程度评估、替代治疗、禁忌证还是风险因素优化。不同主题的指南推荐强度不同，回答的参考价值也不同。
2. 对照指南推荐，而非只对照“常识”。该研究的问题直接源自指南推荐。日常提问时，可以要求回答注明依据来源，但需注意模型可能给出看似合理却无出处的表述。
3. 关注“差评”信号。若回答出现绝对化措辞、忽略禁忌证或跳过替代治疗，应提高警惕。研究中被评“差”的回答虽少，但提示错误并非为零。
4. 把回答交给专业人士复核。研究中的评分由三位骨科专科医生完成，且仅记录共识评分，未评估评分者间信度。现实决策中，应咨询专业人士，结合个体情况判断。
5. 不把单次回答当作结论。该研究为单次运行基准，使用静态问题，未评估重复版本控制下的表现，也未涉及前瞻性安全终点。回答质量可能随版本、提问方式变化。

清单四：记住这项研究的边界

• 它评估的是“指南一致性”，不是“临床效果”。研究没有评估临床决策支持的有效性或安全性，不能据此认为某个系统适合无监督使用。
• 它使用的是消费者网页界面。回答可能受界面设置、会话状态等影响，与专业机构部署的系统环境不同。
• 它只记录单一共识评分。由于每位回答仅记录一个共识评分，无法评估评分者间信度，个体评分的离散程度未知。
• 它不能排除错误率。即使表现较好的系统，其“差评”比例的精确置信区间上限仍不可忽略，临床相关错误率不能排除。

总的来说，这项基准研究提供了一个有价值的观察窗口：在静态、无上下文的问题上，部分LLM的回答与指南推荐的一致性较高，但系统间差异明显，且所有系统都不能排除存在有临床相关意义的错误。对于髋关节骨关节炎这类涉及手术决策的问题，更稳妥的做法是把AI回答当作“提示清单”，而不是“答案清单”。任何具体决策，仍需结合个体情况，咨询专业人士，并以专业机构的评估为准。本文仅供信息参考。