系统检索到了正确资料，却仍然回答错误，怎么解决？

题目与场景

问题：系统检索到了正确资料，却仍然回答错误，怎么解决？场景：资料写“试用期员工不适用该补贴”，系统却回答“所有员工均可申请”。

可以直接口述的面试答案

我会先确认正确条款是否完整进入了模型最终看到的上下文。检索日志里命中，不代表经过重排、压缩和截断后还保留了“不适用”这个关键条件。如果最终上下文完整，仍回答所有员工都可以，就是生成阶段的条件理解或证据忠实性问题。我会保留资格、否定、例外等完整条款，先抽取带出处的规则，再生成有适用范围的答案，并逐项检查结论是否被证据支持。像补贴资格这类明确规则，可以由审核过的规则服务计算，模型负责解释。最后用试用期、转正、条件缺失和诱导提问做回归，同时看正确率、例外覆盖率和错误放行率，不能只看召回率。

一、先明确：这段资料到底能推出什么

“试用期员工不适用该补贴”足以否定“所有员工均可申请”，也能直接回答“试用期员工能否申请”：不能。但仅凭这一句，不能推出“所有非试用期员工都能申请”，因为还可能存在工龄、地区、岗位或申请期限限制。修复后的答案既要保留排除条件，也要避免补出资料没有说明的充分条件。

仅根据题设资料，合适的回答是：“并非所有员工均可申请，试用期员工不适用该补贴。其他员工是否符合资格，还需要结合制度中的其余申请条件确认。”正式回答应引用实际文档、条款和有效版本。

二、沿真实链路定位，不要只看检索截图

调试记录应包含查询、用户相关条件、文档及版本 ID、块 ID、重排顺序、最终上下文、模型与提示词版本、输出及引用。涉及员工信息时只保留必要字段并控制访问。复现的关键是看到模型实际收到了什么。

三、把否定、例外和适用范围当作证据主体

• 将适用对象、待遇、条件、例外及必要定义作为一个逻辑单元保存。命中一般规则时，按章节关系取回关联的限制条款；不要把“不适用”作为无关尾句删除。
• 若用模型压缩上下文，要求保留否定、数值、时效、对象与例外，并检查压缩前后的这些要素。摘要只能帮助阅读，关键判断仍应能追溯原文。
• 抽取 subject=试用期员工、benefit=该补贴、eligibility=不适用、source=实际条款。未知字段保留未知，不自动填成“所有员工”。抽取本身也需要校验。
• 要求每个资格结论对应证据；答案包含适用对象、排除条件、必要前提和出处；用户条件不全时追问，证据不全时说明缺口。资料中的文字不能改变系统的执行指令。

四、增加核验，但别把另一轮模型判断当成保证

将“所有员工均可申请”拆成待验证的结论，再与条款比较：存在试用期员工被排除的明确证据，因此这个全称结论与证据冲突。校验要检查结论是否被证据蕴含、是否遗漏例外、引用是否支持对应断言；只检查答案与资料词汇相似度没有用。

可以组合确定性字段检查与独立模型核验。对存在明确排除条款的资格问题，若输出包含“所有”“均可”等全称表述，应触发检查，而不是用关键词直接判定对错。模型核验可能漏判，应由人工标注样本校准。校验失败后限制重试次数；仍无法获得可靠结论时，返回可确认的条款和缺失信息。

若业务规则稳定且影响真实资格，应由业务负责人确认并维护可执行规则：用户处于试用期且该有效规则适用时，资格结果为不适用；其他情况继续检查剩余条件。模型不应根据自己刚提取的未经审核规则直接审批。降低 temperature 可以减少部分随机变化，无法修复系统性的条件遗漏；换模型或微调也应放在定位故障和建立回归集之后。

五、用针对性评测证明问题被修复

分别统计检索阶段的完整规则命中率，生成阶段的答案正确率、证据忠实性、引用支持率和例外条件覆盖率，并单列错误放行率。对规则明确排除的样本，错误放行率可定义为“被回答为可申请的样本数／规则明确排除的样本数”。还要监控正确可答问题的回答覆盖率，防止靠一律拒答获得低错误率。

Ragas 论文将检索上下文质量、生成对证据的忠实使用和答案质量分开评估。这支持分层测量的做法，但自动评分仍需要结合本业务的人工标准答案。

参考：Ragas — Automated Evaluation of Retrieval Augmented Generation

面试追问：一句话抓住重点

召回成功只完成了证据获取；还要证明完整条件进入上下文、结论遵守证据，并用业务规则和回归评测控制错误。