MEET-BOT · AI CUSTOMER SERVICE · ARCHITECTURE REVIEW

客户情绪识别与高风险话题识别
Prompt 合并方案评估报告

基于 gemini-3.8-flash、当前客户消息与最近10条客户/客服混合历史消息,综合比较识别质量、调用费用、延迟、可维护性及上线风险。

架构评审版 V1.012项评估维度双 Prompt 并行 vs 单 Prompt 合并可离线查看
编制日期:2026年10月21日 · 适用范围:Meet-bot 智能客服接待及转人工策略

01 · 管理摘要

推荐决策:生产环境采用「分开 Prompt + 并行调用」;「合并 Prompt + 单次调用」进入 A/B 降本实验。

核心判断:合并可去除一次历史上下文输入及部分通用规则,但高风险话题具备动态配置、多标签命中、排除边界和高危安全识别等特点。独立 Prompt 在调优、故障隔离和质量追踪上更可控。由于历史仅固定10条,合并带来的真实成本收益必须通过 Gemini 使用量数据和统一评测验证,不能用“2次变1次”推算节省50%。

生产推荐双请求并行分别维护识别规则,后端汇总
实验方向单请求合并共享输入,验证成本与质量
最优先工作上下文治理防止历史指代断裂与错误延续

02 · 业务范围与假设

要素现状 / 范围评估影响
模型gemini-3.8-flash(由业务方提供的调用标识)具体模型能力、Thinking、价格、缓存支持需以实际 API/账单为准
请求输入最新客户消息1条 + 过去10条历史消息双请求会重复发送这一部分输入;总长度取决于消息实际内容
历史角色customer 与 agent 混合客服消息可解释语境,不可直接作为客户风险证据
情绪识别0–3级;包含轻微情绪与特定业务升级信号并非纯情感分类;退款/质量故障可触发1级
高风险识别12个预设话题 + 商家自定义;多话题、priority、排除条件必须动态传入本次启用的 active_topics
业务决策商家情绪阈值 + 高风险启用状态转人工规则建议由后端执行,不让模型直接决定

注:模型 ID 按用户提供的系统配置记录,本报告未独立验证该模型标识的官方产品状态或计费价格;所有性能与成本推演均需以实际调用数据复核。

03 · 技术架构对比

方案 B · 分开 Prompt + 并行 推荐基线

统一上下文构建器
当前客户消息 + 最近10条混合消息
↓ 分流
情绪 System Prompt
Gemini 请求 ①
风险 System Prompt
Gemini 请求 ②
+ active_topics
↓ 结果汇总
后端阈值判断、风险命中判断
→ 继续 AI / 转人工

特点:两个请求可独立模型参数、超时、重试、发布和回滚;上下文逻辑在服务端统一维护,但输入 Token 仍分别计量。

方案 C · 合并 Prompt + 单调用 实验候选

当前客户消息 + 最近10条混合消息
+ active_topics
↓
统一 System Prompt
Gemini 请求 ①
同一次调用执行两套独立判定
↓
联合 JSON:emotion + high_risk
→ 后端转人工规则

特点:复用上下文与共同约束;但单次输出、复杂指令、不同任务的回归及失效边界需重点验证。

方案 A(两次串行调用)除非存在必须依赖先后结果的理由,否则不建议作为默认方案。

04 · 12个评估维度

维度分开并行(B)合并调用(C)倾向
1. API 请求数量2次/客户消息1次/客户消息合并
2. 输入 Token最新消息及历史重复传入上下文只传一次,公共规则可压缩合并
3. 输出/思考 Token两项任务分别生成联合任务可能增加思考消耗实测
4. 实际费用重复输入,但可分别观察缓存有降本潜力,不保证同等比例降费实测
5. P95 延迟接近较慢请求+汇总开销一项更复杂的请求,不一定更快实测
6. 情绪分级质量反讽、0–3级边界独立调优须防业务风险标签影响情绪等级分开可控
7. 风险话题召回聚焦逐话题触发、排除条件需验证联合任务下多标签漏判分开可控
8. 多标签与优先级只为高风险任务服务与情绪判断共享一次输出预算分开可控
9. 自定义话题扩展仅影响风险请求长度使统一 Prompt 更复杂分开
10. 维护与回归可独立上线、回滚和归因公共约束减少,但每次变更需双任务回归分开
11. 稳定性与降级一项失败时另一项可能仍可用一次失败可能同时失去两项结果分开
12. 转人工逻辑后端统一决策后端统一决策持平

“分开可控”表示工程上的独立性优势,并不意味着其实际模型准确率必然高于合并;须通过人工标注数据检验。

05 · Token 与成本测算

E=情绪 Prompt Token;R=风险 Prompt Token;M=合并 Prompt Token;H=最新消息与10条历史 Token;T=启用话题规则 Token。

分开输入 ≈ E + R + 2H + T
合并输入 ≈ M + H + T
输入节省 ≈ E + R − M + H

示例:假设 Token 预算(非真实监控数据)

输入组成分开并行合并调用
情绪 System Prompt3,500—
风险 System Prompt2,800—
合并 System Prompt—5,300
客户消息及10条历史2,0001,000
启用话题配置2,5002,500
合计输入 Token10,8008,800
分开并行
10,800
合并调用
8,800
该假设中输入 Token 减少约 18.5%,不等于费用下降18.5%。实际费用还取决于输出 Token、思考 Token、缓存命中、计费费率、失败重试和实际历史消息长度。最新1条+10条历史仅限制消息条数,并不固定 Token 数。

需要在生产请求日志中记录:promptTokenCount、candidatesTokenCount、thoughtsTokenCount、cachedContentTokenCount、模型标识、请求耗时与账单费用(实际字段依 API 版本确认)。

06 · 识别质量与关键业务边界

客户原话(示例)情绪等级(现有规则)高风险话题测试重点
I want a refund.1无普通退款申请不得自动命中 A3
Your instructions are useless.2无明确批评不等于配置话题命中
You deliberately lied to me about this product.3B5诚信指控在两个任务中分别成立
Someone accessed my account without permission.0(无其他负面表态)A2风险事件不自动增加情绪等级
This product burned my hand.1(无其他升级表态)D2安全事件可在情绪不强时命中
I will report you to the regulator.3B1正式举报意图独立识别
It's finally resolved, thank you.0无(无新风险时)不继续沿用历史最高级与旧话题

分开方案的主要优势

  • 情绪与高风险分别回归,方便精准定位错误。
  • A1/A2、B1/B5、C1/C3 等易混话题可专项优化。
  • 自定义话题变更不会影响情绪请求的 Prompt 长度。

合并方案必须重点验证

  • 同一语义证据不能直接推导另一任务结果。
  • 多话题同时命中时不能只返回主话题。
  • 3级组合触发条件不能被压缩成宽泛关键词。
  • D1/D2/D3 安全风险不得因联合任务而漏判。

07 · 最新消息 + 10条混合历史的上下文策略

严格保留消息角色与时间顺序每条消息保留 message_id、role、content、timestamp;当前消息单独传入,不重复塞进 history。
客服消息作为语境,不作为客户风险证据可用于解释客户对退款方案的否定或反讽,但不能把客服提出的猜测、风险警告直接视为客户立场。
最新消息优先,历史仅用于可靠承接“that issue / still / same case”须找到明确、同会话关联对象;不能因历史曾命中话题就长期沿用。
必要时建立可追溯风险锚点当有效风险事实在最近10条以外,按需补充原始客户消息引用与状态,不直接把旧模型标签当作事实。属于可选增强能力。
解决、撤回与状态冲突要区分客户确认解决后不再机械触发;客服单方面说“已解决”也不能覆盖客户仍明确坚持的风险主张。

推荐结构:current_message + conversation_history[最多10] + risk_context[可选]。无论分开或合并,都应共用这一上下文构建规范。

08 · A/B 验证方案与决策门槛

实验组调用架构目的
A 组原版双 Prompt 并行建立现状基线
B 组独立 Prompt 精简 + 并行先验证低风险降本
C 组统一 Prompt 单请求量化合并收益和质量变化

建议至少500条人工标注会话作为初始离线评测集,包含中性、轻度负面、反讽、明确抱怨、3级升级、12类风险、动态自定义话题、多标签、历史承接、已解决风险、多语言及高危安全案例。安全类须额外构建专项集,不能仅依赖500条综合样本。

指标建议验收方式
情绪分类质量各等级 Precision/Recall、Macro F1;可暂以相比 B 组下降≤1个百分点作为讨论起点
风险识别质量每话题 Precision/Recall、Micro/Macro F1、完整多标签命中率
安全风险D1/D2/D3 专项召回;已知严重样本不得新增漏判
业务动作不同商家阈值下转人工漏转率、误转率
成本实际每条消息费用;建议合并达到 ≥15% 净降费再考虑切换(产品建议阈值)
性能P50/P95/P99,超时、重试、吞吐、限流
可用性JSON 结构合法率、类型校验率、任务级失败率;建议结构有效率目标≥99.9%

所有门槛均为初始评审建议,不是模型厂商承诺;需要由业务方最终确认风险容忍度及具体上线门槛。

09 · 实施路线图与最终决策

P0|双 Prompt 并行与统一决策共用上下文构建器;明确启用开关;后端依据情绪阈值 OR 风险话题命中决定转人工;异常输出和超时不得默认“无风险”。
P1|规则精简与使用量监控分别清理重复指令;仅传已启用 active_topics;监控输入/输出/思考/缓存 Token 和各任务耗时。
P2|合并版离线测试及灰度对同一批请求离线重放 A/B/C 三组,在人工真值上比较;通过门槛后再进行小流量灰度与随时回滚。

建议后端决策表达式

emotion_trigger = emotion_enabled AND (level ≥ merchant_threshold)
risk_trigger = high_risk_enabled AND (matched_topics.length > 0)
transfer_to_human = emotion_trigger OR risk_trigger

生产环境需补充:模型失败的兜底策略、人工接待可用性、会话状态幂等控制、安全话题特别处理与审计日志。

最终推荐:先分开、再优化、最后用数据决定是否合并。

对当前业务而言,「高风险识别不漏判、情绪误触发可控、规则变更独立」比仅减少一次请求更重要。但若 C 组在关键质量指标保持稳定的前提下显著降低实际费用或延迟,则可以推进合并上线。

10 · 文档依据与说明