识别 Slackbot 回复中的“幻觉”

Slackbot 提供支持的大语言模型 (LLM) 有时会生成与事实相悖或在对话上下文中不合理的回复。这类被称为幻觉的回复,通常听起来很合理,且语气十分肯定。

请继续阅读,进一步了解如何识别幻觉、规避幻觉,以及如何向 Slack 报告疑似幻觉的内容。

注意:在依据 AI 生成的回复做决策或分享给他人之前,务必审慎核查并亲自验证信息,这一点非常重要。


如何识别幻觉

Slack 中的 AI 回复仅包含你有权访问的信息(例如你所属的公共频道和私人频道中的信息,以及你的私信)。因此,如果你看到不熟悉的信息,有可能是幻觉。


Slack 可检测到的幻觉

以下是我们可在 Slackbot 回复中识别并标记的幻觉类型: 

  • 文件和消息
    ,链接指向已失效的文件和消息,这些内容在你的 Slack 工作区或企业组织中已不存在。
  • 人员和频道
    ,对不存在的人员或频道的引用。

当我们检测到上述任一幻觉类型时,链接、频道名称或人员将被替换为链接未找到频道未找到用户未找到标签。如果你在回复中看到已标记的幻觉,应仔细审阅完整回复,以确认准确性。 


遇到 Slackbot 幻觉时该怎么做

Slackbot 经过训练,以尽可能生成有实际帮助的回复,但在某些情况下,它会因信息或上下文不足而无法生成高质量的回复。如果 Slackbot 反馈“我不知道”或“我没有充足信息来回答该问题”,并且你在没有提供新指令的情况下让它重新回答,它可能会开始编造信息来提供令你满意的答案。 

你可以利用这些小窍门核实 Slackbot 向你发送的信息,或者在它无法正确回答时帮它回归正轨:

  • 再次向 Slackbot 提问
    开启新的对话,向 Slackbot 提出同一问题,看看新回复是否与原始回复一致。 
  • 精简对话内容
    如果你已在同一对话中发送多条消息,不妨开启新的讨论,以降低 Slackbot 因先前回复而产生混淆的风险。 
  • 提供具体来源
    与其说“在其他地方查找更多信息”,不如试着说“这些不是我想要的频道,请使用 #频道-名称和 #频道-名称。你也可以查找来自 @人员的消息。”


报告幻觉

如果你所在的工作区或组织已启用 AI 回复反馈提交功能,你可以报告含有幻觉信息的回复。这些报告将帮助我们识别问题模式并改进 Slackbot。方法如下:

  1. 在 Slackbot 回复中,单击   大拇指朝下按钮
  2. 勾选你要报告的问题旁的复选框,如有需要,你也可以附上对话中的消息。作为报告的一部分,我们始终会收到你发送给 Slackbot 的最后一条消息。 
  3. 单击发送