Published on

AI整理的信息，可以相信到什么程度？幻觉防范法

您是否有过将AI生成的文本直接发给学生，事后才发现其中包含不准确信息的经历？AI会自信地将错误信息说成事实。这种现象被称为"幻觉（hallucination）"。要在教育现场负责任地使用AI，就需要了解幻觉是什么、为何发生，以及如何防范。本文为教师和教育工作者提供实用的AI事实核查指南。

目录

  1. 什么是幻觉
  2. 在什么情况下容易发生
  3. 各AI工具的幻觉特性
  4. 5种实用验证方法
  5. 教育现场应用原则

什么是幻觉

技术定义

幻觉是AI语言模型生成与事实不符内容的现象。AI不是说"我不知道"，而是编造听起来合理的内容。这种现象之所以成问题，是因为AI在出错时也用确信的语气说话。明明是错误信息，听起来却像是正确的。

AI为什么会编造内容

AI语言模型通过预测下一个最有可能的词来运作。如果训练数据中没有某个问题的准确信息，AI就会用最有可能的模式编造答案。就像在考试中不会的题目编写一个听起来合理的答案一样。

在教育现场的危险性

  • 教师未经核实就在课堂上使用AI生成的历史事实、统计数据、法律内容
  • 学生直接将AI建议的参考文献引用到论文中（有时会编造不存在的论文）
  • AI生成的教育材料中的错误给学生留下错误概念

在什么情况下容易发生

高风险情况

有些类型的问题特别容易引发幻觉。

  • 具体数字请求："2024年OECD教育指标中韩国每位教师的学生人数是多少？"
  • 特定论文·书籍引用请求："约翰·杜威的Experience and Education第3章中的核心引语是什么？"
  • 最新信息请求：训练数据截止日期后的事件或统计
  • 少见事实请求：关于不太知名的地区、人物、研究的信息
  • 多重条件叠加的问题："2023年京畿道教育厅发布的AI教育指导方针5个条款"

相对安全的情况

反之，幻觉较少的情况也有。

  • 解释知名概念或一般原则的请求
  • 像NotebookLM那样基于上传的来源进行回答的环境
  • 生成结构或格式（待办事项列表、大纲、模板）

各AI工具的幻觉特性

ChatGPT（GPT系列）

  • 在需要事实核查的具体信息上有一定幻觉频率
  • 启用网络搜索功能（Browsing）后，最新信息的准确度提高
  • 请求参考文献时可能编造不存在的论文（尤其需要注意）

Gemini

  • 可与Google搜索联动，最新信息的准确度相对较高
  • 引用搜索结果回答时提供来源链接，便于核查
  • 但不使用搜索直接生成的情况下，存在同样的风险

NotebookLM

  • 设计为不生成上传来源之外的信息，幻觉风险最低
  • 但仍可能发生误读或错误摘要来源内容的错误
  • 若来源本身包含错误信息，AI也会给出错误答案

5种实用验证方法

方法1：直接确认来源

AI提供的统计、引用、事实必须在原文中直接确认。使用NotebookLM时，养成点击引用编号跳转到来源相应位置的习惯。

实践日常：AI回答中出现数字或引用时，立即打开原文链接或来源，在2~3分钟内确认

方法2：交叉验证

在两个以上独立来源中确认同一信息。

  1. 向AI请求信息
  2. 在Google Scholar或权威机构网站上搜索同一内容
  3. 对比两个结果是否一致

方法3：请求AI表达不确定性

在提示词中明确写上"如果有不确定的部分，请务必标注"。

"回答时，不确定的信息请标注'需要确认'"

方法4：反问技法

为了验证AI提供的信息，以反方向向同一AI提问。

  • 如果AI说"A是B"→ 问"A不是B的情况存在吗？"
  • 通过这种方式，AI有时会自己暴露之前说过的话的错误。

方法5：用NotebookLM进行事实核查

将权威原文资料上传到NotebookLM，用于核查其他AI生成的内容。

  1. 将教育部官方发布资料或学术论文上传到NotebookLM
  2. "ChatGPT如下说，这与来源内容一致吗？：[粘贴AI回答]"

教育现场应用原则

教师的AI使用守则

  1. 生成教学材料时：AI初稿→教师审查→修改后使用。不原样使用初稿。
  2. 包含事实信息时：数字、年份、人名、法律必须确认原文后使用。
  3. 发布给学生前：标注是AI生成资料，并与学生一起将事实核查过程用作课程。

学生指导方法

将AI幻觉问题用作课程素材。让学生对比AI生成的文本与原文，寻找错误的活动，是培养批判性思维和媒体素养的出色教育材料。

课程创意：让学生向ChatGPT询问历史事实，与教科书对比找出错误的活动

AI工具选择标准

任务重要性越高，选择幻觉风险越低的工具。

任务重要性推荐工具
高（官方文件、教学材料）NotebookLM（基于原文来源）+ 手动验证
中（探索想法、初稿）Gemini（搜索联动）+ 核心事实确认
低（格式、结构、模板）ChatGPT、Gemini自由使用

使用AI现在已不是选择，而是必须。但善用AI和盲目相信AI是不同的。了解幻觉风险并养成核查习惯的教师，能够更有力、更安全地使用AI。

在课堂中使用AI生成信息时，您经历过什么核查过程？如果有因AI幻觉而陷入困境的实际经历，请在评论中分享。我们可以一起寻找应对方法。

更多相关文章

Discuss on Twitter • View on GitHub
AI整理的信息，可以相信到什么程度？幻觉防范法 | MINSSAM.COM