推理模型

大语言模型

通过海量文本训练、能按概率逐词生成文本的深度神经网络模型，是 ChatGPT 等产品的基础技术。

Token

大模型处理文本的最小单位，一个汉字或半个英文单词约为一个 Token；API 按(Token)数量计费。

提示词

发送给大模型的指令文本，其质量直接决定输出质量；提示词工程即研究如何写好指令。

幻觉

大模型生成看似通顺但与事实不符内容的现象；常见于具体文献、数据与日期，必须人工核验。

上下文窗口

模型一次能参考的文本量上限（以 Token 计）；超出部分无法被同时参考。

检索增强生成

先从知识库检索相关资料，再让模型依据资料作答，可显著降低幻觉。