Nlp

前言 2018 年 6 月，OpenAI 发布了首个基于 Transformer 架构的语言模型 GPT（Generative Pre-trained Transformer），标志着大语言模型（Large Language Models, LLM）时代的到来。 笔者接触 LLM 的时间很晚。笔者第一次了解到人工智能技术大约是在 2020 年，了解的是 Siri——一款 Apple 公司推出的智能语音助手。那时，笔者对人工智能的认知还停留在语音识别和图像识别这类传统的、基于规则或特定任务的 AI 技术上。 直到 2023 年，ChatGPT 的出现彻底打破了这种刻板印象。它不再是那种只会回答"对不起，我没听懂"的死板程序，而是展现出了令人惊叹的上下文理解与生成能力。直至 2024 年，LLM 已经跃升为人工智能领域的核心基础设施，并在自然语言处理、代码生成、知识问答等多个领域展现出强大的降维打击能力。 彼时，笔者第一次尝试使用 ChatGPT 进行代码生成，切身体验了 LLM 在编程辅助方面的巨大潜力。通过与 ChatGPT 的自然语言交互，笔者能够快速生成复杂的代码片段、精准调试报错程序。即使是面对晦涩的算法问题，它也能像一位不知疲倦的资深工程师一样，提供详细的逻辑拆解和替代方案。这种革命性的交互式编程体验，让笔者深刻认识到：我们正在经历一场软件工程范式的重构。 9.11 > 9.9 ?? 在大家惊叹于 LLM 无所不能的同时，也发生了一些令人啼笑皆非的"降智"事件。当时引发群众广泛讨论的一个有趣话题是：为什么询问 ChatGPT"9.11 和 9.9 哪个更大"时，它的回答往往是 9.11 更大？ 人们尝试用不同的语气提问，甚至切换不同的语言，但早期的 LLM 几乎都会掉进这个陷阱。这一现象虽然看似荒诞，但却完美暴露了 LLM 底层运行逻辑的一个核心特征：它是一个"文字接龙"的高手，而不是一个内置了计算器的数学天才。 造成这个现象的原因主要有两个： 分词机制（Tokenization）：LLM 看待世界的方式不是单个字母，而是"词元（Token）"。在切分 9.11 时，它可能会将其视为 9、.、11。在语言模型的潜意识里，整数 11 显然大于 9。 语料库的语义偏差：在人类互联网的海量文本中，带小数点的数字经常被用作"软件版本号"。从版本迭代的逻辑来看，v9.11 确实是 v9.9 之后发布的新版本。 这个经典的错觉引发了学术界和工业界对 LLM 逻辑推理边界的深刻反思，也成为了推动模型向"深度思考"和"强化学习"演进的催化剂。这让我们不禁要问：这些看起来像人的机器，到底是由什么构成的？ ...