Llm

前言 2018 年 6 月，OpenAI 发布了首个基于 Transformer 架构的语言模型 GPT（Generative Pre-trained Transformer），标志着大语言模型（Large Language Models, LLM）时代的到来。 笔者接触 LLM 的时间很晚。笔者第一次了解到人工智能技术大约是在 2020 年，了解的是 Siri——一款 Apple 公司推出的智能语音助手。那时，笔者对人工智能的认知还停留在语音识别和图像识别这类传统的、基于规则或特定任务的 AI 技术上。 直到 2023 年，ChatGPT 的出现彻底打破了这种刻板印象。它不再是那种只会回答"对不起，我没听懂"的死板程序，而是展现出了令人惊叹的上下文理解与生成能力。直至 2024 年，LLM 已经跃升为人工智能领域的核心基础设施，并在自然语言处理、代码生成、知识问答等多个领域展现出强大的降维打击能力。 彼时，笔者第一次尝试使用 ChatGPT 进行代码生成，切身体验了 LLM 在编程辅助方面的巨大潜力。通过与 ChatGPT 的自然语言交互，笔者能够快速生成复杂的代码片段、精准调试报错程序。即使是面对晦涩的算法问题，它也能像一位不知疲倦的资深工程师一样，提供详细的逻辑拆解和替代方案。这种革命性的交互式编程体验，让笔者深刻认识到：我们正在经历一场软件工程范式的重构。 9.11 > 9.9 ?? 在大家惊叹于 LLM 无所不能的同时，也发生了一些令人啼笑皆非的"降智"事件。当时引发群众广泛讨论的一个有趣话题是：为什么询问 ChatGPT"9.11 和 9.9 哪个更大"时，它的回答往往是 9.11 更大？ 人们尝试用不同的语气提问，甚至切换不同的语言，但早期的 LLM 几乎都会掉进这个陷阱。这一现象虽然看似荒诞，但却完美暴露了 LLM 底层运行逻辑的一个核心特征：它是一个"文字接龙"的高手，而不是一个内置了计算器的数学天才。 造成这个现象的原因主要有两个： 分词机制（Tokenization）：LLM 看待世界的方式不是单个字母，而是"词元（Token）"。在切分 9.11 时，它可能会将其视为 9、.、11。在语言模型的潜意识里，整数 11 显然大于 9。 语料库的语义偏差：在人类互联网的海量文本中，带小数点的数字经常被用作"软件版本号"。从版本迭代的逻辑来看，v9.11 确实是 v9.9 之后发布的新版本。 这个经典的错觉引发了学术界和工业界对 LLM 逻辑推理边界的深刻反思，也成为了推动模型向"深度思考"和"强化学习"演进的催化剂。这让我们不禁要问：这些看起来像人的机器，到底是由什么构成的？ ...

前言 笔者今天在处理一批 PDF 文档时，使用了 pyMuPDF 库来提取文本和表格。今天在查阅相关文档时无意间发现了一个名为 pymupdf4llm 的库，它是基于 pyMuPDF 的一个扩展，专门针对将 PDF 内容转换为适合 LLM 输入的 Markdown 格式进行了优化。这个库不仅能提取文本，还能识别表格和图片，并将它们以 Markdown 语法的形式输出，非常适合我们在 RAG 流水线中使用。在这篇文章中，我们先重点关注下pyMuPDF的基本使用。 关于 PyMuPDF PyMuPDF 是一个功能强大的 Python 库，用于处理 PDF、XPS、OpenXPS、CBZ 和 EPUB 等文档格式。它提供了丰富的 API 来提取文本、图像、表格等内容，并支持对文档进行修改和注释。PyMuPDF 的核心优势在于其高效的解析能力和对复杂文档结构的良好支持，使得它成为处理 PDF 文档的首选工具之一。 安装 在 Python 环境中安装 PyMuPDF 非常简单： bash Copy pip install --upgrade pymupdf PyMuPDF 基础功能 1. 打开文档 python Copy import fitz # PyMuPDF 的别名 doc = fitz.open("example.pdf") # 打开 PDF 文档（路径填写相对路径或者绝对路径） print(f"文档页数: {doc.page_count}") 这里，doc 是一个 Document 对象，表示打开的 PDF 文档。你可以通过 doc.page_count 获取文档的总页数。如果你查看 doc 对象的类型，你会发现它是一个 Document 类的实例。 ...