Large Language Models: 改变世界的语言革命
前言 2018 年 6 月，OpenAI 发布了首个基于 Transformer 架构的语言模型 GPT（Generative Pre-trained Transformer），标志着大语言模型（Large Language Models, LLM）时代的到来。 笔者接触 LLM 的时间很晚。笔者第一次了解到人工智能技术大约是在 2020 年，了解的是 Siri——一款 Apple 公司推出的智能 …
Read More
HJJJ
Undergraduate Computer Science sophomore at HKU
解析代码的正确姿势：Tree-sitter 的原理和实践
前言 如果你用过 GitHub Copilot、ChatGPT 或者其他 AI 编程助手，你可能会注意到它们在理解代码结构和语法方面表现得非常出色。这背后有一个关键技术—— Tree-sitter 。本文将深入探讨 Tree-sitter 的原理、它在 AI Agent 时代的不可替代性，以及如何在 Python 和 C++ 项目中构建一套代码解析流水线。 什么是 Tree-sitter？ 简单来 …
Read More状态机——Agent 的行为骨架
前言 做 Agent 开发时，最让工程师头疼的问题往往不是底层大模型（LLM）不够聪明，而是 Agent 的行为难以可控。在真实的业务场景中，用户的一句话可能隐含多种意图，或者意图非常模糊。这就要求 Agent 必须学会在不同的"对话阶段"之间灵活切换——从最初的寒暄问候，到多轮的信息收集，再到决定调用外部工具，最后与用户确认并结束对话。 如果仅仅依靠 Prompt 让大模型自主决定下一步该做什么 …
Read MorePyMuPDF 使用指南：PDF 处理神器
前言 笔者今天在处理一批 PDF 文档时，使用了 pyMuPDF 库来提取文本和表格。今天在查阅相关文档时无意间发现了一个名为 pymupdf4llm 的库，它是基于 pyMuPDF 的一个扩展，专门针对将 PDF 内容转换为适合 LLM 输入的 Markdown 格式进行了优化。这个库不仅能提取文本，还能识别表格和图片，并将它们以 Markdown 语法的形式输出，非常适合我们在 RAG 流水线 …
Read More什么是机器学习和深度学习——从规则到数据的范式转移
前言 欢迎来到 Deep Learning 专栏。我们假设你修过一门传统机器学习课程（比如 HKU 的 COMP3314），或者对 ML 有基本了解；你也可能已经装过 PyTorch、跑通过几个示例项目，但对背后的数学原理还没有清晰的理解。这个专栏的目标是：从零开始，系统地拆解深度学习的核心概念和算法，让你不仅"能用"，还能"懂"。 传统机器学习 想象一下我们小时候，父母是怎么教我们认识世界的。当 …
Read More深度学习从拆箱开始——序言
为什么要写这个专栏 笔者在上学期学习了COMP3314, 一门传统机器学习课程。然而，传统机器学习在特征提取和模型设计上都需要大量的人工干预，难以适应复杂的现实世界数据。相比之下，深度学习通过多层神经网络自动学习数据的特征表示，在图像识别、自然语言处理等领域取得了革命性的突破。这个专栏旨在记录笔者从零开始学习深度学习的过程，分享理论推导和实战经验，希望能帮助同样对深度学习感兴趣的读者快速入门并深入 …
Read More使用 GitHub Actions 将 Hugo 博客自动部署到远程服务器
前言 假如你经常更新博客内容，每次写完文章后还要手动登录服务器执行 rsync 命令来部署，就显得非常麻烦了。更理想的情况是：每次 push 代码到 GitHub 后，GitHub Actions 自动帮我们构建 Hugo 站点并同步到服务器上，这样我们就可以专注于写作，而不必担心部署细节。 什么是 GitHub Actions GitHub Actions 是 GitHub 提供的一套 …
Read More初见
前言 大家好，这里是 HJJJ。 想必作为一个 CS 学生，搭建一个个人博客是必经之路。然而由于本人先前的懒惰，一直没有探索这个领域。直到最近，突然发现自己已经学了不少东西了，而有些学到的东西由于缺少实际应用，已经快要忘记了——于是我决定搭建一个个人博客，用来记录学习过程和心得体会。 什么是网站？ 网站是由一系列通过超链接相互关联的网页组成的集合，通过域名访问，并托管在一个或多个服务器上。服务器负 …
Read More