Vector

前言 这是"线性代数基础"专栏的第一篇。这个专栏的目的很明确：补齐看懂本站进阶数学文章所需的基础。读完本文（以及后续两篇），你应该能顺畅读懂《矩阵微积分如何服务反向传播》和《Softmax 与缩放点积的数学》。 我们从一个最朴素的问题开始：什么是向量？ 它为什么值得花一整篇来讨论？ 向量：从几何到坐标 向量有两种看待方式，二者等价，互为补充： 几何视角：向量是空间中带方向和长度的箭头。它表示"从一点移动到另一点"。 代数视角：向量是 $\mathbb{R}^n$ 中的一个有序数组，如 $v = (v_1, v_2, \dots, v_n)$。其中 $n$ 是维度。 在深度学习中，我们几乎总是用数组（张量）表示向量：一个词嵌入是几百维的向量，一张图片展开后是几万维的向量。几何直觉在低维（2D/3D）依然成立，只是"看不见"，但公式可以推广到任意维度。 向量的基本运算 对向量 $u, v$ 和标量 $c$： 加法：$(u + v)_i = u_i + v_i$。几何上就是"首尾相接"（平行四边形法则）。 数乘：$(cv)_i = c v_i$。几何上是把箭头拉伸（$|c| > 1$）或压缩（$|c| < 1$），$c < 0$ 时反向。 这两个运算非常重要，因为"对加法和数乘封闭"正是下一篇文章里"向量空间"定义的核心。 点积与范数 点积（内积） 两个 $n$ 维向量 $a$、$b$ 的点积定义为对应分量乘积之和： $$ a \cdot b = \sum_{i=1}^{n} a_i b_i $$它的几何形式揭示了本质： $$ a \cdot b = \|a\| \|b\| \cos\theta $$其中 $\theta$ 是两个向量之间的夹角，$\|a\|$ 是 $a$ 的模长（范数）。也就是说，点积同时度量了两个向量的长度和方向一致性：夹角越小，点积越大。 ...