Softmax on HJJJ的个人小站https://hjjj.top/tags/softmax/Recent content in Softmax on HJJJ的个人小站Hugoen-usMon, 03 Aug 2026 00:00:00 +0800Softmax 与缩放点积的数学：Attention 背后的概率与数值https://hjjj.top/posts/computer-science/ai-math/softmax-and-scaled-dot-product/Mon, 03 Aug 2026 00:00:00 +0800https://hjjj.top/posts/computer-science/ai-math/softmax-and-scaled-dot-product/Softmax 的定义、梯度与数值稳定性，以及 QK^T 为何要除以 sqrt(d_k)