This page collects my long-form notes on mechanistic interpretability, deep learning theory, optimization, and scaling laws. If you are new here, start from the latest posts below. Most posts are written in Chinese; English translations are collected on the English blog page.
-
如何搭建一个科学的 Scaling Ladder
从工程与实验设计视角梳理 Scaling Ladder 的搭建方法：涵盖评价协议、测量口径、Dense 与 MoE 缩放规则、实验矩阵、超参搜索、数据配比与多 epoch 重复、Loss Scaling Law 拟合、下游任务预测及外推验证，综合 Chinchilla、DeepSeek、StepFun、Cerebras、Llama 3、Delphi 等公开文献。
-
当代知识分子是否仍有责任参与公共治理
从古希腊城邦到中国士大夫传统，再到后现代对宏大叙事的解构，追问知识分子介入公共治理的授权究竟从何而来。本文记录我推翻自己最初预设的过程，并尝试在没有形而上学地基的前提下，给出一种承认偶然性却依然选择承担的介入姿态。
-
预训练与 scaling：一种通用方法论
把预训练与 scaling 看作一种跨领域的方法论：从数据中学习世界知识，在不同规模上检验改进，并用效率、稳定性和预测指导训练。
-
Hyperball、effective lr 与峰值加衰减的形状
探讨预训练学习率调度的两个核心问题：优化器实际调节的有效学习率由权重范数动态决定，Hyperball 通过约束权重范数消除该隐式调度；峰值加衰减形状对应偏差与方差权衡的最优解，满足该平衡的形状构成一个集合，不限于特定的解析形式。
-
本科两年，我最深的感悟：认知复利
很多人习惯用当下的有限认知做长远的线性规划，容易陷入短期付出看不到回报的焦虑。本文结合我本科两年的经历，聊聊关于「认知复利」的思考：保持公开输出、融入高密度环境、高频迭代认知，如何在长期带来非线性的成长反馈。