标签 > Scaling Laws：给定一笔算力预算，模型该造多大、数据该喂多少？

Scaling Laws（缩放定律）核心就是回答：总训练算力 C 固定时，参数 N 做多大、训练 token D 喂多少，才能让预训练损失最低、效果