LLM预训练算法实习生（数据与Scaling Law方向）-基模
米哈游 · 转正未明
面议
工作城市 上海学历 博士 / 硕士岗位类型 实习实习分类 暑期未明确转正
内容来自「米哈游实习招聘」官方招聘页面 · 采集于 2026-11-09
岗位详情
岗位描述
- 你将深入探索大模型训练中“数据-模型-算力”的核心关系，致力于揭示数据学习的底层物理规律。具体工作内容包括： 1. 数据学习效率机制研究 • 探索数据分布、数据密度与模型学习效果之间的映射关系，研究这一规律随模型规模（Model Size）及网络结构（Architecture）变化的演变趋势； • 设计量化指标，精准度量训练数据中不同部分的状态（如 Under-learned vs. Over-learned），并基于此探索相关的 Scaling Law，指导数据配比优化； 2. 数据效用度量与预测 • 构建数据总效用的评估体系，探索如何预测一份数据整体的潜在学习收益； • 研究模型训练动力学，判断训练特定阶段的数据效用饱和点（Saturation Point），评估继续训练的边际收益（ROI），为训练停止或数据切换提供理论依据。
岗位要求
- • 计算机、数学、物理或相关专业硕士/博士在读； • 熟练掌握 Python 及 PyTorch/JAX 等深度学习框架； • 深刻理解学习机制： 对深度学习模型的内在学习机制有过深入研究，熟悉 "Physics of Language Models" 系列的研究思路，具备较强的理论分析或数学建模能力； • Scaling Law 研究经验： 对模型 Scaling 规律有过系统性研究，熟悉各种形式的 Scaling Law（如 Data-Compute-Parameter 之间的权衡），并有相关实验验证经验。