大模型架构与系统协同设计研究员/工程师
Apply on Moonshot AI's siteTailor my resumePosted
Nov 20, 2026Last verified
1 h agoEmployment
Full-timeLevel
MidFunction
ResearchAI rolePyTorch
岗位介绍
面向下一代大模型,开展模型架构、训练与推理系统及硬件平台的协同设计。结合真实工作负载与硬件特性,在模型效果、训练成本、推理性能和资源效率之间进行权衡,通过性能建模、系统优化与大规模实验,推动创新方案验证及落地。
工作职责
- 跟踪并研究注意力机制、MoE、低精度计算等模型架构及其演进方向,探索架构与系统协同优化机会。
- 从计算、显存、通信、并行效率及硬件适配等维度评估架构方案,识别理论复杂度与实际运行性能之间的差异。
- 围绕训练、推理或 RL 等场景,开展并行策略、Kernel、量化、显存管理及通信等方面的优化。
- 通过性能建模、Profiling、消融实验和大规模验证,评估方案对模型质量、吞吐、延迟、显存占用及成本的端到端收益。
- 与模型、训练、推理等团队协作,推动有效方案从原型验证走向规模化应用。
任职要求
- 深入理解 Transformer 及大模型训练或推理流程,具备扎实的深度学习基础。
- 熟悉 PyTorch 等深度学习框架,具备良好的工程能力。
- 在以下至少一个方向具有深入实践:模型架构、分布式训练、高性能推理、Kernel 性能优化、量化、显存优化或性能建模。
- 能够基于真实吞吐、延迟、显存、通信开销和成本评估模型与系统设计,而非仅关注理论 FLOPs 或单点指标。
- 具备良好的实验设计、问题定位和跨团队沟通能力,能够跨越算法与系统边界推进工作。
加分项
- 具有大规模预训练、后训练、RL 系统或推理部署经验。
- 具有 AI 加速器、异构计算或软硬件协同设计经验。
- 有代表性论文、高质量开源项目,或从原型到生产落地的完整项目经验。
Attention Head lists this role as published on Moonshot AI's own job board. Applications go to the employer.
Similar roles at other employers
- Research Engineer, FinetuningAnthropic · San Francisco, CA | New York City, NY | Seattle, WA$500K–850K
- Researcher, Cyber Safety TrainingOpenAI · San Francisco$380K–500K
- Base Labs Research Scientist - RL EnvironmentsBaseten · San Francisco; New YorkNov 20, 2026
- Research EngineerTuring · Bengaluru, Karnataka, IndiaNov 20, 2026
- Machine Learning ScientistASOS · London, England, United KingdomNov 20, 2026
All mid-level Research roles →
More roles at Moonshot AI
- Nov 4, 2026
- Nov 2, 2026
- Oct 20, 2026
- Sep 18, 2026
- Sep 18, 2026
- Sep 18, 2026
- Sep 4, 2026
- Sep 1, 2026