大语言模型架构研究员(预训练方向)
Open 21 months. Roles open this long are often filled, or kept open all year. Check the date on the employer's site before you apply.
职位描述:
1. 深度参与LLM的模型结构,包括MLP以及attention 模块改进,以及训练方法的设计,包括模型并行策略优化,优化算法改进,量化算法改进,目标损失函数改进等方向,目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平
2. 深入调研如何设计科学的实验,利用scaling law验证模型设计,获取从头开始,端到端的大模型训练经验。
3. 良好的团队氛围,扁平化的沟通和管理,丰富的算力和计算资源。
职位要求:
1. 本科及以上学历,计算机、人工智能、自动化、数学专业优先
2. 扎实的编程基础,对数据结构、算法设计基础有深度了解,熟练使用pytorch或其他深度学习框架。
3. 有深度学习训练丰富实操以及参数调优经验。
4. 有LLM模型训练经验者优先
5. 有高性能计算经验者优先,有triton,cuda 等gpu kernel 编码经验优先
6. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先
7. 在顶级学术会议上发表论文者优先,在机器学习、人工智能领域内获得过优异成绩者优先
8 责任心强,积极主动,有良好的沟通和合作能力
Attention Head lists this role as published on Moonshot AI's own job board. Applications go to the employer.
Similar roles at other employers
- Applied Scientist, OpenSearch ShanghaiAmazon · Shanghai, CHNNov 12, 2026
- 具身智能研究员_CRBosch Group · Shanghai, Shanghai, ChinaAug 26, 2026
- Generative AI - 3D Foundation ModelMeshy LLC · Shanghai; Beijing; ShenzhenMar 20, 2026
- Quantitative Researcher - Experienced Hires (CHINA)Trexquant Investment · Beijing, Beijing, ChinaMar 11, 2026
- AI ResearcherOptiver · Shanghai, ChinaOct 24, 2025
All mid-level Research roles in China →
More roles at Moonshot AI
- Nov 20, 2026
- Nov 4, 2026
- Nov 2, 2026
- Oct 20, 2026
- Sep 18, 2026
- Sep 18, 2026
- Sep 18, 2026
- Sep 4, 2026