大模型评测实习生-AI数据与安全
字节跳动 查看所有职位
- 北京市
- 培训
- 全职
团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。1、评测体系建设：参与大模型评测的工程基础设施的开发工作，包括评测集的接入、生产、管理，评测对象的链路采样，人评/机评能力建设，评估结果的分析等评测核心能力的开发工作；
2、评测Agent搭建：探索自动评测、高质量评测集构建等前沿评测方法，在评测场景搭建AI Agent，为评测业务提供端到端的高效、自动化的交付能力。职位要求:1、2027届本科及以上学历在读，计算机、人工智能、软件工程等相关专业优先；
2、具备优秀的逻辑思维能力及较强的学习能力，能快速理解复杂Agent逻辑、评测痛点与业务目标，主动思考能力突出，能够积极推进工作；有大模型/LLM/Agent评测、对话系统评估、模型迭代相关经验优先；