数据技术及产品部-大模型评测专家-LLM方向

岗位职责

1. 与文本大模型算法团队对接，协助理解大模型训练数据的评测体系设计，参与评测数据集构建、体系搭建与持续迭代，产出高质量评测报告

2. 负责大模型训练及评测所需的数据标注任务全流程管理，包括需求拆解、规范制定、任务分发、进度监控及质量验收。

3. 围绕模型智能上限设计评测方案，通过高难度推理、复杂多步任务、长程规划等真实生产力任务检验模型的能力天花板，构建能有效区分模型能力层级的高区分度评测体系。

4. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。

任职要求

1. 硕士及以上学历（学历背景不限），2年+数据标注/评测经验（在大模型公司、文本大模型等相关领域任职经历优先），有2年以上核心数据标注、标注PM或数据运营相关经验优先

2. 对推理、模型能力边界的探索有兴趣，了解主流评测集的设计思路与局限性

3. 较强的跨团队沟通能力，合作界面良好，能与研究、算法团队沟通，将抽象需求准确转化为可落地的评测项目与方案

4. 良好的自驱力和学习能力，主观能动性强，能持续跟踪大模型与评测领域技术进展

岗位标签

NEW