数据技术及产品部-多模态生成大模型评测专家-杭州/北京

岗位职责

1. 主导面向文生图/文生视频等多模态生成场景评测体系设计，定义核心能力维度，将模型生成能力转化为可量化指标。
2. 设计覆盖文生视频、图生视频、多模态条件生成、创意内容生成等真实场景的评测任务，覆盖写实、艺术风格、特效、动画等多种方向。
3. 主导基座模型评测方案的设计与执行，包括 Arena 对战评测（ELO 排名）、GSB（Good/Same/Bad）对比评测、MOS（Mean Opinion Score）主观质量评分等，确保评测方法的统计显著性与结果可信度。
4. 深入创作者社区收集反馈与失败案例，对 Bad Case 做分类与归因形成产品问题清单。
5. 建立评测数据质量管控与版本管理机制，定期更新评测集以覆盖新创意方向与产品功能。
6. 与产品、设计、算法团队紧密协作，在新模型上线前完成评测，提供数据驱动的优先级建议。

任职要求

1. 对多模态生成模型有深入理解和创作者视角，能清晰阐述"什么是好的多模态生成能力"并转化为可量化评测维度。
2. 具备基座模型评测的实际经验，熟悉 Arena 对战评测、GSB 打分、MOS 主观评分等主流评测方法论，理解 ELO 排名、置信区间、评审者一致性等统计原理。
3. 具备从零设计评测体系的经验，理解评测在区分度、代表性、生态效度方面的设计权衡。
4. 2 年以上 AIGC 产品（文生视频、图生视频、文/图生图等）的评测、体验或产品相关经验。
5. 对多模态生成技术有基本认知，能与算法团队进行有效的技术沟通。
6. 良好的审美能力与内容品味，能从美学、构图、色彩、运动、镜头语言等维度评估生成质量。
7. 熟练掌握 Python，有评测工具或平台开发经验，熟悉前端或主流可视化工具者优先。 加分项
8. 有 Seedance、Sora、Runway、可灵、Seedance 等主流生成产品的深度使用与体验分析经历。
9. 具备美术、设计、影视、动画或游戏开发背景，对创意内容有深刻理解。
10. 有用户研究、创作者访谈或社区运营经验。
11. 有视频编辑、3D 建模、特效制作等创作工具的使用经验。

岗位标签

NEW