晓天衡宇-大模型评测工程师-Coding评测专家

岗位职责

角色定位：负责Code 方向评测集的设计与构建，覆盖代码补全、函数生成、Bug 修复、代码翻译、单元测试生成等场景。 核心职责： 1.设计代码评测任务体系，覆盖不同语言(Python/Java/TypeScript/Go等）、不同难度梯度、不同任务类型 2.设计自动化评判标准(pass@k、功能正确性、代码质量指标等） 3.构建对抗性用例(edge case、misleading context、ambiguousspecification)以检测模型鲁棒性

任职要求

1.3年以上软件开发经验，至少精通2-3门主流编程语言 2.具备编写高覆盖率测试用例的能力，理解edge case 设计方法论 3.了解LLM代码生成的典型失败模式（如幻觉API、逻辑缺陷、安全漏洞等）

岗位标签

NEW