晓天衡宇-大模型标注评测工程师-系统底层方向

岗位职责

1. 验收系统底层方向 AI Coding 数据质量 — 对底层 bug-fix、性能优化、内存/并发问题修复、嵌入式功能开发等任务数据进行质量验收，核查任务设计的真实性、难度合理性与工程场景还原度。
2. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐;
3. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性;
4. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率;
5. 探索更科学的评测指标、更高效的评测和标注方法。

任职要求

1. 有真实系统底层或高性能开发经验 — 熟练使用 C、C++、Rust 等语言，了解操作系统、内存管理、并发编程、编译链路等底层核心知识。
2. 具备代码审阅与质量判断能力 — 能读懂底层代码，判断实现正确性、内存安全、并发与性能问题，识别似是而非的错误答案。
3. 熟悉底层工程协作与调试工具 — 理解 GDB/LLDB 调试、perf/Valgrind 性能与内存分析、CMake/Makefile 构建、系统日志与崩溃分析等工程实践。
4. 具备结构化表达与标准化能力 — 能把质检问题清晰描述为缺陷类型、判定依据、影响范围与整改建议，并沉淀为可复用的验收标准。 5.深刻理解模型能力发展脉络，能预判下一阶段的标注和评测重点；熟悉从基础能力到复杂能力的演进路径。 6.理解训练数据的分布和特点，能设计针对性的评测来检验数据效果；具备反作弊意识，能识别模型是""真懂""还是""背题""。 加分项 • 参与过大模型（LLM）数据项目标注/评测/质检 / 验收工作

岗位标签

NEW