Token Foundary-大模型蒸馏及推理加速专家/高级专家-未来生活实验室

岗位职责

1. 算法研发：负责模型蒸馏、量化、剪枝及稀疏化技术的研究与实现，提升大模型在推理端的效率。
2. 知识迁移：设计高效蒸馏方案，将千亿级模型能力迁移至轻量化模型，确保精度损失最小化。
3. 性能优化：针对 GPU、NPU进行全栈推理加速，优化算子执行逻辑，降低延迟并提升吞吐量。
4. 工具链开发：参与开发模型转换、自动压缩及加速工具链。

任职要求

1. 背景：计算机、数学等相关专业硕博学历，3 年以上模型压缩或推理加速经验。
2. 核心能力（具备其一即可）：

蒸馏方向：精通知识蒸馏、模型训练策略及轻量化网络设计。

加速方向：精通模型量化、剪枝技术，熟悉硬件架构及其加速原理。 3. 技术栈：

熟练掌握 PyTorch/TensorFlow，熟悉主流推理框架（如 TensorRT, vLLM, DeepSpeed 等）。

了解主流硬件加速技术（CUDA/Triton/ARM 等），有嵌入式或边缘侧优化经验者优先。 4. 素质：具备优秀的性能瓶颈分析能力，能针对复杂模型给出确定的优化方案。 5. 软素质：具备跨团队协作能力，能在复杂不确定的业务场景中拆解目标并推动闭环。