岗位详情
岗位描述
- 解决视频生成模型/世界模型推理性能优化问题，包括高性能推理优化和低成本部署优化等方向。 1. 针对自回归/扩散视频生成模型推理时延高、计算成本大的痛点，希望通过投机采样能够快速生成低质量视频帧，减少部分计算开销，同时希望能够在扩散模型多次迭代去噪间和自回归模型推理块之间能够优化KV-Cache复用机制，减少重复计算和降低实时视频推理延迟； 2. 目前视频模型部署成本较高，无法满足消费级硬件的实时推理需求，希望通过蒸馏、量化、稀疏与显存优化技术等，打破视频生成对高端算力的依赖，在保证一定的视频生成质量的前提下，实现在消费级显卡上的低成本、实时化部署，显著降低落地门槛与总拥有成本；
岗位要求
- 1、熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力； 2、熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm等，具备语言、多模态模型大规模部署和优化经验； 3、熟悉并行策略，如数据并行、流水线并行等，熟悉NVLINK、GPU RDMA通信者优先； 4、熟悉各类深度学习网络和算子底层实现细节，有实操经验优先； 5、熟悉主流开源模型及其架构特点，具备针对不同模型进行分析优化的能力优先； 6、具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先。