南京·栖霞区
职位详情
岗位职责：
（一）端侧大模型推理优化与部署
负责大模型在边缘设备（车载终端、IoT设备、机器人、边缘网关等）的轻量化改造，运用INT4/INT8低比特量化、剪枝、稀疏化、知识蒸馏等技术，降低模型算力、内存与功耗占用。
基于TensorRT-LLM、MNN-LLM、llama.cpp、ONNXRuntime等框架做二次开发与定制，适配高通、联发科、海思、NVIDIAJetson等芯片的NPU/GPU/CPU特性，开发定制化算子与融合策略。
优化端侧推理性能，通过投机推理、FlashAttention、KVCache高效管理、多线程并发调度等技术，保障模型实时响应（如车载场景毫秒级推理、IoT设备低延迟交互）。
解决端侧推理中的兼容性问题，处理异构硬件协同调度、内存碎片化等核心难点。
（二）端侧Agent系统构建与优化
设计并开发边缘场景AIAgent运行框架，涵盖感知解析、任务规划、工具调用、短期/长期记忆管理等核心模块，支持设备自主决策与场景化交互。
构建多Agent协同机制与任务编排逻辑，解决边缘多设备联动、多任务并行的资源冲突问题，实现Agent会话状态持久化与断线恢复。
优化Agent端侧运行效率，通过上下文精简、轻量化决策算法、动态资源调度等技术，平衡自主决策能力与边缘设备资源限制。
集成端侧多模态交互能力（ASR/TTS、视觉识别、传感器数据解析），实现语音、图像、环境数据等多源输入的智能响应与任务执行。
（三）端侧RAG技术落地与调优
搭建适配边缘设备的轻量化RAG系统，负责本地知识库的分片存储、增量更新与版本管理，支持文本、结构化传感器数据等多类型知识的高效管理。
选型并适配端侧轻量级向量数据库（如Qdrant轻量版、FAISS嵌入式版、ChromaEdge），设计高效向量索引结构，优化检索延迟与命中率。
协同端侧大模型与RAG链路，通过prompt工程、检索结果重排序、生成内容过滤等技术，提升问答准确性与知识时效性，弥补模型上下文不足问题。
开发知识库安全管控机制，包含数据加密存储、权限分级、噪声过滤与错误知识校验，保障端侧数据安全与RAG输出可靠性。
（四）端侧MCP服务开发与适配
基于模型上下文协议（MCP）开发端侧MCP服务器，实现边缘设备传感器、执行器、第三方工具的标准化注册、发现与管理，抽象为结构化接口供大模型/Agent调用。
适配多传输协议（HTTP/SSE/stdio）与数据规范（JSON-RPC2.0），优化端侧设备与大模型的低开销通信，控制通信抖动低于100µs，保障断线重连稳定性（5分钟内无需重新握手）。
构建MCP服务安全体系，通过OPA策略实现基于角色的访问控制（RBAC），搭配TLS1.3加密与调用日志审计，防止硬件工具非法调用与数据泄露。
适配边缘异构硬件，通过libiio、libgpiod、SPI/I2C等接口实现MCP服务器与硬件的底层交互，支持工业传感器数据读取、执行器精准控制等实时场景。
（五）工程化落地与全链路保障
打通“大模型推理+Agent决策+RAG检索+MCP工具调用”的端侧协同链路，形成“感知-决策-执行-反馈”的闭环系统。
构建端侧服务的轻量化部署方案，基于Docker/OCI构建精简镜
（一）端侧大模型推理优化与部署
负责大模型在边缘设备（车载终端、IoT设备、机器人、边缘网关等）的轻量化改造，运用INT4/INT8低比特量化、剪枝、稀疏化、知识蒸馏等技术，降低模型算力、内存与功耗占用。
基于TensorRT-LLM、MNN-LLM、llama.cpp、ONNXRuntime等框架做二次开发与定制，适配高通、联发科、海思、NVIDIAJetson等芯片的NPU/GPU/CPU特性，开发定制化算子与融合策略。
优化端侧推理性能，通过投机推理、FlashAttention、KVCache高效管理、多线程并发调度等技术，保障模型实时响应（如车载场景毫秒级推理、IoT设备低延迟交互）。
解决端侧推理中的兼容性问题，处理异构硬件协同调度、内存碎片化等核心难点。
（二）端侧Agent系统构建与优化
设计并开发边缘场景AIAgent运行框架，涵盖感知解析、任务规划、工具调用、短期/长期记忆管理等核心模块，支持设备自主决策与场景化交互。
构建多Agent协同机制与任务编排逻辑，解决边缘多设备联动、多任务并行的资源冲突问题，实现Agent会话状态持久化与断线恢复。
优化Agent端侧运行效率，通过上下文精简、轻量化决策算法、动态资源调度等技术，平衡自主决策能力与边缘设备资源限制。
集成端侧多模态交互能力（ASR/TTS、视觉识别、传感器数据解析），实现语音、图像、环境数据等多源输入的智能响应与任务执行。
（三）端侧RAG技术落地与调优
搭建适配边缘设备的轻量化RAG系统，负责本地知识库的分片存储、增量更新与版本管理，支持文本、结构化传感器数据等多类型知识的高效管理。
选型并适配端侧轻量级向量数据库（如Qdrant轻量版、FAISS嵌入式版、ChromaEdge），设计高效向量索引结构，优化检索延迟与命中率。
协同端侧大模型与RAG链路，通过prompt工程、检索结果重排序、生成内容过滤等技术，提升问答准确性与知识时效性，弥补模型上下文不足问题。
开发知识库安全管控机制，包含数据加密存储、权限分级、噪声过滤与错误知识校验，保障端侧数据安全与RAG输出可靠性。
（四）端侧MCP服务开发与适配
基于模型上下文协议（MCP）开发端侧MCP服务器，实现边缘设备传感器、执行器、第三方工具的标准化注册、发现与管理，抽象为结构化接口供大模型/Agent调用。
适配多传输协议（HTTP/SSE/stdio）与数据规范（JSON-RPC2.0），优化端侧设备与大模型的低开销通信，控制通信抖动低于100µs，保障断线重连稳定性（5分钟内无需重新握手）。
构建MCP服务安全体系，通过OPA策略实现基于角色的访问控制（RBAC），搭配TLS1.3加密与调用日志审计，防止硬件工具非法调用与数据泄露。
适配边缘异构硬件，通过libiio、libgpiod、SPI/I2C等接口实现MCP服务器与硬件的底层交互，支持工业传感器数据读取、执行器精准控制等实时场景。
（五）工程化落地与全链路保障
打通“大模型推理+Agent决策+RAG检索+MCP工具调用”的端侧协同链路，形成“感知-决策-执行-反馈”的闭环系统。
构建端侧服务的轻量化部署方案，基于Docker/OCI构建精简镜
2026-01-26 14:15
IP属地：安徽
职位福利
硕士5-10年
芜湖雄狮汽车科技有限公司
不需要融资 · 500-999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
机器人世界模型工程师（视觉三维重建+仿真环境搭建）
2-2.8万元/月
大模型算法1-3年本科机器视觉VLA模型多模态算法三维重建视觉理解PyTorchOpenCVISAAC SIMPythonC语言
南京 江宁区
收藏职位
