报告时间：2025年5月7日13:30          

报告地点：先研院未来中心5楼 华为茶思屋报告厅

简介：袁牧博士，香港中文大学博士后。研究方向包括智能物联网、模型推理系统等，第一作者于SIGCOMM, MobiCom等国际会议、期刊发表论文十余篇，曾获字节跳动奖学金、CCF优博等多项荣誉。

摘要：随着大模型在云端服务中的广泛部署，如何在保障用户隐私与模型机密性的前提下实现高效推理，成为当前面向实际落地的重要挑战。袁牧博士的报告围绕“端云协同范式赋能大模型高效机密推理”主题，介绍了其团队在该方向的两项最新研究成果。第一项工作提出了STIP系统，引入模型开发者、云服务提供者与数据拥有者三方协同的安全推理新范式，结合半对称加扰机制与可信执行环境，在保持Transformer模型无损精度的同时，提供形式化隐私保障与生产级别的推理效率。第二项工作提出SCX框架，通过无状态的KV-cache编码机制，使用户能自主加密推理过程中的中间状态，从而避免云端对输入和生成过程的推断，兼顾极低延迟与强隐私保护能力。两项工作共同展现了端云协同架构在推进大模型机密推理落地中的潜力与实效，为AI服务的安全可控发展提供了新范式。