时间:2025-03-28 | 栏目:业界 | 点击:次
3月26日下午,上海交通大学鲲鹏昇腾科教创新卓越中心特训营-DeepSeek专场在上海交通大学闵行校区图书信息楼成功举办。活动旨在基于昇腾技术的DeepSeek本地化部署实践分享,培养学员自主创新开发能力。华为技术专家与学校老师现场授课,干货满满,吸引了来自计算机、电子信息、人工智能等专业的60余名学生参加。
技术筑基:解析 DeepSeek 大模型核心架构
活动伊始,昇腾生态技术专家 ZOMI酱,分享了基于昇腾Atlas 800 A2部署满血DeepSeek-R1-671B的经验,重点分享了如何通过剪枝和量化,让DeepSeek-R1/V3大模型特性实现加速。他指出,昇腾Atlas 800 A2的硬件特性与DeepSeek模型高度适配。通过结构化剪枝技术,基于昇腾芯片的稀疏计算单元(如CANN的aclSparse接口),对模型中冗余的注意力头与FFN层通道进行动态裁剪,在保证任务精度损失小于1%的前提下,将参数量压缩40%,推理时延大幅降低。同时,采用混合量化策略——对计算密集的矩阵乘操作(如Q/K/V投影)启用INT8动态量化,结合昇腾3D Cube架构的整数计算加速,实现算力利用率提升200%;而对精度敏感的LayerNorm等操作保留FP16精度,避免量化误差扩散。同时,他还介绍了昇腾Attention计算优化方法Laser Attention,该技术通过动态稀疏计算、低精度无损加速与硬件级算子融合三重创新,为大模型训练与推理提供显著效能提升。
(昇腾生态技术专家 ZOMI酱)
实践落地:揭秘 DeepSeek 高校部署创新方案
大模型凭借出色的文本处理能力,已经深入工作生活的方方面面,被广泛应用于文案写作、文本处理、数据分析等。如何在本地部署一个专属于自己的大模型?究竟如何跟大模型对话才能发挥其出色的功能?这些都是初窥门径的AI开发者关心的问题。上海交大网络信息中心“交我算”团队工程师王星泽围绕在交大本地的昇腾服务器上部署DeepSeekV3/R1大模型的经验介绍部署方法,包括硬件设备条件、网络拓扑、API封装、前端集成等。同时,还结合大模型在高校科研、教学和管理中的实际应用场景,介绍提示词技巧和使用案例。
(上海交通大学网络信息中心计算专员 王星泽)
开发实战:体验原生开发全流程
培训中,昇思布道师非常work老师的基于香橙派AI pro(20T)开发板的开发实战吸引了现场每一位交大学子,对MindSpore在香橙派开发板上的能力支持做了详细的说明,大家迫不及待动手体验。目前昇思MindSpore AI框架已实现在香橙派AIpro开发板预置,并在官方网站上线开发指导教程,通过软硬结合,使能开箱即用模型,并提供模型全流程使能套件,支持积木式搭建,覆盖CV、NLP小模型及1B级大模型(如DeepSeek-R1-Distill-Qwen-1.5B)。学生们可通过动态图+类HuggingFace接口灵活调试,结合三行代码调用JIT即时编译,兼顾开发效率与执行性能,为边缘端AI部署提供轻量化解决方案。
(昇思布道师非常work)
本次特训营是基于上海交通大学鲲鹏昇腾科教创新卓越中心开展的2025年第一场DeepSeek主题特训营。该中心自2024年6月揭牌成立以来,始终致力于构建基于鲲鹏昇腾技术路线的校级生态合作平台,围绕大学计算产业前沿课题研究、课程体系建设、研究人才培养等方面展开合作,为产业输出高质量鲲鹏昇腾原生人才,孵化和培育根植中国的世界级原生科研创新成果。
据悉,鲲鹏昇腾科教创新卓越中心特训营将持续推进,随着特训营在全国重点高校的陆续开展,校企协同育人的创新模式正为国产化AI人才培养注入新动能。