联系我们

地址: 安徽省合肥市高新区望江西路5089号

邮编: 230026

电话: 0551-62391679

邮箱: iai@iai.ustc.edu.cn

院内要闻

首次大模型算力资源与软件底座建设交流会顺利召开 ​

文章来源:本站原创 发布时间:2024-07-18 00:00:00 文章作者:本站编辑

为激发人工智能研究院在大模型领域的创新研究活力,拓宽院内的算力供应途径,以有效应对各科研团队在运用大模型时遇到的算力瓶颈与系统难题,我院信息计算平台于近日召开了第一次大模型算力资源与软件底座建设研讨会,研究院共计21支科研团队的42位成员参与本次会议,副院长陈莉出席。

会上,信息计算平台运维工程师王乐对平台现有的智能计算资源进行了详尽的阐述,包括资源分配、存储管理、节点间通信、多用户分配策略、计费与报账流程等方面。

图片2.png

为满足院内科研团队对大模型计算日益增长的需求,中国电信合肥分公司作为合作伙伴,详细解读了运营商智算资源的扩展方案,分别展示了一站式科研计算平台、巢湖算力中心、数据集平台以及海量小文件存储优化等解决方案,同时对其现有智能算力系统进行了现场演示。

图片3.png

信息计算平台主任李诚老师做了《模型切分与优化》的技术报告。他强调了大模型时代并行计算与内存优化的重要性,指出了流水并行、张量并行等先进技术,可以显著提升大模型的并行训练效率。他通过测试样例,详细说明了模型切分与计算方式的选择将直接关系到计算效率、内存占用量以及网络流量,进而影响在固定算力资源下可训练的模型规模和训练效率,为研究院团队介绍并行方案的简单设计方法。

图片4.png

会议现场,与会团队的研究人员围绕当前算力资源利用与软件底座建设的前沿问题展开了热烈的讨论与交流。

图片5.png

下一步,信息计算平台将以此次交流会为契机,积极与各方团队开展深入合作,推动大模型算法、应用、系统优化与硬件配置等多方面的协同创新。