2023年9月26日,智能科技学院在立德楼423会议室举办了一场高水平学术讲座,主题为“面向分布式大模型的通算一体化思考”。讲座主持人智能科技学院院长袁丁,主讲人长江学者、西南交通大学唐小虎教授,智能科技学院全体新进青年教师参与了本次讲座学习。
唐小虎教授从大模型发展背景出发,开始了今天的主题讲座。他强调,在大数据和人工智能飞速发展的今天,如何有效解决分布式大模型通信问题成为大模型背景下一个亟待解决的研究难题。
唐教授以案例分析了分布式大模型面临的主要通信问题,并通过在亚马逊EC2中进行MapReduce海量数据分析实验。通过实验验证MapReduce分布式计算中的时间耗费主要与数据聚合有关。
同时,唐教授基于以上问题,提出使用编码辅助分布式大模型实现并行计算。该方法虽然一定程度上增加了大模型的编码和解码时间,但实验验证,整个大模型的总开销相较于原分布式并行计算实现了有效的降低。唐教授基于编码的并行计算研究成果和前沿思考,为解决分布式大模型通信问题提供了新的思路和方向。
讲座结束后,唐小虎教授与参会新进青年老师进行了深入的互动和讨论,为他们解决了研究中的实际问题,并给出了大模型编码计算的研究方向和研究建议。
本次讲座学习,不仅拓宽了青年老师们的学术视野,为他们提供了丰富的学术资源和研究灵感。同时,丰富了青年教师的学术储备,更在潜移默化中提升了老师的科研能力和学术素养。
通过这场高水平的学术讲座,智能科技学院成功地为青年教师们提供了一个全面提升科研能力的平台和契机,为青年教师在分布式大模型和其他前沿科技领域的未来发展及研究奠定了坚实的基础。未来,智能科技学院将继续邀请更多的高水平专家开展学术交流和学术讲座,为更多的老师提供科研交流平台,全面提升学院科研学术水平。