新闻稿 – Xinwengao.com

AICC AI Infra技术创新圆桌 共话大模型时代的掘金利器

北京2023年12月20日 /新闻稿网 - Xinwengao.com/ — 2023年大模型智能应用涌现,带来了大模型工程实践的爆发,在大模型进一步落地应用过程中,AI Infra作为连接硬件和上层应用的中间层基础设施,无疑是关键的一环。

近日,AICC 2023人工智能计算大会上,量子位主编方驭洋主持“AI Infra:大模型时代掘金利器”圆桌论坛,与浪潮信息AI应用架构师朱红、潞晨科技副总裁梁爽、始智AI wisemodel创始人兼CEO刘道全、无问芯穹商务副总裁李枫,围绕大模型时代AI Infra概念、行业地位、发展挑战和多元化算力等关键问题展开思想碰撞。

与会嘉宾指出,AI Infra是支撑AI和大模型的底座,大模型训练和推理是复杂的系统工程,需要在硬件、软件以及训练、推理等各个层面和角度深入优化,解决算力成本、训练门槛和多元化算力等挑战,发扬开源思想,推动人工智能快速发展。


以下是圆桌论坛问答实录:

主持人:目前AI Infra的概念并不统一,有人把它定义为AI所需要的全部硬件基础设施,有人强调它是算力层跟应用层之间的软件堆栈,请问各位如何定义AI Infra?在当前整个AI产业当中,扮演着什么样的角色?

朱红:从业界角度来说,大家认为AI Infra是硬件之上的软件层。从浪潮信息的角度来看,应用层之下的硬件、软件都可以纳入AI Infra中,也可以称之为AI中台或者AI平台。

AI Infra在整个AI产业中起着承上启下的作用,因为AI由算力驱动,而算力的发挥取决于AI Infra层。

梁爽:我觉得AI Infra包含硬件、软件。大模型一般需要在成千上万的计算卡上进行分布式训练,用户如果采用原生软硬件方案,在海量参数的情况下可能会出现显存溢出,很难把硬件的利用效率发挥出来。通过数据并行、张量模型并行、流水线并行等方式,AI Infra为客户提供更强的计算能力,能够在大模型训练时高效地把分布式硬件利用起来。同时,训练大模型的成本可能高达上千万,我们的AI Infra目标是把训练成本减少一半、时间减少一半,这也是用户关心的点。

刘道全:AI Infra还有一个更宽泛的范围,除了前面已提到软硬件系统,还包括网络、存储等硬件和软件等。大模型的训练、推理是一个系统工程,需要在计算、网络、存储等各个层面优化,才能更好地把性能和效率发挥出来。

从大模型社区的角度来说,我们现在更多地把模型和数据集汇聚起来,后续还会把应用开发层、模型训练、部署和推理等相关的开源工具软件也汇聚起来,让大家更容易地获取和使用,提升工作效率。

李枫:在我们看来,AI Infra是支撑以大模型为代表的AI技术的底座,包括硬件、软件、工具链和优化方法等,是一个整体解决方案。无问芯穹成立刚刚半年,此前我们公开露面不是很多,业内很多朋友记得我们团队,就是从“M×N”开始的。我们在AI Infra上,着眼于软硬一体的整体解决方案,做从算法到芯片、从芯片集群到模型、再从模型到应用的三阶段“M×N”中间层产品,一方面帮助AI开发者们克服目前多元异构算力初阶软件生态,以及异构算力池的影响,另一方面依托我们行业领先的AI计算优化能力,助力提高算力的供给水平、持续降低计算成本、提高大模型的落地能效。

主持人:随着大模型热潮的到来,大家对于大模型工程实践有了更明确的认知。大模型训练和推理是一件非常复杂的事情,需要很多基础设施作为支撑,也正因为此,AI Infra越来越受到关注,请各位嘉宾谈谈大模型应用面临哪些挑战?

朱红:效率是大模型应用的核心挑战,包括刚才提到延迟、速度等都属于效率范畴。浪潮信息认为效率需要从横向和纵向来看,首先是纵向的效率是AI计算平台的效率如何发挥出来,是大家非常关心的点;第二,横向的效率亦即稳定性,无论是训练还是推理都能够长期运行,这是保障。

浪潮信息的很多工作聚焦在这两个层面,也就是怎么解决纵向和横向的效率问题,然后去推动大模型的落地应用,这是我们服务客户过程中发现的挑战和解决思路。

梁爽:对于客户来说,AI大模型应用的挑战包括推理延迟、推理速度,以及如何减少推理参数,还有一些量化技术。在终端应用场景,比如像“智能座舱”,客户对于硬件的需求更为敏感,现在智能驾驶大多数采用高通芯片,能不能实现大模型推理、推理能不能达到主流加速卡的效果,这对于相关应用来说都是非常重要的。这种终端场景的硬件算力是有限的,又牵扯到模型压缩技术和推理优化,我们也在做推理方面的研发工作。

刘道全:大模型应用最大的问题是应用跟模型的脱节。因为最终到应用层面,需要从业务角度去考虑。现实是应用方面的人员大都不懂模型,而模型方面人员多数也很难体会实际应用场景。大模型厂商都想着怎么把模型的通用能力提升起来,但是对应用的理解和认知其实可能远远不够。无论是ToB应用还是ToC应用,每个环节和流程都有很多的业务知识在里面,怎么把这一部分业务知识跟模型能力结合起来,就需要应用和模型开发人员共同参与进来,可能才能真正的解决问题,做出好的应用。

现阶段始智AI是从社区切入,能够更多地了解行业需求,不管是应用端的需求,还是模型层等的需求,最终是希望打通大模型应用开发的环节,让后续应用开发环节不再需要关心模型怎么调,模型相关事务都可以在平台上基本自动化的完成,做到应用跟模型的分离。这里涉及很多中间环节,我们也可以跟潞晨科技、无问芯穹等中间各方合作,一起把中间的环节串起来,让更多的人更方便地使用大模型。

在这个过程中,开源社区就有重要地位和作用。开源社区是行业信息的汇集地,在从应用到底层的框架到更底层芯片的架构中起到承上启下的作用。大模型和中间工具软件最终还是需要落地应用才能创造价值,整个过得始终离不开社区承上启下的作用。我们未来不会自己去做应用,还是希望在中间联合更多合作伙伴把大模型应用开发的环节打通,最后让应用变得简单,让AI落地也更简单。

李枫:因为大模型落地成本很高,做推理很贵,大部分人接受不了这个价格,我们利用软硬一体化优势,首先把成本降下来,其次软硬一体化能够发挥异构算力潜能,可以把模型开发训练门槛降低,让更多创造者有能力进入这个领域,这是我们的考虑。

另外,大模型如果想真正在行业落地,还需要行业数据。这时候一定需要软硬结合,才能去做行业落地的完整方案,而非仅依靠模型。因为一个模型的落地,不足以实现一个场景。

主持人:看来大模型应用和普及的核心关键是“效率”,各位嘉宾都有着丰富的一线实践经验,请大家分享一下真正降低大模型普及门槛的着力点,技术或者是生态领域都可以谈一谈。

梁爽:开源大模型框架系统是我们推动大模型应用和普及的实际行动,也填补了国内相关技术空白。AI之所以发展的如火如荼,与开源精神和无数开源社区贡献者密不可分。潞晨科技开源大模型框架,也是希望能够把研发成果共享给大家,让AI能够发展的更好,降低AI的门槛,提升生产力。

刘道全:首先,解决刚才提到的应用跟模型脱节的问题,关键是促进应用层和模型层之间的互动交流,这需要让更多应用场景里的人参与到大模型应用的开发中。

第二,数据质量比较好的场景,也是大模型落地更容易的方向,比如银行、金融、电商等领域,还有工业领域已经实现IoT数据采集和自动化的场景等,总体上有了高质量的数据,就有大模型应用落地更好的基础。

第三,目前大模型应用的聚焦点更多的还是AI技术领域,而对于核心场景应用需求的挖掘还不够,未来在应用场景和需求方向上做更多的探索。

主持人:除了开源软件包括框架层面的进展,我们现在面临着一个很大问题,就是算力的紧缺,从软硬件结合角度,有哪些可以努力改进的地方?

朱红:开源确实是促进AI产业发展、推动行业落地的很关键的一步,对于整个产业推动也是很大。浪潮信息目前也在尝试把自身工作以类似的方式推出去,加速大模型的应用和普及,降低行业应用门槛。

李枫:针对算力紧缺的问题,首先要“把能用的算力用得更好”,可以从推理端进行更多量化,通过减少模型的存储空间和计算需求来提高推理效率,使得同样算力可以跑更多的模型。第二,“把以前利用不了的算力用起来”,也就是对于模型训练考虑异构化,通过异构计算平台把更多的算力使用起来。

主持人:当前大模型训练等底层支撑面临算力多元化的挑战,现在从AI Infra层面考虑还是要做更多元化的适配。目前各位是否有相关技术布局?

朱红:多元算力支撑是现在非常热的话题,也是浪潮信息持续关注的方向。我们两年前发布“源 1.0”大模型之后,就开始考虑在推理阶段适配更多推理硬件,也落地了一些实际工作,能够把当时百亿规模模型,高效地推理跑起来。现在,“源 2.0”也在做各种硬件适配。

当然,模型训练也是我们重点关注的方向,我们也在与比较有潜力的算力提供方进行更多优化工作,也引入了开源工作。目的是希望无论是商业化软硬件方案,还是硬件+开源软件的方案,我们都能够支持用户又快又好地把训练、推理跑起来。

梁爽:我们已经适配了比较多的硬件。相比国外,国内的多元算力在算子数量、生态系统等方面确实存在差距。这时,就需要多元算力厂商和用户一起去做研发适配,争取能够尽快地赶上。

刘道全:适配工作其实并不是我们自己去做,我们目前和一些多元算力厂商的探索更多是生态层面的合作。社区可以作为一个很好的入口,让大家可以先体验一下多元算力的能力,这也是比较重要,特别是很多偏应用的中小企业,很多可能还没有使用过多元算力。体验之后才能更好地了解相关芯片在推理和训练方面的能力。

李枫:我们的布局核心是“M×N”中间层。其中“M”和“N”都是指多元适配,在硬件侧支持多种芯片,在模型侧支持多种大模型,这一中间层具备大模型推理引擎、训练引擎、异构算力评测等能力,使大模型算法能运行在多种芯片上,并实现最优训练与推理效率,相当于是在大模型和不同芯片之间搭建了桥梁。

Weibo RenRen Tweet Share Pin It

© 2024 新闻稿 – Xinwengao.com. All Rights Reserved.

Exit mobile version