首页  /  杂谈  /  智慧有数 浪潮信息发布生成式AI存储解决方案

  备份恢复

  当前,生成式AI(AIGC)已经成为AI产业化发展的主战场,随着大模型参数量和数据量的爆发式增长,多源异构数据的传、用、管、存,正在成为制约生成式AI落地的瓶颈之一。为了化解生成式AI的数据存储与管理瓶颈,浪潮信息在“数智未来”AIGC数据应用创新论坛上,正式发布面向生成式AI的存储解决方案,该方案以极致融合、极致性能、极致节能,和热温冷冰四级数据全生命周期管理,助力开启生成式AI新局面,创造智慧时代新机遇。

  生成式AI亟待突破多源异构和存储性能瓶颈

  生产式AI是人工智能从1.0时代进入2.0时代的重要标志,其具备强大的认知智能,在搜索引擎、艺术创作、影音游戏,以及金融、教育、医疗、工业等领域有着广阔的应用前景。Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。据分析师预测,到2032年,生成式人工智能市场规模将达到2,000亿美元,占据人工智能支出总额的约20%,显著高出当前的5%。换言之,未来十年市场规模可能每两年就会翻一番。

  生成式AI主要应用场景涵盖文本生成、语音生成、图片生成、视频生成、代码生成、虚拟人生成等,在每种应用的背后是基于行业上下游对数据进行采集、标注、训练、推理、归档,其特征是数据量大、多元数据类型复杂、服务协议多样、性能要求苛刻、要求服务持续在线。生成式AI对数据存储提出如下挑战:

  ● 异构数据的融合:生成式AI训练模型的数据呈现来源多、格式多的多源异构现状,传统存储面向单一数据类型设计,需要以搬移数据的方式实现多协议访问,存储成为应用平台的关键瓶颈;

  ● 持续的低延迟与高带宽:模型训练过程中,频繁地从数据集取Token,每个Token一般4字节,实时高并发小IO性能需要极低的延迟;存储模型Checkpoint时,为Checkpoint数据可快速写入,需要高带宽;

  ● EB级大容量存储需求:越多的数据投喂结果越精准的工作原理,决定了大模型训练存在深度学习网络层数多、连接多、参数和数据集种类复杂、数据量大的特征,随着模型参数和数据量的快速增长,对于存储的大容量和扩展需求也迫在眉睫。

  数据存储产业需要进行全方位的技术升级,通过在多源异构融合、数据高速传输、海量数据管理等方面持续创新,打造专业的生成式AI存储产品与解决方案。

  素材来源:    发布时间: 2023-12-02

 我 在下方展示

敬请期待敬请期待敬请期待敬请期待敬请期待敬请期待敬请期待敬请期待敬请期待敬请期待
回复列表

外链论坛是一个供大家免费发外链的论坛!

 

主要受众群体包括外链专员、推广人员以及个人站长~

外链有多种形式,包括锚文本外链、纯文本外链和图片外链~

外链作用:提高网站的权重、排名以及流量等,为搜索引擎爬取网站提供跳转路径!

您当前的网络IP:44.222.64.76

备案号: 黔ICP备19009860号-5

欢迎来到外链论坛,希望大家在论坛内能够自觉遵守管理规则,建设一个文明、绿色、健康的网络环境~

免责声明

1、文章内容纯属作者个人观点,仅供参考,并不代表本站立场 ,版权归原作者所有~

2、如有不慎侵权之处,可参考《外链论坛素材侵权投诉处理流程》,感谢您的理解与支持!