9月20日,在华为全联接大会2024期间举办的数据存储峰会上,华为公司副总裁、数据存储产品线总裁周跃峰博士发布全新AI存储OceanStorA800,以长记忆内存新范式全面提升AI大模型训练和推理能力,助力千行万业大步迈入数智时代。
华为公司副总裁、数据存储产品线总裁周跃峰发表主题演讲
人类文明从远古的石器时代,到农业时代、工业时代,直至如今的数智时代,数据作为发展新质生产力的关键生产要素。人们利用数据,在AI大模型、具身智能、AIforscience等核心AI领域取得长足发展。
数智时代是数据的黄金时代,数据规模爆炸式增长、数据价值不断攀升的同时,也面临xPU与存储的带宽不足、算力集群可用度低、推理时延长等挑战,对存储提出更高要求。数智时代呼唤StorageforAI,具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的数据存储是通往AI数智时代的必由之路。
为应对以上挑战,华为发布全新AI存储OceanStorA800,在AI大模型高效训练能力的基础上,大幅增强推理能力,并在集群性能、新数据范式上有了跨越式提升,促进AI在千行万业落地。
1.单套AI存储设备支持十万卡级大模型训练。通过构建前端网卡全共享、控制器与后端SSD盘全互联的技术架构,单套存储设备可支持10万卡级集群全互联。一套OceanStorA800存储最多可实现与19.2万卡训练集群的静态全连接,性能提升40%,空间占用降低80%。
2.以存强算,AI集群可用度提升30%。AI训练中断频频发生,据统计AI训练中心持续训练的时间最长仅为2.6天,导致GPU/NPU必须反复保存CKPT数据。中国移动将华为OceanStorAI存储用于大模型训练,实现150PB单存储集群、8TB/s带宽和2.3亿IOPS的能力,集群可用度提升32%,为后续更大规模大模型训练提供有力支撑。
3.以存代算,长记忆内存型存储提升推理体验并降低系统成本。
Longcontext(长上下文)成为大模型推理的必然发展趋势,根据Scalinglaw,提供足够高的推理算力和中间Token数,可大幅提升推理的准确度。通过专业AI存储,可长期保存Longcontext及海量中间推理Token,最大程度提升大模型的逻辑思考和推理能力,尤其是慢思考能力。
OceanStorA800作为业界首款提供长记忆能力的存储,创新性采用多级KV缓存机制,将KV-Cache持久化保存并高效使用,让大模型推理具备长记忆能力,减少在Prefill阶段的重复计算,客户推理时延降低78%,单个xPU卡的吞吐量提升67%,大幅提升推理体验的同时降低成本。
数智时代的全新AI存储,正在金融信贷、投研分析、医疗健康、药物研发等行业场景发挥价值。周跃峰表示,在数据的黄金时代,华为以其创新的AI存储,释放先进数据存力,铸就数智时代根基。
TAG:潮流 | 资讯 | 华为 | 华为AI存储 | 华为最新消息 | 华为AI大模型 | 华为全联接大会2024
文章链接:https://www.lk86.com/zixun/161832.html