AI大模型时代,数据存储新基座助推教科研数智化跃迁


生成式AI(AIGC)开启了人工智能通用化的新纪元,围绕大模型的百舸争流蔚为壮观,算力基础设施是首要的竞逐焦点,而存力觉醒也日益成为业界共识。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在新的时代,大模型从单模态走向多模态,参数和训练数据集的规模呈几何级数增长,海量的非结构化数据需要高性能混合负载能力的支撑;与此同时,数据密集型范式大行其道,超算、高性能计算(HPC)等应用场景迈向纵深,既有的数据存储基座已难以满足不断升级的需求。

如果说算力、算法、数据是驱动人工智能发展的“三驾马车”,那么在外部环境发生巨大变化的背景下,三者亟需重新达成动态的平衡。算法模型完善带来的“软实力”提升,算力供给优化引发的“硬实力”增强,需要得到进一步的加持——数据传输的“运力”和数据存储的“存力”即是尚待改进的动力源,新型的数据存储基座将在应对诸多挑战的过程中破茧成蝶。

需求复杂且持续进化的应用场景,是数据存储新基座最好的试金石。从这个意义上讲,教科研行业就是其中的典型代表:算力与数据是该领域数字化转型的关键要素,学科融合的科研计算与基于数据的决策支撑同等重要。从HPC迈向HPDA(高性能数据分析)是改善教学及科研效率的一大步,而AI的赋能则有助于解决过往算不了、算不准、算不动的难题。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在近日举办的2025世界人工智能大会上,华为OceanStor Pacific分布式存储助力上海交通大学构建的HPC+AI存力底座正式上线,“交我算”统一数据基座将在今年再扩充25PB,其有望成为教科研数字化、智能化转型的新标杆,也为数据存储新基座的探索之旅树立了一座里程碑。

数据与算力的关系演变与衍生挑战

伴随千行百业的数字化转型进入深水区,以及人工智能、大数据等新兴技术的协同爆发,数据与算力的关系正在发生微妙的变化。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

教科研领域身处数字经济的风口浪尖,对这一变化颇为敏感。过去,数据必须跟着算力跑。为了应对复杂科学和工程问题的快速数值求解,教科研界在很长一段时间里更多关注如何打造最强大的算力,而数据仅作为算力的配套设施来考虑。

如今,“算力围着数据转”逐渐成为新的趋势。新兴应用的涌现、数据体量的膨胀、数据安全问题的凸显,让数据本身的价值备受重视。基于AI、大数据等技术的突破,传统超算正向数据密集型超算演变,多元异构算力需要围绕同一个数据存储基座进行构建。

上海交通大学网络信息中心副主任林新华认为,数据与算力的主导权发生逆转,既是建设数据密集型超算平台的契机,也给统一数据存储基座的构建带来不少新的挑战。

首先是数据爆发式增长,对存储容量的需求显著提高。据统计,“交我算”平台的数据规模增长幅度达到每年7PB,气象海洋、能源勘探、卫星遥感、基因测序、冷冻电镜、AI自动驾驶、制造CAE、动画渲染等应用场景的数据量都达到PB级,用一套数据基础设施容纳如此庞大的数据量殊为不易。

其次是新业务不断涌现,对存储性能要求更高。AI通用化进程的提速,特别是大模型、多模态的批量输出,对IO性能构成严峻挑战。在百TB级数据集成为常态的情况下,自然语言处理、多模态应用加剧了数据量的增速,小文件训练数据集的高效访问更要求存储性能再上新台阶。

再次,跨校区多集群存储共用,数据在异构集群间的流动可能造成数据丢失、运行缓慢等问题。“交我算”平台提供多种异构算力,拥有ARM集群、X86集群以及AI集群等。在众多集群中,只有做到全数据流动和数据融合,才能释放算力和数据的最大价值。

最后,传统AI本地盘训练,伴随高并发数据分析,打破IO墙迫在眉睫。数据多次搬迁过程中的IO瓶颈非常突出——传统的读写流程冗长,加载数据涉及三次数据搬迁,checkpoint也有两次数据搬迁,其间产生的效率损失不容忽视。

分布式存储统一融合数据基座的突围路径

为了应对上述挑战,自2019年起,上海交通大学与华为存储展开深度合作,共同打造“交我算”数据密集型超算平台。依托在技术和应用创新方面的深厚积累,华为OceanStor Pacific分布式存储产品助力“交我算”建设统一数据基座,支撑起全校多种异构算力平台。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

构建分布式统一融合数据基座,是“交我算”拥抱新兴数据应用的必由之路。基于横向扩展分布式存储架构,“交我算”平台的存储容量和带宽可按需扩展。一是性能容量线性增长,单集群可达EB级容量;二是借助高密大容量硬件,节省机柜空间;三是采用大比例EC,以场景化压缩提升磁盘利用率。

据了解,“交我算”平台从初始的2PB容量、6GB/s带宽,到2025年增至20PB容量、60GB/s带宽,2025年又扩容至40PB容量、120GB/s带宽,预计2025年容量将再扩充25PB。与此同时,华为OceanStor Pacific分布式存储拥有5U 120盘位的超高密设计,结合超大比例EC数据冗余保护算法,在满足高可靠性的基础上将硬盘空间利用率提升至91.6%。

分布式全闪硬件加持是“交我算”应对存储性能难题的基石。在华为OceanStor Pacific的助力下,“交我算”平台采用全闪硬件加速,显著提升带宽与IOPS性能,每节点80万IOPS、带宽20GB/S能够满足混合负载条件下的高性能要求。

全局分布式存储跨校区统一管理是“交我算”解决多集群存储共用难题的良方。通过采用全局文件系统跨域多套存储管理的方式,“交我算”平台构建起跨校区的统一数据基座,在华为OceanStor Pacific分布式存储产品的支撑下,达*局文件视图、数据管理与调度、全域数据流动、统一流式元数据等多重目标。

数据分析加速、多种协议访问无损互通、免搬迁高效用是“交我算”打破IO墙的利器。基于华为面向AI的存储方案,以及华为OceanStor Pacific分布式存储“一份数据,多种协议访问”的能力,“交我算”平台实现外置存储减少数据搬迁,并大幅提升分析效率、节省存储空间。

大模型时代HPDA+AI的未来图景

透过“交我算”平台携手华为存储打造分布式统一融合数据新基座的演变轨迹,不难看出数据密集型场景正在加速进化。

从早期的HPC到后来的HPDA,再到HPDA+AI的比翼齐飞,教科研行业的应用场景不断丰富,对存储产品和数据基座的需求也持续跃迁。事实上,教科研只是千行百业数字化进程的冰山一角,数据存储的大时代已呼啸而来。

大模型时代的到来,将进一步重塑包括存力在内的IT基础设施,带有崭新AI基因的存储产品有望成为行业数字化升级的新宠。7月14日,主题为“数据新范式 释放AI新动能”的大模型时代华为AI存储新品发布会将在线举行。无论您正在企业内部署AI,还是让开发的应用具备AI能力,此次发布的方案都将提供更优的技术架构与产品,帮您踏准时代的节拍。

人工智能通用化的大幕已经开启,存储行业的领头羊率先吹响了冲锋的号角,后面的每一个乐章都值得期待。

以上就是AI大模型时代,数据存储新基座助推教科研数智化跃迁的详细内容,更多请关注其它相关文章!


# 基础设施  # 邳州360seo  # 江西视频推广营销厂家电话  # 望京模板网站建设  # 万源网络营销推广哪家好  # 富宁网站优化价格  # 济南企业网站优化推广特点  # 上海外贸网站优化  # 张掖网站推广怎么做  # 商城新媒体推广营销方案  # 湛江网上建设网站  # ai大模型  # 丰田  # 存储产品  # 异构  # 中国科学院  # 开源  # 高性能  # 华为  # 基座  # 教科研数智化  # 数据存储 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 管提需求,大模型解决问题:图表处理神器SheetCopilot上线  AI无法对传统文化符号进行解构和创新  AI证件照生成器:实际测试中AI软件展现了绝无仅有的强大效能  你大脑中的画面,现在可以高清还原了  湖北科技职业学院举行工业机器人及智能制造技术专精特新产业学院建设启动仪式  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  网友自制 AI 版《流浪地球 3》预告片,登上 CCTV6  WHEE安装教程  百亿量化私募:量化投资进入“精耕细作”时代 AI带来行业新变革  AI遇上大运丨热身拉伸、娱乐K歌……AI智能健身镜将亮相成都大运会  人工智能如何改变未来语言?  这款在《自然通讯》发表的机器人,为变形金刚来到现实创造可能性  OPPO三方联合发布AI可持续发展白皮书,坚持发展健康AI生态  创新全场景清洁方案!海尔商用机器人首发上市  李开复:未来几年,人工智能会革了所有人的命,除非你这么做  应用生成式人工智能技术改善农业产业  美图公司:Wink国内首发AI画面拓展功能  数据显示:人工智能相关专业热度上升最快 考古、美术、生物医学工程等小众专业火了  中国AI公有云市场2025年逆势蓬勃增长,增速高达80.6%  提升工作效率的智能工具:Zapier 让工作变得更简单!  DeepMind推惊世排序算法,C++库忙更新!  干货满满,2025昆山元宇宙国际装备展等你来打卡!  联合国秘书长称支持建立全球人工智能监管机构  高质量数据推动AI场景化应用快速发展及落地  如何提高集群协作效率?中外团队合作研发基于均值偏移的机器人队形控制策略  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  1000万张照片训练AI模型 科学家找到水下定位新方法  石头扫拖机器人 G20 618 福利来袭:4999 元,超值配件领到手软  AI大模型火了!科技巨头纷纷加入,多地政策加码加速落地  【首发】首款“消化内镜手术机器人”进入临床尾声,ROBO医疗获数千万元A轮融资  Stability AI 推出文生图模型 SDXL0.9,GPU要求下探至消费级水平  掌阅科技对话式AI应用“阅爱聊”开启内测  首部国内AI辅助动画片《魔游纪:人工智能辅助篇》预告发布  曝光HarmonyOS 4的重要新能力:全面升级AI大模型,小艺实现全面进化  有 ARM 和 X86 两个版本,香橙派游戏掌机细节曝光  深剖Apple Vision Pro中暗藏的“AI”  网易易盾 AI Lab 论文入选 ICASSP 2025!黑科技让语音识别越“听”越准  看懂AI,找到增长新势能 | 笔记侠AI峰会等你来  消息称 Meta Quest 将推 VR 游戏订阅:每月 7.99 美元,任选两款  赋能选题探索:AI助手在经济学专业中的应用指南  Meta 开源 AI 语言模型 MusicGen,可将文本和旋律转化为完整乐曲  揭晓2025年玻尔兹曼奖:Hopfield网络创始人荣获奖项  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  2025年的网络分区:人工智能和自动化如何改变事物  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新  当TS遇上AI,会发生什么?  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  AI生成新闻网站数量激增,正在疯狂赚取广告收入  日入400万,第一批AI骗子已上岗  ChatGPT大更新!OpenAI奉上程序员大礼包:API新增杀手级能力还降价,新模型、四倍上下文都来了 

 2023-07-21

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.