在竞争激烈的高性能计算(HPC)领域(yu),存(cun)(cun)储系(xi)(xi)统无(wu)疑是(shi)驱(qu)动技术突破的关键(jian)。而 IO500 基(ji)准(zhun)测试,作(zuo)为业界(jie)公认的“金标准(zhun)”,以(yi)(yi)全面评(ping)估存(cun)(cun)储系(xi)(xi)统的性能与效(xiao)率(lv)闻(wen)名。WEKA 在(zai)最新 IO500 测试中的卓越表现(xian),以(yi)(yi)领先的效(xiao)率(lv)与强(qiang)大的存(cun)(cun)储能力,再次诠释(shi)了其(qi)在(zai)高(gao)性能存(cun)(cun)储领域(yu)的非凡实(shi)力。
本文将带你了解 WEKA 在 IO500 基准测试中的亮眼表现,此次测试由享誉全球的纪念斯隆-凯特琳癌症中心(MSKCC,Memorial Sloan Kettering Cancer Center)提交完成。凭借突破性的效率表现、显著降低的资源需求以及出色的元数据处理能力,WEKA 再次证明为何它是 AI/ML、基因组研究和大规模仿真等高负载应用场景(jing)的首(shou)选平(ping)台。
关于 MSKCC 和 IRIS 超级集群
纪(ji)念斯(si)隆-凯(kai)特(te)琳(lin)癌(ai)症(zheng)中(zhong)心(Memorial Sloan Kettering Cancer Center,简(jian)称 MSKCC)是一家位于纽约曼(man)哈顿享誉全球的(de)(de)癌(ai)症(zheng)治疗与研究(jiu)机构(gou)。作为美国国家癌(ai)症(zheng)研究(jiu)所指定的(de)(de) 72 家综(zong)合(he)癌(ai)症(zheng)中(zhong)心之一,MSKCC 始终站在(zai)肿瘤(liu)学研究(jiu)与患者护理的(de)(de)前沿,引领行业(ye)的(de)(de)不断进步与突破(po)。
这一成就的核心是 IRIS 超级集群。它支持基因组学、肿瘤学和计算生物学等关键领域的工作负载,极大提升了患者护理和科研发现的效率。该系统正通过加速发现进程并改善患者预后,推动癌症研究的(de)(de)(de)变革。例如,基于 AI 的(de)(de)(de)创新成果不(bu)仅大幅缩短患(huan)者(zhe)的(de)(de)(de)康复时(shi)间,还(hai)在结(jie)肠癌临床试(shi)验中取得了 100% 的(de)(de)(de)成功率。IRIS 超级(ji)集群(qun)的(de)(de)(de)数据基础(chu)设(she)施核心正(zheng)是 WEKA Data Platform。MSKCC 高性(xing)能计(ji)算部门(men)负责人 Jessica Audette 表示:“WEKA 对 MSK 的(de)(de)(de)影响深远(yuan)。它是我(wo)们的(de)(de)(de)关键平台(tai)之一,帮助我(wo)们在多个 HPC 工作负载中加快(kuai)科(ke)研成果的(de)(de)(de)转化。”
MSKCC 高性能计算部门负责人 Jessica Audette
MSKCC 通(tong)过(guo) IO500 基准(zhun)测试,验(yan)(yan)证了(le)(le) IRIS 超级(ji)集群的(de)性能(neng)(neng)(neng)和效率(lv),确(que)保(bao)其能(neng)(neng)(neng)满足基因组学、肿瘤学和计算生物学等前沿研(yan)究的(de)高(gao)计算需求(qiu)。通(tong)过(guo)这一基准(zhun)测试,MSKCC 不仅展示了(le)(le)在(zai)技术选择上的(de)前瞻性,更表明了(le)(le)其致力(li)于利用顶尖科(ke)技加速科(ke)研(yan)突破、优化患者预后(hou)的(de)决心。此(ci)次出色的(de) IO500 成绩是在(zai) WEKA 数据(ju)平台上完成的(de),进一步验(yan)(yan)证了(le)(le) WEKA 在(zai)高(gao)性能(neng)(neng)(neng)计算环(huan)境中的(de)卓越能(neng)(neng)(neng)力(li)与(yu)强劲(jing)表现。
测试结果关键亮点
- 供应商:WEKA
- 文件系统:WekaFS
- 客户节点数:261
- 总进程数:27,144
- IO500 分数:665.49
- 带宽 (BW) :252.54 GiB/s
- 元数据 (MD):1,753.69 kIOP/s
能源消耗和冷却需求的增加
更少节点,更高效率
WEKA 在仅使用 261 个客(ke)(ke)户(hu)端节点的情况下,取得了665.49的 IO500分数(shu),而某些传统分布式文件(jian)系(xi)统(如 Lustre)则需(xu)要 2,080 个客(ke)(ke)户(hu)端节点才能(neng)达到 797.04 的分数(shu)。这表明(ming),WEKA 能(neng)够在更(geng)少的资源下提供卓(zhuo)越(yue)的性能(neng),从而显著降低(di)硬件(jian)需(xu)求(qiu)、电力消耗和操作复(fu)杂性。
节点(dian)数的(de)(de)减少意味着企(qi)(qi)业(ye)能够(gou)以较低的(de)(de)硬件(jian)投(tou)(tou)入、较低的(de)(de)能耗和简化(hua)的(de)(de)运营管理,依(yi)然获(huo)得卓越的(de)(de)性(xing)能。这(zhei)不仅能显著节省成(cheng)本,还能降低对环境(jing)的(de)(de)影响(xiang),使(shi)其成(cheng)为(wei)那(nei)些(xie)旨在最大化(hua)投(tou)(tou)资回报率(lv)(ROI)并(bing)减少碳足迹的(de)(de)企(qi)(qi)业(ye)的(de)(de)理想(xiang)选择。
卓越的元数据处理能力
WEKA 元数据性能方面表现卓越,达到了 1,753.69 kIOP/s,接近 Lustre 895.35 kIOP/s 的(de)两(liang)倍。这一成绩(ji)充分展现了 WEKA 在元(yuan)数据密集型场景中的(de)强大优势,如 AI/ML 模(mo)型训练、大规模(mo)仿真以及(ji)基因组研究等(deng)工作负载,使其成为首选解决方(fang)案。
此外,WEKA 在 easy stat 性能测试中达到了 15,370.21 kIOP/s,大幅领先于 Lustre 的 1,739.90 kIOP/s,进(jin)一步巩固了(le)其(qi)在元(yuan)数据处理领域的领先地位。
元数(shu)据密集型(xing)操作(例如 AI/ML 模(mo)型(xing)训练、大(da)规模(mo)仿(fang)真及基(ji)因组研究)通常是传(chuan)统(tong)存储系统(tong)的(de)瓶颈所在(zai)。然而,WEKA 凭借其(qi)无与伦(lun)比的(de)元数(shu)据处(chu)理能力,大(da)幅(fu)提升了(le)数(shu)据访问与处(chu)理速(su)度、模(mo)型(xing)训练效率以及首次响应(ying)时间。这种(zhong)卓越的(de)性能不仅能够帮助企业加速(su)创新、提升生产力,还能确(que)保其(qi)在(zai)竞争激烈的(de)市场中始(shi)终保持(chi)领先优势。
为什么选择 WEKA?
无缝扩展
WEKA 的(de)软件定义存储架构(gou)以简洁高效的(de)方(fang)式(shi)实现无缝扩展(zhan),避免了复(fu)杂配置(zhi)的(de)繁琐,让企业能够随着(zhe)数据需(xu)求(qiu)的(de)增(zeng)长(zhang)轻松(song)扩展(zhan)存储能力。
无与伦比的元数据性能
专为AI 和 ML等现代化工(gong)作(zuo)负载而打造,WEKA 卓(zhuo)越的元数据 IOPS 可实现更(geng)快、更(geng)可靠的数据处理,助力企业以闪(shan)电般的速度驱(qu)动创(chuang)新。
极致效率,降本增效
通过显著更(geng)少的(de)(de)节点实现顶(ding)尖(jian)性能(neng),WEKA 大幅降低了基础设施和运维成本(ben),让企业用更(geng)少的(de)(de)投入实现更(geng)多价值。
面向未来的卓越设计
凭(ping)借对 NVMe 的(de)(de)原生(sheng)支持以(yi)及(ji)先进的(de)(de)并行(xing)(xing)文件系统功能,WEKA 完美(mei)契合(he)下(xia)一代(dai)工作负载的(de)(de)需求,确(que)保您的(de)(de)存储基(ji)础设(she)施始终处于行(xing)(xing)业前沿。
WEKA 不仅是一种存储解决方案——更是一个变革性的创新平台,专为满足最苛刻的业务需求而设计,助力企业实现创新、提升效率,并轻松实现扩展。
实际影响
在(zai)应对(dui) AI/ML 工(gong)作流、基因组(zu)测序和金融建模(mo)等复杂任务(wu)时(shi),WEKA 凭借(jie)卓越的(de)性(xing)能(neng)为企业(ye)创(chuang)造了巨大的(de)价值。其超越传统存储系统的(de)无(wu)与伦比的(de)能(neng)力(li),使其成为企业(ye)扩展高性(xing)能(neng)计(ji)算 (HPC) 环(huan)境时(shi)的(de)首选方案(an),以最(zui)高效率和最(zui)低复杂度(du)满足业(ye)务(wu)需(xu)求。
MSK 癌(ai)症(zheng)中心(xin)的(de) IRIS 超级(ji)集(ji)群正是一个(ge)典型案例。通过 WEKA 的(de)支(zhi)持,该(gai)集(ji)群在 AI 驱动(dong)的(de)癌(ai)症(zheng)研究中显著加速了(le)科研进展(zhan),缩短了(le)发现周期,实现了(le)拯救生(sheng)命的(de)突破。这(zhei)一成功案例生(sheng)动(dong)展(zhan)现了(le) WEKA 在现代研究与创新领域的(de)深远(yuan)变(bian)革性影响。
如(ru)果(guo)想深入了解(jie)实现这(zhei)些成果(guo)的配置细节,请(qing)参阅:
WEKA 配置://io500.org/submissions/configuration/719
结语
WEKA 在 IO500 基准(zhun)测试中(zhong)的(de)卓越表现(xian)不仅仅是一个(ge)数字,更是我们在高性能存储领(ling)域持续开拓创新的(de)鲜明(ming)见证。凭借无(wu)与伦(lun)比的(de)效率(lv)、卓越的(de)扩展能力(li)和强大的(de)元数据处理功能,WEKA 数据平(ping)台正重新定义 AI、基因(yin)组学和大规模仿真等现(xian)代化工作(zuo)负(fu)载的(de)可能性。
Memorial Sloan Kettering 癌症中(zhong)心 IRIS 超级集群(qun)的成功案例,生动诠释了 WEKA 如(ru)何加速科研进展并改(gai)变研究成果。无论是应对尖端科学挑战(zhan),还(hai)是优化(hua)企业(ye)高(gao)性能计算(suan)环(huan)境(jing),WEKA 都以兼具简洁性与卓(zhuo)越性能的未来解决方案,为每(mei)一(yi)次(ci)突破保驾护航。
在高性能计算需求(qiu)日(ri)益(yi)增长的时代(dai),WEKA 始终走在行业前沿,助力企业与(yu)研究(jiu)机构(gou)突破极(ji)限(xian)、实现创新、解(jie)锁未来的无限(xian)可能。
