首页 > 新闻中心 > 企业新闻

支撑海量数据分布式存储该怎么应战

作者:江南体育电子游戏 来源:江南体育app下载 时间:2023-08-01 09:06:11

  在曙光举行的技能圆桌派上,来自业界的多位大咖和专家就数字化转型与分布式存储开展趋势展开讨论。

  伴随着云核算、大数据、物联网等信息技能的快速开展和传统工业数字化的转型,新技能的使用与推行带来海量数据的规划化集合。用户对存储体系的稳定性、功用和弹性扩展才干有着更高的等待,而传统集中式存储烟囱式的布置形式在扩展性和办理上都遇到十分多的应战,主持人黄海峰在圆桌派一开端向嘉宾们提出了这一问题。

  “2021年,分布式存储和云存储在量和销售额方面的增速别离到达30%和20%,相较于传统存储的20%和8%,分布式存储远远胜于传统存储。”赛迪参谋事务总监高丹对2021年的存储商场格式做出了总结。

  “面对海量迸发的数据,曾经传统集中式的存储现已不是最优选了。”中科曙光存储事业部副总经理张新凤表明,“对分布式存储自身来说,破解海量数据存储难题,也是有十分多的应战。”

  首要,便是处理海量数据的存储。海量不简简单单的是设备的堆集,技能难度是指数级的增加。要看厂商是否有丰厚的超大布置规划和施行经历;第二是能对5GAI区块链等新技能有更好的支撑。这就需求一致协议的支撑,打通从数据的搜集、使用、剖析到归档的链路,做到异构数据的交融;第三,针对用户实践使用,在产品功用和功用上做到深度的定制。

  “存储的商场,是一个需求很深的技能堆集和很大资金投入的商场。曙光推出的产品是自研的。自研的道路,对客户节省本钱视点来说,仍是对咱们自己安全的视点来说,都是一套比较好的技能道路,我也期望咱们自己国家的自研道路走的越来越好。”高丹表明。

  “曙光做存储,一开端就挑选了分布式存储道路年,曙光推出第一代全自主研制的分布式存储体系ParaStor,根据POSIX协议,在做数据处理的时分有很好的功用体会;2013年,数据中心现已开端比较规划化的布置,这个时分咱们完成了对NAS同享的支撑;2019年,根本各个职业都在遍及云化,咱们为了处理事务上云的问题,又推出分布式块协议。现在, 曙光分布式存储体系ParaStor完成了对文件、块、目标和大数据协议的支撑,根本掩盖一切使用场景。

  根据自研优势,曙光可根据不同职业用户的不同需求,进行代码级的定制化规划与开发,产品功用和功用指标可大大优于同类产品。“比方咱们的分布式目标,单桶就能够完成4K小文件千亿等级的存储,一个体系TPS的聚合功用能够到达百万级,这种水平是业界一流的。”张新凤说。

  “分布式的使用越来越广泛,但细化到详细的使用场景里,又会发现使用需求是千差万别的。”面对当时分布式存储多样化的使用需求,张新凤表明“要快速的呼应商场需求,推出适宜的产品,首要要有强有力的团队支撑,其次是对职业的深耕和了解,根据以上两者的优势,对用户推出定制化的产品及运维服务。”

  张新凤介绍,在某科研机构气候模仿和科学研究项目中,为了协助用户处理事务流程时刻过长的问题,曙光集结专业研制团队为客户定制加快技能。在核算和存储节点之间,装备了大内存和高速NVMe的功用加快节点,把很多4K非对齐IO在这个节点上先做聚合,再到存储上面。最终用户实测使用功用提高8到10倍。“对存储技能有了必定的堆集,对使用有适当的了解,才干敏捷抓到用户需求痛点,快速呼应。”

  “在石油勘探过程中,数据存储和剖析处理的需求呈几何倍增加,对存储容量以及扩展性都提了很高的要求;石油勘探范畴对搜集上来的数据,需求供给TB级及PB级的读写功用,来满意咱们现在前端的密布核算和模仿。”,中石化石油物探技能研究院信息中心技能主管葛鑫提及。

  “在舆情数据智能剖析时,客户要求体系架构能交融练习、剖析及推理,传统存算一体化的形式就不太适用。”中科天玑区域拓宽部总经理刘维秦在分布式存储使用中谈到,”曙光原生HDFS协议的支撑,在存算别离的基础上,确保了功用的指数级提高,还能够支撑更多大数据高档功用。”

  “未来的存储体系要很好地支撑使用,无论是功用的极致优化,或者是功用的定制”,张新凤对存储商场的未来开展演进做出判别,“没有一蹴即至的捷径能够走,更多的是天长日久的堆集和演进”,作为国内第一批做自研分布式存储的厂商,曙光将以更厚实的科研技能、更先进的存储产品、更优质的存储服务,助力工业晋级和数字化转型。

  办理关于运转使用程序,以及供给剖析信息来协助整个体系进行规划和决议计划,然后

  文件体系。受Google File System 架构的启示,针对单个元

  办法 /

  技能?有哪些使用? /

  网络势在必行。而使用区块链技能的办理机制、安全机制、激励机制才干有用的安排

  处理方案 /

  技能的比照剖析与使用 /

  体系GFS的基础知识 /

  架构面对的应战 /

  体系,不论是目标、块、文件、kv、log、olap、oltp,只要对所办理的

  做了Partitioning&Replication,不论姿态对不对,其实

  《数据中心冷板式液冷测验验证技能白皮书》发布 曙光数创参编“冷板测验技能白皮书”

  MOS管的温度匹配技巧,高精度与高阻抗,能否兼备?#硬件规划遇到过哪些坑?