Karon atong hisgutan kung giunsa ang labing maayo nga pagtipig sa datos sa usa ka kalibutan diin ang mga network sa ikalimang henerasyon, mga scanner sa genome ug mga awto nga nagmaneho sa kaugalingon naghimo og daghang mga datos sa usa ka adlaw kaysa sa tanan nga mga tawo nga nahimo sa wala pa ang industriyal nga rebolusyon.
Ang atong kalibutan nagmugna og dugang ug dugang nga impormasyon. Ang uban niini lumalabay lamang ug nawala sa labing madali sama sa pagkolekta niini. Ang usa kinahanglan nga tipigan nga mas dugay, ug ang lain gidesinyo pa gani "sa mga siglo" - labing menos mao kana ang atong makita gikan sa karon. Ang mga pag-agos sa impormasyon namuyo sa mga sentro sa datos sa usa ka tulin nga bisan unsa nga bag-ong pamaagi, bisan unsang teknolohiya nga gidisenyo aron matagbaw kining walay katapusan nga "panginahanglan" dali nga nahimong karaan.
40 ka tuig nga giapod-apod nga pag-uswag sa pagtipig
Ang una nga mga pagtipig sa network sa porma nga pamilyar kanamo nagpakita kaniadtong 1980s. Daghan kaninyo ang nakakita sa NFS (Network File System), AFS (Andrew File System) o Coda. Usa ka dekada ang milabay, ang uso ug teknolohiya nausab, ug ang gipang-apod-apod nga mga file system naghatag ug dalan sa clustered storage systems base sa GPFS (General Parallel File System), CFS (Clustered File Systems) ug StorNext. Ang block storage sa klasikal nga arkitektura gigamit isip basehan, sa ibabaw niini ang usa ka file system gimugna gamit ang software layer. Kini ug ang susama nga mga solusyon gigamit gihapon, nag-okupar sa ilang niche ug naa sa panginahanglan.
Sa pagsugod sa milenyo, ang giapod-apod nga paradigm sa pagtipig medyo nausab, ug ang mga sistema nga adunay SN (Shared-Nothing) nga arkitektura nanguna. Adunay usa ka transisyon gikan sa pagtipig sa cluster ngadto sa pagtipig sa lain nga mga node, nga, ingon nga usa ka lagda, mga klasiko nga mga server nga adunay software nga naghatag kasaligan nga pagtipig; ang maong mga prinsipyo gitukod, ingnon ta, HDFS (Hadoop Distributed File System) ug GFS (Global File System).
Mas duol sa 2010, ang mga konsepto nga nagpailalom sa giapod-apod nga mga sistema sa pagtipig labi nga nagsugod nga gipakita sa hingpit nga komersyal nga mga produkto, sama sa VMware vSAN, Dell EMC Isilon, ug among
Mga operator sa telecom
Tingali ang usa sa labing karaan nga mga konsumedor sa gipang-apod-apod nga mga sistema sa pagtipig mao ang mga operator sa telecom. Gipakita sa diagram kung unsang mga grupo sa mga aplikasyon ang naghimo sa kadaghanan sa datos. Ang OSS (Operations Support Systems), MSS (Management Support Services) ug BSS (Business Support Systems) nagrepresentar sa tulo ka komplementaryong software layers nga gikinahanglan aron mahatagan og serbisyo ang mga subscribers, financial reporting ngadto sa provider ug operational support sa operator engineers.
Kasagaran, ang mga datos sa kini nga mga lut-od kusog nga gisagol sa usag usa, ug aron malikayan ang pagtipon sa wala kinahanglana nga mga kopya, gigamit ang gipang-apod-apod nga mga pagtipig nga nagtigum sa tibuuk nga kantidad sa kasayuran nga gikan sa usa ka nagtrabaho nga network. Ang mga storage gihiusa ngadto sa usa ka komon nga pool, diin ang tanan nga mga serbisyo access.
Gipakita sa among mga kalkulasyon nga ang transisyon gikan sa klasiko hangtod sa pag-block sa mga sistema sa pagtipig nagtugot kanimo nga makatipig hangtod sa 70% sa badyet lamang pinaagi sa pagbiya sa gipahinungod nga hi-end nga mga sistema sa pagtipig ug paggamit sa naandan nga klasikal nga mga server sa arkitektura (kasagaran x86), nga nagtrabaho kauban ang espesyal nga software. Ang mga operator sa cellular nagkuha sa ingon nga mga solusyon sa daghang mga volume sa dugay nga panahon. Sa partikular, ang mga operator sa Russia naggamit sa ingon nga mga produkto gikan sa Huawei sa sobra sa unom ka tuig.
Oo, daghang mga buluhaton ang dili mahimo gamit ang giapod-apod nga mga sistema. Pananglitan, uban sa dugang nga mga kinahanglanon sa pasundayag o pagkaangay sa mga daan nga protocol. Apan labing menos 70% sa datos nga giproseso sa operator mahimong ibutang sa usa ka gipang-apod-apod nga pool.
Pagbangko
Sa bisan unsang bangko adunay daghang lain-laing mga sistema sa IT, sugod sa pagproseso ug pagtapos sa usa ka automated banking system. Kini nga imprastraktura usab nagtrabaho uban ang usa ka dako nga kantidad sa impormasyon, samtang ang kadaghanan sa mga buluhaton wala magkinahanglan og dugang nga performance ug kasaligan sa mga sistema sa pagtipig, sama pananglit, pag-uswag, pagsulay, automation sa mga proseso sa opisina, ug uban pa Dinhi, ang paggamit sa mga classic storage system posible, apan matag tuig kini gamay ug dili kaayo ganansya. Dugang pa, sa kini nga kaso walay pagka-flexible sa paggamit sa mga kahinguhaan sa sistema sa pagtipig, ang pasundayag nga gikalkula base sa peak load.
Kung gigamit ang gipang-apod-apod nga mga sistema sa pagtipig, ang ilang mga node, nga sa tinuud ordinaryo nga mga server, mahimo’g mabag-o bisan unsang oras, pananglitan, sa usa ka umahan sa server ug gigamit ingon usa ka platform sa kompyuter.
Mga lanaw sa datos
Ang dayagram sa ibabaw nagpakita sa usa ka lista sa kasagaran nga mga konsumidor sa serbisyo.
Ang paggamit sa mga klasiko nga sistema sa pagtipig aron masulbad ang ingon nga mga problema dili epektibo, tungod kay kini nanginahanglan parehas nga adunay taas nga pasundayag nga pag-access aron mapugngan ang mga database ug regular nga pag-access sa mga librarya sa mga gi-scan nga mga dokumento nga gitipigan ingon mga butang. Dinhi, pananglitan, ang usa ka sistema sa mga order pinaagi sa usa ka web portal mahimong ihigot. Aron ipatuman kining tanan sa usa ka klasiko nga plataporma sa pagtipig, kinahanglan nimo ang usa ka dako nga hugpong sa mga kagamitan alang sa lainlaing mga buluhaton. Ang usa ka pinahigda nga unibersal nga sistema sa pagtipig mahimo’g masakop ang tanan nga nalista kaniadto nga mga buluhaton: kinahanglan nimo nga maghimo daghang mga pool nga adunay lainlaing mga kinaiya sa pagtipig niini.
Mga tigmugna sa bag-ong impormasyon
Ang gidaghanon sa impormasyon nga gitipigan sa kalibutan motubo sa mga 30% kada tuig. Maayo kini nga balita alang sa mga tigbaligya sa pagtipig, apan unsa ang ug mahimong panguna nga gigikanan sa kini nga datos?
Napulo ka tuig na ang milabay, ang mga social network nahimong ingon nga mga generator, kini nagkinahanglan sa paghimo sa usa ka dako nga gidaghanon sa mga bag-ong algorithm, mga solusyon sa hardware, ug uban pa. Ang una mao ang cloud computing. Sa pagkakaron, gibana-bana nga 70% sa mga kompanya ang naggamit sa mga serbisyo sa panganod sa usa ka paagi o lain. Mahimo kini nga mga sistema sa email, pag-backup, ug uban pang mga virtual nga entidad.
Ang ikaduha nga drayber mao ang ikalimang henerasyon nga mga network. Kini mga bag-ong katulin ug bag-ong gidaghanon sa pagbalhin sa datos. Sumala sa among mga panagna, ang kaylap nga pagsagop sa 5G mosangput sa pagkunhod sa panginahanglan alang sa mga flash memory card. Bisan unsa pa kadaghan ang memorya sa telepono, natapos gihapon kini, ug kung ang gadget adunay 100-megabit nga channel, dili kinahanglan nga magtipig sa mga litrato sa lokal.
Ang ikatulo nga grupo sa mga hinungdan ngano nga ang panginahanglan alang sa mga sistema sa pagtipig nag-uswag naglakip sa paspas nga pag-uswag sa artificial intelligence, ang pagbalhin sa dagkong data analytics ug ang uso padulong sa unibersal nga automation sa tanan nga mahimo.
Usa ka bahin sa "bag-ong trapiko" mao ang
Usa ka dagat nga wala’y istruktura nga datos
Unsa ang mga problema nga gipahinabo sa pagtungha sa "bag-ong datos"? Ang una sa kanila, siyempre, mao ang kantidad sa kasayuran mismo ug ang gibanabana nga panahon sa pagtipig niini. Ang usa ka moderno nga awtonomous nga walay drayber nga awto nga nag-inusara makamugna hangtod sa 60TB nga datos matag adlaw gikan sa tanan nga mga sensor ug mekanismo niini. Aron makahimo og bag-ong mga algorithm sa paglihok, kini nga impormasyon kinahanglang iproseso sulod sa samang adlaw, kon dili kini magsugod sa pagtigum. Sa parehas nga oras, kini kinahanglan nga tipigan sa dugay nga panahon - mga dekada. Unya ra nga mahimo’g maghimo mga konklusyon pinasukad sa daghang mga sample nga analitikal sa umaabot.
Ang usa ka himan alang sa pag-decipher sa mga genetic sequence makagama ug mga 6 terabytes kada adlaw. Ug ang datos nga nakolekta uban sa tabang niini wala magpasabot sa pagtangtang sa tanan, nga mao, hypothetically, sila kinahanglan nga gitipigan sa walay katapusan.
Sa katapusan, ang tanan nga parehas nga mga network sa ikalimang henerasyon. Gawas pa sa impormasyon nga gipasa mismo, ang ingon nga network mismo usa ka dako nga generator sa datos: mga log sa kalihokan, mga rekord sa tawag, mga intermediate nga resulta sa mga interaksyon sa makina-sa-machine, ug uban pa.
Kining tanan nanginahanglan sa pag-uswag sa mga bag-ong pamaagi ug mga algorithm alang sa pagtipig ug pagproseso sa kasayuran. Ug ang ingon nga mga paagi mitumaw.
Mga teknolohiya sa bag-ong panahon
Adunay tulo ka mga grupo sa mga solusyon nga gidisenyo aron masagubang ang bag-ong mga kinahanglanon alang sa mga sistema sa pagtipig sa impormasyon: ang pagpaila sa artipisyal nga paniktik, ang teknikal nga ebolusyon sa storage media ug mga inobasyon sa natad sa arkitektura sa sistema. Magsugod ta sa AI.
Sa bag-ong mga solusyon sa Huawei, gigamit ang artipisyal nga paniktik sa lebel sa pagtipig mismo, nga nasangkapan sa usa ka processor sa AI nga nagtugot sa sistema nga independente nga mag-analisar sa kahimtang niini ug matagna ang mga kapakyasan. Kung ang sistema sa pagtipig konektado sa usa ka cloud sa serbisyo nga adunay hinungdanon nga kapabilidad sa pag-compute, ang artificial intelligence makahimo sa pagproseso sa dugang nga kasayuran ug pagdugang sa katukma sa mga hypotheses niini.
Dugang sa mga kapakyasan, ang ingon nga AI makatagna sa umaabot nga peak load ug ang nahabilin nga oras hangtod mahurot ang kapasidad. Gitugotan ka niini nga ma-optimize ang pasundayag ug sukdon ang sistema sa wala pa mahitabo ang bisan unsang dili gusto nga mga panghitabo.
Karon bahin sa ebolusyon sa mga tagdala sa datos. Ang unang mga flash drive gihimo gamit ang SLC (Single-Level Cell) nga teknolohiya. Ang mga himan nga gibase niini paspas, kasaligan, lig-on, apan adunay gamay nga kapasidad ug mahal kaayo. Ang pagtaas sa gidaghanon ug pagkunhod sa presyo nakab-ot pinaagi sa pipila nga mga teknikal nga konsesyon, tungod niini ang katulin, kasaligan ug kinabuhi sa mga pagmaneho nakunhuran. Bisan pa, ang uso wala makaapekto sa mga sistema sa pagtipig sa ilang kaugalingon, nga, tungod sa lainlaing mga trick sa arkitektura, sa kinatibuk-an, nahimong labi ka mabungahon ug mas kasaligan.
Apan nganong kinahanglan nimo ang All-Flash nga mga sistema sa pagtipig sa klase? Dili pa ba igo nga ilisan lang ang mga daan nga HDD sa usa na ka operating system nga adunay bag-ong mga SSD sa parehas nga porma nga hinungdan? Gikinahanglan kini aron epektibo nga magamit ang tanan nga mga kahinguhaan sa bag-ong solid-state drive, nga imposible sa mga daan nga sistema.
Ang Huawei, pananglitan, nakahimo og daghang mga teknolohiya aron masulbad kini nga problema, usa niini
Ang intelihente nga pag-ila nagpaposible sa pag-decompose sa datos sa daghang mga sapa ug pagsagubang sa daghang dili gusto nga mga panghitabo, sama sa
Pagkapakyas, paghuot, pagkolekta sa basura - kini nga mga hinungdan dili na usab makaapekto sa pasundayag sa sistema sa pagtipig salamat sa mga espesyal nga pagbag-o sa mga tigkontrol.
Ug ang mga tindahan sa data block nangandam nga magkita
Ang sunod nga hugna sa pagpalambo sa teknolohiya nga atong nakita karon mao ang paggamit sa NVMe-oF (NVMe over Fabrics). Sama sa alang sa mga teknolohiya sa block sa Huawei, gisuportahan na nila ang FC-NVMe (NVMe over Fiber Channel), ug ang NVMe over RoCE (RDMA over Converged Ethernet) anaa sa dalan. Ang mga modelo sa pagsulay medyo magamit, pipila ka bulan ang nahabilin sa wala pa ang ilang opisyal nga presentasyon. Timan-i nga kining tanan makita usab sa gipang-apod-apod nga mga sistema, diin ang "Ethernet nga walay kapildihan" adunay dako nga panginahanglan.
Ang usa ka dugang nga paagi aron ma-optimize ang operasyon sa giapod-apod nga pagtipig mao ang kompleto nga pagbiya sa pagsalamin sa datos. Ang mga solusyon sa Huawei wala na mogamit ug n kopya, sama sa naandan nga RAID 1, ug hingpit nga mobalhin sa
Ang mga mekanismo sa deduplication ug compression nahimong mandatory. Kung sa klasikal nga mga sistema sa pagtipig kami limitado sa gidaghanon sa mga processor nga na-install sa mga controller, unya sa gipang-apod-apod nga horizontally scalable storage system, ang matag node naglangkob sa tanan nga imong gikinahanglan: mga disk, memorya, mga processor ug interconnect. Kini nga mga kapanguhaan igo na alang sa deduplication ug compression nga adunay gamay nga epekto sa pasundayag.
Ug bahin sa mga pamaagi sa pag-optimize sa hardware. Dinhi posible nga makunhuran ang pagkarga sa mga sentral nga processor sa tabang sa dugang nga gipahinungod nga mga chips (o gipahinungod nga mga bloke sa processor mismo), nga adunay usa ka papel.
Ang mga bag-ong pamaagi sa pagtipig sa datos gilangkob sa usa ka disaggregated (giapod-apod) nga arkitektura. Ang sentralisadong mga sistema sa pagtipig adunay usa ka pabrika sa server nga konektado pinaagi sa Fiber Channel sa
Dili sama sa duha sa ibabaw, gipasabot ang disaggregated nga arkitektura pagbahin sa sistema ngadto sa usa ka computing fabric ug usa ka horizontal storage system. Naghatag kini og mga benepisyo sa duha ka mga arkitektura ug nagtugot sa halos walay kutub nga pag-scale sa elemento lamang nga kulang sa performance.
Gikan sa integration ngadto sa convergence
Ang usa ka klasiko nga buluhaton, ang kalabotan nga mitubo lamang sa miaging 15 ka tuig, mao ang panginahanglan nga dungan nga maghatag block storage, pag-access sa file, pag-access sa mga butang, ang operasyon sa usa ka umahan alang sa dagkong datos, ug uban pa. Ang icing sa cake mahimo mahimo usab, pananglitan, usa ka backup nga sistema sa magnetic tape.
Sa una nga yugto, ang pagdumala lamang sa kini nga mga serbisyo ang mahimong mahiusa. Ang mga heterogeneous nga sistema sa pagtipig sa datos gisirhan sa pipila ka espesyal nga software, diin ang tagdumala nag-apod-apod sa mga kapanguhaan gikan sa mga magamit nga pool. Apan tungod kay kini nga mga pool lahi sa hardware, ang pagbalhin sa load tali kanila imposible. Sa mas taas nga lebel sa panagsama, ang pagkonsolida nahitabo sa lebel sa ganghaan. Kung adunay gipaambit nga pag-access sa file, mahimo kini ihatag pinaagi sa lainlaing mga protocol.
Ang labing abante nga pamaagi sa convergence nga magamit kanato karon naglakip sa paghimo sa usa ka unibersal nga hybrid nga sistema. Sa paagi nga dapat amo
Ang gasto sa pagtipig sa impormasyon karon nagtino sa daghang mga desisyon sa arkitektura. Ug bisan kung kini mahimo nga luwas nga ibutang sa unahan, karon atong gihisgutan ang "live" nga pagtipig nga adunay aktibo nga pag-access, busa kinahanglan usab nga tagdon ang pasundayag. Ang laing importante nga kabtangan sa sunod nga henerasyon nga gipang-apod-apod nga mga sistema mao ang panaghiusa. Pagkahuman, wala’y gusto nga adunay daghang lainlaing mga sistema nga kontrolado gikan sa lainlaing mga console. Ang tanan nga kini nga mga hiyas gilangkob sa bag-ong serye sa mga produkto sa Huawei.
Sunod nga henerasyon nga mass storage
Nakab-ot sa OceanStor Pacific ang unom ka siyam (99,9999%) nga mga kinahanglanon sa kasaligan ug mahimong magamit sa paghimo ug sentro sa datos sa klase sa HyperMetro. Uban sa gilay-on tali sa duha ka mga sentro sa datos nga hangtod sa 100 km, ang mga sistema nagpakita sa usa ka dugang nga paglangan sa 2 ms, nga nagpaposible sa paghimo sa bisan unsang disaster-proof nga mga solusyon nga gibase niini, lakip ang mga adunay mga server sa korum.
Ang mga produkto sa bag-ong serye nagpakita sa versatility sa mga termino sa mga protocol. Naa na, gisuportahan sa OceanStor 100D ang pag-block sa pag-access, pag-access sa butang, ug pag-access sa Hadoop. Ang pag-access sa file ipatuman sa umaabot nga umaabot. Dili kinahanglan nga magtipig daghang mga kopya sa datos kung mahimo silang maisyu pinaagi sa lainlaing mga protocol.
Ingon og, unsa ang kalabotan sa konsepto sa "walay pagkawala nga network" sa pagtipig? Ang tinuod mao nga ang gipang-apod-apod nga mga sistema sa pagtipig sa datos gitukod pinasukad sa usa ka paspas nga network nga nagsuporta sa angay nga mga algorithm ug mekanismo sa RoCE. Ang artipisyal nga sistema sa paniktik nga gisuportahan sa among mga switch makatabang aron madugangan pa ang katulin sa network ug makunhuran ang latency.
Unsa ang bag-ong OceanStor Pacific nga gipang-apod-apod nga storage node? Ang 5U form factor solution naglakip sa 120 ka mga drive ug makapuli sa tulo ka classic nodes, labaw pa sa pagdoble sa rack space. Tungod sa pagdumili sa pagtipig sa mga kopya, ang kaepektibo sa mga drive nagdugang sa kamahinungdanon (hangtod sa + 92%).
Naanad na kami sa kamatuoran nga ang storage nga gipiho sa software usa ka espesyal nga software nga gi-install sa usa ka classic server. Apan karon, aron makab-ot ang kamalaumon nga mga parameter, kini nga solusyon sa arkitektura nanginahanglan usab mga espesyal nga node. Naglangkob kini sa duha ka mga server nga gibase sa mga processor sa ARM nga nagdumala sa usa ka han-ay sa tulo ka pulgada nga mga drive.
Kini nga mga server dili maayo nga haum alang sa hyperconverged nga mga solusyon. Una, adunay pipila ka mga aplikasyon alang sa ARM, ug ikaduha, lisud ang pagpadayon sa balanse sa pagkarga. Gisugyot namo ang pagbalhin ngadto sa bulag nga storage: usa ka computing cluster, nga girepresentahan sa classic o rack servers, nag-operate nga bulag, apan konektado sa OceanStor Pacific storage nodes, nga naghimo usab sa ilang mga direktang buluhaton. Ug kini nagpakamatarong sa iyang kaugalingon.
Pananglitan, magkuha kita usa ka klasiko nga hyperconverged nga dagkong solusyon sa pagtipig sa datos nga nag-okupar sa 15 nga mga rack sa server. Kung ipang-apod-apod nimo ang load tali sa indibidwal nga OceanStor Pacific compute server ug mga storage node, nga magbulag kanila gikan sa usag usa, ang gidaghanon sa gikinahanglan nga mga racks matunga! Gipamenos niini ang gasto sa pag-operate sa data center ug gipaubos ang kinatibuk-ang gasto sa pagpanag-iya. Sa usa ka kalibutan diin ang gidaghanon sa gitipigan nga impormasyon mitubo sa 30% kada tuig, ang maong mga benepisyo wala magkatag.
***
Alang sa dugang nga kasayuran bahin sa mga solusyon sa Huawei ug ang ilang mga sitwasyon sa aplikasyon, palihug bisitaha ang among
Source: www.habr.com