Îro em ê biaxivin ka meriv çawa di cîhanek ku toreyên nifşê pêncemîn, skanerên genomê û otomobîlên xwe-ajotinê de bêtir daneyan hildiberînin ji tevahiya mirovahiyê ku beriya şoreşa pîşesaziyê hatî çêkirin, çawa çêtirîn biaxivin.
Cîhana me her ku diçe bêtir agahdarî diafirîne. Beşek jê diherike û bi qasî ku tê berhevkirin zû winda dibe. Divê yê din dirêjtir were hilanîn, û ya din jî "bi sedsalan" hatî sêwirandin - bi kêmanî tiştê ku em ji nuha ve dibînin ev e. Herikîna agahiyê di navendên daneyê de bi lez û bez bi cih dibe ku her nêzîkatiyek nû, her teknolojiyek ku ji bo têrkirina vê "daxwaza" bêdawî hatî çêkirin zû kevn dibe.
40 sal pêşkeftina pergalên hilanînê yên belavkirî
Yekem hilanîna torê ya bi forma ku em pê nas dikin di salên 1980-an de xuya bû. Gelek ji we li NFS (Pergala Pelê Torê), AFS (Pergala Pelê Andrew) an jî Coda hatine. Deh sal şûnda, moda û teknolojî guherî, û pergalên pelan ên belavkirî cîhê xwe dane pergalên hilanînê yên komkirî yên ku li ser bingeha GPFS (Pergala Pelê Parallel a Giştî), CFS (Pergalên Pelên Komkirî) û StorNext têne çêkirin. Hilberîna bloka mîmariya klasîk wekî bingehek hate bikar anîn, li ser vê yekê pergala pelê ya yekane bi karanîna qatek nermalavê hate afirandin. Van û çareseriyên mîna wan hîn jî têne bikar anîn, cîhê xwe digirin û pir daxwaz in.
Di destpêka hezarsalî de, paradîgmaya hilanînê ya belavbûyî hinekî guherî, û pergalên bi mîmariya SN (Shared-Nothing) pozîsyonên pêşeng girtin. Veguheztinek ji hilanîna komê ber bi hilanînê ve li ser girêkên kesane, ku, wekî qaîdeyek, serverên klasîk bûn bi nermalava ku hilanîna pêbawer peyda dikin; Li ser prensîbên weha, dibêjin, HDFS (Pergala Pelê Dabeşkirî Hadoop) û GFS (Pergala Pelên Gerdûnî) têne çêkirin.
Nêzîkî salên 2010-an, têgehên di bin pergalên hilanînê yên belavbûyî de her ku diçe di hilberên bazirganî yên bêkêmasî de, wek VMware vSAN, Dell EMC Isilon û me. . Li pişt platformên navborî êdî ne civatek dilşewat, lê firoşkarên taybetî hene ku ji fonksiyon, piştgirî û karûbarê hilberê berpirsiyar in û pêşkeftina wê ya pêşdetir garantî dikin. Çareseriyên weha di gelek waran de herî zêde daxwaz in.
operatorên Telekomê
Dibe ku yek ji kevintirîn xerîdarên pergalên hilanînê yên belavkirî operatorên telekomê ne. Diagram nîşan dide ku kîjan komên sepanan piraniya daneyan çêdikin. OSS (Pergalên Piştgiriya Operasyonên), MSS (Xizmetên Piştgiriya Rêvebiriyê) û BSS (Pergalên Piştgiriya Karsaziyê) sê qatên nermalava temamker ên ku ji bo peydakirina karûbarê ji aboneyan re, raporkirina darayî ji peydaker re û piştgiriya xebitandinê ji endezyarên operator re hewce ne, temsîl dikin.
Bi gelemperî, daneyên van qatan bi giranî bi hevûdu re têne tevlihev kirin, û ji bo ku ji berhevkirina kopiyên nehewce dûr nekevin, hilanîna belavkirî tê bikar anîn, ku tevahiya agahdariya ku ji tora xebitandinê tê berhev dike. Depokirin di hewzek hevpar de têne hev, ku ji hêla hemî karûbaran ve tê gihîştin.
Hesabên me destnîşan dikin ku derbasbûna ji pergalên hilanînê yên klasîk ber bi pergalên hilanînê ve bloke dihêle hûn tenê bi dev ji pergalên hilanînê yên diyarkirî û karanîna serverên mîmariya klasîk ên kevneşopî (bi gelemperî x70), ku digel pisporan dixebitin, heya% 86 ji budceyê teserûf bikin. software. Operatorên hucreyî ji zû ve dest bi kirîna çareseriyên weha bi mîqdarên mezin kirine. Bi taybetî, operatorên rûsî zêdetirî şeş sal in hilberên weha ji Huawei bikar tînin.
Erê, hejmarek karan bi karanîna pergalên belavkirî nayên qedandin. Mînakî, bi zêdebûna daxwazên performansê an lihevhatina bi protokolên kevn re. Lê bi kêmî ve 70% ji daneyên ku ji hêla operator ve hatî hilberandin dikare di hewzek belavkirî de cih bigire.
Sektora Banking
Li her bankê gelek pergalên IT-ê yên cihêreng hene, ji pêvajoyê dest pê dikin û bi pergalek bankingê ya otomatîkî diqedin. Ev binesaziya di heman demê de bi hejmareke mezin a agahdarî re jî dixebite, di heman demê de piraniya karan hewcedariya zêdekirina performans û pêbaweriya pergalên hilanînê nakin, mînakî, pêşkeftin, ceribandin, otomatîkkirina pêvajoyên nivîsgehê, hwd. Li vir, karanîna pergalên hilanînê yên klasîk mimkun e. lê her sal bi kêrî wê kêm dibe. Wekî din, di vê rewşê de di karanîna çavkaniyên pergala hilanînê de, ku performansa wê li ser bingeha barkirina lûtkeyê tê hesibandin, nermbûnek tune.
Dema ku pergalên hilanînê yên belavkirî bikar tînin, girêkên wan, ku di rastiyê de serverên asayî ne, dikarin di her kêliyê de werin veguheztin, mînakî, di nav zeviyek serverê de û wekî platformek hesabkirinê bikar bînin.
golên daneyan
Diagrama jorîn navnîşek xerîdarên karûbarê tîpîk nîşan dide . Ev dikarin xizmetên e-hikûmetê bin (mînak, "Xizmetên Hikûmetê"), pargîdaniyên dîjîtal, saziyên darayî, hwd. Pêdivî ye ku hemî bi cildên mezin ên agahdariya heterojen re bixebitin.
Bikaranîna pergalên hilanînê yên klasîk ji bo çareserkirina pirsgirêkên weha bêbandor e, ji ber ku ew hem gihîştina bi performansa bilind hewce dike ku databasan asteng bike û hem jî bi rêkûpêk gihîştina pirtûkxaneyên belgeyên skandîkirî yên wekî tiştan têne hilanîn. Mînakî, pergalek fermankirinê bi riya portalek malperê jî dikare li vir were girêdan. Ji bo bicihanîna van hemîyan li ser platformek hilanînê ya klasîk, hûn ê ji bo karên cihêreng hewceyê komek mezin a alavan bikin. Dibe ku yek pergala hilanîna gerdûnî ya horizontî hemî karên ku berê hatine navnîş kirin vehewîne: hûn tenê hewce ne ku çend hewzên bi taybetmendiyên hilanînê yên cihêreng tê de biafirînin.
Generatorên agahdariya nû
Hejmara agahdariya ku li cîhanê tê hilanîn her sal ji sedî 30 zêde dibe. Ev ji bo firoşkarên hilanînê nûçeyek baş e, lê çavkaniya sereke ya vê daneyê çi ye û dê bibe?
Deh sal berê, torên civakî bûne jeneratorên weha; ji bo vê yekê pêdivî bi afirandina hejmareke mezin ji algorîtmayên nû, çareseriyên hardware û hwd. Niha sê ajokarên sereke hene ji bo mezinbûna cildên hilanînê. Ya yekem komputera ewr e. Heya nuha, nêzîkê 70% ji pargîdaniyan karûbarên cloudê bi rengek an din bikar tînin. Ev dikarin pergalên nameya elektronîkî, kopiyên paşvekişandinê û saziyên din ên virtualkirî bin.
Ajokera duyemîn torên nifşa pêncemîn e. Ev leza nû û cildên veguhastina daneya nû ne. Li gorî pêşbîniyên me, pejirandina berfireh a 5G dê bibe sedema kêmbûna daxwazê ji bo kartên bîra flash. Çiqas bîranîn di têlefonê de hebe jî, ew dîsa jî diqede, û heke amûrek kanalek 100 megabitî hebe, ne hewce ye ku wêneyan li herêmî hilînin.
Koma sêyem sedemên ku çima daxwazî ji bo pergalên hilanînê mezin dibe, pêşveçûna bilez a îstîxbarata sûnî, derbasbûna analîtîkên daneya mezin û meyla berbi otomasyona gerdûnî ya her tiştê gengaz vedihewîne.
Taybetmendiyek "trafîka nû" ew e . Pêdivî ye ku em van daneyan bêyî ku bi ti awayî formata wê diyar bikin hilînin. Tenê ji bo xwendina paşîn pêdivî ye. Mînakî, ji bo destnîşankirina mîqdara deynê berdest, pergalek pîvandinê ya bankingê dê li wêneyên ku hûn li ser torên civakî diweşînin binêre, diyar bike ka hûn pir caran diçin deryayê û li xwaringehan, û di heman demê de jêderkên belgeyên bijîjkî yên we yên berdest lêkolîn dikin. ji wê re. Ev dane, ji aliyekî ve berfireh in, lê ji aliyê din ve jî bê homojenî ne.
Okyanûsa daneyên bêpergal
Derketina "daneyên nû" çi pirsgirêkan vedihewîne? Di nav wan de ya yekem, bê guman, qebareya agahdarî û heyama texmînkirî ya hilanîna wê ye. Otomobîlek xweser a nûjen a bê ajokar tenê her roj ji hemî senzor û mekanîzmayên xwe heya 60 terabyte daneyan çêdike. Ji bo pêşxistina algorîtmayên tevgerê yên nû, divê ev agahdarî di heman rojê de were hilanîn, wekî din ew ê dest bi berhevkirinê bike. Di heman demê de, pêdivî ye ku ew ji bo demek pir dirêj - bi dehan salan were hilanîn. Tenê wê gavê dê di pêşerojê de gengaz be ku li ser nimûneyên analîtîk ên mezin encaman derxînin.
Yek amûrek ji bo deşîfrekirina rêzikên genetîkî rojane bi qasî 6 TB hilberîne. Û daneyên ku bi alîkariya wê têne berhev kirin bi tevahî jêbirinê nayê wateya, ango, bi hîpotetîk, divê her û her were hilanîn.
Di dawiyê de, heman torên nifşa pêncemîn. Digel agahdariya veguhestî ya rastîn, torgilokek wusa bixwe hilberînerek mezin a daneyê ye: têketinên çalakiyê, tomarên bangê, encamên navîn ên danûstendinên makîne-to-makîne, hwd.
Hemî ev hewceyê pêşveçûna nêzîkatî û algorîtmayên nû yên ji bo hilanîn û hilanîna agahdariyan hewce dike. Û nêzîkatiyên wiha derdikevin holê.
Teknolojiyên serdema nû
Sê komên çareseriyê hene ku ji bo çareserkirina daxwazên nû yên pergalên hilanînê agahdarî hatine çêkirin: danasîna îstîxbarata sûnî, pêşkeftina teknîkî ya medya hilanînê û nûbûnên di warê mîmariya pergalê de. Ka em bi AI-ê dest pê bikin.
Di çareseriyên nû yên Huawei de, îstîxbarata çêkirî di asta hilanînê de bixwe tê bikar anîn, ku bi pêvajoyek AI-yê ve hatî çêkirin ku destûrê dide pergalê ku serbixwe rewşa xwe analîz bike û têkçûn pêşbîn bike. Ger pergala hilanînê bi ewrek karûbarê ku xwedan kapasîteyên girîng ên hesabkirinê ye ve girêdayî be, îstîxbarata çêkirî dê bikaribe bêtir agahdarî bişopîne û rastbûna hîpotezên xwe zêde bike.
Digel têkçûnan, AI-ya wusa dikare barkirina lûtkeya pêşerojê û dema mayî heya ku kapasîteyê qediya pêşbîn bike. Ev dihêle hûn performansê xweş bikin û pergalê berî ku bûyerên nexwestî çêbibin, pîvandin.
Naha di derbarê pêşkeftina medya hilanînê de. Yekem ajokarên flash bi teknolojiya SLC (Single-Level Cell) hatin çêkirin. Amûrên li ser bingeha wê bilez, pêbawer, stabîl bûn, lê xwedî kapasîteya piçûk bûn û pir biha bûn. Mezinbûna cildê û kêmkirina bihayê bi hin tawîzên teknîkî ve hate bidestxistin, ji ber vê yekê lez, pêbawerî û jiyana karûbarê ajokaran kêm bû. Digel vê yekê, meylê bandor li pergalên hilanînê bixwe nekir, ku, ji ber cûrbecûr hîleyên mîmarî, bi gelemperî hem hilbertir û hem jî pêbawertir bûn.
Lê çima we hewceyê pergalên hilanînê All-Flash bû? Ma ne bes bû ku meriv HDD-yên kevin di pergalek xebitandinê ya berê de bi SSD-yên nû yên heman formê veguhezîne? Ev hewce bû ku ji bo ku bi bandorkerî hemî çavkaniyên ajokarên nû-dewleta zexm bikar bînin, ku di pergalên kevn de bi hêsanî ne gengaz bû.
Mînakî, Huawei ji bo çareserkirina vê pirsgirêkê gelek teknolojiyên pêşdebir kiriye, yek ji wan jî ev e , ku ev gengaz kir ku têkiliyên "dîsk-kontrolker" bi qasî ku gengaz xweşbîn bikin.
Nasnameya aqilmend mimkun kir ku daneyan di çend çeman de veqetîne û bi hejmarek diyardeyên nexwestî re mijûl bibe, wek mînak. (amplification binivîse). Di heman demê de, bi taybetî algorîtmayên nûvekirinê yên nû , leza ji nû ve avakirinê zêde kir, dema xwe bi mîqdarên bi tevahî negirîng kêm kir.
Têkçûn, qerebalixbûn, berhevkirina çopê - ev faktor jî bi saya guheztinên taybetî yên kontrolkeran êdî bandorê li performansa pergala hilanînê nakin.
Û depoyên daneya blokê jî ji bo hevdîtinê amade dikin . Ka em bînin bîra xwe ku pilana klasîk a ji bo organîzekirina gihîştina daneyê bi vî rengî xebitî: pêvajo bi otobusa PCI Express ve gihîştiye kontrolkerê RAID. Ew, di encamê de, bi dîskên mekanîkî ve bi SCSI an SAS re têkilî danî. Bikaranîna NVMe ya li ser piştê bi girîngî tevahiya pêvajoyê bilez kir, lê kêmasiyek wê hebû: diviyabû ku ajokar rasterast bi pêvajoyê ve were girêdan da ku wê rasterast gihîştina bîranînê peyda bike.
Qonaxa din a pêşkeftina teknolojiyê ya ku em naha dibînin karanîna NVMe-oF (NVMe li ser Fabrics) ye. Di derbarê teknolojiyên bloka Huawei de, ew jixwe piştgirî didin FC-NVMe (NVMe li ser Kanala Fiber), û NVMe li ser RoCE (RDMA li ser Ethernet Converged) di rê de ye. Modelên ceribandinê pir fonksiyonel in; çend meh ji pêşkêşkirina wan a fermî re mane. Bala xwe bidinê ku ev hemî dê di pergalên belavbûyî de xuya bibin, ku "Ethernet bê winda" dê daxwazek mezin be.
Rêyek pêvek ji bo xweşbînkirina xebata hilanînê belavkirî bi tevahî devjêberdana daneyan bû. Çareseriyên Huawei êdî n kopiyan bikar naynin, wekî RAID 1-ê ya normal, û bi tevahî veguherînin (Kodkirina jêbirinê). Pakêtek matematîkî ya taybetî blokên kontrolê di serdemek diyarkirî de hesab dike, ku dihêle hûn di rewşek windabûnê de daneyên navîn sererast bikin.
Mekanîzmayên jihevdexistin û çewisandinê mecbûrî dibin. Ger di pergalên hilanînê yên klasîk de em ji hêla hejmara pêvajoyên ku di kontrolkeran de hatine saz kirin sînordar in, wê hingê di pergalên hilanînê yên berbelavkirî yên horizontî de têne belav kirin, her girêk her tiştê pêwîst dihewîne: dîsk, bîranîn, pêvajo û pêwendiyê. Van çavkaniyan bes in ku pê ewle bibin ku veqetandin û komkirin bandorek hindiktirîn li ser performansê heye.
Û li ser rêbazên optimîzasyona hardware. Li vir gengaz bû ku bi arîkariya çîpên veqetandî yên zêde (an blokên veqetandî yên di pêvajoyê bixwe de), ku rolek dileyzin, barkirina li ser pêvajoyên navendî kêm bikin. (TCP / IP Offload Engine) an girtina erkên matematîkî yên EC, veqetandin û berhevkirinê.
Nêzîktêdayînên nû yên hilanîna daneyê di mîmariyek veqetandî (belavbûyî) de têne cih. Pergalên hilanînê yên navendî xwedî kargehek serverê ye ku bi Kanala Fiber ve girêdayî ye bi gelek array. Dezawantajên vê nêzîkatiyê dijwariya pîvandin û dabînkirina astek garantîkirî ya karûbarê (di warê performansê an derengbûnê de) ne. Pergalên Hyperconverged hem ji bo hilanîn û hem jî ji bo hilanînê agahdarî heman hosteyan bikar tînin. Ev ji bo pîvandinê hema hema çarçoveyek bêsînor dide, lê ji bo domandina yekrêziya daneyê lêçûnek mezin vedigire.
Berevajî her du yên li jor, mîmariyek veqetandî tê wateya dabeşkirina pergalê di nav tevnek hesabker û pergalek hilanîna horizontî de. Ev feydeyên her du mîmarî peyda dike û dihêle hema hema bêsînor pîvandina tenê hêmana ku performansê jê tune ye.
Ji entegrasyonê heya hevgirtinê
Karekî klasîk, ku girîngiya wê tenê di van 15 salên borî de mezin bûye, hewcedariya bi hevdemî peydakirina hilanîna blokan, gihîştina pelan, gihîştina tiştan, xebitandina zeviyek daneya mezin, hwd. bibe, bo nimûne, sîstemeke hilanînê li ser tape magnetic.
Di qonaxa yekem de, tenê rêveberiya van karûbaran dikare bibe yek. Pergalên hilanîna daneya heterojen bi hin nermalava pispor ve hatin girêdan, bi navgîniya ku rêvebir çavkaniyên ji hewzên berdest belav kirin. Lê ji ber ku van hewzan xwedan hardwareyên cûda bûn, koçkirina barkirinê di navbera wan de ne mumkun bû. Di astek bilind a entegrasyonê de, kombûn di asta dergehê de pêk hat. Ger parvekirina pelê peyda bû, ew dikaribû bi protokolên cûda ve were xizmet kirin.
Rêbaza hevahengiyê ya herî pêşkeftî ya ku niha li ber destê me ye, avakirina pergalek hîbrîd a gerdûnî ye. Ya ku divê ya me bibe tam . Gihîştina gerdûnî heman çavkaniyên hardware bikar tîne, bi mentiqî li hewzên cihêreng tê dabeş kirin, lê rê dide koçkirina barkirinê. Hemî ev dikare bi konsolek rêveberiya yekane were kirin. Bi vî rengî, me karî konsepta "yek navendek daneyê - yek pergala hilanînê" bicîh bînin.
Mesrefa hilanîna agahdariya nuha gelek biryarên mîmarî diyar dike. Û her çend ew dikare bi ewlehî li pêşiyê were danîn, îro em li ser hilanîna "zindî" bi gihîştina çalak nîqaş dikin, ji ber vê yekê divê performans jî were hesibandin. Taybetmendiyek din a girîng a pergalên belavbûyî yên nifşê din yekbûn e. Beriya her tiştî, kes naxwaze ku gelek pergalên cihêreng ji konsolên cihê têne kontrol kirin. Hemî van xisletan di rêzikên nû yên hilberên Huawei de cih digirin .
Pergala hilanîna girseyî ya nifşa nû
OceanStor Pacific daxwazên pêbaweriya şeş-neh (99,9999%) pêk tîne û dikare ji bo afirandina navendên daneya pola HyperMetro were bikar anîn. Digel dûrahiya di navbera du navendên daneyê de heya 100 km, pergal derengiyek zêde ya 2 ms destnîşan dikin, ku ev gengaz dike ku li ser bingeha wan çareseriyên berxwedêr ên karesatê ava bikin, tevî yên bi pêşkêşkerên quorum.
Berhemên rêzikên nû pirrengiya protokolê destnîşan dikin. Jixwe, OceanStor 100D gihîştina blokê, gihîştina objektê û gihîştina Hadoop piştgirî dike. Dê di demek nêzîk de gihîştina pelan jî were sepandin. Ger ku ew bi protokolên cihêreng werin derxistin ne hewce ye ku gelek kopiyên daneyan hilînin.
Wusa dixuye ku têgeha "tora bê windahî" bi pergalên hilanînê re çi heye? Rastî ev e ku pergalên hilanîna daneya belavkirî li ser bingeha torgilokek bilez a ku algorîtmayên guncan û mekanîzmaya RoCE piştgirî dike têne çêkirin. Pergala îstîxbarata sûnî ya ku ji hêla guhêzbarên me ve hatî piştgirî kirin dibe alîkar ku leza torê bêtir zêde bike û derengiyê kêm bike. . Qezenckirina performansa hilanînê dema ku Fabric AI-yê çalak dike dikare bigihîje 20%.
Nodeya hilanînê ya nû ya OceanStor Pacific çi ye? Çareseriya faktora forma 5U 120 ajokeran vedihewîne û dikare sê girêkên klasîk biguhezîne, ku di cîhê refikê de ji du qat zêdetir teserûfê peyda dike. Bi hilanîna kopiyan re, karbidestiya ajokaran pir zêde dibe (heta +92%).
Em bi vê yekê aciz in ku hilanîna nermalava-pênaskirî nermalava taybetî ye ku li ser serverek klasîk hatî saz kirin. Lê naha, ji bo bidestxistina pîvanên çêtirîn, ev çareseriya mîmarî jî girêkên taybetî hewce dike. Ew ji du serveran pêk tê ku li ser bingeha pêvajoyên ARM-ê ye ku komek ajokarên sê-inch birêve dibin.
Ev server ji bo çareseriyên hyperconverged ne guncan in. Ya yekem, ji bo ARM çend serîlêdan hene, û ya duyemîn jî, domandina balansa barkirinê dijwar e. Em pêşniyar dikin ku veguheztina hilanînê ji hev veqetînin: komikek hesabkirinê, ku ji hêla serverên klasîk an rack ve têne temsîl kirin, ji hev cuda kar dike, lê bi girêkên hilanînê yên OceanStor Pacific ve girêdayî ye, ku di heman demê de peywirên xwe yên rasterast jî pêk tînin. Û xwe rewa dike.
Mînakî, ka em çareseriyek hilanîna daneya mezin a klasîk bi pergalek hîperkonverged ku 15 raftên serverê digire, bigirin. Ger hûn barkirinê di navbera serverên hilanînê yên cihêreng û girêkên hilanînê yên OceanStor Pacific de belav bikin, wan ji hev veqetînin, dê hejmara rafikên pêwîst nîvî bibe! Ev lêçûnên xebitandina navenda daneyê kêm dike û lêçûna tevahî ya xwedîtiyê kêm dike. Li cîhanek ku qebareya agahdariya hilanîn her sal ji sedî 30 zêde dibe, avantajên weha nayên avêtin.
***
Hûn dikarin di derheqê çareseriyên Huawei û senaryoyên serîlêdana wan de bêtir agahdarî li ser me bistînin an rasterast bi nûnerên pargîdaniyê re têkilî daynin.
Source: www.habr.com