Бүгүн биз бешинчи муундагы тармактар, геномдук сканерлер жана өзүн-өзү айдаган унаалар өнөр жай төңкөрүшүнө чейин жаралган бүткүл адамзатка караганда күнүнө көбүрөөк маалыматтарды чыгарган дүйнөдө маалыматтарды кантип сактоо керектиги жөнүндө сүйлөшөбүз.
Биздин дүйнө барган сайын көбүрөөк маалымат жаратууда. Анын кээ бир бөлүгү тез өтүп, чогултулган сайын жоголуп кетет. Дагы бирөөсү узак убакытка сакталышы керек, ал эми башкасы "кылымдар бою" иштелип чыккан - жок дегенде, биз азыркыдан көрүп жаткан нерсе. Маалымат агымдары маалымат борборлорунда ушунчалык ылдамдыкта жайгашат, бул чексиз “талапты” канааттандыруу үчүн иштелип чыккан ар кандай жаңы ыкма, технология тез эле эскирип калат.
бөлүштүрүлгөн сактоо системасын өнүктүрүү 40 жыл
Бизге тааныш формадагы биринчи тармактык сактагыч 1980-жылдары пайда болгон. Сиздердин көбүңүздөр NFS (Network File System), AFS (Andrew File System) же Coda менен таанышкансыздар. Он жылдан кийин мода жана технология өзгөрүп, бөлүштүрүлгөн файл тутумдары GPFS (Жалпы параллелдүү файл системасы), CFS (Clustered File Systems) жана StorNext негизиндеги кластердик сактоо тутумдарына жол берди. Негиз катары классикалык архитектуранын блоктук сактагычы колдонулган, анын үстүнө программалык катмардын жардамы менен бирдиктүү файл системасы түзүлгөн. Ушул жана ушул сыяктуу чечимдер дагы деле колдонулат, өз ордун ээлейт жана абдан суроо-талапка ээ.
Миң жылдыктын аягында бөлүштүрүлгөн сактоо парадигмасы бир аз өзгөрүп, SN (Shared-Nothing) архитектурасы бар системалар алдыңкы орундарды ээледи. Кластердик сактоодон жеке түйүндөрдөгү сактоого өтүү болду, алар, эреже катары, ишенимдүү сактоону камсыз кылуучу программалык камсыздоо менен классикалык серверлер болгон; Мындай принциптерде, айталы, HDFS (Hadoop Distributed File System) жана GFS (Глобалдык Файл системасы) курулган.
2010-жылдарга жакын, бөлүштүрүлгөн сактоо тутумдарынын негизинде жаткан түшүнүктөр VMware vSAN, Dell EMC Isilon жана биздин . Белгиленген платформалардын артында энтузиасттардын коомчулугу эмес, продуктунун функционалдуулугу, колдоосу жана тейлөөсү үчүн жооптуу болгон жана анын андан ары өнүгүшүнө кепилдик берген конкреттүү сатуучулар бар. Мындай чечимдер бир нече аймактарда эң көп суроо-талапка ээ.
Байланыш операторлору
Балким, бөлүштүрүлгөн сактоо тутумдарынын эң эски керектөөчүлөрүнүн бири - байланыш операторлору. Диаграмма колдонмолордун кайсы топтору маалыматтардын басымдуу бөлүгүн түзөрүн көрсөтөт. OSS (Operations Support Systems), MSS (Management Support Services) жана BSS (Бизнес колдоо системалары) абоненттерге кызмат көрсөтүү, провайдерге финансылык отчеттуулук жана оператор инженерлерине оперативдүү колдоо көрсөтүү үчүн зарыл болгон үч кошумча программалык катмарды билдирет.
Көбүнчө, бул катмарлардын маалыматтары бири-бири менен катуу аралашып кетет жана керексиз көчүрмөлөрдүн топтолушуна жол бербөө үчүн операциялык тармактан келген маалыматтын бардык көлөмүн топтогон бөлүштүрүлгөн сактагыч колдонулат. Кампалар жалпы бассейнге бириктирилген, ага бардык кызматтар кире алат.
Биздин эсептөөлөр көрсөткөндөй, классикалык сактоо тутумдарынан блоктордук сактоо тутумдарына өтүү атайын жогорку сактоо тутумдарынан баш тартып, кадимки классикалык архитектуралык серверлерди (көбүнчө x70) колдонуу менен гана бюджеттин 86% үнөмдөөгө мүмкүндүк берет. программалык камсыздоо. Уюлдук операторлор эчак эле мындай чечимдерди көп санда сатып ала башташты. Тактап айтканда, россиялык операторлор алты жылдан ашык убакыттан бери Huawei компаниясынын мындай продукциясын колдонуп келишет.
Ооба, бөлүштүрүлгөн системаларды колдонуу менен бир катар тапшырмаларды аткаруу мүмкүн эмес. Мисалы, жогорулатылган аткаруу талаптары же эски протоколдор менен шайкештик менен. Бирок оператор тарабынан иштелип чыккан маалыматтардын жок дегенде 70% бөлүштүрүлгөн бассейнде жайгаша алат.
Банк сектору
Каалаган банкта процессингден баштап, автоматташтырылган банк тутумуна чейин ар кандай IT системалары бар. Бул инфраструктура ошондой эле чоң көлөмдөгү маалымат менен иштейт, ошол эле учурда көпчүлүк тапшырмалар сактоо тутумдарынын натыйжалуулугун жана ишенимдүүлүгүн жогорулатууну талап кылбайт, мисалы, иштеп чыгуу, тестирлөө, кеңсе процесстерин автоматташтыруу ж.б. Бул жерде классикалык сактоо тутумдарын колдонуу мүмкүн, бирок жыл сайын рентабелдуулугу азайып баратат. Мындан тышкары, бул учурда сактоо тутумунун ресурстарын колдонууда ийкемдүүлүк жок, анын иштеши эң жогорку жүктөмдүн негизинде эсептелет.
Бөлүштүрүлгөн сактоо тутумдарын колдонууда, алардын чындыгында кадимки серверлер болгон түйүндөрү каалаган убакта, мисалы, сервердик фермага айландырылып, эсептөө платформасы катары колдонулушу мүмкүн.
Маалымат көлдөрү
Жогорудагы диаграмма типтүү кызмат керектөөчүлөрдүн тизмесин көрсөтөт . Бул электрондук мамлекеттик кызмат көрсөтүүлөр (мисалы, «Мамлекеттик кызматтар»), санариптештирилген ишканалар, финансы институттары жана башкалар болушу мүмкүн. Алардын бардыгы гетерогендик маалыматтын чоң көлөмү менен иштеши керек.
Мындай көйгөйлөрдү чечүү үчүн классикалык сактоо тутумдарын колдонуу натыйжасыз, анткени ал бөгөттөөлөр базасына жогорку натыйжалуу жетүү жана объект катары сакталган сканерленген документтердин китепканаларына үзгүлтүксүз кирүүнү талап кылат. Мисалы, веб-портал аркылуу буйрутма берүү системасы да бул жерден шилтемелениши мүмкүн. Мунун баарын классикалык сактоо платформасында ишке ашыруу үчүн сизге ар кандай тапшырмалар үчүн жабдуулардын чоң топтому керек болот. Бир горизонталдуу универсалдуу сактоо системасы мурда саналып өткөн бардык милдеттерди камтышы мүмкүн: жөн гана анда ар кандай сактоо мүнөздөмөлөрү менен бир нече бассейндерди түзүү керек.
Жаңы маалыматтын генераторлору
Дүйнөдө сакталган маалыматтын көлөмү жылына болжол менен 30% өсүүдө. Бул сактоо сатуучулар үчүн жакшы кабар, бирок бул маалыматтардын негизги булагы эмне жана болуп калат?
Он жыл мурун социалдык тармактар ушундай генераторлорго айланган, бул үчүн көптөгөн жаңы алгоритмдерди, аппараттык чечимдерди ж.б. түзүүнү талап кылган. Азыр сактоо көлөмүнүн өсүшү үчүн үч негизги драйвер бар. Биринчиси - булуттагы эсептөө. Учурда компаниялардын болжол менен 70% булут кызматтарын тигил же бул жол менен колдонушат. Бул электрондук почта системалары, резервдик көчүрмөлөр жана башка виртуалдаштырылган объекттер болушу мүмкүн.
Экинчи драйвер бешинчи муун тармактары болуп саналат. Бул жаңы ылдамдыктар жана жаңы маалыматтарды берүү көлөмү. Биздин божомолдор боюнча, 5Gдин кеңири жайылуусу флеш эстутум карталарына суроо-талаптын төмөндөшүнө алып келет. Телефондо канчалык эстутум бар болсо дагы, ал түгөнөт жана гаджеттин 100 мегабиттик каналы болсо, сүрөттөрдү жергиликтүү түрдө сактоонун кереги жок.
Сактоо тутумдарына суроо-талап өсүп жаткан себептердин үчүнчү тобуна жасалма интеллекттин тез өнүгүшү, чоң маалыматтардын аналитикасына өтүү жана мүмкүн болгон нерселердин баарын универсалдуу автоматташтыруу тенденциясы кирет.
"Жаңы трафиктин" өзгөчөлүгү анын . Бул маалыматтарды анын форматын эч кандай аныктабастан сакташыбыз керек. Ал кийинки окуу үчүн гана талап кылынат. Мисалы, жеткиликтүү насыянын суммасын аныктоо үчүн банктык скоринг системасы сиз социалдык тармактарга жайгаштырган сүрөттөрүңүздү карап, деңизге жана ресторандарга көп барганыңызды аныктайт жана ошол эле учурда жеткиликтүү медициналык документтериңизден үзүндүлөрдү изилдейт. ага. Бул маалыматтар, бир жагынан, ар тараптуу, бирок экинчи жагынан, бир тектүүлүк жок.
Структураланбаган маалыматтардын океаны
“Жаңы маалыматтардын” пайда болушу кандай көйгөйлөрдү алып келет? Алардын ичинен биринчиси, албетте, маалыматтын чоң көлөмү жана аны сактоонун болжолдуу мөөнөтү. Заманбап, айдоочусу жок автономдуу унаа гана анын бардык сенсорлорунан жана механизмдеринен күн сайын 60 терабайтка чейин маалымат чыгарат. Жаңы кыймыл алгоритмдерин иштеп чыгуу үчүн бул маалымат ошол эле күндүн ичинде иштелип чыгышы керек, антпесе ал топтоло баштайт. Ошол эле учурда, ал абдан узак убакыт бою сакталышы керек - ондогон жылдар. Ошондо гана келечекте чоң аналитикалык үлгүлөрдүн негизинде тыянак чыгарууга мүмкүн болот.
Генетикалык тизмектерди чечмелөө үчүн бир аппарат күнүнө болжол менен 6 ТБ чыгарат. Ал эми анын жардамы менен чогултулган маалыматтар такыр жок кылууну билдирбейт, башкача айтканда, гипотетикалык түрдө түбөлүккө сакталышы керек.
Акыр-аягы, ошол эле бешинчи муун тармактары. Иш жүзүндө берилүүчү маалыматтан тышкары, мындай тармак өзү маалыматтардын чоң генератору болуп саналат: иш журналдары, чалуулардын жазуулары, машинадан машинага өз ара аракеттенүүнүн аралык натыйжалары ж.б.
Мунун баары маалыматты сактоо жана иштетүү үчүн жаңы ыкмаларды жана алгоритмдерди иштеп чыгууну талап кылат. Жана ушундай ыкмалар пайда болууда.
Жаңы доордун технологиялары
Маалыматтарды сактоо тутумдарына жаңы талаптарды аткаруу үчүн иштелип чыккан чечимдердин үч тобу бар: жасалма интеллектти киргизүү, сактоо каражаттарынын техникалык эволюциясы жана тутумдук архитектура тармагындагы инновациялар. AI менен баштайлы.
Жаңы Huawei чечимдеринде жасалма интеллект сактагычтын өз деңгээлинде колдонулат, ал AI процессору менен жабдылган, ал системага анын абалын өз алдынча талдап, каталарды алдын ала айтууга мүмкүндүк берет. Эгерде сактоо системасы олуттуу эсептөө мүмкүнчүлүктөрү бар кызмат булутуна туташкан болсо, жасалма интеллект көбүрөөк маалыматты иштеп чыгууга жана анын гипотезаларынын тактыгын жогорулатууга мүмкүнчүлүк алат.
Мүчүлүштүктөрдөн тышкары, мындай AI келечектеги эң жогорку жүктөмдү жана кубаттуулук түгөнгөнгө чейин калган убакытты болжолдой алат. Бул сизге эффективдүүлүктү оптималдаштырууга жана ар кандай жагымсыз окуялар боло электе системанын масштабын кеңейтүүгө мүмкүндүк берет.
Азыр сактоо каражаттарынын эволюциясы жөнүндө. Биринчи флэш-дисктер SLC (Single-Level Cell) технологиясы менен жасалган. Анын негизиндеги аппараттар тез, ишенимдүү, туруктуу болгон, бирок кубаттуулугу аз болгон жана абдан кымбат болгон. Көлөмдүн өсүшүнө жана баанын төмөндөшүнө белгилүү бир техникалык жеңилдиктер аркылуу жетишилди, анын эсебинен дисктердин ылдамдыгы, ишенимдүүлүгү жана иштөө мөөнөтү кыскарды. Ошого карабастан, тенденция сактоо тутумдарынын өзүнө таасирин тийгизген жок, алар ар кандай архитектуралык амалдардан улам, жалпысынан жемиштүү жана ишенимдүү болуп калды.
Бирок эмне үчүн сизге All-Flash сактагыч системалары керек болду? Иштеп жаткан системадагы эски HDD дисктерин ошол эле форма факторунун жаңы SSD дисктери менен алмаштыруу жетиштүү эмес беле? Бул эски системаларда мүмкүн эмес болгон жаңы катуу абалдагы дисктердин бардык ресурстарын натыйжалуу пайдалануу үчүн талап кылынган.
Мисалы, Huawei бул көйгөйдү чечүү үчүн бир катар технологияларды иштеп чыккан, алардын бири , бул "диск-контроллердун" өз ара аракеттенүүсүн мүмкүн болушунча оптималдаштырууга мүмкүндүк берди.
Интеллектуалдык идентификация маалыматтарды бир нече агымдарга ажыратуу жана бир катар жагымсыз көрүнүштөр менен күрөшүүгө мүмкүндүк берди, мисалы (күчөтүү жазуу). Ошол эле учурда, жаңы калыбына келтирүү алгоритмдер, атап айтканда , кайра куруунун ылдамдыгын жогорулатып, анын убактысын таптакыр болор-болбос суммага чейин кыскартты.
Иштебей калуу, ашыкча жыйноо, таштандыларды чогултуу - бул факторлор контроллерлордун атайын модификацияларынын аркасында сактоо тутумунун иштешине мындан ары таасир этпейт.
Ал эми блок маалымат сактагычтары да жолугушууга даярданып жатышат . Эске сала кетсек, маалыматтарга жетүүнү уюштуруунун классикалык схемасы төмөнкүдөй иштеген: процессор RAID контроллерине PCI Express шинасы аркылуу кирди. Бул, өз кезегинде, SCSI же SAS аркылуу механикалык дисктер менен өз ара аракеттенген. Backendде NVMeди колдонуу бүт процессти бир кыйла тездетти, бирок анын бир кемчилиги бар: эстутумга түз жетүү мүмкүнчүлүгүн камсыз кылуу үчүн дисктер процессорго түз туташтырылышы керек болчу.
Биз азыр көрүп жаткан технологияны өнүктүрүүнүн кийинки этабы - NVMe-oF (NVMe үстүнөн кездемелер) колдонуу. Huawei блоктук технологияларына келсек, алар FC-NVMe (Fiber Channel аркылуу NVMe) жана NVMe over RoCE (Converged Ethernet аркылуу RDMA) колдойт. Сыноочу моделдер абдан функционалдык, алардын расмий бет ачарына бир нече ай калды. Мунун баары бөлүштүрүлгөн системаларда пайда болорун эске алыңыз, анда "жоголбос Ethernet" чоң суроо-талапка ээ болот.
Бөлүштүрүлгөн сактагычтын иштешин оптималдаштыруунун кошумча жолу маалыматтарды чагылдыруудан толук баш тартуу болду. Huawei чечимдери мындан ары кадимки RAID 1дегидей n көчүрмөнү колдонбойт жана толугу менен (Коддоону өчүрүү). Атайын математикалык пакет башкаруу блокторун белгилүү бир мезгилдүүлүктө эсептейт, алар жоголгон учурда аралык маалыматтарды калыбына келтирүүгө мүмкүндүк берет.
Дедупликация жана кысуу механизмдери милдеттүү болуп калат. Эгерде классикалык сактоо тутумдарында биз контроллерлордо орнотулган процессорлордун саны менен чектелсек, анда бөлүштүрүлгөн горизонталдуу масштабдалуучу сактоо тутумдарында ар бир түйүн керектүү нерселердин бардыгын камтыйт: дисктер, эс тутум, процессорлор жана интерконнект. Бул ресурстар дедупликация жана кысуу иштөөгө минималдуу таасирин тийгизиши үчүн жетиштүү.
Жана аппараттык оптималдаштыруу ыкмалары жөнүндө. Бул жерде кошумча бөлүнгөн микросхемалардын (же процессордун өзүндөгү атайын блоктордун) жардамы менен борбордук процессорлордун жүгүн азайтууга мүмкүн болду, алар роль ойнойт. (TCP/IP Offload Engine) же EC математикалык тапшырмаларын алуу, дедупликация жана кысуу.
Маалыматтарды сактоонун жаңы ыкмалары дезагрегацияланган (бөлүштүрүлгөн) архитектурада камтылган. Борборлоштурулган сактоо тутумдарында Fiber Channel аркылуу туташтырылган сервер заводу бар көп массивдер менен. Бул ыкманын кемчиликтери масштабдуу жана кепилденген тейлөө деңгээлин камсыз кылуунун кыйынчылыгы (өндүрүш же кечигүү боюнча). Гиперконвергделген системалар маалыматты сактоо жана иштетүү үчүн бир эле хостторду колдонушат. Бул масштабдоо үчүн дээрлик чексиз мейкиндикти берет, бирок маалыматтардын бүтүндүгүн сактоо үчүн чоң чыгымдарды талап кылат.
Жогоруда айтылгандардын экөөнөн айырмаланып, дезагрегацияланган архитектура билдирет системаны эсептөө тканына жана горизонталдык сактоо тутумуна бөлүү. Бул эки архитектуранын тең артыкчылыктарын камсыз кылат жана аткаруусу жок элементти дээрлик чексиз масштабга мүмкүнчүлүк берет.
Интеграциядан конвергенцияга
Классикалык милдет, анын актуалдуулугу акыркы 15 жылдын ичинде гана өскөн, бул бир эле учурда блокторду сактоону, файлдарга кирүү мүмкүнчүлүгүн, объекттерге кирүү мүмкүнчүлүгүн, чоң маалымат фермасынын ишин ж.б. камсыз кылуу зарылчылыгы болуп саналат. Мисалы, магниттик лентадагы резервдик система.
Биринчи этапта бул кызматтардын башкаруусу гана бирдиктүү болушу мүмкүн. Гетерогендүү маалыматтарды сактоо тутумдары кээ бир адистештирилген программалык камсыздоого туташтырылган, алар аркылуу администратор жеткиликтүү бассейндерден ресурстарды бөлүштүрөт. Бирок бул бассейндер ар кандай жабдыктарга ээ болгондуктан, алардын ортосундагы жүк миграциясы мүмкүн эмес болчу. Интеграциянын жогорку деңгээлинде топтоо шлюз деңгээлинде болгон. Файлды бөлүшүү мүмкүн болсо, ал ар кандай протоколдор аркылуу тейлениши мүмкүн.
Азыркы учурда бизде бар конвергенциянын эң алдыңкы ыкмасы универсалдуу гибриддик системаны түзүүнү камтыйт. Биздики кандай болушу керек . Универсалдуу мүмкүндүк бирдей аппараттык ресурстарды колдонот, логикалык жактан ар кандай бассейндерге бөлүнгөн, бирок жүктүн миграциясына жол берет. Мунун баарын бир башкаруу консолу аркылуу жасоого болот. Ошентип, биз "бир маалымат борбору - бир сактоо системасы" концепциясын ишке ашыра алдык.
Маалыматты сактоонун баасы азыр көптөгөн архитектуралык чечимдерди аныктайт. Ал эми аны биринчи планга коюуга мүмкүн болсо да, бүгүн биз жигердүү жетүү менен "тирүү" сактоону талкуулап жатабыз, андыктан аткарууну да эске алуу керек. Кийинки муундагы бөлүштүрүлгөн системалардын дагы бир маанилүү касиети - унификация. Анткени, эч ким ар кандай консолдордон башкарылган бир нече башка системаларга ээ болгусу келбейт. Бул сапаттардын баары Huawei өнүмдөрүнүн жаңы сериясында камтылган .
Жаңы муундун массалык сактоо системасы
OceanStor Pacific алты тогуз ишенимдүүлүк талаптарына жооп берет (99,9999%) жана HyperMetro классындагы маалымат борборлорун түзүү үчүн колдонулушу мүмкүн. Эки маалымат борборунун ортосундагы аралык 100 кмге чейин болгон системалар 2 мс кошумча кечиктирүүнү көрсөтөт, бул алардын негизинде ар кандай кырсыкка туруктуу чечимдерди, анын ичинде кворум серверлери бар чечимдерди курууга мүмкүндүк берет.
Жаңы сериядагы өнүмдөр протоколдун ар тараптуулугун көрсөтөт. Азыртадан эле, OceanStor 100D бөгөттөө мүмкүнчүлүгүн, объектке кирүүнү жана Hadoop мүмкүнчүлүгүн колдойт. Файлга кирүү мүмкүнчүлүгү да жакынкы келечекте ишке ашырылат. Эгерде алар ар кандай протоколдор аркылуу берилиши мүмкүн болсо, маалыматтардын бир нече көчүрмөсүн сактоонун кереги жок.
"Жоготуусуз тармак" түшүнүгүнүн сактоо тутумдарына кандай тиешеси бар? Чындыгында бөлүштүрүлгөн маалыматтарды сактоо системалары ылайыктуу алгоритмдерди жана RoCE механизмин колдогон тез тармактын негизинде курулган. Биздин өчүргүчтөр тарабынан колдоого алынган жасалма интеллект системасы тармактын ылдамдыгын андан ары жогорулатууга жана күтүү убактысын азайтууга жардам берет. . AI Fabricти активдештирүү учурунда сактоо көрсөткүчүнүн жогорулашы 20% жетиши мүмкүн.
Жаңы OceanStor Pacific бөлүштүрүлгөн сактоо түйүнү деген эмне? 5U форма факторунун чечими 120 дискти камтыйт жана үч классикалык түйүндү алмаштыра алат, бул стойка мейкиндигин эки эседен ашык үнөмдөөнү камсыз кылат. Көчүрмөлөрдү сактабоо менен, дисктердин эффективдүүлүгү кыйла жогорулайт (+92% га чейин).
Биз программалык камсыздоо менен аныкталган сактагыч классикалык серверде орнотулган атайын программа экенине көнүп калганбыз. Бирок азыр, оптималдуу параметрлерге жетүү үчүн, бул архитектуралык чечим, ошондой эле атайын түйүндөрдү талап кылат. Ал үч дюймдук дисктердин массивдерин башкарган ARM процессорлоруна негизделген эки серверден турат.
Бул серверлер гиперконвергацияланган чечимдер үчүн ылайыктуу эмес. Биринчиден, ARM үчүн бир нече тиркемелер бар, экинчиден, жүк балансын сактоо кыйын. Биз өзүнчө сактагычка өтүүнү сунуштайбыз: классикалык же стойка серверлери менен көрсөтүлгөн эсептөө кластери өзүнчө иштейт, бирок OceanStor Pacific сактагыч түйүндөрүнө туташып, алар да түздөн-түз милдеттерин аткарышат. Анан өзүн актайт.
Мисалы, 15 сервердик стойкаларды ээлеген гиперконвергделген системасы менен классикалык чоң маалыматтарды сактоо чечимин алалы. Эгер сиз жүктү өзүнчө эсептөө серверлери менен OceanStor Pacific сактагыч түйүндөрүнүн ортосунда бөлүштүрсөңүз, аларды бири-биринен ажыратсаңыз, талап кылынган стеллаждардын саны эки эсеге азаят! Бул маалымат борборунун операциялык чыгымдарын азайтат жана ээлик кылуунун жалпы наркын азайтат. Сакталган маалыматтын көлөмү жылына 30% га өсүп жаткан дүйнөдө, мындай артыкчылыктар жокко эсе.
***
Сиз Huawei чечимдери жана аларды колдонуу сценарийлери тууралуу көбүрөөк маалымат ала аласыз же компаниянын өкүлдөрү менен түздөн-түз байланышуу аркылуу.
Source: www.habr.com