Бүгін біз бесінші буын желілері, геномдық сканерлер және өздігінен жүретін көліктер өнеркәсіптік революцияға дейін жасалған бүкіл адамзатқа қарағанда бір күнде көбірек деректерді шығаратын әлемде деректерді қалай жақсы сақтау керектігін айтатын боламыз.
Біздің әлем барған сайын көбірек ақпарат береді. Оның бір бөлігі өткінші және жинаған сайын тез жоғалады. Екіншісі ұзағырақ сақталуы керек, ал екіншісі толығымен «ғасырлар бойы» жобаланған - кем дегенде, біз оны қазіргі уақыттан көреміз. Ақпараттық ағындардың деректер орталықтарында орналасатыны сонша, кез келген жаңа көзқарас, осы шексіз «сұранысты» қанағаттандыруға арналған кез келген технология тез ескіреді.
Бөлінген сақтаудың 40 жылдық дамуы
Бізге таныс пішіндегі алғашқы желілік қоймалар 1980 жылдары пайда болды. Сіздердің көпшілігіңіз NFS (Network File System), AFS (Andrew File System) немесе Coda-ны кездестірдіңіз. Он жылдан кейін сән мен технология өзгерді, таратылған файлдық жүйелер GPFS (Жалпы параллель файлдық жүйе), CFS (Clustered File Systems) және StorNext негізіндегі кластерлік сақтау жүйелеріне жол берді. Негіз ретінде классикалық архитектураның блоктық қоймалары пайдаланылды, оның үстіне бағдарламалық жасақтама қабатының көмегімен бір файлдық жүйе құрылды. Осы және осыған ұқсас шешімдер әлі де қолданылады, өз орнын алады және өте сұранысқа ие.
Мыңжылдықтың тоғысында бөлінген сақтау парадигмасы біршама өзгерді және SN (Shared-Nothing) архитектурасы бар жүйелер жетекші орынға шықты. Кластерлік сақтаудан бөлек түйіндерде сақтауға көшу болды, олар әдетте сенімді сақтауды қамтамасыз ететін бағдарламалық жасақтамасы бар классикалық серверлер болды; мұндай принциптер құрастырылған, айталық, HDFS (Hadoop таратылған файлдық жүйе) және GFS (жаһандық файлдық жүйе).
2010 жылға таяу таратылған сақтау жүйелерінің негізінде жатқан тұжырымдамалар VMware vSAN, Dell EMC Isilon және біздің . Аталған платформалардың артында енді энтузиастар қауымдастығы емес, өнімнің функционалдығына, қолдауына, сервистік қызмет көрсетуіне жауапты және оның әрі қарай дамуына кепілдік беретін нақты жеткізушілер тұр. Мұндай шешімдер бірнеше салаларда ең сұранысқа ие.
Байланыс операторлары
Бөлінген сақтау жүйелерінің ең көне тұтынушыларының бірі байланыс операторлары болуы мүмкін. Диаграмма деректердің негізгі бөлігін қандай қолданбалар топтары жасайтынын көрсетеді. OSS (Operations Support Systems), MSS (Management Support Services) және BSS (Бизнесті қолдау жүйелері) — абоненттерге қызмет көрсету, провайдерге қаржылық есеп беру және оператор инженерлеріне операциялық қолдау көрсету үшін қажет қосымша бағдарламалық қамтамасыз етудің үш деңгейі.
Көбінесе бұл қабаттардың деректері бір-бірімен қатты араласады және қажетсіз көшірмелердің жиналуын болдырмау үшін жұмыс істейтін желіден келетін ақпараттың барлық көлемін жинақтайтын бөлінген қоймалар қолданылады. Қоймалар жалпы пулға біріктірілген, оған барлық қызметтер қол жеткізе алады.
Біздің есептеулеріміз көрсеткендей, классикалық жүйеден блокты сақтау жүйелеріне көшу арнайы жоғары деңгейлі сақтау жүйелерінен бас тарту және мамандандырылған бағдарламалық жасақтамамен бірге жұмыс істейтін әдеттегі классикалық архитектуралық серверлерді (әдетте x70) пайдалану арқылы ғана бюджеттің 86% дейін үнемдеуге мүмкіндік береді. Ұялы байланыс операторлары мұндай шешімдерді айтарлықтай көп уақыт бойы сатып алды. Атап айтқанда, ресейлік операторлар Huawei компаниясының мұндай өнімдерін алты жылдан астам уақыт бойы пайдаланып келеді.
Иә, бөлінген жүйелерді пайдалану арқылы бірқатар тапсырмаларды орындау мүмкін емес. Мысалы, жоғары өнімділік талаптары немесе ескі протоколдармен үйлесімділік. Бірақ оператор өңдейтін деректердің кем дегенде 70% таратылған пулға орналастырылуы мүмкін.
Банкинг
Кез келген банкте процессингтен автоматтандырылған банк жүйесіне дейінгі сан алуан IT жүйелері бар. Бұл инфрақұрылым ақпараттың үлкен көлемімен де жұмыс істейді, ал тапсырмалардың көпшілігі сақтау жүйелерінің өнімділігі мен сенімділігін арттыруды талап етпейді, мысалы, әзірлеу, тестілеу, кеңсе процестерін автоматтандыру және т.б. Мұнда классикалық сақтау жүйелерін пайдалануға болады. , бірақ жыл өткен сайын табысы азайып келеді. Сонымен қатар, бұл жағдайда сақтау ресурстарын жұмсауда икемділік жоқ, оның өнімділігі ең жоғары жүктемеден есептеледі.
Бөлінген сақтау жүйелерін пайдаланған кезде олардың шын мәнінде қарапайым серверлер болып табылатын түйіндерін кез келген уақытта, мысалы, серверлік фермаға түрлендіруге және есептеу платформасы ретінде пайдалануға болады.
Деректер көлдері
Жоғарыдағы диаграмма әдеттегі қызмет тұтынушыларының тізімін көрсетеді. . Бұл электронды үкімет қызметтері (мысалы, «Мемшілік»), цифрландырудан өткен кәсіпорындар, қаржы құрылымдары және т.б. болуы мүмкін. Олардың барлығы біркелкі емес ақпараттың үлкен көлемімен жұмыс істеуі керек.
Мұндай мәселелерді шешу үшін классикалық сақтау жүйелерінің жұмысы тиімсіз, өйткені блоктық дерекқорларға жоғары өнімді қол жеткізу де, объектілер ретінде сақталған сканерленген құжаттардың кітапханаларына тұрақты қол жеткізу қажет. Мұнда, мысалы, веб-портал арқылы тапсырыстар жүйесін байланыстыруға болады. Мұның бәрін классикалық сақтау платформасында жүзеге асыру үшін сізге әртүрлі тапсырмаларға арналған жабдықтардың үлкен жиынтығы қажет болады. Бір көлденең әмбебап сақтау жүйесі бұрын аталған барлық тапсырмаларды оңай қамтуы мүмкін: онда әртүрлі сақтау сипаттамалары бар бірнеше бассейн жасау керек.
Жаңа ақпараттың генераторлары
Әлемде сақталатын ақпарат көлемі жыл сайын шамамен 30%-ға артып келеді. Бұл сақтауды жеткізушілер үшін жақсы жаңалық, бірақ бұл деректердің негізгі көзі не болып табылады және болады?
Он жыл бұрын әлеуметтік желілер осындай генераторларға айналды, бұл көптеген жаңа алгоритмдерді, аппараттық шешімдерді және т.б. құруды талап етті. Қазір жадтың өсуінің үш негізгі драйвері бар. Біріншісі – бұлтты есептеулер. Қазіргі уақытта компаниялардың шамамен 70% бұлтты қызметтерді қандай да бір жолмен пайдаланады. Бұл электрондық пошта жүйелері, сақтық көшірмелер және басқа виртуалдандырылған нысандар болуы мүмкін.
Бесінші буын желілері екінші драйверге айналуда. Бұл жаңа жылдамдықтар мен деректерді берудің жаңа көлемі. Біздің болжамдарымыз бойынша, 5G-ді кеңінен қолдану флэш-жад карталарына сұраныстың төмендеуіне әкеледі. Телефонда қанша жады бар болса да, ол бәрібір аяқталады, ал гаджеттің 100 мегабиттік арнасы болса, фотосуреттерді жергілікті түрде сақтаудың қажеті жоқ.
Сақтау жүйелеріне сұраныстың өсіп келе жатқан себептерінің үшінші тобына жасанды интеллекттің қарқынды дамуы, үлкен деректерді талдауға көшу және мүмкін болатын барлық нәрсені әмбебап автоматтандыру үрдісі жатады.
«Жаңа трафиктің» ерекшелігі оның . Біз бұл деректерді оның пішімін қандай да бір жолмен анықтамай сақтауымыз керек. Ол тек кейінгі оқу үшін қажет. Мысалы, қол жетімді несие мөлшерін анықтау үшін банктік скоринг жүйесі сіздің әлеуметтік желілерде орналастырған фотосуреттеріңізді қарап, теңізге және мейрамханаларға қаншалықты жиі баратыныңызды анықтайды және сонымен бірге оған қолжетімді медициналық құжаттарыңыздан үзінділерді зерттейді. Бұл деректер, бір жағынан, жан-жақты болса, екінші жағынан, біртектілігі жоқ.
Құрылымсыз деректер мұхиты
«Жаңа деректердің» пайда болуы қандай проблемаларды тудырады? Олардың ішінде біріншісі, әрине, ақпараттың өзі және оны сақтаудың болжамды мерзімі. Заманауи автономды жүргізушісіз көліктің өзі күн сайын оның барлық сенсорлары мен механизмдерінен 60 ТБ-ға дейін деректерді жасайды. Жаңа қозғалыс алгоритмдерін жасау үшін бұл ақпарат бір күн ішінде өңделуі керек, әйтпесе ол жинақтала бастайды. Сонымен қатар, оны өте ұзақ уақыт - ондаған жылдар бойы сақтау керек. Сонда ғана болашақта үлкен аналитикалық үлгілер негізінде қорытынды жасауға болады.
Генетикалық тізбектерді дешифрлеуге арналған бір құрылғы күніне шамамен 6 терабайт шығарады. Және оның көмегімен жиналған деректер мүлдем жоюды білдірмейді, яғни гипотетикалық түрде олар мәңгі сақталуы керек.
Ақырында, бесінші буынның барлық бірдей желілері. Жіберілетін ақпараттан басқа, мұндай желі өзі үлкен деректер генераторы болып табылады: белсенділік журналдары, қоңыраулар жазбалары, машинадан машинаға өзара әрекеттесулердің аралық нәтижелері және т.б.
Мұның бәрі ақпаратты сақтау мен өңдеудің жаңа тәсілдері мен алгоритмдерін әзірлеуді талап етеді. Және мұндай тәсілдер пайда болуда.
Жаңа дәуірдің технологиялары
Ақпаратты сақтау жүйелеріне қойылатын жаңа талаптарды шешуге арналған шешімдердің үш тобын бөліп көрсетуге болады: жасанды интеллект енгізу, сақтау құралдарының техникалық эволюциясы және жүйелік архитектура саласындағы инновациялар. AI-дан бастайық.
Жаңа Huawei шешімдерінде жасанды интеллект жүйеге өз күйін дербес талдауға және сәтсіздіктерді болжауға мүмкіндік беретін AI процессорымен жабдықталған жадтың өзінде қолданылады. Егер сақтау жүйесі маңызды есептеу мүмкіндіктері бар қызмет бұлтына қосылған болса, жасанды интеллект қосымша ақпаратты өңдеп, оның гипотезаларының дәлдігін жақсарта алады.
Ақаулардан басқа, мұндай AI болашақ ең жоғары жүктемені және сыйымдылық таусылғанға дейін қалған уақытты болжай алады. Бұл кез келген қажетсіз оқиғалар орын алмас бұрын өнімділікті оңтайландыруға және жүйені масштабтауға мүмкіндік береді.
Енді деректер тасымалдаушылардың эволюциясы туралы. Алғашқы флэш-дискілер SLC (Single-Level Cell) технологиясы арқылы жасалды. Оған негізделген құрылғылар жылдам, сенімді, тұрақты болды, бірақ сыйымдылығы аз болды және өте қымбат болды. Көлемнің өсуі және бағаның төмендеуі белгілі бір техникалық жеңілдіктер арқылы қол жеткізілді, соның арқасында жетектердің жылдамдығы, сенімділігі және қызмет ету мерзімі қысқарды. Дегенмен, тренд сақтау жүйелерінің өздеріне әсер етпеді, олар әртүрлі архитектуралық трюктердің арқасында, тұтастай алғанда, өнімдірек және сенімдірек болды.
Неліктен сізге All-Flash класындағы сақтау жүйелері қажет болды? Жұмыс істеп тұрған жүйедегі ескі HDD дискілерін бірдей пішін факторының жаңа SSD дискілеріне ауыстыру жеткілікті емес пе? Бұл жаңа SSD дискілерінің барлық ресурстарын тиімді пайдалану үшін қажет болды, бұл ескі жүйелерде мүмкін емес еді.
Мысалы, Huawei бұл мәселені шешу үшін бірқатар технологияларды әзірледі, олардың бірі , бұл диск-контроллердің өзара әрекеттесуін мүмкіндігінше оңтайландыруға мүмкіндік берді.
Интеллектуалды идентификация деректерді бірнеше ағындарға ыдыратуға және бірқатар жағымсыз құбылыстармен күресуге мүмкіндік берді, мысалы (күшейтуді жазу). Сонымен қатар, жаңа қалпына келтіру алгоритмдері, атап айтқанда , қайта құру жылдамдығын арттырды, оның уақытын мүлдем елеусіз мәндерге дейін қысқартты.
Сәтсіздік, толып кету, қоқыс жинау - бұл факторлар контроллердің арнайы нақтылануы арқасында сақтау жүйесінің жұмысына әсер етпейді.
Ал блоктық деректер қоймалары кездесуге дайындалуда . Еске салайық, деректерге қол жеткізуді ұйымдастырудың классикалық схемасы келесідей жұмыс істеді: процессор RAID контроллеріне PCI Express шинасы арқылы қол жеткізді. Бұл, өз кезегінде, SCSI немесе SAS арқылы механикалық дискілермен әрекеттесті. NVMe-ді серверде пайдалану бүкіл процесті айтарлықтай жылдамдатты, бірақ бір кемшілігі болды: жадқа тікелей қол жеткізуді қамтамасыз ету үшін дискілер процессорға тікелей қосылуы керек болды.
Біз қазір көріп отырған технологияны дамытудың келесі кезеңі - NVMe-oF (NVMe over Fabrics) пайдалану. Huawei блок технологияларына келетін болсақ, олар қазірдің өзінде FC-NVMe (талшықты арна арқылы NVMe) қолдайды және NVMe over RoCE (Converged Ethernet арқылы RDMA) қазірдің өзінде. Сынақ үлгілері өте функционалды, олардың ресми тұсаукесеріне бірнеше ай қалды. Мұның бәрі «Шығынсыз Ethernet» үлкен сұранысқа ие болатын таратылған жүйелерде де пайда болатынын ескеріңіз.
Бөлінген қоймалардың жұмысын оңтайландырудың қосымша тәсілі деректерді көшіруден толық бас тарту болды. Huawei шешімдері әдеттегі RAID 1 сияқты n көшірмені пайдаланбайды және механизмге толығымен ауысады. (Кодтауды өшіру). Арнайы математикалық пакет белгілі бір жиіліктегі басқару блоктарын есептейді, бұл жоғалған жағдайда аралық деректерді қалпына келтіруге мүмкіндік береді.
Дедупликация және қысу механизмдері міндетті болады. Егер классикалық сақтау жүйелерінде біз контроллерлерде орнатылған процессорлар санымен шектелетін болсақ, онда бөлінген көлденең масштабталатын сақтау жүйелерінде әрбір түйінде сізге қажет нәрсенің бәрі бар: дискілер, жад, процессорлар және интерконнект. Бұл ресурстар өнімділікке ең аз әсер ету үшін қайталану және қысу үшін жеткілікті.
Және аппараттық құралдарды оңтайландыру әдістері туралы. Мұнда рөл атқаратын қосымша арнайы микросұлбалардың (немесе процессордың өзінде бөлінген блоктардың) көмегімен орталық процессорларға жүктемені азайтуға болады. (TCP/IP Offload Engine) немесе EC, қайталау және қысу математикалық тапсырмаларын орындау.
Деректерді сақтаудың жаңа тәсілдері бөлшектенген (таратылған) архитектурада жүзеге асады. Орталықтандырылған сақтау жүйелерінде Fiber Channel арқылы қосылған сервер зауыты бар көптеген массивтермен. Бұл тәсілдің кемшіліктері масштабтау және қызмет көрсетудің кепілді деңгейін қамтамасыз ету (өнімділік немесе кідіріс тұрғысынан) қиындықтар болып табылады. Гиперконвергентті жүйелер ақпаратты сақтау және өңдеу үшін бірдей хосттарды пайдаланады. Бұл масштабтаудың дерлік шексіз көлемін береді, бірақ деректердің тұтастығын сақтау үшін жоғары шығындарды талап етеді.
Жоғарыда айтылғандардың екеуінен айырмашылығы, бөлшектелген архитектура білдіреді жүйені есептеу зауытына және көлденең сақтау жүйесіне бөлу. Бұл екі архитектураның да артықшылықтарын қамтамасыз етеді және өнімділігі жеткіліксіз элементті ғана дерлік шектеусіз масштабтауға мүмкіндік береді.
Интеграциядан конвергенцияға дейін
Классикалық міндет, оның өзектілігі соңғы 15 жылда ғана өсті, бұл бір уақытта блокты сақтауды, файлдарға қол жеткізуді, объектілерге қол жеткізуді, үлкен деректерге арналған ферманың жұмысын және т.б. қамтамасыз ету қажеттілігі болып табылады. сондай-ақ, мысалы, магниттік таспаның резервтік жүйесі болуы мүмкін.
Бірінші кезеңде тек осы қызметтерді басқаруды біріктіру мүмкін болды. Гетерогенді деректерді сақтау жүйелері кейбір арнайы бағдарламалық қамтамасыз ету үшін жабылды, олар арқылы әкімші қол жетімді пулдардан ресурстарды таратады. Бірақ бұл бассейндер жабдықта әртүрлі болғандықтан, олардың арасындағы жүктемені тасымалдау мүмкін болмады. Интеграцияның жоғары деңгейінде шоғырландыру шлюз деңгейінде орын алды. Егер файлға ортақ қол жетімділік болса, оны әртүрлі протоколдар арқылы беруге болады.
Бізге қолжетімді конвергенцияның ең жетілдірілген әдісі қазір әмбебап гибридті жүйені құруды қамтиды. Біздікі солай болуы керек . Әмбебап қолжетімділік логикалық түрде әртүрлі пулдарға бөлінген, бірақ жүктемені тасымалдауға мүмкіндік беретін бірдей аппараттық ресурстарды пайдаланады. Мұның барлығын бір басқару консолі арқылы жасауға болады. Осылайша біз «бір деректер орталығы – бір сақтау жүйесі» тұжырымдамасын жүзеге асыра алдық.
Ақпаратты сақтау құны қазір көптеген архитектуралық шешімдерді анықтайды. Оны қауіпсіз түрде бірінші орынға қоюға болатынына қарамастан, біз бүгін белсенді қол жетімді «тірі» сақтауды талқылап жатырмыз, сондықтан өнімділікті де ескеру қажет. Келесі буынның үлестірмелі жүйелерінің тағы бір маңызды қасиеті - унификация. Өйткені, ешкім әртүрлі консольдерден басқарылатын бірнеше бөлек жүйелерге ие болғысы келмейді. Бұл қасиеттердің барлығы Huawei өнімдерінің жаңа сериясында бейнеленген. .
Келесі ұрпақтың жаппай сақтауы
OceanStor Pacific алты тоғыз (99,9999%) сенімділік талаптарына жауап береді және оны HyperMetro класындағы деректер орталығын жасау үшін пайдалануға болады. Екі деректер орталығының арасындағы қашықтық 100 км-ге дейін, жүйелер қосымша 2 мс кешігуді көрсетеді, бұл олардың негізінде апатқа қарсы кез келген шешімдерді, соның ішінде кворум серверлері бар шешімдерді құруға мүмкіндік береді.
Жаңа серияның өнімдері хаттамалар тұрғысынан жан-жақтылықты көрсетеді. Қазірдің өзінде OceanStor 100D блокқа кіруді, нысанға кіруді және Hadoop қатынасын қолдайды. Файлға қол жеткізу жақын арада жүзеге асырылады. Деректер әртүрлі хаттамалар арқылы шығарылуы мүмкін болса, олардың бірнеше көшірмелерін сақтаудың қажеті жоқ.
«Шығынсыз желі» түсінігінің сақтауға қандай қатысы бар сияқты? Өйткені, бөлінген сақтау жүйелері сәйкес алгоритмдер мен RoCE механизмін қолдайтын жылдам желі негізінде құрылған. Коммутаторларымыз қолдайтын жасанды интеллект жүйесі желі жылдамдығын одан әрі арттыруға және кідірістерді азайтуға көмектеседі. . AI Fabric іске қосылғанда сақтау жүйелерінің өнімділігі 20%-ға жетуі мүмкін.
Жаңа OceanStor Pacific таратылған сақтау түйіні дегеніміз не? 5U пішін факторы шешімі 120 дискіні қамтиды және тірек кеңістігін екі есе арттыра отырып, үш классикалық түйінді алмастыра алады. Көшірмелерді сақтаудан бас тартуға байланысты дискілердің тиімділігі айтарлықтай артады (+ 92% дейін).
Біз бағдарламалық жасақтамамен анықталған сақтау классикалық серверде орнатылған арнайы бағдарламалық құрал екеніне үйреніп қалдық. Бірақ қазір оңтайлы параметрлерге қол жеткізу үшін бұл архитектуралық шешімге арнайы түйіндер де қажет. Ол үш дюймдік дискілердің жиынын басқаратын ARM процессорларына негізделген екі серверден тұрады.
Бұл серверлер гиперконвергентті шешімдер үшін қолайлы емес. Біріншіден, ARM үшін қолданбалар аз, екіншіден, жүктеме балансын сақтау қиын. Біз бөлек жадқа ауысуды ұсынамыз: классикалық немесе тірек серверлерімен ұсынылған есептеу кластері бөлек жұмыс істейді, бірақ тікелей тапсырмаларын орындайтын OceanStor Pacific сақтау түйіндеріне қосылған. Және бұл өзін ақтайды.
Мысалы, 15 сервер сөресін алатын классикалық гиперконвергиялық үлкен деректерді сақтау шешімін алайық. Жүктемені жеке OceanStor Pacific есептеу серверлері мен сақтау түйіндері арасында бір-бірінен бөліп таратсаңыз, қажетті тіректердің саны екі есе азаяды! Бұл деректер орталығын пайдалану құнын азайтады және иеленудің жалпы құнын төмендетеді. Сақталатын ақпарат көлемі жылына 30% өсіп жатқан әлемде мұндай жеңілдіктер шашыраңқы емес.
***
Huawei шешімдері және олардың қолдану сценарийлері туралы қосымша ақпарат алу үшін біздің сайтқа кіріңіз немесе компания өкілдерімен тікелей байланысу арқылы.
Ақпарат көзі: www.habr.com