Әлем 1996 жылы объектіні сақтаудың алғашқы прототипін көрді. 10 жылдан кейін Amazon Web Services Amazon S3-ті іске қосады және әлем тегіс мекенжай кеңістігімен жүйелі түрде ақылға сыймайды. Метадеректермен жұмыс істеудің және оның жүктеме кезінде құлдыраусыз масштабтау мүмкіндігінің арқасында нысанды сақтау тез арада бұлттық деректерді сақтау қызметтерінің көпшілігі үшін стандартқа айналды, сонымен қатар бұл ғана емес. Тағы бір маңызды ерекшелігі - ол мұрағаттар мен сирек қолданылатын ұқсас файлдарды сақтауға өте ыңғайлы. Деректерді сақтаумен айналысатындардың барлығы қуанып, жаңа технологияны қолдарына киді.
Бірақ адамдардың қауесеттері объектілерді сақтау тек үлкен бұлттарға қатысты, ал егер сізге қарғыс атқан капиталисттердің шешімдері қажет болмаса, оны өзіңіз жасау өте қиын болады деген қауесеттерге толы болды. Жеке бұлтты орналастыру туралы көп нәрсе жазылған, бірақ S3-үйлесімді шешімдер деп аталатындарды жасау туралы жеткілікті ақпарат жоқ.
Сондықтан бүгін біз «CEPH және үлкенірек файл емес, ересектер сияқты болуы үшін» қандай опциялар бар екенін анықтаймыз, олардың біреуін орналастырамыз және барлығы Veeam Backup & Replication көмегімен жұмыс істейтінін тексереміз. Ол S3-үйлесімді қоймалармен жұмыс істеуді қолдайтынын мәлімдейді және біз бұл шағымды тексеретін боламыз.
Ал басқалары ше?
Мен нарық пен нысанды сақтау опцияларына шағын шолудан бастауды ұсынамын. Жалпыға бірдей танымал көшбасшы және стандарт - Amazon S3. Ең жақын екі іздеуші - Microsoft Azure Blob Storage және IBM Cloud Object Storage.
Бәрі осы ма? Басқа бәсекелестер шынымен жоқ па? Әрине, бәсекелестер бар, бірақ кейбіреулері Google Cloud немесе Oracle Cloud Object Storage сияқты S3 API толық емес қолдауымен өз жолымен жүреді. Кейбіреулер Baidu Cloud сияқты API ескі нұсқаларын пайдаланады. Ал кейбіреулері, мысалы, Hitachi Cloud сияқты, ерекше логиканы қажет етеді, бұл сөзсіз өз қиындықтарын тудырады. Қалай болғанда да, барлығы Amazon-мен салыстырылады, оны салалық стандарт деп санауға болады.
Бірақ жергілікті шешімдерде таңдау әлдеқайда көп, сондықтан біз үшін маңызды критерийлерді атап өтейік. Негізінде тек екеуі жеткілікті: S3 API қолдауы және v4 қолтаңбасын пайдалану. Шын жүректен, біз, болашақ клиент ретінде, өзара әрекеттесу үшін интерфейстерге ғана қызығушылық танытамыз, ал бізді сақтау орнының ішкі асханасы соншалықты қызықтырмайды.
Көптеген шешімдер осы қарапайым шарттарға сәйкес келеді. Мысалы, классикалық корпоративтік ауыр салмақтағылар:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix шелектері
- Pure Storage FlashBlade және StorReduce
- Huawei FusionStorage
Қораптан тыс жұмыс істейтін таза бағдарламалық шешімдердің тауашасы бар:
- Red Hat Ceph
- SUSE Enterprise Storage
- Бұлтты
Жиналғаннан кейін мұқият тапсыруды ұнататындар да ренжіген жоқ:
- CEPH ең таза түрінде
- Minio (Linux нұсқасы, себебі Windows нұсқасы туралы көптеген сұрақтар бар)
Тізім толық емес, оны түсініктемелерде талқылауға болады. Орнату алдында API үйлесімділігіне қосымша жүйе өнімділігін тексеруді ұмытпаңыз. Сізге қажет соңғы нәрсе - кептеліп қалған сұрауларға байланысты терабайт деректерді жоғалту. Сондықтан жүктеме сынақтарынан ұялмаңыз. Жалпы алғанда, үлкен көлемдегі деректермен жұмыс істейтін барлық ересектерге арналған бағдарламалық құралда кем дегенде үйлесімділік есептері бар. болған жағдайда Vеам болып табылады біздің өнімдеріміздің нақты жабдықпен толық үйлесімділігін сенімді түрде жариялауға мүмкіндік беретін өзара тестілеу туралы. Бұл қазірдің өзінде екі жақты жұмыс, әрқашан жылдам емес, бірақ біз үнемі кеңейтеміз сыналған шешімдер.
Стендімізді құрастыру
Мен тест пәнін таңдау туралы аздап айтқым келеді.
Біріншіден, мен қораптан тыс жұмыс істейтін опцияны тапқым келді. Жақсы, немесе, кем дегенде, ол қажетсіз қозғалыстарды қажет етпей жұмыс істейтін максималды ықтималдықпен. Бубен билеу және түнде консольмен сырлау өте қызықты, бірақ кейде сіз оның бірден жұмыс істегенін қалайсыз. Және мұндай шешімдердің жалпы сенімділігі әдетте жоғары. Иә, бізде авантюризм рухы жоғалып кетті, біз сүйікті әйелдеріміздің терезелеріне шығуды тоқтаттық және т.б. (c).
Екіншіден, шынымды айтсам, объектіні сақтаумен жұмыс істеу қажеттілігі өте үлкен компанияларда туындайды, сондықтан кәсіпорын деңгейіндегі шешімдерге жүгіну ұят емес, тіпті құпталады. Қалай болғанда да, мен мұндай шешімдерді сатып алғаны үшін жұмыстан шығарылған кез келген мысалдарды әлі білмеймін.
Жоғарыда айтылғандардың бәріне сүйене отырып, менің таңдауым болды Dell EMC ECS Community Edition. Бұл өте қызықты жоба, мен бұл туралы айтуды қажет деп санаймын.
Қосымшаны көргенде бірінші ойға келетін нәрсе Қоғамдық басылым - бұл лицензияны сатып алу арқылы жойылатын кейбір шектеулері бар толыққанды ECS көшірмесі ғана. Сондықтан жоқ!
Есіңізде болсын:
!!!Community Edition - бұл Dell компаниясының техникалық қолдауынсыз тестілеу үшін жасалған жеке жоба!!
Сіз шынымен қаласаңыз да, оны толыққанды ECS-ке айналдыру мүмкін емес.
Келіңіздер, түсінеміз
Көптеген адамдар Dell EMC ECS объектіні сақтау қажет болса, ең жақсы шешім деп санайды. ECS брендімен барлық жобалар, соның ішінде коммерциялық және корпоративтік, негізделген . Dell компаниясының ізгі ниетінің бір түрі. Олардың фирмалық аппараттық құралында жұмыс істейтін бағдарламалық жасақтамаға қосымша, бұлтта, виртуалды машинада, контейнерде немесе кез келген жеке аппараттық құралда орналастыруға болатын ашық бастапқы нұсқасы бар. Болашаққа қарап, біз қолданатын OVA нұсқасы да бар.
DELL ECS Community Edition өзі брендтік Dell EMC ECS серверлерінде жұмыс істейтін толыққанды бағдарламалық құралдың шағын нұсқасы болып табылады.
Мен төрт негізгі айырмашылықты анықтадым:
- Шифрлауды қолдау жоқ. Бұл ұят, бірақ сыни емес.
- Матаның қабаты жоқ. Бұл нәрсе кластерлерді құруға, ресурстарды басқаруға, жаңартуларға, Docker кескіндерін бақылауға және сақтауға жауап береді. Бұл қазірдің өзінде өте қорлайтын жер, бірақ Dell-ді де түсінуге болады.
- Алдыңғы тармақтың ең жиіркенішті салдары: орнату аяқталғаннан кейін түйіннің өлшемін кеңейту мүмкін емес.
- Техникалық қолдау жоқ. Бұл тестілеуге арналған өнім, оны кішігірім қондырғыларда пайдалануға тыйым салынады, бірақ мен оған петабайттарды маңызды деректерді жүктеп салуға батылы бармас едім. Бірақ техникалық тұрғыдан мұны істеуге ешкім кедергі бола алмайды.
Үлкен нұсқада не бар?
Экожүйені толық түсіну үшін Еуропаны шарлап, темірдей шешімдерден өтейік.
Мен DELL ECS ең жақсы жергілікті нысанды сақтау орны екендігі туралы мәлімдемені растамаймын немесе жоққа шығармаймын, бірақ егер сізде осы тақырып бойынша айтатын нәрсе болса, мен оны түсініктемелерде оқуға қуаныштымын. Кем дегенде нұсқаға сәйкес Dell EMC сенімді түрде OBS нарығының көшбасшыларының бестігіне кіреді. Бұлтқа негізделген шешімдер ол жерде ескерілмесе де, бұл бөлек әңгіме.
Техникалық тұрғыдан алғанда, ECS бұлтты сақтау протоколдарын пайдалана отырып, деректерге қол жеткізуді қамтамасыз ететін нысанды сақтау болып табылады. AWS S3 және OpenStack Swift қолдайды. Файл қосылған шелектер үшін ECS файлды файлға экспорттау үшін NFSv3 файлын қолдайды.
Ақпаратты жазу процесі өте ерекше, әсіресе классикалық блоктық сақтау жүйелерінен кейін.
- Жаңа деректер келгенде аты, деректердің өзі және метадеректері бар жаңа нысан жасалады.
- Нысандар 128 МБ бөліктерге бөлінеді және әрбір бөлік бірден үш түйінге жазылады.
- Идентификаторлар мен сақтау орындары жазылатын индекс файлы жаңартылады.
- Журнал файлы (журнал жазбасы) жаңартылады және үш түйінге жазылады.
- Сәтті жазу туралы хабарлама клиентке жіберіледі
Деректердің барлық үш данасы параллель жазылады. Барлық үш дана сәтті жазылған жағдайда ғана жазу сәтті деп саналады.
Оқу оңайырақ:
- Клиент деректерді сұрайды.
- Индекс деректердің қай жерде сақталатынын іздейді.
- Деректер бір түйіннен оқылады және клиентке жіберіледі.
Көптеген серверлер бар, сондықтан ең кішкентай Dell EMC ECS EX300-ді қарастырайық. Ол 60 ТБ-дан басталады, 1,5 РБ дейін өсу мүмкіндігі бар. Ал оның үлкен ағасы, Dell EMC ECS EX3000, бір сөреге 8,6PB дейін сақтауға мүмкіндік береді.
Орналастыру
Техникалық тұрғыдан, Dell ECS CE құрылғысын қалағаныңызша орналастыруға болады. Қалай болғанда да, мен ешқандай нақты шектеулерді таппадым. Дегенмен, бірінші түйінді клондау арқылы барлық масштабтауды жасау ыңғайлы, ол үшін бізге қажет:
- 8 vCPU
- 64GB RAM
- ОЖ үшін 16 ГБ
- 1 ТБ тікелей сақтау
- CentOS minimal соңғы шығарылымы
Бұл бәрін басынан бастап өзіңіз орнатқыңыз келген кездегі опция. Бұл опция біз үшін маңызды емес, өйткені... Орналастыру үшін OVA кескінін қолданамын.
Бірақ кез келген жағдайда, талаптар тіпті бір түйін үшін өте зұлым, ал егер сіз заңның әрпін қатаң ұстанатын болсаңыз, онда мұндай төрт түйін қажет.
Дегенмен, ECS CE әзірлеушілері нақты әлемде өмір сүреді және орнату тіпті бір түйінмен сәтті жүзеге асырылады және ең төменгі талаптар:
- 4 vCPU
- 16 ГБ ЖЖҚ
- ОЖ үшін 16 ГБ
- 104 ГБ жадының өзі
Бұл OVA кескінін орналастыру үшін қажетті ресурстар. Қазірдің өзінде әлдеқайда адамгершілік және шынайы.
Орнату түйінінің өзін ресми тұлғадан алуға болады . Сондай-ақ барлығын бір жерде орналастыру туралы егжей-тегжейлі құжаттама бар, бірақ сіз ресми сайттан да оқи аласыз . Сондықтан біз OVA-ның ашылуына егжей-тегжейлі тоқталмаймыз, мұнда ешқандай айла жоқ. Ең бастысы, оны бастамас бұрын, дискіні қажетті көлемге дейін кеңейтуді немесе қажеттілерді қосуды ұмытпаңыз.
Біз машинаны іске қосамыз, консольді ашамыз және ең жақсы әдепкі тіркелгі деректерін қолданамыз:
- кіру: admin
- құпия сөз: ChangeMe
Содан кейін біз sudo nmtui іске қосамыз және желі интерфейсін конфигурациялаймыз - IP/маска, DNS және қақпа. CentOS minimal жүйесінде желілік құралдар жоқ екенін ескере отырып, біз IP адресі арқылы параметрлерді тексереміз.
Теңіздерді тек батылдар бағындыратындықтан, біз жаңартуды жасаймыз, содан кейін біз қайта жүктейміз. Бұл өте қауіпсіз, өйткені... барлық орналастыру ойын кітаптары арқылы орындалады және барлық маңызды докер бумалары ағымдағы нұсқаға құлыпталады.
Енді орнату сценарийін өңдеу уақыты келді. Сізге керемет терезелер немесе псевдо UI жоқ - бәрі сүйікті мәтіндік редакторыңыз арқылы жасалады. Техникалық тұрғыдан екі жол бар: әрбір пәрменді қолмен орындауға немесе videoploy конфигураторын бірден іске қосуға болады. Ол жай ғана vim ішіндегі конфигурацияны ашады және шыққаннан кейін оны тексере бастайды. Бірақ өміріңізді әдейі жеңілдету қызық емес, сондықтан тағы екі пәрменді орындайық. Бұл мағынасыз болса да, мен сізге ескерттім =)
Сонымен, vim ECS-CommunityEdition/deploy.xml жасап, ECS жұмыс істеп тұруы үшін оңтайлы минималды өзгерістерді жасайық. Параметрлер тізімін қысқартуға болады, бірақ мен мұны келесідей жасадым:
- licensed_accepted: true Оны өзгертудің қажеті жоқ, содан кейін орналастыру кезінде сізден оны қабылдау сұралады және жақсы фразаны көрсетеді. Мүмкін бұл тіпті Пасха жұмыртқасы.
- Автоматтардың аттары: және теңшелетін жолдарға түсініктеме алу: Түйін үшін кем дегенде бір қажетті атауды енгізіңіз - орнату процесі кезінде хост атауы онымен ауыстырылады.
- install_node: 192.168.1.1 Түйіннің нақты IP мекенжайын көрсетіңіз. Біздің жағдайда біз nmtui-дегідей көрсетеміз
- dns_domain: доменіңізді енгізіңіз.
- dns_servers: DNS енгізіңіз.
- ntp_servers: кез келгенін көрсетуге болады. Мен 0.pool.ntp.org бассейнінен кездестірген біріншісін алдым (ол 91.216.168.42 болды)
- autonaming: custom Егер түсініктемені алып тастамасаңыз, ай Луна деп аталады.
- ecs_block_devices:
/ dev / sdb
Белгісіз себептермен /dev/vda блокты сақтау құрылғысы жоқ болуы мүмкін - сақтау_пулдары:
мүшелер:
192.168.1.1 Мұнда тағы да түйіннің нақты IP-ін көрсетеміз - ecs_block_devices:
/dev/sdb Біз жоқ құрылғыларды кесу операциясын қайталаймыз.
Жалпы, бүкіл файл егжей-тегжейлі сипатталған , бірақ мұндай қиын заманда оны кім оқиды. Сондай-ақ ол IP мен масканы көрсету үшін жеткілікті минималды екенін айтады, бірақ менің зертханамда мұндай жиынтық өте нашар басталды, мен оны жоғарыда көрсетілгенге дейін кеңейтуге тура келді.
Өңдегіштен шыққаннан кейін update_deploy /home/admin/ECS-CommunityEdition/deploy.yml файлын іске қосу керек және егер бәрі дұрыс орындалса, бұл туралы нақты хабарланады.
Содан кейін сіз әлі де videoploy іске қосып, ортаның жаңартылуын күтуіңіз керек және орнатудың өзін ova-step1 пәрменімен және сәтті аяқталғаннан кейін ova-step2 пәрменімен бастауға болады. Маңызды: сценарийлерді қолмен тоқтатпаңыз! Кейбір қадамдар айтарлықтай уақытты алуы мүмкін, бірінші әрекетте аяқталмауы мүмкін және бәрі бұзылған сияқты көрінуі мүмкін. Қалай болғанда да, сценарийдің табиғи түрде аяқталуын күту керек. Соңында сіз осыған ұқсас хабарламаны көресіз.
Енді біз білетін IP арқылы WebUI басқару тақтасын аша аламыз. Егер конфигурация кезеңде өзгертілмесе, әдепкі тіркелгі root/ChangeMe болады. Сіз тіпті S3-үйлесімді жадымызды бірден пайдалана аласыз. Ол HTTP үшін 9020 және HTTPS үшін 9021 порттарында қол жетімді. Тағы да, ештеңе өзгертілмесе, access_key: object_admin1 және құпия_кілт: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Бірақ өзімізден асып кетпей, ретімен бастайық.
Жүйеге бірінші рет кіргенде, сіз парольді сәйкесінше өзгертуге мәжбүр боласыз, бұл мүлдем дұрыс. Негізгі бақылау тақтасы өте түсінікті, сондықтан айқын көрсеткіштерді түсіндіруден гөрі қызықтырақ әрекет жасайық. Мысалы, жадқа кіру үшін пайдаланатын пайдаланушыны жасайық. Қызмет көрсетушілер әлемінде бұлар жалға алушылар деп аталады. Бұл Басқару > Пайдаланушылар > Жаңа нысан пайдаланушысы ішінде орындалады
Пайдаланушыны құру кезінде бізден аттар кеңістігін көрсету сұралады. Техникалық тұрғыдан алғанда, пайдаланушылар саны бойынша олардың санын жасауға бізге ештеңе кедергі келтірмейді. Және керісінше. Бұл әрбір жалға алушы үшін ресурстарды дербес басқаруға мүмкіндік береді.
Тиісінше, біз қажетті функцияларды таңдаймыз және пайдаланушы кілттерін жасаймыз. Мен үшін S3/Atmos жеткілікті болады. Және кілтті сақтауды ұмытпаңыз😉
Пайдаланушы құрылды, енді оған шелек бөлу уақыты келді. Басқару > Шелек тармағына өтіп, қажетті өрістерді толтырыңыз. Мұнда бәрі қарапайым.
Қазір бізде S3 қоймасын жауынгерлік пайдалануға дайын.
Veeam орнату
Сонымен, біздің есімізде, объектіні сақтаудың негізгі қолдануларының бірі сирек қол жетімді ақпаратты ұзақ мерзімді сақтау болып табылады. Мінсіз мысал сақтық көшірмелерді қашықтағы сайтта сақтау қажеттілігі болып табылады. Veeam Backup & Replication бағдарламасында бұл мүмкіндік сыйымдылық деңгейі деп аталады.
Dell ECS CE құрылғысын Veeam интерфейсіне қосу арқылы орнатуды бастайық. Сақтық көшірме инфрақұрылымы қойындысында Жаңа репозиторий қосу шеберін іске қосыңыз және «Нысандарды сақтау» опциясын таңдаңыз.
Барлығы не үшін басталғанын таңдайық - S3 Compatible.
Пайда болған терезеде қажетті атауды жазып, Тіркелгі қадамына өтіңіз. Мұнда пішінде Қызмет көрсету нүктесін көрсету керек , аймақты сол күйінде қалдыруға және жасалған пайдаланушыны қосуға болады. Жад қашықтағы сайтта болса, қақпа сервері қажет, бірақ бұл инфрақұрылымды оңтайландыруға арналған тақырып және бөлек мақала, сондықтан оны осы жерден қауіпсіз өткізіп жіберуге болады.
Егер бәрі дұрыс көрсетілсе және конфигурацияланса, сертификат туралы ескерту пайда болады, содан кейін файлдарымыз үшін қалта жасауға болатын шелек бар терезе пайда болады.
Біз шеберден соңына дейін өтіп, нәтижеден ләззат аламыз.
Келесі қадам - жаңа масштабталатын сақтық көшірме репозиторийін жасау немесе бұрыннан барға S3 қосу - ол мұрағаттық сақтау үшін сыйымдылық деңгейі ретінде пайдаланылады. Ағымдағы шығарылымда тұрақты репозиторий сияқты S3-үйлесімді жадты тікелей пайдалану функциясы жоқ. Бұл орын алу үшін тым көп айқын емес мәселелерді шешу керек, бірақ бәрі мүмкін.
Репозитарий параметрлеріне өтіп, Сыйымдылық деңгейін қосыңыз. Онда бәрі мөлдір, бірақ қызықты нюанс бар: егер сіз барлық деректердің мүмкіндігінше тезірек нысанды сақтауға жіберілуін қаласаңыз, оны 0 күнге қойыңыз.
Шеберден өткеннен кейін, күткіңіз келмесе, репозиторийде ctrl+RMB пернелер тіркесімін басып, Деңгейлік тапсырманы орындауға мәжбүрлеп, графиктерді тексеріп шығуға болады.
Әзірге бәрі осы. Мен блокты сақтаудың адамдар ойлағандай қорқынышты емес екенін көрсету міндетін орындадым деп ойлаймын. Иә, вагон мен шағын арбаға арналған шешімдер мен нұсқалар бар, бірақ сіз бір мақалада бәрін қамти алмайсыз. Сондықтан түсініктемелерде тәжірибемізбен бөлісейік.
Ақпарат көзі: www.habr.com