Светот го виде првиот прототип на складирање на предмети во 1996 година. За 10 години, Amazon Web Services ќе го лансира Amazon S3, а светот ќе почне систематски да полудува со рамен простор за адреси. Благодарение на работата со метаподатоци и нивната способност да се скалира без да попушта под оптоварување, складирањето на објекти брзо стана стандард за повеќето услуги за складирање податоци во облак, и не само тоа. Друга важна карактеристика е тоа што е добро прилагоден за складирање на архиви и слични ретко користени датотеки. Сите вклучени во складирањето податоци се радуваа и ја носеа новата технологија во своите раце.
Но, гласините на луѓето беа полни со гласини дека складирањето на предмети е само за големи облаци, и ако не ви требаат решенија од проклетите капиталисти, тогаш ќе биде многу тешко да направите свои. Веќе е напишано многу за распоредување на сопствен облак, но нема доволно информации за создавање таканаречени решенија компатибилни со S3.
Поэтому сегодня мы разберёмся, какие есть варианты «Чтобы как у взрослых, а не CEPH и напильник побольше», развернём один из них, а проверять, что всё работает, будем с помощью Veeam Backup & Replication. В нём заявлена поддержка работы с S3-совместимыми хранилищами, и вот это заявление мы будем проверять.
Што е со другите?
Предлагам да започнете со мал преглед на пазарот и опциите за складирање на предмети. Општо признат лидер и стандард е Amazon S3. Двата најблиски гонители се Microsoft Azure Blob Storage и IBM Cloud Object Storage.
Дали е тоа сè? Дали навистина нема други конкуренти? Се разбира, има и конкуренти, но некои одат по својот пат, како Google Cloud или Oracle Cloud Object Storage, со нецелосна поддршка за S3 API. Некои користат постари верзии на API, како Baidu Cloud. А некои, како Hitachi Cloud, бараат посебна логика, што секако ќе предизвика свои тешкотии. Во секој случај, сите се споредуваат со Амазон, кој може да се смета за индустриски стандард.
Но, во решенијата во просториите има многу повеќе избор, па ајде да ги наведеме критериумите што ни се важни. Во принцип, само две се доволни: поддршка за S3 API и употреба на потпишување v4. Рака на срце, ние, како иден клиент, сме заинтересирани само за интерфејси за интеракција, а не сме толку заинтересирани за внатрешната кујна на самиот објект за складирање.
Многу решенија одговараат на овие едноставни услови. На пример, класични корпоративни тешки тегови:
- DellEMC ECS
- NetApp S3 StorageGrid
- Нутаникс кофи
- Чисто складирање FlashBlade и StorReduce
- Huawei FusionStorage
Постои ниша на чисто софтверски решенија кои работат надвор од кутијата:
- Црвена шапка Цеф
- SUSE Enterprise Storage
- Облачно
И дури и оние кои сакаат внимателно да поднесуваат документи по собранието не беа навредени:
- CEPH во својата најчиста форма
- Minio (верзија на Linux, бидејќи има многу прашања за верзијата на Windows)
Списокот е далеку од комплетен, може да се дискутира во коментарите. Само не заборавајте да ги проверите перформансите на системот покрај компатибилноста со API пред имплементацијата. Последното нешто што сакате е да изгубите терабајти податоци поради заглавени прашања. Затоа, не се срамете со тестовите за оптоварување. Општо земено, секој софтвер за возрасни што работи со големи количини на податоци има најмалку извештаи за компатибилност. Во случај на Veeam постои на меѓусебно тестирање, што ни овозможува самоуверено да ја објавиме целосната компатибилност на нашите производи со специфична опрема. Ова е веќе двонасочна работа, не секогаш брза, но постојано се шириме тестирани решенија.
Составување на нашиот штанд
Би сакал да зборувам малку за изборот на тема за тестирање.
Прво, сакав да најдам опција што ќе функционира веднаш надвор од кутијата. Па, или барем со максимална веројатност дека ќе работи без потреба од непотребни движења. Танцувањето со тамбура и чепкањето со конзолата во текот на ноќта е многу возбудливо, но понекогаш сакате веднаш да функционира. И целокупната сигурност на таквите решенија е обично поголема. И да, духот на авантуризмот исчезна во нас, престанавме да се качуваме во прозорците на нашите сакани жени итн. (в).
Второ, да бидам искрен, потребата да се работи со складирање на предмети се јавува во прилично големи компании, така што тоа е случај кога гледањето кон решенија на ниво на претпријатие не само што не е срамно, туку дури и охрабрено. Во секој случај, сè уште не знам за примери дека некој бил отпуштен поради купување на такви решенија.
Врз основа на сето погоре, мојот избор падна на Dell EMC ECS Community Edition. Ова е многу интересен проект и сметам дека е неопходно да ви кажам за тоа.
Првото нешто што ви паѓа на ум кога ќе го видите додатокот Заедничко издание - дека ова е само копија на полноправно ECS со некои ограничувања кои се отстрануваат со купување лиценца. Значи не!
Запомнете:
!!!Community Edition е посебен проект создаден за тестирање, и без техничка поддршка од Dell!!
И не може да се претвори во полноправна ECS, дури и ако навистина сакате.
Ајде да дознаам
Многу луѓе веруваат дека Dell EMC ECS е речиси најдоброто решение доколку имате потреба од складирање на предмети. Сите проекти под брендот ECS, вклучително и комерцијални и корпоративни, се базираат на . Еден вид гест на добра волја од Dell. И покрај софтверот што работи на нивниот брендиран хардвер, постои верзија со отворен код што може да се распореди во облакот, на виртуелна машина, во контејнер или на кој било ваш хардвер. Гледајќи напред, постои дури и верзија OVA, која ќе ја користиме.
Самото DELL ECS Community Edition е мини-верзија на полноправен софтвер што работи на брендирани сервери Dell EMC ECS.
Идентификував четири главни разлики:
- Нема поддршка за шифрирање. Штета е, но не и критично.
- Недостасува слој од ткаенина. Оваа работа е одговорна за градење кластери, управување со ресурси, ажурирања, следење и складирање на сликите на Docker. Ова е местото каде што веќе е многу навредливо, но и Dell може да се разбере.
- Најодвратната последица од претходната точка: големината на јазолот не може да се прошири по завршувањето на инсталацијата.
- Нема техничка поддршка. Ова е производ за тестирање, кој не е забранет да се користи во мали инсталации, но јас лично не би се осмелил да прикачам петабајти важни податоци таму. Но, технички никој не може да ве спречи да го направите ова.
Што има во големата верзија?
Ајде да галопираме низ Европа и да поминеме низ железарните решенија за да имаме поцелосно разбирање за екосистемот.
Јас некако нема да ја потврдам или отфрлам изјавата дека DELL ECS е најдоброто складирање на предмети во премија, но ако имате нешто да кажете на оваа тема, со задоволство ќе го прочитам во коментарите. Барем според верзијата Dell EMC е самоуверено меѓу првите пет лидери на пазарот на OBS. Иако таму не се земаат предвид решенијата базирани на облак, ова е посебен разговор.
Од техничка гледна точка, ECS е складирање на објекти што обезбедува пристап до податоци користејќи протоколи за складирање облак. Поддржува AWS S3 и OpenStack Swift. За корпи со овозможени датотеки, ECS поддржува NFSv3 за извоз од датотека по датотека.
Процесот на снимање на информации е сосема невообичаен, особено по класичните системи за складирање блокови.
- Кога ќе пристигнат нови податоци, се создава нов објект кој има име, самите податоци и метаподатоци.
- Објектите се поделени на делови од 128 MB и секој дел се запишува на три јазли одеднаш.
- Датотеката со индекс се ажурира, каде што се снимаат идентификатори и локации за складирање.
- Датотеката за евиденција (внес на дневник) се ажурира и исто така се запишува на три јазли.
- Порака за успешно снимање се испраќа до клиентот
Сите три копии од податоците се напишани паралелно. Пишувањето се смета за успешно само ако сите три копии се напишани успешно.
Читањето е полесно:
- Клиентот бара податоци.
- Индексот бара каде се складирани податоците.
- Податоците се читаат од еден јазол и се испраќаат до клиентот.
Има многу сервери, па да го погледнеме најмалиот Dell EMC ECS EX300. Почнува од 60 ТБ, со можност да расте до 1,5 ПБ. И неговиот постар брат, Dell EMC ECS EX3000, ви овозможува да складирате дури 8,6 PB по решетка.
Распоредување
Технички, Dell ECS CE може да се распореди колку што сакате. Во секој случај, не најдов никакви експлицитни ограничувања. Сепак, погодно е да се направи целото скалирање со клонирање на првиот јазол, за што ни треба:
- 8 vCPU
- 64GB RAM меморија
- 16 GB за ОС
- Директно складирање од 1 ТБ
- Најновото издание на CentOS minimal
Ова е опција за кога сакате да инсталирате сè сами од самиот почеток. Оваа опција не е релевантна за нас, бидејќи ... Ќе ја користам сликата OVA за распоредување.
Но, во секој случај, барањата се многу лоши дури и за еден јазол, и ако строго го следите словото на законот, тогаш ви требаат четири такви јазли.
Сепак, програмерите на ECS CE живеат во реалниот свет, а инсталацијата е успешна дури и со еден јазол, а минималните барања се:
- 4 vCPU
- 16 GB RAM меморија
- 16 GB за ОС
- Самиот простор од 104 GB
Ова се ресурсите потребни за распоредување на сликата OVA. Веќе многу похумано и пореално.
Самиот јазол за инсталација може да се добие од службеникот . Има и детална документација за распоредувањето се-во-едно, но можете да прочитате и на официјалното . Затоа, нема да се задржиме детално на расплетот на ОВА, таму нема трикови. Главната работа е дека пред да го стартувате, не заборавајте да го проширите дискот до потребниот волумен или да ги прикачите потребните.
Ја стартуваме машината, ја отвораме конзолата и ги користиме најдобрите стандардни ингеренции:
- најава: админ
- лозинка: ChangeMe
Потоа стартуваме sudo nmtui и го конфигурираме мрежниот интерфејс - IP/маска, DNS и портата. Имајќи предвид дека CentOS minimal нема net-tools, ги проверуваме поставките преку ip addr.
И бидејќи само храбрите ги освојуваат морињата, правиме yum ажурирање, по што се рестартираме. Тоа е всушност сосема безбедно бидејќи ... целото распоредување се врши преку Playbooks, а сите важни docker пакети се заклучени на тековната верзија.
Сега е време да ја уредите скриптата за инсталација. Нема фенси прозорци или псевдо интерфејс за вас - сè се прави преку вашиот омилен уредувач на текст. Технички, постојат два начина: можете да ја извршите секоја команда рачно или веднаш да го стартувате конфигураторот за видео локација. Едноставно ќе ја отвори конфигурацијата во vim, а по излегувањето ќе почне да ја проверува. Но, не е интересно намерно да си го поедноставите животот, па ајде да извршиме уште две команди. Иако ова нема смисла, ве предупредив =)
Значи, ајде да направиме vim ECS-CommunityEdition/deploy.xml и да ги направиме оптималните минимални промени за да може ECS да работи и да работи. Списокот на параметри може да се скрати, но јас го направив вака:
- Licensed_accepted: точно Не мора да го менувате, тогаш при распоредувањето ќе биде експлицитно побарано да го прифатите и ќе ви биде прикажана убава фраза. Можеби ова е дури и велигденско јајце.
- Отстранете ги коментарите на линиите автоматски имиња: и прилагодено: Внесете барем едно посакувано име за јазолот - името на домаќинот ќе биде заменето со него за време на процесот на инсталација.
- install_node: 192.168.1.1 Наведете ја вистинската IP адреса на јазолот. Во нашиот случај, го означуваме истото како во nmtui
- dns_domain: внесете го вашиот домен.
- dns_servers: внесете ги вашите dns.
- ntp_servers: можете да наведете кој било. Го земав првиот што наидов од базенот 0.pool.ntp.org (стана 91.216.168.42)
- автономирање: прилагодено Ако не го откажете коментарот, месечината ќе се вика Луна.
- ecs_block_devices:
/ dev / sdb
Од некоја непозната причина, може да има непостоечки уред за складирање блок /dev/vda - складирање_базени:
членови:
192.168.1.1 Тука повторно ја означуваме вистинската IP адреса на јазолот - ecs_block_devices:
/dev/sdb Ја повторуваме операцијата на отсекување на непостоечки уреди.
Општо земено, целата датотека е детално опишана во , но кој ќе го прочита во толку проблематично време. Исто така, вели дека минимумот е доволно да се специфицира IP и маска, но во мојата лабораторија таков сет започна прилично лошо, и морав да го проширам на оној што е наведен погоре.
Откако ќе излезете од уредникот, треба да го извршите update_deploy /home/admin/ECS-CommunityEdition/deploy.yml и ако сè е направено правилно, ова ќе биде експлицитно пријавено.
Потоа треба уште да го извршите videoploy, да почекате да се ажурира околината и можете да ја започнете самата инсталација со командата ova-step1, а по нејзиното успешно завршување, командата ova-step2. Важно: не запирајте ги скриптите со рака! Некои чекори може да потрае значително време, може да не се завршат при првиот обид и може да изгледаат како сè да е скршено. Во секој случај, треба да почекате сценариото да се заврши природно. На крајот треба да видите слична порака.
Сега конечно можеме да ја отвориме контролната табла WebUI со помош на IP што ни е познато. Ако конфигурацијата не е променета на сцената, стандардната сметка ќе биде root/ChangeMe. Можете дури и веднаш да го користите нашето складирање компатибилно со S3. Достапно е на портите 9020 за HTTP и 9021 за HTTPS. Повторно, ако ништо не е сменето, тогаш access_key: object_admin1 и secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Но, да не се претераме и да почнеме по ред.
Кога ќе се најавите за прв пат, ќе бидете принудени да ја смените вашата лозинка на адекватна, што е апсолутно точно. Главната контролна табла е исклучително јасна, па ајде да направиме нешто поинтересно отколку да ги објасниме очигледните метрики. На пример, ајде да создадеме корисник што ќе го користиме за да пристапиме до складиштето. Во светот на давателите на услуги, овие се нарекуваат станари. Ова е направено во Управување > Корисници > Корисник на нов објект
Кога креираме корисник, од нас се бара да наведеме именски простор. Технички, ништо не не спречува да создадеме толку многу од нив колку што има корисници. И обратно. Ова ви овозможува самостојно да управувате со ресурсите за секој закупец.
Според тоа, ги избираме функциите што ни се потребни и генерираме кориснички клучеви. S3/Atmos ќе ми биде доволно. И не заборавајте да го зачувате клучот 😉
Корисникот е создаден, сега е време да му доделите кофа. Одете во Управување > Кофа и пополнете ги бараните полиња. Сè е едноставно овде.
Сега имаме сè подготвено за сосема борбено користење на нашата складиште на S3.
Поставување на Veeam
Значи, како што се сеќаваме, една од главните намени за складирање на објекти е долгорочно складирање на информации до кои ретко се пристапува. Идеален пример е потребата да се складираат резервни копии на оддалечена локација. Во Veeam Backup & Replication оваа функција се нарекува Capacity Tier.
Ајде да започнеме со поставување со додавање на нашиот Dell ECS CE на интерфејсот Veeam. На јазичето Backup Infrastructure, стартувајте го Волшебникот за додавање ново складиште и изберете Object Storage.
Ајде да избереме за што започна се - компатибилен со S3.
Во прозорецот што се појавува, напишете го саканото име и одете на чекорот Сметка. Овде треба да ја наведете услугата точка во формуларот , регионот може да се остави како што е и да се додаде креираниот корисник. Неопходен е сервер за порти ако вашето складирање се наоѓа на оддалечена локација, но ова е веќе тема за оптимизирање на инфраструктурата и посебна статија, така што можете безбедно да ја прескокнете овде.
Ако сè е точно наведено и конфигурирано, ќе се појави предупредување за сертификатот, а потоа прозорец со кофа каде што можете да креирате папка за нашите датотеки.
Поминуваме низ волшебникот до крај и уживаме во резултатот.
Следниот чекор е или да креирате ново складиште за резервни копии за намалување на големината или да го додадете нашиот S3 на постојното - ќе се користи како ниво на капацитет за архивско складирање. Нема функција за директно користење на складиштето компатибилно со S3, како обично складиште, во тековното издание. Треба да се решат премногу прилично неочигледни проблеми за да се случи ова, но сè е можно.
Одете во поставките на складиштето и овозможете Capacity Tier. Таму сè е транспарентно, но има една интересна нијанса: ако сакате сите податоци да бидат испратени до складирање на објекти што е можно поскоро, само поставете ги на 0 дена.
Откако ќе поминете низ волшебникот, ако не сакате да чекате, можете да притиснете ctrl+RMB на складиштето, насилно да ја стартувате работата Tiering и да гледате како графиконите лазат.
Тоа е се за сега. Мислам дека успеав во задачата да покажам дека складирањето во блок не е толку страшно како што мислат луѓето. Да, има решенија и опции за вагон и мала количка, но не можете да покриете сè во една статија. Затоа, ајде да го споделиме нашето искуство во коментарите.
Извор: www.habr.com