Светът видя първия прототип на обектни хранилища през 1996 г. След 10 години Amazon Web Services ще пуснат Amazon S3 и светът ще започне систематично да полудява от плоско адресно пространство. Благодарение на обработката на метаданни и способността му да се мащабира, без да увисва при натоварване, съхранението на обекти бързо се превърна в стандарт за повечето услуги за съхранение в облак и не само. Друга важна характеристика е добрата му адаптивност за съхранение на архиви и подобни рядко използвани файлове. Всички, които участваха в съхранението на данни, се радваха и носеха новата технология на ръце.
Но слуховете на хората бяха пълни със слухове, че съхранението на обекти е само за големи облаци и ако не се нуждаете от решения от проклетите капиталисти, тогава ще бъде много трудно да направите свое собствено. Вече е писано много за внедряването на собствен облак, но няма достатъчно информация за създаването на така наречените S3-съвместими решения.
Затова днес ще разберем какви опции има „Да бъдем като възрастни, а не CEPH и по-голям файл“, ще разположим една от тях и ще проверим дали всичко работи с помощта на Veeam Backup & Replication. Той твърди, че поддържа работа с S3-съвместими хранилища и ние ще проверим това твърдение.
Какво ще кажете за другите?
Предлагам да започнем с малък преглед на пазара и възможностите за съхранение на обекти. Общопризнат лидер и стандарт е Amazon S3. Двамата най-близки преследвачи са Microsoft Azure Blob Storage и IBM Cloud Object Storage.
Това ли е всичко? Няма ли други конкуренти? Разбира се, има конкуренти, но някой върви по свой собствен път, като Google Cloud или Oracle Cloud Object Storage, с непълна поддръжка за S3 API. Някой използва стари версии на API, като Baidu Cloud. А някои, като Hitachi Cloud, изискват прилагането на специална логика, което със сигурност ще причини свои собствени трудности. Във всеки случай всеки се сравнява с Amazon, което може да се счита за индустриален стандарт.
Но при локалните решения изборът е много по-голям, така че нека очертаем критериите, които са важни за нас. По принцип са достатъчни само две: поддръжка на S3 API и използване на v4 подписване. Ръка на сърцето, ние като бъдещ клиент се интересуваме само от интерфейси за взаимодействие, а вътрешната кухня на самото хранилище не ни интересува толкова.
Е, много решения отговарят на тези прости условия. Например, класически корпоративни тежки категории:
- DellEMC ECS
- NetApp S3 Storage Grid
- Кофи Nutanix
- Pure Storage FlashBlade и StorReduce
- Huawei FusionStorage
Има ниша от чисто софтуерни решения, които работят извън кутията:
- Червената шапка Ceph
- SUSE Enterprise Storage
- Cloudian
И дори тези, които обичат внимателно да обработват с файл след сглобяването, не бяха обидени:
- CEPH в най-чист вид
- Minio (версия за Linux, защото има много въпроси относно версията за Windows)
Списъкът далеч не е пълен, може да се обсъди в коментарите. Просто не забравяйте да проверите производителността на системата в допълнение към съвместимостта с API преди внедряването. Последното нещо, което искате, е загубата на терабайти данни поради блокирани заявки. Така че не се колебайте да зареждате тестове. По принцип целият софтуер за възрастни, който работи с големи количества данни, има поне отчети за съвместимост. В случай на Veeam има на взаимно тестване, което ни позволява смело да декларираме пълната съвместимост на нашите продукти с конкретно оборудване. Това вече е двупосочна работа, не винаги бърза, но непрекъснато се разширяваме изпитани решения.
Сглобяване на нашия щанд
Искам да поговоря малко за избора на тестов предмет.
Първо, исках да намеря опция, която да работи веднага след изваждането от кутията. Е, или поне с максимална вероятност да работи, без да е необходимо да правите ненужни жестове. Да танцуваш с тамбура и да свириш на конзолата през нощта е много вълнуващо, но понякога искаш да работи веднага. И общата надеждност на такива решения обикновено е по-висока. И да, духът на авантюризъм изчезна в нас, спряхме да се катерим през прозорците при любимите си жени и т.н. (c).
Второ, честно казано, необходимостта от работа със съхранение на обекти възниква в доста големи компании, така че това е самият случай, когато погледът към решения на корпоративно ниво не само не се срамува, но дори се насърчава. Във всеки случай, все още не знам за примери някой да бъде уволнен за закупуване на такива решения.
Въз основа на гореизложеното изборът ми падна Dell EMC ECS Community Edition. Това е много интересен проект и смятам за необходимо да ви разкажа за него.
Първото нещо, което идва на ум, когато видите добавката Издание на Общността - че това е само паус от пълноправен ECS с някои ограничения, които се премахват чрез закупуване на лиценз. Така че не!
Запомнете:
!!!Community Edition е отделен проект, създаден за тестване и без техническа поддръжка от Dell!!
И не може да се превърне в пълноправен ECS, дори ако наистина искате.
Нека го разберем
Много хора смятат, че Dell EMC ECS е почти най-доброто решение, ако имате нужда от съхранение на обекти. Всички проекти под марката ECS, включително търговски и корпоративни, са . Един вид жест на добра воля от Dell. И в допълнение към софтуера, който работи на техния брандиран хардуер, има версия с отворен код, която може да бъде внедрена дори в облака, дори на виртуална машина, дори в контейнер, дори на всеки ваш хардуер. В бъдеще дори има OVA версия, която ще използваме.
Самото DELL ECS Community Edition е мини версия на пълноценния софтуер, който работи на сървъри с марка Dell EMC ECS.
Идентифицирах четири основни разлики:
- Няма поддръжка за криптиране. Жалко е, но не е критично.
- Няма слой плат. Това нещо е отговорно за изграждането на клъстери, управлението на ресурси, актуализирането, наблюдението и съхраняването на Docker изображения. Тук вече е много разочароващо, но Dell също може да бъде разбран.
- Най-неприятната последица от предишната точка: размерът на възела не може да бъде разширен след завършване на инсталацията.
- Без техническа поддръжка. Това е продукт за тестване, който не е забранен за използване в малки инсталации, но аз лично не бих посмял да качвам там петабайти важни данни. Но технически никой не може да ви попречи да направите това.
Какво има в голямата версия?
Препускайки в галоп през Европа, нека да разгледаме железните решения, за да имаме по-пълна картина на екосистемата.
Няма по някакъв начин да потвърдя или опровергая твърдението, че DELL ECS е най-доброто място за съхранение на обекти, но ако имате какво да кажете по тази тема, ще се радвам да го прочета в коментарите. Във всеки случай според версията Dell EMC уверено влиза в петте най-големи OBS лидери на пазара. Въпреки че облачните решения не са взети под внимание, това е отделен разговор.
От техническа гледна точка ECS е хранилище на обекти, което осигурява достъп до данни чрез протоколи за съхранение в облак. Поддържа AWS S3 и OpenStack Swift. За пакети с активиран файл ECS поддържа NFSv3 за експортиране файл по файл.
Процесът на писане на информация е доста необичаен, особено след класическите блокови системи за съхранение.
- Когато пристигнат нови данни, се създава нов обект, който има име, самите данни и метаданни.
- Обектите са разделени на части от 128 MB и всяка част се записва на три възела едновременно.
- Индексният файл се актуализира, където се записват идентификатори и места за съхранение.
- Регистрационният файл (дневник на записите) се актуализира и също така се записва на три възела.
- Изпраща се съобщение до клиента за успешен запис.
И трите копия на данните се записват паралелно. Записването се счита за успешно само ако и трите копия са написани успешно.
Четенето е по-лесно:
- Клиентът изисква данни.
- Индексът търси място за съхранение на данни.
- Данните се четат от един възел и се изпращат на клиента.
Самите сървъри са доста, така че нека да разгледаме най-малкия Dell EMC ECS EX300. Започва от 60Tb, с възможност за нарастване до 1,5Pb. А по-големият му брат Dell EMC ECS EX3000 вече ви позволява да съхранявате до 8,6Pb на шкаф.
Разположете
Технически, Dell ECS CE може да бъде разгърнат колкото желаете. Във всеки случай не намерих изрични ограничения. Цялото мащабиране обаче се извършва удобно чрез клониране на първия възел, от който се нуждаем:
- 8 vCPU
- 64GB RAM
- 16GB за операционна система
- 1TB директно за съхранение
- Най-новата версия на CentOS minimal
Това е опция за случая, когато искате да инсталирате всичко сами от самото начало. За нас тази опция не е от значение, т.к. Ще използвам OVA изображение за внедряване.
Но във всеки случай изискванията са много зли дори за един възел и ако следвате стриктно буквата на закона, тогава имате нужда от четири такива възела.
Разработчиците на ECS CE обаче живеят в реалния свят и инсталацията е успешна дори с един възел, а минималните изисквания са:
- 4 vCPU
- 16 GB RAM
- 16 GB за операционна система
- 104 GB самостоятелно съхранение
Именно тези ресурси са необходими за разгръщане на OVA изображението. Вече много по-хуманно и реалистично.
Самият инсталационен възел може да бъде взет от официалния . Има и подробна документация за внедряване на всичко-в-едно, но можете да прочетете и на официалния . Затова няма да се спираме подробно на внедряването на OVA, няма трикове. Основното нещо - не забравяйте, преди да го стартирате, или разширете диска до желания обем, или прикачете необходимите.
Стартираме машината, отваряме конзолата и използваме най-добрите кредити по подразбиране:
- вход: админ
- Парола: changeme
След това стартираме sudo nmtui и конфигурираме мрежовия интерфейс - IP / маска, DNS и порта. Имайки предвид, че в CentOS minimal няма net-tools, ние проверяваме настройките чрез ip addr.
И тъй като само смелите покоряват моретата, правим yum update, след което рестартираме. Всъщност е доста безопасно. цялото внедряване се извършва чрез playbooks и всички важни докер пакети са заключени към текущата версия.
Сега е време да редактирате инсталационния скрипт. Няма красиви прозорци или псевдо UI за вас - всичко е чрез любимия ви текстов редактор. Чисто технически има два начина: можете да стартирате всяка команда ръчно или да стартирате конфигуратора videploy веднага. Той просто ще отвори конфигурацията във vim и при излизане ще започне да я проверява. Но не е интересно умишлено да опростявате живота си, така че нека изпълним още две команди. Въпреки че няма смисъл, предупредих ви =)
И така, ние правим vim ECS-CommunityEdition/deploy.xml и правим оптималните минимални промени, така че ECS да се включи и да работи. Списъкът с параметри може да бъде съкратен, но аз го направих така:
- licensed_accepted: true Не е нужно да го променяте, тогава при внедряването ще бъдете изрично помолени да го приемете и да покажете хубава фраза. Може дори да е великденско яйце.
- Разкоментирайте редовете autonames: и custom: Въведете поне едно желано име за възела - името на хоста ще бъде заменено с него по време на инсталационния процес.
- install_node: 192.168.1.1 Посочете реалния IP на възела. В нашия случай ние посочваме същото като в nmtui
- dns_domain: въведете своя домейн.
- dns_servers: въведете своя DNS.
- ntp_servers: Всеки може да бъде посочен. Взех първия от пула 0.pool.ntp.org (стана 91.216.168.42)
- автоматично именуване: персонализирано Ако не се коментира, луната ще се нарича Луна.
- ecs_block_devices:
/ Сътрудничество / SDB
По някаква неизвестна причина може да има несъществуващо блоково устройство за съхранение /dev/vda - хранилище_пулове:
членове:
192.168.1.1 Тук отново посочваме реалния IP на възела - ecs_block_devices:
/dev/sdb Повтаряме операцията за изрязване на несъществуващи устройства.
Като цяло целият файл е описан много подробно в но кой ще го прочете в такова бурно време. Там също пише, че минимално достатъчно е да посочите IP и маска, но в моята лаборатория такъв набор не стартира добре и се наложи да го разширя до посочения по-горе.
След като излезете от редактора, трябва да стартирате update_deploy /home/admin/ECS-CommunityEdition/deploy.yml и ако всичко е направено правилно, това ще бъде отчетено изрично.
След това все още трябва да стартирате videoploy, да изчакате обновяването на средата и можете да стартирате самата инсталация с командата ova-step1, а след успешното й завършване и командата ova-step2. Важно: не спирайте скриптове на ръка! Някои стъпки може да отнемат много време, да отнемат повече време от първия опит и да изглеждат така, сякаш всичко е счупено. Във всеки случай трябва да изчакате завършването на скрипта по естествен начин. В края трябва да видите нещо подобно.
Сега най-накрая можем да отворим контролния панел на WebUI, като използваме IP адреса, който познаваме. Ако не е променен на етапа на конфигурация, тогава акаунтът по подразбиране ще бъде root/ChangeMe. Можете дори веднага да използвате нашето S3-съвместимо хранилище. Предлага се на портове 9020 за HTTP и 9021 за HTTPS. Отново, ако нищо не е променено, тогава access_key: object_admin1 и secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Но нека не изпреварваме и да започнем по ред.
При първото влизане ще бъдете принудително помолени да промените паролата на подходяща, което е абсолютно правилно. Основното табло е изключително ясно, така че нека направим нещо по-интересно от обяснението на очевидните показатели. Например, нека създадем потребител, който ще използваме за достъп до хранилището. В света на доставчиците на услуги те се наричат наематели. Това се прави в Управление > Потребители > Нов потребител на обект
Когато създаваме потребител, от нас се иска да посочим пространство от имена. Технически нищо не ни пречи да ги стартираме толкова, колкото ще има потребители. И обратно. Това позволява ресурсите да се управляват независимо за всеки наемател.
Съответно избираме необходимите функции и генерираме потребителски ключове. S3/Atmos ще ми е достатъчен. И не забравяйте да запазите ключа 😉
Потребителят е създаден, сега е време той да избере кофата. Отидете на Управление > Кофа и попълнете задължителните полета. Тук всичко е просто.
Сега имаме всичко готово за доста бойно използване на нашето хранилище S3.
Настройка на Veeam
И така, както си спомняме, едно от основните приложения на съхранението на обекти е дългосрочното съхранение на информация, която рядко се осъществява. Идеален пример е необходимостта от съхраняване на резервни копия на отдалечен сайт. Във Veeam Backup & Replication тази функция се нарича Capacity Tier.
Нека започнем настройката, като добавим нашия Dell ECS CE към интерфейса на Veeam. В раздела Backup Infrastructure стартирайте съветника за добавяне на ново хранилище и изберете елемента Object Storage.
Избираме за какво е започнато всичко - S3 Compatible.
В появилия се прозорец напишете желаното име и отидете на стъпка Акаунт. Тук трябва да посочите точката на услугата във формуляра , регионът може да бъде оставен както е и създаденият потребител може да бъде добавен. Gate сървър е необходим, ако вашето хранилище се намира на отдалечен сайт, но това вече е тема за оптимизация на инфраструктурата и отделна статия, така че можете спокойно да го пропуснете тук.
Ако всичко е указано и конфигурирано правилно, ще се появи предупреждение за сертификата и след това прозорец с кофа, където можете да създадете папка за нашите файлове.
Предаваме съветника до края и се наслаждаваме на резултата.
Следващата стъпка е или да създадете ново резервно хранилище за мащабиране, или да добавите нашето S3 към съществуващото - то ще се използва като ниво на капацитет за архивно съхранение. Функцията за директно използване на S3-съвместими хранилища, като обикновено хранилище, не е в текущата версия. Има твърде много доста неочевидни проблеми, за да може това да бъде разрешено, но всичко може да бъде.
Отиваме в настройките на хранилището и включваме нивото на капацитета. Там всичко е прозрачно, но има интересен нюанс: ако искате всички данни да бъдат изпратени до хранилището на обекта възможно най-скоро, просто го задайте на 0 дни.
След като преминете през съветника, ако не искате да чакате, можете да натиснете ctrl+RMB в хранилището, да стартирате принудително заданието за Tiering и да наблюдавате обхождането на графиките.
Това е всичко за сега. Мисля, че се справих със задачата да покажа, че блоковото съхранение не е толкова страшно, колкото се смята. Да, решения и варианти за изпълнение на вагон и малка количка, но е невъзможно да се обхване всичко в една статия. Така че нека споделим нашия опит в коментарите.
Източник: www.habr.com