FAST VP во складирање Unity: како функционира

Денес ќе зборуваме за една интересна технологија имплементирана во системите за складирање Unity/Unity XT - FAST VP. Ако првпат слушате за Unity, тогаш можете да ги проверите карактеристиките на системот користејќи ја врската на крајот од статијата. Работев на FAST VP во проектниот тим на Dell EMC повеќе од една година. Денес сакам да зборувам за оваа технологија подетално и да откријам некои детали за нејзината имплементација. Се разбира, само оние на кои им е дозволено да се откријат. Ако сте заинтересирани за прашања за ефикасно складирање на податоци или едноставно не сте ја разбрале целосно документацијата, тогаш овој напис сигурно ќе биде корисен и интересен.

Веднаш ќе ви кажам што нема да има во материјалот. Нема да има потрага по конкуренти и споредба со нив. Исто така, не планирам да зборувам за слични технологии од отворен код, бидејќи љубопитниот читател веќе знае за нив. И, се разбира, нема да рекламирам ништо.

Нивоа на складирање. Цели и задачи на FAST VP

FAST VP кратенка за Целосно автоматизирано ниво на складирање за виртуелен базен. Малку тешко? Нема проблем, ќе го сфатиме сега. Нивото е начин на организирање на складирање на податоци во кое има неколку нивоа (нивоа) каде се складираат овие податоци. Секој има свои карактеристики. Најважно: перформанси, обем и цена на складирање на единица информации. Се разбира, постои врска меѓу нив.

Важна карактеристика на нивоата е тоа што пристапот до податоците се обезбедува подеднакво без оглед на нивото на складирање на кое моментално се наоѓа, а големината на базенот е еднаква на збирот на големини на ресурсите вклучени во него. Тука лежат разликите од кешот: големината на кешот не се додава на вкупниот волумен на ресурсот (во овој случај), а податоците од кешот дуплираат некој фрагмент од главните медиумски податоци (или ќе се дуплираат ако податоците од кешот сè уште не се напишани). Исто така, дистрибуцијата на податоците по нивоа е скриена од корисникот. Односно, тој не гледа точно кои податоци се наоѓаат на секое ниво, иако индиректно може да влијае на тоа со поставување на политики (повеќе за нив подоцна).

Сега да ги погледнеме карактеристиките на имплементацијата на нивоата за складирање во Unity. Единството има 3 нивоа или нивоа:

• Екстремни перформанси (SSD)
• Перформанси (SAS HDD 10k/15k RPM)
• Капацитет (NL-SAS HDD 7200 RPM)

Тие се претставени по опаѓачки редослед на перформанси и цена. Екстремните перформанси вклучуваат само погони со цврста состојба (SSD). Другите две нивоа вклучуваат магнетни дискови, кои се разликуваат во брзината на ротација и, соодветно, перформансите.

Медиумите за складирање од исто ниво и иста големина се комбинираат во RAID низа, формирајќи RAID група (RAID група, скратено како RG); Можете да прочитате за достапните и препорачаните нивоа на RAID во официјалната документација. Базените за складирање се формираат од RAID групи од едно или повеќе нивоа, од кои потоа се дистрибуира слободен простор. И од базенот простор е доделен за датотечни системи и LUN.

Зошто ми треба Tiering?

Накратко и апстрактно: да се постигнат поголеми резултати користејќи минимум ресурси. Поконкретно, резултатот обично се подразбира како збир на карактеристики на системот за складирање - брзина и време на пристап, трошоци за складирање и други. Минимумот ресурси значи најмалку трошоци: пари, енергија итн. FAST VP имплементира механизми за редистрибуција на податоци на различни нивоа во системите за складирање Unity/Unity XT. Ако ми верувате, тогаш можете да го прескокнете следниот пасус. За останатото ќе ви кажам уште малку.

Правилната дистрибуција на податоци низ нивоата на складирање ви овозможува да заштедите на вкупните трошоци за складирање со жртвување на брзината на пристап до некои ретко користени информации и да ги подобрите перформансите со преместување на често користените податоци на побрзи медиуми. Овде некој може да тврди дека дури и без нивоа, нормален администратор знае каде да постави какви податоци, кои се посакуваните карактеристики на системот за складирање за неговата задача итн. Ова е несомнено точно, но рачното дистрибуирање податоци има свои недостатоци:

• бара време и внимание од администраторот;
• Не е секогаш можно да се „прецртаат“ ресурсите за складирање за да одговараат на променливите услови;
• исчезнува важна предност: унифициран пристап до ресурси лоцирани на различни нивоа на складирање.

За да ги натерам администраторите за складирање помалку да се грижат за безбедноста на работата, ќе додадам дека и овде е неопходно компетентно планирање на ресурсите. Сега, кога задачите на нивоата се накратко наведени, ајде да погледнеме што можете да очекувате од FAST VP. Сега е време да се вратиме на дефиницијата. Првите два збора – Целосно автоматизирано – се буквално преведени како „целосно автоматизирани“ и значат дека дистрибуцијата помеѓу нивоата се случува автоматски. Па, Виртуелен базен е базен на податоци што вклучува ресурси од различни нивоа на складирање. Вака изгледа:

Гледајќи напред, ќе кажам дека FAST VP ги преместува податоците само во еден базен, а не помеѓу неколку базени.

Проблемите ги реши FAST VP

Ајде прво да зборуваме апстрактно. Имаме базен и некој механизам што може да редистрибуира податоци во овој базен. Сеќавајќи се дека нашата цел е да постигнеме максимална продуктивност, да се запрашаме: на кои начини можеме да ја постигнеме? Може да има неколку од нив, и тука FAST VP има што да му понуди на корисникот, бидејќи технологијата е нешто повеќе од само нивоа за складирање. Еве неколку начини на кои FAST VP може да ги зголеми перформансите на базенот:

• Дистрибуција на податоци низ различни типови на дискови, нивоа
• Дистрибуција на податоци меѓу дискови од ист тип
• Дистрибуција на податоци при проширување на базенот

Пред да погледнеме како се решаваат овие задачи, треба да знаеме некои неопходни факти за тоа како функционира FAST VP. FAST VP работи со блокови со одредена големина - 256 мегабајти. Ова е најмалиот соседен „парче“ податоци што може да се премести. Во документацијата вака викаат: парче. Од гледна точка на FAST VP, сите RAID групи се состојат од збир на такви „парчиња“. Според тоа, сите I/O статистики се акумулираат за такви блокови на податоци. Зошто е избрана оваа големина на блок и дали ќе се намали? Блокот е доста голем, но ова е компромис помеѓу грануларноста на податоците (помала големина на блок значи попрецизна дистрибуција) и достапните компјутерски ресурси: со оглед на постојните строги ограничувања на RAM меморијата и голем број блокови, статистичките податоци може да зафатат премногу, а бројот на пресметки ќе се зголемува пропорционално.

Колку FAST VP ги распределува податоците на базенот. Политичарите

За да го контролирате поставувањето податоци во базен со вклучен FAST VP, постојат следниве правила:

• Највисоко достапно ниво
• Автоматско ниво
• Започнете високо потоа Автоматско ниво (стандардно)
• Најниско достапно ниво

Тие влијаат и на почетната распределба на блокови (податоци прво напишани) и на последователната прераспределба. Кога податоците се веќе лоцирани на дискови, редистрибуцијата ќе биде иницирана според распоред или рачно.

Највисоко достапно ниво се обидува да постави нов блок на највисокото ниво. Доколку нема доволно простор на него, се поставува на следното најпродуктивно ниво, но потоа податоците може да се преместат на попродуктивно ниво (ако има простор или со поместување на други податоци). Auto-Tier поставува нови податоци на различни нивоа во зависност од количината на достапниот простор и се редистрибуираат во зависност од побарувачката и слободниот простор. Започнете високо потоа Автоматско ниво е стандардната политика и исто така се препорачува. Кога првично е поставен, работи како највисоко достапно ниво, а потоа податоците се преместуваат во зависност од статистиката за неговата употреба. Политиката за најниско достапно ниво се обидува да ги постави податоците во најнепродуктивното ниво.

Преносот на податоци се случува со низок приоритет за да не се попречува корисното работење на системот за складирање, меѓутоа, постои поставка „Стапка на преместување податоци“ што го менува приоритетот. Тука има една особеност: не сите блокови на податоци имаат ист редослед на прераспределба. На пример, блоковите означени како метаподатоци прво ќе бидат преместени на побрзо ниво. Метаподатоците се, така да се каже, „податоци за податоци“, некои дополнителни информации кои не се кориснички податоци, туку го складираат нивниот опис. На пример, информации во датотечниот систем за тоа во кој блок се наоѓа одредена датотека. Тоа значи дека брзината на пристап до податоци зависи од брзината на пристап до метаподатоци. Имајќи предвид дека метаподатоците обично се многу помали по големина, придобивките од нивното преместување на дискови со повисоки перформанси се очекува да бидат поголеми.

Критериуми кои Fast VP ги користи во својата работа

Главниот критериум за секој блок, многу грубо, е карактеристиката на „побарувачката“ на податоците, која зависи од бројот на операции за читање и запишување на податочен фрагмент. Оваа карактеристика ја нарекуваме „Температура“. Има барани (жешки) податоци кои се „пожешки“ од неподигнатите податоци. Се пресметува периодично, стандардно во интервали од еден час.

Функцијата за пресметка на температурата ги има следниве својства:

• Во отсуство на I/O, податоците „се ладат“ со текот на времето.
• Под повеќе или помалку подеднакво оптоварување со текот на времето, температурата прво се зголемува, а потоа се стабилизира во одреден опсег.

Следно, се земаат предвид политиките опишани погоре и слободниот простор на секое ниво. За јасност ќе дадам слика од документацијата. Овде црвената, жолтата и сината боја укажуваат на блокови со високи, средни и ниски температури, соодветно.

Но, да се вратиме на задачите. Значи, можеме да почнеме да анализираме што се прави за да се решат проблемите на FAST VP.

A. Дистрибуција на податоци низ различни типови на дискови, нивоа

Всушност, ова е главната задача на FAST VP. Останатото, во извесна смисла, се негови деривати. Во зависност од избраната политика, податоците ќе се дистрибуираат на различни нивоа на складирање. Пред сè, се зема предвид политиката за поставување, потоа температурата на блокот и големината/брзината на RAID групите.

За политиките за највисоко/најниско достапно ниво сè е прилично едноставно. За другите двајца тоа е случај. Податоците се дистрибуираат на различни нивоа земајќи ја предвид големината и перформансите на RAID групите: така што односот на вкупната „температура“ на блоковите до „условните максимални перформанси“ на секоја RAID група е приближно ист. Така, товарот се распределува повеќе или помалку рамномерно. Повеќе барани податоци се преместуваат во брзи медиуми, а ретко користените податоци се преместуваат во побавни медиуми. Идеално, дистрибуцијата треба да изгледа вака:

Б. Дистрибуција на податоци меѓу дискови од ист тип

Запомнете, на почетокот го напишав тој медиум за складирање од еден или повеќе нивоата се комбинираат во еден базен? Во случај на едно ниво, FAST VP исто така има работа. За да постигнете максимални перформанси на кое било ниво, препорачливо е податоците да се распределуваат рамномерно помеѓу дисковите. Ова (во теорија) ќе ви овозможи да го добиете максималниот износ на IOPS. Податоците во рамките на групата RAID може да се сметаат за рамномерно распоредени низ дисковите, но тоа не е секогаш случај помеѓу RAID групите. Во случај на нерамнотежа, FAST VP ќе ги преместува податоците помеѓу RAID групите пропорционално на нивниот волумен и „условните перформанси“ (во нумерички термини). За јасност, ќе покажам шема за ребаланс помеѓу три групи RAID:

Б. Дистрибуција на податоци при проширување на базенот

Оваа задача е посебен случај од претходната и се изведува кога RAID група се додава во базенот. За да се осигури дека новододадената RAID група нема да остане неактивен, некои од податоците ќе бидат префрлени на неа, што значи дека оптоварувањето ќе се прераспредели низ сите RAID групи.

Израмнување на абење на SSD

Со користење на израмнување на абење, FAST VP може да го продолжи животниот век на SSD, иако оваа функција не е директно поврзана со нивоата на складирање. Бидејќи податоците за температурата се веќе достапни, се зема предвид и бројот на операции за запишување, а знаеме како да ги преместиме податочните блокови, логично би било FAST VP да го реши овој проблем.

Ако бројот на записи во една RAID група значително го надминува бројот на записи во друга, FAST VP ќе ги редистрибуира податоците во согласност со бројот на операции за запишување. Од една страна, ова го олеснува оптоварувањето и го зачувува ресурсот на некои дискови, од друга страна, додава „работа“ за помалку оптоварените, зголемувајќи ги вкупните перформанси.

На овој начин, FAST VP ги презема традиционалните предизвици на Storage Tiering и прави малку повеќе од тоа. Сето ова ви овозможува доста ефикасно да складирате податоци во системот за складирање Unity.

Неколку совети

1. Не занемарувајте ја читањето на документацијата. Постојат најдобри практики, и тие функционираат доста добро. Ако ги следите, тогаш, по правило, не се појавуваат сериозни проблеми. Остатокот од советите во основа ги повторува или надополнува.
2. Ако сте го конфигурирале и овозможиле FAST VP, подобро е да го оставите овозможено. Нека ги дистрибуира податоците во предвиденото време и малку по малку од еднаш годишно и да има сериозно влијание врз извршувањето на другите задачи. Во такви случаи, прераспределбата на податоците може да потрае долго време.
3. Бидете внимателни при изборот на прозорец за преместување. Иако ова е очигледно, обидете се да изберете време со најмало оптоварување на Unity и да одвоите доволен временски период.
4. Планирајте да го проширите системот за складирање, направете го тоа на време. Ова е општа препорака која е важна и за FAST VP. Ако количината на слободен простор е многу мала, тогаш движењето на податоците ќе се забави или ќе стане невозможно. Особено ако сте ја занемариле точката 2.
5. Кога проширувате базен со вклучен FAST VP, не треба да започнувате со најбавните дискови. Односно, или ги додаваме сите планирани RAID групи одеднаш, или прво ги додаваме најбрзите дискови. Во овој случај, прераспределбата на податоците на нови „брзи“ дискови ќе ја зголеми вкупната брзина на базенот. Во спротивно, започнувањето со „бавни“ дискови може да доведе до многу непријатна ситуација. Прво, податоците ќе се префрлаат на нови, релативно бавни дискови, а потоа, кога ќе се додадат побрзи, во спротивна насока. Овде има нијанси поврзани со различни политики FAST VP, но генерално, слична ситуација е можна.

Ако го гледате овој производ, можете да го пробате Unity бесплатно со преземање на виртуелниот апарат Unity VSA.

На крајот од материјалот споделувам неколку корисни врски:

• Страница Unity систем за складирање
• Dell EMC Unity: FAST VP Теорија на работа – краток опис на функцијата
• Поцелосен и подетален опис, pdf формат
• Единица VSA/Cloud издание

Заклучок

Би сакал да пишувам за многу, но разбирам дека нема да бидат интересни сите детали за читателот. На пример, можете подетално да зборувате за критериумите според кои FAST VP донесува одлуки за пренос на податоци, за процесите на анализа на статистиката на В/И. Исто така, темата за интеракција со Динамични базени, и ова заслужува посебна статија. Можете дури и да фантазирате за развојот на оваа технологија. Се надевам дека не беше досадно и не ти здодеав. Се гледаме повторно!

Извор: www.habr.com