S3 obyekt saxlama əmri obyekt anbarı seçərkən hansı meyarların vacib olduğu haqqında məqaləni tərcümə etdi. Aşağıda müəllifin nöqteyi-nəzərindən mətn verilmişdir.
Obyekt saxlanmasına gəldikdə, insanlar adətən yalnız bir şey haqqında düşünürlər: TB/GB üçün qiymət. Əlbəttə ki, bu metrik vacibdir, lakin o, yanaşmanı birtərəfli edir və obyektin saxlanmasını arxiv saxlama vasitəsi ilə eyniləşdirir. Üstəlik, bu yanaşma müəssisə texnologiyası yığını üçün obyektin saxlanmasının əhəmiyyətini azaldır.
Obyekt saxlama yerini seçərkən beş xüsusiyyətə diqqət yetirməlisiniz:
- performans;
- miqyaslılıq;
- S3 uyğunluğu;
- uğursuzluqlara cavab;
- bütövlük.
Bu beş xüsusiyyət dəyəri ilə birlikdə obyektin saxlanması üçün yeni ölçülərdir. Gəlin onların hamısına baxaq.
Məhsuldarlıq
Ənənəvi obyekt mağazalarında performans yoxdur. Xidmət təminatçıları onu daim aşağı qiymətə qurban verdilər. Bununla belə, müasir obyektlərin saxlanması ilə hər şey fərqlidir.
Müxtəlif saxlama sistemləri Hadoop-un sürətinə yaxınlaşır və ya hətta onu üstələyir. Oxuma və yazma sürəti üçün müasir tələblər: sabit disklər üçün 10 GB/s-dən, NVMe üçün 35 GB/s-ə qədər.
Bu ötürmə qabiliyyəti Spark, Presto, Tensorflow, Teradata, Vertica, Splunk və analitik yığındakı digər müasir hesablama çərçivələri üçün kifayətdir. MPP verilənlər bazalarının obyektin saxlanması üçün konfiqurasiya edilməsi onun getdikcə əsas yaddaş kimi istifadə olunduğunu göstərir.
Saxlama sisteminiz sizə lazım olan sürəti təmin etmirsə, siz verilənlərdən istifadə edə və ondan dəyər çıxara bilməzsiniz. Obyekt yaddaşından məlumatları yaddaşdaxili emal strukturuna götürsəniz belə, məlumatları yaddaşa və yaddaşdan ötürmək üçün sizə yenə də bant genişliyinə ehtiyacınız olacaq. Köhnə obyekt mağazalarında buna kifayət qədər ehtiyac yoxdur.
Bu əsas məqamdır: yeni performans göstəricisi gecikmə deyil, ötürmə qabiliyyətidir. O, miqyaslı məlumatlar üçün tələb olunur və müasir məlumat infrastrukturunda normadır.
Qiymətləndirmə performansı müəyyən etmək üçün yaxşı bir yol olsa da, tətbiqi mühitdə işə salmazdan əvvəl onu dəqiq ölçmək mümkün deyil. Yalnız ondan sonra darboğazın tam olaraq harada olduğunu deyə bilərsiniz: proqram təminatında, disklərdə, şəbəkədə və ya hesablama səviyyəsində.
Ölçeklenebilirlik
Ölçeklenebilirlik bir ad sahəsinə uyğun gələn petabaytların sayına aiddir. Satıcıların iddia etdiyi şey asan miqyaslılıqdır, demədikləri isə miqyas aldıqca kütləvi monolit sistemlərin kövrək, mürəkkəb, qeyri-sabit və bahalı olmasıdır.
Ölçeklenebilirlik üçün yeni ölçü xidmət edə biləcəyiniz ad boşluqlarının və ya müştərilərin sayıdır. Metrik bilavasitə hiperskalerlərdən götürülüb, burada saxlama blokları kiçik, lakin milyardlarla vahidə qədər miqyaslıdır. Ümumiyyətlə, bu bulud göstəricisidir.
Tikinti blokları kiçik olduqda, onları təhlükəsizlik, girişə nəzarət, siyasətin idarə edilməsi, həyat dövrünün idarə edilməsi və pozulmayan yeniləmələr üçün optimallaşdırmaq daha asandır. Və nəticədə məhsuldarlığı təmin edin. Tikinti blokunun ölçüsü nasazlıq bölgəsinin idarə oluna bilməsinin bir funksiyasıdır ki, bu da sistemlərin nə qədər yüksək möhkəmliyə malik olmasıdır.
Çox kirayəlik bir çox xüsusiyyətlərə malikdir. Ölçü təşkilatların məlumatlara və tətbiqlərə necə çıxış təmin etməsindən danışsa da, eyni zamanda tətbiqlərin özlərinə və onları bir-birindən təcrid edən məntiqə də aiddir.
Çox müştəriyə müasir yanaşmanın xüsusiyyətləri:
- Qısa müddətdə müştərilərin sayı bir neçə yüzdən bir neçə milyona qədər arta bilər.
- Müştərilər bir-birindən tamamilə təcrid olunublar. Bu, onlara eyni proqram təminatının müxtəlif versiyalarını işlətməyə və müxtəlif konfiqurasiyalara, icazələrə, xüsusiyyətlərə, təhlükəsizlik və texniki xidmət səviyyələrinə malik obyektləri saxlamağa imkan verir. Bu, yeni serverlərə, yeniləmələrə və coğrafiyalara keçərkən lazımdır.
- Saxlama elastik olaraq miqyaslana bilir, resurslar tələb olunduğu zaman təmin edilir.
- Hər bir əməliyyat API tərəfindən idarə olunur və insan müdaxiləsi olmadan avtomatlaşdırılır.
- Proqram təminatı konteynerlərdə yerləşdirilə və Kubernetes kimi standart orkestrasiya sistemlərindən istifadə edilə bilər.
S3 uyğun
Amazon S3 API obyektin saxlanması üçün faktiki standartdır. Hər bir obyekt saxlama proqram təminatı satıcısı onunla uyğunluq iddia edir. S3 ilə uyğunluq binardır: ya tam həyata keçirilir, ya da yoxdur.
Praktikada obyekt yaddaşından istifadə edərkən nəyinsə səhv getdiyi yüzlərlə və ya minlərlə kənar ssenarilər mövcuddur. Xüsusilə mülkiyyət proqramları və xidmətləri təminatçılarından. Onun əsas istifadə halları birbaşa arxivləşdirmə və ya ehtiyat nüsxəsidir, ona görə də API-yə zəng etmək üçün bir neçə səbəb var, istifadə halları homogendir.
Açıq mənbə proqram təminatı əhəmiyyətli üstünlüklərə malikdir. Tətbiqlərin, əməliyyat sistemlərinin və aparat arxitekturalarının ölçüsünü və müxtəlifliyini nəzərə alaraq, əksər kənar ssenariləri əhatə edir.
Bütün bunlar proqram tərtibatçıları üçün vacibdir, ona görə də proqramı saxlama provayderləri ilə sınaqdan keçirməyə dəyər. Açıq mənbə prosesi asanlaşdırır — hansı platformanın tətbiqiniz üçün uyğun olduğunu başa düşmək daha asandır. Provayder yaddaşa vahid giriş nöqtəsi kimi istifadə edilə bilər, yəni o, ehtiyaclarınızı qarşılayacaqdır.
Açıq mənbə deməkdir: proqramlar satıcıya bağlı deyil və daha şəffafdır. Bu, uzun bir tətbiq ömrünü təmin edir.
Və açıq mənbə və S3 haqqında daha bir neçə qeyd.
Əgər siz böyük data proqramı işlədirsinizsə, S3 SELECT performansı və səmərəliliyi böyüklük sırasına görə yaxşılaşdırır. Bunu yaddaşdan yalnız sizə lazım olan obyektləri almaq üçün SQL-dən istifadə etməklə edir.
Əsas məqam bucket bildirişləri üçün dəstəkdir. Bucket bildirişləri xidmət kimi təqdim edilən hər hansı mikroservis arxitekturasının mühüm komponenti olan serversiz hesablamaları asanlaşdırır. Obyekt yaddaşının effektiv şəkildə bulud yaddaşı olduğunu nəzərə alsaq, obyekt yaddaşı bulud əsaslı proqramlar tərəfindən istifadə edildikdə bu imkan kritik olur.
Nəhayət, S3 tətbiqi Amazon S3 server tərəfi şifrələmə API-lərini dəstəkləməlidir: SSE-C, SSE-S3, SSE-KMS. Daha da yaxşısı, S3 həqiqətən təhlükəsiz olan müdaxilədən müdafiəni dəstəkləyir.
Uğursuzluqlara cavab
Çox güman ki, diqqətdən kənarda qalan bir metrik sistemin uğursuzluqları necə idarə etməsidir. Uğursuzluqlar müxtəlif səbəblərdən baş verir və obyektin saxlanması onların hamısını idarə etməlidir.
Məsələn, bir uğursuzluq nöqtəsi var, bunun metrikası sıfırdır.
Təəssüf ki, bir çox obyekt saxlama sistemləri klasterin düzgün işləməsi üçün aktivləşdirilməli olan xüsusi qovşaqlardan istifadə edir. Bunlara ad qovşaqları və ya metadata serverləri daxildir - bu, tək uğursuzluq nöqtəsi yaradır.
Bir neçə uğursuzluq nöqtəsi olan yerdə belə, fəlakətli uğursuzluğa tab gətirmək bacarığı hər şeydən vacibdir. Disklər uğursuz olur, serverlər uğursuz olur. Əsas odur ki, nasazlığı normal vəziyyət kimi idarə etmək üçün nəzərdə tutulmuş proqram təminatı yaradılsın. Disk və ya qovşaq uğursuz olarsa, bu cür proqram heç bir dəyişiklik olmadan işləməyə davam edəcəkdir.
Məlumatların silinməsinə və məlumatların deqradasiyasına qarşı daxili qorunma, paritet bloklarınız olduğu qədər çox disk və ya qovşaqları, adətən disklərin yarısını itirə biləcəyinizi təmin edir. Yalnız bundan sonra proqram məlumatları qaytara bilməyəcək.
Uğursuzluq yük altında nadir hallarda sınaqdan keçirilir, lakin belə sınaq tələb olunur. Yük çatışmazlığının simulyasiyası uğursuzluqdan sonra çəkilən ümumi xərcləri göstərəcəkdir.
Ardıcıllıq
100% tutarlılıq balı da ciddi ardıcıllıq adlanır. Ardıcıllıq hər hansı bir saxlama sisteminin əsas komponentidir, lakin güclü ardıcıllıq nadirdir. Məsələn, Amazon S3 ListObject ciddi ardıcıl deyil, yalnız sonunda ardıcıldır.
Ciddi ardıcıllıq dedikdə nə nəzərdə tutulur? Təsdiqlənmiş PUT əməliyyatından sonra bütün əməliyyatlar üçün aşağıdakılar baş verməlidir:
- Yenilənmiş dəyər istənilən qovşaqdan oxuduqda görünür.
- Yeniləmə qovşaq uğursuzluğuna qarşı qorunur.
Bu o deməkdir ki, qeydin ortasında fişini çəksəniz, heç nə itirilməyəcək. Sistem heç vaxt zədələnmiş və ya köhnəlmiş məlumatları qaytarmır. Bu, tranzaksiya tətbiqlərindən tutmuş ehtiyat nüsxə və bərpaya qədər bir çox ssenarilərdə vacib olan yüksək çubuqdur.
Nəticə
Bunlar, performans, ardıcıllıq, miqyaslılıq, nasazlıq domenləri və S3 uyğunluğunun bulud tətbiqləri və böyük məlumat analitikası üçün tikinti blokları olduğu müasir təşkilatlarda istifadə nümunələrini əks etdirən yeni obyekt saxlama ölçüləridir. Müasir məlumat yığınlarını qurarkən qiymətə əlavə olaraq bu siyahıdan istifadə etməyi məsləhət görürəm.
Mail.ru Cloud Solutions obyekt yaddaşı haqqında: .
Başqa nə oxumaq lazımdır:
- .
- .
- .
Mənbə: www.habr.com