Bir il yarım inkişafdan sonra Apache Software Foundation buraxın , paradiqmadan istifadə edərək böyük həcmli məlumatların paylanmış işlənməsini təşkil etmək üçün pulsuz platformadır , burada tapşırıq bir çox kiçik ayrı-ayrı fraqmentlərə bölünür, hər biri ayrıca klaster qovşağında işə salına bilər. Hadoop əsaslı yaddaş minlərlə qovşaq əhatə edə bilər və ekzabaytlarla məlumat ehtiva edə bilər.
Hadoop, məlumatların avtomatik ehtiyat nüsxəsini təmin edən və MapReduce proqramları üçün optimallaşdırılmış Hadoop Paylanmış Fayl Sisteminin (HDFS) tətbiqini ehtiva edir. Hadoop yaddaşında verilənlərə girişi asanlaşdırmaq üçün HBase verilənlər bazası və SQL-ə bənzər dil Pig hazırlanmışdır ki, bu da MapReduce üçün bir növ SQLdir, sorğuları bir neçə Hadoop platforması tərəfindən paralelləşdirilə və işlənə bilər. Layihə tam dayanıqlı və sənaye istismarına hazır kimi qiymətləndirilir. Hadoop, Google Bigtable/GFS/MapReduce platformasına bənzər imkanları təmin edən iri sənaye layihələrində fəal şəkildə istifadə olunur, Google isə rəsmi olaraq Hadoop və digər Apache layihələri MapReduce metodu ilə bağlı patentlərin əhatə etdiyi texnologiyalardan istifadə etmək hüququna malikdir.
Hadoop, edilən dəyişikliklərin sayına görə Apache repozitoriyaları arasında birinci, kod bazasının ölçüsünə görə (təxminən 4 milyon kod sətri) beşinci yerdədir. Əsas Hadoop tətbiqlərinə Netflix (gündə 500 milyarddan çox hadisə saxlanılır), Twitter (10 min qovşaqdan ibarət klaster real vaxt rejimində bir zettabaytdan çox məlumat saxlayır və gündə 5 milyarddan çox seans emal edir), Facebook (klaster) daxildir. 4 min qovşaq 300-dən çox petabayt saxlayır və hər gün gündə 4 PB artır).
Əsas Apache Hadoop 3.3-də:
- ARM arxitekturasına əsaslanan platformalar üçün əlavə dəstək.
- Formatın həyata keçirilməsi Strukturlaşdırılmış məlumatların seriallaşdırılması üçün istifadə edilən (Protokol buferləri) protobuf-3.7.1 filialının həyat dövrünün başa çatması ilə əlaqədar olaraq 2.5.0-ə buraxılması üçün yeniləndi.
- S3A konnektorunun imkanları genişləndirildi: tokenlərdən istifadə edərək autentifikasiya dəstəyi əlavə edildi (), 404 kodu ilə cavabların keşləşdirilməsi üçün təkmilləşdirilmiş dəstək, artan S3guard performansı və artan əməliyyat etibarlılığı.
- ABFS fayl sistemində avtomatik tənzimləmə ilə bağlı problemlər həll edilmişdir.
- COS obyekt yaddaşına daxil olmaq üçün Tencent Cloud COS fayl sistemi üçün yerli dəstək əlavə edildi.
- Java 11 üçün tam dəstək əlavə edildi.
- HDFS RBF (Router-based Federation) tətbiqi stabilləşdirilib. Təhlükəsizlik nəzarətləri HDFS Router-ə əlavə edildi.
- Müştəri üçün DNS vasitəsilə serverləri host adları ilə müəyyən etmək üçün DNS Resolution xidməti əlavə edildi, bu, parametrlərdə bütün hostları siyahıya almadan etməyə imkan verir.
- Başlatma planlaşdırma dəstəyi əlavə edildi mərkəzləşdirilmiş resurs meneceri (ResourceManager), o cümlədən hər bir qovşağın yükünü nəzərə alaraq konteynerləri yaymaq imkanı.
- Axtarıla bilən YARN (Yen başqa Resurs Danışıqçısı) proqram kataloqu əlavə edildi.
Mənbə: opennet.ru