Apache Hadoop 3.3. taqsimlangan ma'lumotlarni qayta ishlash platformasining chiqarilishi

Bir yarim yillik rivojlanishdan so'ng, Apache Software Foundation e'lon qilindi reliz Apache Hadoop 3.3.0, paradigmadan foydalangan holda katta hajmdagi ma'lumotlarni taqsimlangan qayta ishlashni tashkil qilish uchun bepul platforma xaritalash/kamaytirish, unda vazifa ko'plab kichikroq alohida qismlarga bo'linadi, ularning har biri alohida klaster tugunida ishga tushirilishi mumkin. Hadoop-ga asoslangan xotira minglab tugunlarni qamrab olishi va ekzabayt ma'lumotlarni o'z ichiga olishi mumkin.

Hadoop avtomatik ravishda ma'lumotlarni zahiralashni ta'minlaydigan va MapReduce ilovalari uchun optimallashtirilgan Hadoop Distributed File System (HDFS) dasturini o'z ichiga oladi. Hadoop xotirasida ma'lumotlarga kirishni soddalashtirish uchun HBase ma'lumotlar bazasi va SQL-ga o'xshash Pig tili ishlab chiqilgan, bu MapReduce uchun SQLning bir turi bo'lib, so'rovlari bir nechta Hadoop platformalari tomonidan parallellashtirilishi va qayta ishlanishi mumkin. Loyiha to'liq barqaror va sanoat foydalanishga tayyor deb baholanadi. Hadoop yirik sanoat loyihalarida faol foydalaniladi va Google Bigtable/GFS/MapReduce platformasiga o'xshash imkoniyatlarni taqdim etadi, Google esa rasmiy ravishda vakil qilingan Hadoop va boshqa Apache loyihalari MapReduce usuliga tegishli patentlar bilan qamrab olingan texnologiyalardan foydalanish huquqiga ega.

Hadoop kiritilgan o'zgartirishlar soni bo'yicha Apache omborlari orasida birinchi o'rinda va kod bazasi hajmi bo'yicha beshinchi o'rinda turadi (taxminan 4 million kod qatori). Hadoop-ning asosiy ilovalariga Netflix (kuniga 500 milliarddan ortiq voqea saqlanadi), Twitter (10 ming tugunli klaster real vaqt rejimida zettabaytdan ortiq ma'lumotlarni saqlaydi va kuniga 5 milliarddan ortiq seanslarni qayta ishlaydi), Facebook (klaster) 4 ming tugun 300 dan ortiq petabaytni saqlaydi va har kuni kuniga 4 PB ga oshadi).

asosiy o'zgartirish Apache Hadoop 3.3 da:

• ARM arxitekturasiga asoslangan platformalar uchun qoʻshimcha qoʻllab-quvvatlash.
• Formatni amalga oshirish Protobuf Strukturaviy ma'lumotlarni ketma-ketlashtirish uchun foydalaniladigan (protokol buferlari) protobuf-3.7.1 tarmog'ining hayot aylanishi tugaganligi sababli 2.5.0 versiyasiga yangilandi.
• S3A ulagichining imkoniyatlari kengaytirildi: tokenlar yordamida autentifikatsiyani qo'llab-quvvatlash qo'shildi (Delegatsiya belgisi), 404 kodi bilan javoblarni keshlash uchun yaxshilangan qo'llab-quvvatlash, S3guard ishlashini oshirish va operatsion ishonchlilikni oshirish.
• ABFS fayl tizimida avtomatik sozlash bilan bog'liq muammolar hal qilindi.
• COS ob'ekt xotirasiga kirish uchun Tencent Cloud COS fayl tizimi uchun mahalliy yordam qo'shildi.
• Java 11 uchun to'liq qo'llab-quvvatlash qo'shildi.
• HDFS RBF (Routerga asoslangan federatsiya) ning joriy etilishi barqarorlashtirildi. HDFS Routerga xavfsizlik boshqaruvlari qo'shildi.
• Mijoz uchun DNS orqali serverlarni xost nomlari bo'yicha aniqlash uchun DNS rezolyutsiyasi xizmati qo'shildi, bu sizga sozlamalardagi barcha xostlarni ro'yxatga kiritmasdan qilish imkonini beradi.
• Ishga tushirishni rejalashtirish bo'yicha yordam qo'shildi opportunistik konteynerlar markazlashtirilgan resurs menejeri (ResourceManager) orqali, shu jumladan har bir tugunning yukini hisobga olgan holda konteynerlarni tarqatish imkoniyati.
• Qidiriladigan YARN (Yet Another Resource Negotiator) ilova katalogi qo'shildi.

Manba: opennet.ru