Pas një vit e gjysmë zhvillimi, organizata Apache Software Foundation lëshimi , një platformë e lirë për organizimin e përpunimit të shpërndarë të sasisë të mëdha të të dhënave duke përdorur paradigmat , ku detyra ndahet në shumë fragmente më të vogla, secili prej të cilave mund të ekzekutohet në një nyje të veçantë të klasterit. Ruajtja bazuar në Hadoop mund të përfshijë mijëra nyje dhe të përmbajë eksabajt të dhënash.
Hadoop përfshin realizimin e sistemit të skedarëve të shpërndarë Hadoop Distributed Filesystem (HDFS), i cili automatikisht sigurimin e rezervimit të të dhënave dhe i optimizuar për aplikacionet MapReduce. Për të thjeshtuar qasjen në të dhëna, është zhvilluar një Baza e Të Dhënave HBase dhe një gjuhë e ngjashme me SQL, Pig, e cila është një lloj SQL për MapReduce, ku kërkesat mund të ndahen dhe të përpunohen nga disa platforma Hadoop. Projekti vlerësohet si tërësisht i qëndrueshëm dhe i gatshëm për eksploatim industrial. Hadoop përdoret gjerësisht në projekte të mëdha industriale, duke ofruar mundësi të ngjashme me platformën e Google Bigtable/GFS/MapReduce, dhe kompania Google zyrtarisht Hadoop dhe projekteve të tjera Apache të drejtën për të përdorur teknologjitë, të cilat mbulohen nga patentat që lidhen me metodën MapReduce.
Hadoop mban vendin e parë midis depot të Apache për numrin e ndryshimeve të bëra dhe vendin e pestë për madhësinë e bazës së kodit (rreth 4 milion rreshta kodi). Ndër implementimet e mëdha të Hadoop, përmenden ruajtjet e Netflix (ruhen më shumë se 500 miliard ngjarje në ditë), Twitter (një klaster prej 10 mijë nyjesh në real-time ruan më shumë se një zetabajt të dhënash dhe përpunon më shumë se 5 miliard seanca në ditë), Facebook (një klaster prej 4 mijë nyjesh ruan më shumë se 300 petabajt dhe rritet çdo ditë me 4 PB).
Main në Apache Hadoop 3.3:
- Shtuar mbështetje për platformat të bazuara në arkitekturën ARM.
- Realizimi i formatit (Protocol buffers), i përdorur për serializimin e të dhënave të strukturuara, është përditësuar deri në lëshimin 3.7.1 për shkak të përfundimit të ciklit të jetës së degës protobuf-2.5.0.
- Zgjeruar mundësitë e lidhësit S3A: shtuar mbështetje për autentikimin me anë të tokenëve (), përmirësuar mbështetje për keqadhen e përgjigjeve me kod 404, rritur performancën e S3guard, rritur besueshmërinë e punës.
- Në sistemin e skedarëve ABFS janë zgjidhur problemet me tunimin automatik.
- Është shtuar mbështetje e përfshirë për sistemin e skedarëve Tencent Cloud COS për akses në magazinën objektive COS.
- Është shtyer mbështetje e plotë për Java 11.
- Është stabilizuar implementimi HDFS RBF (Federata e Bazuar në Router). Në Router-in HDFS janë shtuar mjete për menaxhimin e sigurisë.
- Është shtuar shërbimi DNS Resolution për të identifikuar serverët e klientit përmes DNS nëpërmjet emrave të hosteve, duke lejuar që të shmanget renditja e të gjithë hosteve në cilësimet.
- Është shtuar mbështetje për planifikimin e startimit nëpërmjet menaxherit të centralizuar të burimeve (ResourceManager), duke përfshirë mundësinë e shpërndarjes së kontejnerëve me një llogari të ngarkesës së çdo nodi.
- Është shtuar katalogu i aplikacioneve YARN (Yet Another Resource Negotiator) me mundësinë e kërkimit.
Burimi: opennet.ru
