ProHoster > Blog > Lajmet e internetit > Lëshimi i platformës për përpunimin e të dhënave të shpërndara Apache Hadoop 3.3

Lëshimi i platformës për përpunimin e të dhënave të shpërndara Apache Hadoop 3.3

Pas një vit e gjysmë zhvillimi, organizata Apache Software Foundation publikoi lëshimi Apache Hadoop 3.3.0, një platformë e lirë për organizimin e përpunimit të shpërndarë të sasisë së madhe të të dhënave duke përdorur paradigmat map/reduce, ku detyra ndahet në shumë fragmente më të vogla të izoluara, secila prej të cilave mund të ekzekutohet në një nyje të veçantë të klastri. Shtylla e bazuar në Hadoop mund të përfshijë mijëra nyje dhe të përmbajë eksabajt të dhënash.

Në përbërje të Hadoop është implementimi i sistemit të skedarëve të shpërndarë Hadoop Distributed Filesystem (HDFS), i cili automatikisht siguron rezervimin e të dhënave dhe është optimizuar për aplikacionet e MapReduce. Për të thjeshtuar qasjen në të dhëna në depo të Hadoop, është krijuar DB HBase dhe një gjuhë sipas SQL, të cilën e quajmë Pig, e cila është një lloj SQL për MapReduce, ku kërkesat mund të paralelizohen dhe të përpunohen nga disa platforma Hadoop. Projekti vlerësohet si plotësisht i stabilizuar dhe i gatshëm për përdorim industrisë. Hadoop përdoret aktivisht në projekte të mëdha industriale, duke ofruar mundësi të ngjashme me platformën Google Bigtable/GFS/MapReduce, ndërsa kompania Google zyrtarisht delegalizoi Hadoop dhe projekte të tjera Apache të drejtën për të përdorur teknologjitë, për të cilat zbatohen patentet, të lidhura me metodën MapReduce.

Hadoop renditet i pari në mesin e depot Apache për numrin e ndryshimeve të paraqitura dhe i pesti për madhësinë e bazës së kodit (rreth 4 milionë rreshta kodi). Disa nga përdorimet e mëdha të Hadoop përfshijnë depozitimet e Netflix (në të cilat ruhet më shumë se 500 miliardë ngjarje në ditë), Twitter (një klasër prej 10 mijë nyjesh në kohë reale ruan më shumë se një zetabajt të dhënash dhe përpunon më shumë se 5 miliardë seanca në ditë), Facebook (një klasër prej 4 mijë nyjesh ruan më shumë se 300 petabajt dhe rritet çdo ditë me 4 PB).

Ndryshimet kryesore në në Apache Hadoop 3.3:

  • U shtua mbĂ«shtetje pĂ«r platformat mbi bazĂ«n e arkitekturĂ«s ARM.
  • Implementimi i formatit Protobuf (Protocol buffers), e pĂ«rdorur pĂ«r serializimin e tĂ« dhĂ«nave tĂ« strukturuara, u pĂ«rditĂ«sua nĂ« lĂ«shimin 3.7.1 pĂ«r shkak tĂ« mbarimit tĂ« ciklit tĂ« jetĂ«s sĂ« degĂ«s protobuf-2.5.0.
  • JanĂ« zgjeruar mundĂ«sitĂ« e lidhĂ«sit S3A: u shtua mbĂ«shtetje pĂ«r autentifikimin me anĂ« tĂ« tokenĂ«ve (Delegation Token), pĂ«rmirĂ«suar mbĂ«shtetje pĂ«r caching tĂ« pĂ«rgjigjeve me kod 404, rritur performancĂ«n e S3guard dhe pĂ«rmirĂ«suar besueshmĂ«rinĂ« e funksionimit.
  • NĂ« sistemin e skedarĂ«ve ABFS, janĂ« zgjidhur problemet me tuningun automatik.
  • U shtua mbĂ«shtetje e integruar pĂ«r sistemin e skedarĂ«ve Tencent Cloud COS pĂ«r qasjen nĂ« depozitat objektive COS.
  • U shtua mbĂ«shtetje e plotĂ« pĂ«r Java 11.
  • U stabilizua implementimi i HDFS RBF (Router-based Federation). NĂ« Router-in e HDFS u shtuan mjete pĂ«r menaxhimin e sigurisĂ«.
  • U shtua shĂ«rbimi i DNS Resolution pĂ«r identifikimin nga klienti tĂ« serverĂ«ve pĂ«rmes DNS nĂ«pĂ«rmjet emrave tĂ« nyjeve, duke lejuar shmangien e listimit tĂ« tĂ« gjitha hosteve nĂ« konfigurime.
  • U shtua mbĂ«shtetje pĂ«r planifikimin e lançimit tĂ« kontejnerĂ«ve opportunist nĂ«pĂ«rmjet menaxherit tĂ« centralizuar tĂ« burimeve (ResourceManager), duke pĂ«rfshirĂ« mundĂ«sinĂ« e shpĂ«rndarjes sĂ« kontejnerĂ«ve duke marrĂ« parasysh ngarkesĂ«n e secilĂ«s nyje.
  • U shtua katalogu i aplikacioneve YARN (Yet Another Resource Negotiator) me mundĂ«si kĂ«rkimi.

Burimi: opennet.ru

Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster