ProHoster > Blog > Lajmet e internetit > Çlirimi i platformĂ«s pĂ«r pĂ«rpunimin e tĂ« dhĂ«nave tĂ« shpĂ«rndara Apache Hadoop 3.3

Çlirimi i platformĂ«s pĂ«r pĂ«rpunimin e tĂ« dhĂ«nave tĂ« shpĂ«rndara Apache Hadoop 3.3

Pas një vit e gjysmë zhvillimi, organizata Apache Software Foundation publikoi lëshimi Apache Hadoop 3.3.0, një platformë e lirë për organizimin e përpunimit të shpërndarë të sasisë të mëdha të të dhënave duke përdorur paradigmat map/reduce, ku detyra ndahet në shumë fragmente më të vogla, secili prej të cilave mund të ekzekutohet në një nyje të veçantë të klasterit. Ruajtja bazuar në Hadoop mund të përfshijë mijëra nyje dhe të përmbajë eksabajt të dhënash.

Hadoop përfshin realizimin e sistemit të skedarëve të shpërndarë Hadoop Distributed Filesystem (HDFS), i cili automatikisht sigurimin e rezervimit të të dhënave dhe i optimizuar për aplikacionet MapReduce. Për të thjeshtuar qasjen në të dhëna, është zhvilluar një Baza e Të Dhënave HBase dhe një gjuhë e ngjashme me SQL, Pig, e cila është një lloj SQL për MapReduce, ku kërkesat mund të ndahen dhe të përpunohen nga disa platforma Hadoop. Projekti vlerësohet si tërësisht i qëndrueshëm dhe i gatshëm për eksploatim industrial. Hadoop përdoret gjerësisht në projekte të mëdha industriale, duke ofruar mundësi të ngjashme me platformën e Google Bigtable/GFS/MapReduce, dhe kompania Google zyrtarisht ka deleguar Hadoop dhe projekteve të tjera Apache të drejtën për të përdorur teknologjitë, të cilat mbulohen nga patentat që lidhen me metodën MapReduce.

Hadoop mban vendin e parë midis depot të Apache për numrin e ndryshimeve të bëra dhe vendin e pestë për madhësinë e bazës së kodit (rreth 4 milion rreshta kodi). Ndër implementimet e mëdha të Hadoop, përmenden ruajtjet e Netflix (ruhen më shumë se 500 miliard ngjarje në ditë), Twitter (një klaster prej 10 mijë nyjesh në real-time ruan më shumë se një zetabajt të dhënash dhe përpunon më shumë se 5 miliard seanca në ditë), Facebook (një klaster prej 4 mijë nyjesh ruan më shumë se 300 petabajt dhe rritet çdo ditë me 4 PB).

Main ndryshime në Apache Hadoop 3.3:

  • Shtuar mbĂ«shtetje pĂ«r platformat tĂ« bazuara nĂ« arkitekturĂ«n ARM.
  • Realizimi i formatit Protobuf (Protocol buffers), i pĂ«rdorur pĂ«r serializimin e tĂ« dhĂ«nave tĂ« strukturuara, Ă«shtĂ« pĂ«rditĂ«suar deri nĂ« lĂ«shimin 3.7.1 pĂ«r shkak tĂ« pĂ«rfundimit tĂ« ciklit tĂ« jetĂ«s sĂ« degĂ«s protobuf-2.5.0.
  • Zgjeruar mundĂ«sitĂ« e lidhĂ«sit S3A: shtuar mbĂ«shtetje pĂ«r autentikimin me anĂ« tĂ« tokenĂ«ve (Delegation Token), pĂ«rmirĂ«suar mbĂ«shtetje pĂ«r keqadhen e pĂ«rgjigjeve me kod 404, rritur performancĂ«n e S3guard, rritur besueshmĂ«rinĂ« e punĂ«s.
  • NĂ« sistemin e skedarĂ«ve ABFS janĂ« zgjidhur problemet me tunimin automatik.
  • ËshtĂ« shtuar mbĂ«shtetje e pĂ«rfshirĂ« pĂ«r sistemin e skedarĂ«ve Tencent Cloud COS pĂ«r akses nĂ« magazinĂ«n objektive COS.
  • ËshtĂ« shtyer mbĂ«shtetje e plotĂ« pĂ«r Java 11.
  • ËshtĂ« stabilizuar implementimi HDFS RBF (Federata e Bazuar nĂ« Router). NĂ« Router-in HDFS janĂ« shtuar mjete pĂ«r menaxhimin e sigurisĂ«.
  • ËshtĂ« shtuar shĂ«rbimi DNS Resolution pĂ«r tĂ« identifikuar serverĂ«t e klientit pĂ«rmes DNS nĂ«pĂ«rmjet emrave tĂ« hosteve, duke lejuar qĂ« tĂ« shmanget renditja e tĂ« gjithĂ« hosteve nĂ« cilĂ«simet.
  • ËshtĂ« shtuar mbĂ«shtetje pĂ«r planifikimin e startimit tĂ« kontejnerĂ«ve oportunistĂ« nĂ«pĂ«rmjet menaxherit tĂ« centralizuar tĂ« burimeve (ResourceManager), duke pĂ«rfshirĂ« mundĂ«sinĂ« e shpĂ«rndarjes sĂ« kontejnerĂ«ve me njĂ« llogari tĂ« ngarkesĂ«s sĂ« çdo nodi.
  • ËshtĂ« shtuar katalogu i aplikacioneve YARN (Yet Another Resource Negotiator) me mundĂ«sinĂ« e kĂ«rkimit.

Burimi: opennet.ru

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster