ఏడాదిన్నర అభివృద్ధి తర్వాత, అపాచీ సాఫ్ట్‌వేర్ ఫౌండేషన్ విడుదల , నమూనాను ఉపయోగించి పెద్ద వాల్యూమ్‌ల డేటా యొక్క పంపిణీ చేయబడిన ప్రాసెసింగ్‌ను నిర్వహించడానికి ఉచిత ప్లాట్‌ఫారమ్ , దీనిలో పని అనేక చిన్న ప్రత్యేక శకలాలుగా విభజించబడింది, వీటిలో ప్రతి ఒక్కటి ప్రత్యేక క్లస్టర్ నోడ్‌లో ప్రారంభించబడతాయి. హడూప్-ఆధారిత నిల్వ వేలాది నోడ్‌లను కలిగి ఉంటుంది మరియు ఎక్సాబైట్‌ల డేటాను కలిగి ఉంటుంది.
హడూప్ హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్‌సిస్టమ్ (HDFS) అమలును కలిగి ఉంది, ఇది స్వయంచాలకంగా డేటా బ్యాకప్‌ను అందిస్తుంది మరియు MapReduce అప్లికేషన్‌ల కోసం ఆప్టిమైజ్ చేయబడింది. హడూప్ స్టోరేజ్‌లో డేటాకు యాక్సెస్‌ను సులభతరం చేయడానికి, HBase డేటాబేస్ మరియు SQL లాంటి లాంగ్వేజ్ పిగ్ అభివృద్ధి చేయబడ్డాయి, ఇది MapReduce కోసం ఒక రకమైన SQL, దీని ప్రశ్నలను అనేక హడూప్ ప్లాట్‌ఫారమ్‌ల ద్వారా సమాంతరంగా మరియు ప్రాసెస్ చేయవచ్చు. ప్రాజెక్ట్ పూర్తిగా స్థిరంగా మరియు పారిశ్రామిక కార్యకలాపాలకు సిద్ధంగా ఉన్నట్లు అంచనా వేయబడింది. Google బిగ్‌టేబుల్/GFS/MapReduce ప్లాట్‌ఫారమ్‌కు సమానమైన సామర్థ్యాలను అందిస్తూ, భారీ పారిశ్రామిక ప్రాజెక్టులలో హడూప్ చురుకుగా ఉపయోగించబడుతుంది, అయితే Google అధికారికంగా హడూప్ మరియు ఇతర అపాచీ ప్రాజెక్ట్‌లు MapReduce పద్ధతికి సంబంధించిన పేటెంట్ల ద్వారా కవర్ చేయబడిన సాంకేతిక పరిజ్ఞానాన్ని ఉపయోగించుకునే హక్కును కలిగి ఉన్నాయి.
అపాచీ రిపోజిటరీలలో హడూప్ చేసిన మార్పుల సంఖ్య పరంగా మొదటి స్థానంలో ఉంది మరియు కోడ్‌బేస్ పరిమాణం (దాదాపు 4 మిలియన్ లైన్ల కోడ్) పరంగా ఐదవ స్థానంలో ఉంది. ప్రధాన హడూప్ అమలులలో నెట్‌ఫ్లిక్స్ (రోజుకు 500 బిలియన్ల కంటే ఎక్కువ ఈవెంట్‌లు నిల్వ చేయబడతాయి), ట్విట్టర్ (10 వేల నోడ్‌ల క్లస్టర్ నిజ సమయంలో జెటాబైట్ కంటే ఎక్కువ డేటాను నిల్వ చేస్తుంది మరియు రోజుకు 5 బిలియన్ల కంటే ఎక్కువ సెషన్‌లను ప్రాసెస్ చేస్తుంది), Facebook (ఒక క్లస్టర్ 4 వేల నోడ్‌లు 300 పెటాబైట్‌ల కంటే ఎక్కువ నిల్వ చేస్తాయి మరియు రోజుకు 4 PB పెరుగుతోంది).
ప్రధాన అపాచీ హడూప్ 3.3లో:
- ARM ఆర్కిటెక్చర్ ఆధారంగా ప్లాట్‌ఫారమ్‌లకు మద్దతు జోడించబడింది.
- ఫార్మాట్ యొక్క అమలు (ప్రోటోకాల్ బఫర్‌లు), స్ట్రక్చర్డ్ డేటాను సీరియలైజ్ చేయడం కోసం ఉపయోగించారు, ప్రోటోబఫ్-3.7.1 బ్రాంచ్ యొక్క జీవిత చక్రం ముగింపు కారణంగా 2.5.0 విడుదల చేయడానికి నవీకరించబడింది.
- S3A కనెక్టర్ యొక్క సామర్థ్యాలు విస్తరించబడ్డాయి: టోకెన్‌లను ఉపయోగించి ప్రమాణీకరణకు మద్దతు జోడించబడింది (), కోడ్ 404తో ప్రతిస్పందనలను కాషింగ్ చేయడానికి మెరుగైన మద్దతు, పెరిగిన S3guard పనితీరు మరియు పెరిగిన కార్యాచరణ విశ్వసనీయత.
- ABFS ఫైల్ సిస్టమ్‌లో ఆటోమేటిక్ ట్యూనింగ్‌తో సమస్యలు పరిష్కరించబడ్డాయి.
- COS ఆబ్జెక్ట్ స్టోరేజ్‌ని యాక్సెస్ చేయడానికి టెన్సెంట్ క్లౌడ్ COS ఫైల్ సిస్టమ్‌కు స్థానిక మద్దతు జోడించబడింది.
- జావా 11కి పూర్తి మద్దతు జోడించబడింది.
- HDFS RBF (రూటర్ ఆధారిత ఫెడరేషన్) అమలు స్థిరీకరించబడింది. HDFS రూటర్‌కు భద్రతా నియంత్రణలు జోడించబడ్డాయి.
- హోస్ట్ పేర్ల ద్వారా DNS ద్వారా సర్వర్‌లను గుర్తించడానికి క్లయింట్ కోసం DNS రిజల్యూషన్ సేవ జోడించబడింది, సెట్టింగ్‌లలో అన్ని హోస్ట్‌లను జాబితా చేయకుండా చేయడానికి మిమ్మల్ని అనుమతిస్తుంది.
- ప్రయోగ షెడ్యూల్ మద్దతు జోడించబడింది కేంద్రీకృత రిసోర్స్ మేనేజర్ (రిసోర్స్ మేనేజర్) ద్వారా, ప్రతి నోడ్ యొక్క లోడ్‌ను పరిగణనలోకి తీసుకుని కంటైనర్‌లను పంపిణీ చేసే సామర్థ్యంతో సహా.
- శోధించదగిన YARN (ఇంకా మరొక రిసోర్స్ నెగోషియేటర్) అప్లికేషన్ డైరెక్టరీ జోడించబడింది.
మూలం: opennet.ru