అపాచీ బిగ్‌టాప్ మరియు ఈరోజు హడూప్ డిస్ట్రిబ్యూషన్‌ని ఎంచుకుంటున్నారు

అపాచీ హడూప్‌కి గత సంవత్సరం పెద్ద మార్పుల సంవత్సరం అని బహుశా రహస్యం కాదు. గత సంవత్సరం, క్లౌడెరా మరియు హోర్టన్‌వర్క్స్ విలీనమయ్యాయి (ముఖ్యంగా, తరువాతి కొనుగోలు), మరియు Mapr, తీవ్రమైన ఆర్థిక సమస్యల కారణంగా, హ్యూలెట్ ప్యాకర్డ్‌కు విక్రయించబడింది. మరియు కొన్ని సంవత్సరాల క్రితం, ఆన్-ప్రాంగణ సంస్థాపనల విషయంలో, క్లౌడెరా మరియు హోర్టన్‌వర్క్‌ల మధ్య ఎంపిక తరచుగా చేయవలసి వస్తే, ఈ రోజు, అయ్యో, మాకు ఈ ఎంపిక లేదు. మరొక ఆశ్చర్యం ఏమిటంటే, క్లౌడెరా ఈ సంవత్సరం ఫిబ్రవరిలో తన పంపిణీకి సంబంధించిన బైనరీ అసెంబ్లీలను పబ్లిక్ రిపోజిటరీలోకి విడుదల చేయడాన్ని నిలిపివేస్తున్నట్లు ప్రకటించింది మరియు అవి ఇప్పుడు చెల్లింపు సభ్యత్వం ద్వారా మాత్రమే అందుబాటులో ఉన్నాయి. వాస్తవానికి, 2019 చివరిలోపు విడుదలైన CDH మరియు HDP యొక్క తాజా వెర్షన్‌లను డౌన్‌లోడ్ చేయడం ఇప్పటికీ సాధ్యమే మరియు వాటికి ఒకటి నుండి రెండు సంవత్సరాల వరకు మద్దతు అందించబడుతుంది. అయితే తర్వాత ఏం చేయాలి? చందా కోసం గతంలో చెల్లించిన వారికి, ఏమీ మారలేదు. మరియు పంపిణీ యొక్క చెల్లింపు సంస్కరణకు మారకూడదనుకునే వారికి, కానీ అదే సమయంలో క్లస్టర్ భాగాల యొక్క తాజా సంస్కరణలు, అలాగే పాచెస్ మరియు ఇతర నవీకరణలను స్వీకరించగలగాలి, మేము ఈ కథనాన్ని సిద్ధం చేసాము. ఈ పరిస్థితి నుండి బయటపడటానికి సాధ్యమయ్యే ఎంపికలను మేము పరిశీలిస్తాము.

వ్యాసం మరింత సమీక్షగా ఉంది. ఇది పంపిణీల పోలిక మరియు వాటి యొక్క వివరణాత్మక విశ్లేషణను కలిగి ఉండదు మరియు వాటిని ఇన్‌స్టాల్ చేయడానికి మరియు కాన్ఫిగర్ చేయడానికి వంటకాలు ఉండవు. ఏమి జరుగుతుంది? అరేనాడాటా హడూప్ వంటి పంపిణీ గురించి మేము క్లుప్తంగా మాట్లాడుతాము, ఇది లభ్యత కారణంగా మన దృష్టికి అర్హమైనది, ఇది ఈ రోజు చాలా అరుదు. ఆపై మేము వెనిలా హడూప్ గురించి మాట్లాడుతాము, ప్రధానంగా అపాచీ బిగ్‌టాప్‌ని ఉపయోగించి దీనిని "వండి" ఎలా చేయవచ్చు. సిద్ధంగా ఉన్నారా? అప్పుడు పిల్లికి స్వాగతం.

అరేనాడాటా హడూప్

ఇది పూర్తిగా కొత్తది మరియు ఇంకా అంతగా తెలియని దేశీయ అభివృద్ధి పంపిణీ కిట్. దురదృష్టవశాత్తు, ప్రస్తుతం హబ్రేలో మాత్రమే ఉంది ఈ వ్యాసం.

మరింత సమాచారం అధికారికంగా చూడవచ్చు వెబ్సైట్ ప్రాజెక్ట్. పంపిణీ యొక్క తాజా సంస్కరణలు వెర్షన్ 3.1.2 కోసం హడూప్ 3 మరియు వెర్షన్ 2.8.5 కోసం 2 ఆధారంగా రూపొందించబడ్డాయి.

రోడ్‌మ్యాప్ గురించి సమాచారాన్ని కనుగొనవచ్చు ఇక్కడ.

Arenadata క్లస్టర్ మేనేజర్ ఇంటర్‌ఫేస్

Arenadata యొక్క ప్రధాన ఉత్పత్తి అరేనాడేటా క్లస్టర్ మేనేజర్ (ADCM), ఇది వివిధ కంపెనీ సాఫ్ట్‌వేర్ పరిష్కారాలను ఇన్‌స్టాల్ చేయడానికి, కాన్ఫిగర్ చేయడానికి మరియు పర్యవేక్షించడానికి ఉపయోగించబడుతుంది. ADCM ఉచితంగా పంపిణీ చేయబడుతుంది మరియు బండిల్‌లను జోడించడం ద్వారా దాని కార్యాచరణ విస్తరించబడుతుంది, అవి యాన్సిబుల్-ప్లేబుక్‌ల సమితి. కట్టలు రెండు రకాలుగా విభజించబడ్డాయి: సంస్థ మరియు సంఘం. రెండోవి Arenadata వెబ్‌సైట్ నుండి ఉచితంగా డౌన్‌లోడ్ చేసుకోవడానికి అందుబాటులో ఉన్నాయి. మీ స్వంత బండిల్‌ను అభివృద్ధి చేయడం మరియు దానిని ADCMకి కనెక్ట్ చేయడం కూడా సాధ్యమే.

హడూప్ 3 యొక్క విస్తరణ మరియు నిర్వహణ కోసం, బండిల్ యొక్క కమ్యూనిటీ వెర్షన్ ADCMతో కలిపి అందించబడుతుంది, కానీ హడూప్ 2 కోసం మాత్రమే ఉంది అపాచీ అంబారీ ప్రత్యామ్నాయంగా. ప్యాకేజీలతో రిపోజిటరీల విషయానికొస్తే, అవి పబ్లిక్ యాక్సెస్‌కు తెరిచి ఉంటాయి, అవి క్లస్టర్‌లోని అన్ని భాగాలకు సాధారణ పద్ధతిలో డౌన్‌లోడ్ చేయబడి, ఇన్‌స్టాల్ చేయబడతాయి. మొత్తంమీద, పంపిణీ చాలా ఆసక్తికరంగా కనిపిస్తోంది. క్లౌడెరా మేనేజర్ మరియు అంబారి వంటి సొల్యూషన్‌లకు అలవాటు పడిన వారు మరియు ADCMని ఇష్టపడే వారు కూడా ఉంటారని నేను ఖచ్చితంగా అనుకుంటున్నాను. కొందరికి అది కూడా డిస్ట్రిబ్యూషన్ చాలా ప్లస్ అవుతుంది సాఫ్ట్‌వేర్ రిజిస్టర్‌లో చేర్చబడింది దిగుమతి ప్రత్యామ్నాయం కోసం.

మేము ప్రతికూలతల గురించి మాట్లాడినట్లయితే, అవి అన్ని ఇతర హడూప్ పంపిణీల మాదిరిగానే ఉంటాయి. అవి:

• "వెండర్ లాక్-ఇన్" అని పిలవబడేది. క్లౌడెరా మరియు హోర్టన్‌వర్క్స్ ఉదాహరణలను ఉపయోగించి, కంపెనీ విధానాన్ని మార్చే ప్రమాదం ఎప్పుడూ ఉంటుందని మేము ఇప్పటికే గ్రహించాము.
• అపాచీ అప్‌స్ట్రీమ్‌లో గణనీయమైన వెనుకబడి ఉంది.

వనిల్లా హడూప్

మీకు తెలిసినట్లుగా, హడూప్ ఒక ఏకశిలా ఉత్పత్తి కాదు, వాస్తవానికి, దాని పంపిణీ చేయబడిన ఫైల్ సిస్టమ్ HDFS చుట్టూ ఉన్న సేవల యొక్క మొత్తం గెలాక్సీ. కొంతమంది వ్యక్తులు ఒక ఫైల్ క్లస్టర్‌ను కలిగి ఉంటారు. కొన్ని అందులో నివశించే తేనెటీగలు అవసరం, ఇతరులు ప్రెస్టో, ఆపై అక్కడ HBase మరియు ఫీనిక్స్ ఎక్కువగా ఉపయోగించబడుతుంది; ఆర్కెస్ట్రేషన్ మరియు డేటా లోడింగ్ కోసం, Oozie, Sqoop మరియు Flume కొన్నిసార్లు కనుగొనబడతాయి. మరియు భద్రత సమస్య తలెత్తితే, రేంజర్‌తో కలిసి కెర్బెరోస్ వెంటనే గుర్తుకు వస్తుంది.

హడూప్ భాగాల బైనరీ వెర్షన్‌లు టార్‌బాల్‌ల రూపంలో ప్రతి పర్యావరణ వ్యవస్థ ప్రాజెక్ట్‌ల వెబ్‌సైట్‌లో అందుబాటులో ఉన్నాయి. మీరు వాటిని డౌన్‌లోడ్ చేసుకోవచ్చు మరియు ఇన్‌స్టాలేషన్‌ను ప్రారంభించవచ్చు, కానీ ఒక షరతుతో: మీరు ఎక్కువగా చేయాలనుకుంటున్న “ముడి” బైనరీల నుండి ప్యాకేజీలను స్వతంత్రంగా సమీకరించడంతో పాటు, డౌన్‌లోడ్ చేయబడిన ప్రతి భాగాల యొక్క అనుకూలతపై మీకు విశ్వాసం ఉండదు. ఇతర. అపాచీ బిగ్‌టాప్‌ని ఉపయోగించి నిర్మించడం ప్రాధాన్య ఎంపిక. బిగ్‌టాప్ మిమ్మల్ని అపాచీ మావెన్ రిపోజిటరీల నుండి నిర్మించడానికి, పరీక్షలను అమలు చేయడానికి మరియు ప్యాకేజీలను రూపొందించడానికి అనుమతిస్తుంది. కానీ, మాకు చాలా ముఖ్యమైనది ఏమిటంటే, బిగ్‌టాప్ ఒకదానికొకటి అనుకూలంగా ఉండే కాంపోనెంట్‌ల వెర్షన్‌లను అసెంబుల్ చేస్తుంది. మేము దాని గురించి మరింత వివరంగా క్రింద మాట్లాడుతాము.

అపాచీ బిగ్‌టాప్

అపాచీ బిగ్‌టాప్ అనేది అనేక వాటిని నిర్మించడానికి, ప్యాకేజింగ్ చేయడానికి మరియు పరీక్షించడానికి ఒక సాధనం
హడూప్ మరియు గ్రీన్‌ప్లమ్ వంటి ఓపెన్ సోర్స్ ప్రాజెక్ట్‌లు. Bigtop పుష్కలంగా ఉంది
విడుదల చేస్తుంది. వ్రాసే సమయంలో, తాజా స్థిరమైన విడుదల వెర్షన్ 1.4,
మరియు మాస్టర్‌లో 1.5 ఉంది. విడుదలల యొక్క విభిన్న సంస్కరణలు వేర్వేరు సంస్కరణలను ఉపయోగిస్తాయి
భాగాలు. ఉదాహరణకు, 1.4 కోసం హడూప్ కోర్ భాగాలు వెర్షన్ 2.8.5 మరియు మాస్టర్‌లో ఉన్నాయి
2.10.0 మద్దతు ఉన్న భాగాల కూర్పు కూడా మారుతోంది. ఏదో పాతది మరియు
పునరుద్ధరించలేనిది వెళ్లిపోతుంది మరియు దాని స్థానంలో కొత్తది వస్తుంది, ఎక్కువ డిమాండ్ ఉంది మరియు
ఇది అపాచీ కుటుంబానికి చెందినది కాదు.

అదనంగా, బిగ్‌టాప్ చాలా ఉన్నాయి ఫోర్కులు.

మేము బిగ్‌టాప్‌తో పరిచయం పొందడం ప్రారంభించినప్పుడు, ఇతర అపాచీ ప్రాజెక్ట్‌లు, ప్రాబల్యం మరియు ప్రజాదరణ, అలాగే చాలా చిన్న కమ్యూనిటీతో పోల్చితే దాని నిరాడంబరతను చూసి మేము మొదట ఆశ్చర్యపోయాము. దీని నుండి ఉత్పత్తిపై కనీస సమాచారం ఉందని మరియు ఫోరమ్‌లు మరియు మెయిలింగ్ జాబితాలలో తలెత్తిన సమస్యలకు పరిష్కారాల కోసం శోధించడం దేనినీ అందించకపోవచ్చు. మొదట, సాధనం యొక్క లక్షణాల కారణంగా పంపిణీ యొక్క పూర్తి అసెంబ్లీని పూర్తి చేయడం మాకు చాలా కష్టమైన పనిగా మారింది, అయితే మేము దీని గురించి కొంచెం తరువాత మాట్లాడుతాము.

టీజర్‌గా, జెంటూ మరియు ఎల్‌ఎఫ్‌ఎస్ వంటి లైనక్స్ విశ్వంలోని ప్రాజెక్ట్‌లపై ఒకప్పుడు ఆసక్తి ఉన్నవారు ఈ విషయంతో పనిచేయడం నాస్టాల్జికల్‌గా ఆహ్లాదకరంగా ఉంటుంది మరియు మనం వెతుకుతున్న (లేదా వ్రాయడానికి కూడా) ఆ “పురాణ” సమయాలను గుర్తుంచుకోవచ్చు. కొత్త పాచెస్‌తో మొజిల్లాను ebuilds మరియు క్రమం తప్పకుండా పునర్నిర్మించండి.

బిగ్‌టాప్ యొక్క పెద్ద ప్రయోజనం ఏమిటంటే అది ఆధారపడిన సాధనాల యొక్క బహిరంగత మరియు బహుముఖ ప్రజ్ఞ. ఇది గ్రేడిల్ మరియు అపాచీ మావెన్ ఆధారంగా రూపొందించబడింది. ఆండ్రాయిడ్‌ను రూపొందించడానికి Google ఉపయోగించే సాధనంగా Gradle బాగా ప్రసిద్ధి చెందింది. ఇది అనువైనది, మరియు వారు చెప్పినట్లు, "యుద్ధం-పరీక్షించబడింది." మావెన్ అనేది అపాచీలోనే ప్రాజెక్ట్‌లను నిర్మించడానికి ఒక ప్రామాణిక సాధనం, మరియు దాని ఉత్పత్తులు చాలా వరకు మావెన్ ద్వారా విడుదల చేయబడినందున, ఇక్కడ కూడా అది లేకుండా చేయడం సాధ్యం కాదు. POM (ప్రాజెక్ట్ ఆబ్జెక్ట్ మోడల్) - మావెన్ మీ ప్రాజెక్ట్‌తో పనిచేయడానికి అవసరమైన ప్రతిదాన్ని వివరించే “ఫండమెంటల్” xml ఫైల్, దాని చుట్టూ అన్ని పనులు నిర్మించబడ్డాయి. సరిగ్గా వద్ద
Maven యొక్క భాగాలు మరియు మొదటిసారి బిగ్‌టాప్ వినియోగదారులు సాధారణంగా ఎదుర్కొనే కొన్ని అడ్డంకులు ఉన్నాయి.

ఆచరణలో

కాబట్టి మీరు ఎక్కడ ప్రారంభించాలి? డౌన్‌లోడ్ పేజీకి వెళ్లి, తాజా స్థిరమైన సంస్కరణను ఆర్కైవ్‌గా డౌన్‌లోడ్ చేయండి. మీరు అక్కడ బిగ్‌టాప్ ద్వారా సేకరించిన బైనరీ కళాఖండాలను కూడా కనుగొనవచ్చు. మార్గం ద్వారా, సాధారణ ప్యాకేజీ నిర్వాహకులలో, YUM మరియు APTకి మద్దతు ఉంది.

ప్రత్యామ్నాయంగా, మీరు నుండి నేరుగా తాజా స్థిరమైన విడుదలను డౌన్‌లోడ్ చేసుకోవచ్చు
గితుబ్:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

“బిగ్‌టాప్”లో క్లోనింగ్…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

ఫలితంగా ./bigtop డైరెక్టరీ ఇలా కనిపిస్తుంది:

./bigtop-bigpetstore - డెమో అప్లికేషన్లు, సింథటిక్ ఉదాహరణలు
./bigtop-ci - CI టూల్‌కిట్, జెంకిన్స్
./bigtop-data-generators - డేటా ఉత్పత్తి, సింథటిక్స్, పొగ పరీక్షల కోసం మొదలైనవి.
./bigtop-deploy - విస్తరణ సాధనాలు
./bigtop-packages - కాన్ఫిగరేషన్‌లు, స్క్రిప్ట్‌లు, అసెంబ్లీ కోసం ప్యాచ్‌లు, సాధనం యొక్క ప్రధాన భాగం
./bigtop-test-framework - పరీక్ష ఫ్రేమ్‌వర్క్
./bigtop-tests - పరీక్షలు స్వయంగా, లోడ్ మరియు పొగ
./bigtop_toolchain - అసెంబ్లీ కోసం పర్యావరణం, సాధనం పని చేయడానికి వాతావరణాన్ని సిద్ధం చేయడం
./build - వర్కింగ్ డైరెక్టరీని నిర్మించండి
./dl — డౌన్‌లోడ్ చేసిన మూలాల కోసం డైరెక్టరీ
./docker — బిల్డింగ్ ఇన్ డాకర్ ఇమేజ్‌లు, టెస్టింగ్
./gradle - గ్రేడిల్ కాన్ఫిగరేషన్
./output - నిర్మాణ కళాఖండాలు వెళ్ళే డైరెక్టరీ
./provisioner - ప్రొవిజనింగ్

ఈ దశలో మాకు అత్యంత ఆసక్తికరమైన విషయం ప్రధాన కాన్ఫిగరేషన్ ./bigtop/bigtop.bom, దీనిలో మేము అన్ని మద్దతు ఉన్న భాగాలను సంస్కరణలతో చూస్తాము. ఇక్కడే మేము ఉత్పత్తి యొక్క వేరొక సంస్కరణను పేర్కొనవచ్చు (మేము అకస్మాత్తుగా దీన్ని రూపొందించడానికి ప్రయత్నించాలనుకుంటే) లేదా బిల్డ్ వెర్షన్‌ను (ఉదాహరణకు, మేము ముఖ్యమైన ప్యాచ్‌ని జోడించినట్లయితే).

ఉప డైరెక్టరీ కూడా గొప్ప ఆసక్తిని కలిగి ఉంది ./bigtop/bigtop-packages, ఇది నేరుగా భాగాలు మరియు ప్యాకేజీలను వాటితో సమీకరించే ప్రక్రియకు సంబంధించినది.

కాబట్టి, మేము ఆర్కైవ్‌ను డౌన్‌లోడ్ చేసాము, దానిని అన్‌ప్యాక్ చేసాము లేదా గితుబ్ నుండి క్లోన్‌ని తయారు చేసాము, మేము నిర్మించడాన్ని ప్రారంభించవచ్చా?

కాదు, ముందుగా పర్యావరణాన్ని సిద్ధం చేద్దాం.

పర్యావరణాన్ని సిద్ధం చేస్తోంది

మరియు ఇక్కడ మనకు చిన్న తిరోగమనం అవసరం. దాదాపు ఏదైనా ఎక్కువ లేదా తక్కువ సంక్లిష్టమైన ఉత్పత్తిని నిర్మించడానికి, మీకు నిర్దిష్ట వాతావరణం అవసరం - మా విషయంలో, ఇది JDK, అదే షేర్డ్ లైబ్రరీలు, హెడర్ ఫైల్‌లు మొదలైనవి, సాధనాలు, ఉదాహరణకు, యాంట్, ఐవీ2 మరియు మరెన్నో. బిల్డ్ హోస్ట్‌లో అవసరమైన భాగాలను ఇన్‌స్టాల్ చేయడం బిగ్‌టాప్ కోసం మీకు అవసరమైన వాతావరణాన్ని పొందడానికి ఎంపికలలో ఒకటి. నేను కాలక్రమంలో తప్పుగా ఉండవచ్చు, కానీ వెర్షన్ 1.0తో ముందుగా కాన్ఫిగర్ చేయబడిన మరియు యాక్సెస్ చేయగల డాకర్ చిత్రాలలో నిర్మించడానికి ఒక ఎంపిక కూడా ఉన్నట్లు అనిపిస్తుంది, దానిని ఇక్కడ చూడవచ్చు.

పర్యావరణాన్ని సిద్ధం చేయడానికి, దీనికి సహాయకుడు ఉన్నాడు - పప్పెట్.

మీరు కింది ఆదేశాలను ఉపయోగించవచ్చు, రూట్ డైరెక్టరీ నుండి అమలు చేయండి
సాధనం, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

లేదా నేరుగా తోలుబొమ్మ ద్వారా:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

దురదృష్టవశాత్తు, ఈ దశలో ఇప్పటికే ఇబ్బందులు తలెత్తవచ్చు. బిల్డ్ హోస్ట్‌లో తాజాగా, మద్దతు ఉన్న పంపిణీని ఉపయోగించడం లేదా డాకర్ మార్గాన్ని ప్రయత్నించడం ఇక్కడ సాధారణ సలహా.

అసెంబ్లీ

మనం ఏమి సేకరించడానికి ప్రయత్నించవచ్చు? ఈ ప్రశ్నకు సమాధానం కమాండ్ అవుట్‌పుట్ ద్వారా ఇవ్వబడుతుంది

./gradlew tasks

ప్యాకేజీ టాస్క్‌ల విభాగంలో బిగ్‌టాప్ యొక్క తుది కళాఖండాలుగా ఉండే అనేక ఉత్పత్తులు ఉన్నాయి.
వాటిని -rpm లేదా -pkg-ind (భవనం విషయంలో) ప్రత్యయం ద్వారా గుర్తించవచ్చు
డాకర్‌లో). మా విషయంలో, అత్యంత ఆసక్తికరమైనది హడూప్.

మా బిల్డ్ సర్వర్ వాతావరణంలో నిర్మించడానికి ప్రయత్నిద్దాం:

./gradlew hadoop-rpm

Bigtop ఒక నిర్దిష్ట భాగం కోసం అవసరమైన మూలాలను డౌన్‌లోడ్ చేస్తుంది మరియు అసెంబ్లీని ప్రారంభిస్తుంది. అందువలన, సాధనం యొక్క ఆపరేషన్ మావెన్ రిపోజిటరీలు మరియు ఇతర వనరులపై ఆధారపడి ఉంటుంది, అంటే దీనికి ఇంటర్నెట్ యాక్సెస్ అవసరం.

ఆపరేషన్ సమయంలో, ప్రామాణిక అవుట్పుట్ ఉత్పత్తి అవుతుంది. కొన్నిసార్లు ఇది మరియు దోష సందేశాలు ఏమి తప్పు జరిగిందో అర్థం చేసుకోవడంలో మీకు సహాయపడతాయి. మరియు కొన్నిసార్లు మీరు అదనపు సమాచారాన్ని పొందవలసి ఉంటుంది. ఈ సందర్భంలో వాదనలు జోడించడం విలువ --info లేదా --debug, మరియు కూడా ఉపయోగకరంగా ఉండవచ్చు –stacktrace. మెయిలింగ్ జాబితాలకు తదుపరి ప్రాప్యత కోసం డేటా సెట్‌ను రూపొందించడానికి అనుకూలమైన మార్గం ఉంది, కీ --scan.

దాని సహాయంతో, bigtop మొత్తం సమాచారాన్ని సేకరించి, దానిని గ్రేడిల్‌లో ఉంచుతుంది, ఆ తర్వాత అది ఒక లింక్‌ను అందిస్తుంది,
దీన్ని అనుసరించడం ద్వారా, అసెంబ్లీ ఎందుకు విఫలమైందో సమర్థుడైన వ్యక్తి అర్థం చేసుకోగలడు.
దయచేసి ఈ ఎంపిక వినియోగదారు పేర్లు, నోడ్‌లు, ఎన్విరాన్‌మెంట్ వేరియబుల్స్ మొదలైన మీకు అక్కరలేని సమాచారాన్ని బహిర్గతం చేయవచ్చని గుర్తుంచుకోండి, కాబట్టి జాగ్రత్తగా ఉండండి.

తరచుగా లోపాలు అసెంబ్లీకి అవసరమైన ఏవైనా భాగాలను పొందలేకపోవడం యొక్క పరిణామం. సాధారణంగా, మీరు మూలాల్లో ఏదైనా పరిష్కరించడానికి ఒక ప్యాచ్‌ని సృష్టించడం ద్వారా సమస్యను పరిష్కరించవచ్చు, ఉదాహరణకు, మూలాల యొక్క రూట్ డైరెక్టరీలోని pom.xmlలోని చిరునామాలు. దీన్ని సృష్టించడం మరియు తగిన డైరెక్టరీలో ఉంచడం ద్వారా ఇది జరుగుతుంది ./bigtop/bigtop-packages/src/common/oozie/ పాచ్, ఉదాహరణకు, రూపంలో patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

చాలా మటుకు, ఈ కథనాన్ని చదివే సమయంలో, మీరు పైన పేర్కొన్న పరిష్కారాన్ని మీరే చేయవలసిన అవసరం లేదు.

అసెంబ్లీ మెకానిజంలో ఏవైనా ప్యాచ్‌లు మరియు మార్పులను పరిచయం చేస్తున్నప్పుడు, మీరు క్లీనప్ కమాండ్‌ని ఉపయోగించి అసెంబ్లీని "రీసెట్" చేయాల్సి ఉంటుంది:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

ఈ ఆపరేషన్ ఈ భాగం యొక్క అసెంబ్లీకి అన్ని మార్పులను వెనక్కి తీసుకుంటుంది, ఆ తర్వాత అసెంబ్లీ మళ్లీ నిర్వహించబడుతుంది. ఈసారి మేము ప్రాజెక్ట్‌ను డాకర్ ఇమేజ్‌లో రూపొందించడానికి ప్రయత్నిస్తాము:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

బిల్డ్ CentOS కింద నిర్వహించబడింది, కానీ ఉబుంటు కింద కూడా చేయవచ్చు:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

వివిధ Linux పంపిణీల కోసం ప్యాకేజీలను నిర్మించడంతో పాటు, సాధనం కంపైల్డ్ ప్యాకేజీలతో ఒక రిపోజిటరీని సృష్టించగలదు, ఉదాహరణకు:

./gradlew yum

మీరు పొగ పరీక్షలు మరియు డాకర్‌లో విస్తరణ గురించి కూడా గుర్తుంచుకోవచ్చు.

మూడు నోడ్‌ల క్లస్టర్‌ను సృష్టించండి:

./gradlew -Pnum_instances=3 docker-provisioner

మూడు నోడ్‌ల క్లస్టర్‌లో పొగ పరీక్షలను అమలు చేయండి:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

క్లస్టర్‌ను తొలగించండి:

./gradlew docker-provisioner-destroy

డాకర్ కంటైనర్‌ల లోపల కనెక్ట్ చేయడానికి ఆదేశాలను పొందండి:

./gradlew docker-provisioner-ssh

స్థితిని చూపు:

./gradlew docker-provisioner-status

మీరు డాక్యుమెంటేషన్‌లో విస్తరణ పనుల గురించి మరింత చదవవచ్చు.

మేము పరీక్షల గురించి మాట్లాడినట్లయితే, వాటిలో చాలా పెద్ద సంఖ్యలో ఉన్నాయి, ప్రధానంగా పొగ మరియు ఏకీకరణ. వారి విశ్లేషణ ఈ వ్యాసం పరిధికి మించినది. డిస్ట్రిబ్యూషన్ కిట్‌ని అసెంబ్లింగ్ చేయడం మొదటి చూపులో కనిపించేంత కష్టమైన పని కాదని చెప్పనివ్వండి. మేము మా ఉత్పత్తిలో ఉపయోగించే అన్ని భాగాలపై పరీక్షలను సమీకరించగలిగాము మరియు ఉత్తీర్ణత సాధించాము మరియు పరీక్ష వాతావరణంలో వాటిని అమలు చేయడంలో మరియు ప్రాథమిక కార్యకలాపాలను చేయడంలో కూడా మాకు ఎలాంటి సమస్యలు లేవు.

బిగ్‌టాప్‌లో ఇప్పటికే ఉన్న కాంపోనెంట్‌లతో పాటు, మీ స్వంత సాఫ్ట్‌వేర్ డెవలప్‌మెంట్‌ను కూడా జోడించడం సాధ్యమవుతుంది. ఇవన్నీ సంపూర్ణంగా ఆటోమేటెడ్ మరియు CI/CD కాన్సెప్ట్‌కి సరిపోతాయి.

తీర్మానం

సహజంగానే, ఈ విధంగా కంపైల్ చేయబడిన పంపిణీ ప్యాకేజీని వెంటనే ఉత్పత్తికి పంపకూడదు. మీ పంపిణీని నిర్మించడానికి మరియు మద్దతు ఇవ్వడానికి నిజమైన అవసరం ఉంటే, మీరు ఇందులో డబ్బు మరియు సమయాన్ని పెట్టుబడి పెట్టాలని మీరు అర్థం చేసుకోవాలి.

అయితే, సరైన విధానం మరియు వృత్తిపరమైన బృందంతో కలిపి, వాణిజ్య పరిష్కారాలు లేకుండా చేయడం చాలా సాధ్యమే.

బిగ్‌టాప్ ప్రాజెక్ట్ అభివృద్ధి అవసరం మరియు నేడు చురుకుగా అభివృద్ధి చెందుతున్నట్లు కనిపించడం లేదని గమనించడం ముఖ్యం. ఇందులో హడూప్ 3 కనిపించే అవకాశం కూడా అస్పష్టంగా ఉంది, మీకు హడూప్ 3ని నిర్మించాల్సిన అవసరం ఉంటే, మీరు చూడవచ్చు ఫోర్క్ అరేనాడేటా నుండి, దీనిలో, ప్రమాణానికి అదనంగా
అనేక అదనపు భాగాలు (రేంజర్, నాక్స్, నిఫై) ఉన్నాయి.

రోస్టెలెకామ్ విషయానికొస్తే, ఈ రోజు పరిగణించబడుతున్న ఎంపికలలో బిగ్‌టాప్ ఒకటి. మనం ఎంచుకున్నా, ఎంచుకోకపోయినా, కాలమే నిర్ణయిస్తుంది.

అపెండిక్స్

అసెంబ్లీలో కొత్త భాగాన్ని చేర్చడానికి, మీరు దాని వివరణను bigtop.bom మరియు ./bigtop-packagesకు జోడించాలి. మీరు ఇప్పటికే ఉన్న భాగాలతో సారూప్యత ద్వారా దీన్ని చేయడానికి ప్రయత్నించవచ్చు. దాన్ని గుర్తించడానికి ప్రయత్నించండి. ఇది మొదటి చూపులో కనిపించేంత కష్టం కాదు.

మీరు ఏమనుకుంటున్నారు? వ్యాఖ్యలలో మీ అభిప్రాయాన్ని చూసి మేము సంతోషిస్తాము మరియు మీ దృష్టికి ధన్యవాదాలు!

కథనాన్ని రోస్టెలెకామ్ డేటా మేనేజ్‌మెంట్ బృందం తయారు చేసింది

మూలం: www.habr.com