Apache Bigtop અને આજે Hadoop વિતરણ પસંદ કરી રહ્યાં છીએ

તે કદાચ કોઈ રહસ્ય નથી કે છેલ્લું વર્ષ અપાચે હડુપ માટે મોટા ફેરફારોનું વર્ષ હતું. ગયા વર્ષે, ક્લાઉડેરા અને હોર્ટનવર્કસનું મર્જર (આવશ્યક રીતે, બાદમાંનું સંપાદન), અને મેપ્ર, ગંભીર નાણાકીય સમસ્યાઓને કારણે, હેવલેટ પેકાર્ડને વેચવામાં આવ્યું હતું. અને જો થોડા વર્ષો પહેલા, ઓન-પ્રિમીસીસ ઇન્સ્ટોલેશનના કિસ્સામાં, ક્લાઉડેરા અને હોર્ટનવર્કસ વચ્ચે પસંદગી ઘણી વખત કરવી પડતી હતી, તો આજે, અરે, અમારી પાસે આ પસંદગી નથી. બીજું આશ્ચર્ય એ હકીકત છે કે ક્લાઉડેરાએ આ વર્ષના ફેબ્રુઆરીમાં જાહેરાત કરી હતી કે તે તેના વિતરણની દ્વિસંગી એસેમ્બલીઓને જાહેર ભંડારમાં રિલીઝ કરવાનું બંધ કરશે, અને તે હવે માત્ર પેઇડ સબ્સ્ક્રિપ્શન દ્વારા જ ઉપલબ્ધ છે. અલબત્ત, 2019 ના અંત પહેલા પ્રકાશિત થયેલ CDH અને HDP ના નવીનતમ સંસ્કરણો ડાઉનલોડ કરવાનું હજી પણ શક્ય છે, અને તેમના માટે સમર્થન એકથી બે વર્ષ સુધી અપેક્ષિત છે. પણ આગળ શું કરવું? જેમણે અગાઉ સબ્સ્ક્રિપ્શન માટે ચૂકવણી કરી છે, તેમના માટે કંઈ બદલાયું નથી. અને જેઓ વિતરણના પેઇડ સંસ્કરણ પર સ્વિચ કરવા માંગતા નથી, પરંતુ તે જ સમયે ક્લસ્ટર ઘટકોના નવીનતમ સંસ્કરણો, તેમજ પેચ અને અન્ય અપડેટ્સ પ્રાપ્ત કરવામાં સક્ષમ બનવા માંગે છે, અમે આ લેખ તૈયાર કર્યો છે. તેમાં આપણે આ પરિસ્થિતિમાંથી બહાર આવવા માટેના સંભવિત વિકલ્પો પર વિચાર કરીશું.

લેખ વધુ સમીક્ષા છે. તેમાં ડિસ્ટ્રિબ્યુશનની સરખામણી અને તેનું વિગતવાર વિશ્લેષણ હશે નહીં, અને તેને ઇન્સ્ટોલ કરવા અને ગોઠવવા માટે કોઈ વાનગીઓ હશે નહીં. શું થશે? અમે સંક્ષિપ્તમાં એરેનાડાટા હડુપ જેવા વિતરણ વિશે વાત કરીશું, જે તેની ઉપલબ્ધતાને કારણે યોગ્ય રીતે અમારા ધ્યાનને પાત્ર છે, જે આજે ખૂબ જ દુર્લભ છે. અને પછી આપણે વેનીલા હડુપ વિશે વાત કરીશું, મુખ્યત્વે તે અપાચે બિગટોપનો ઉપયોગ કરીને કેવી રીતે "રાંધવામાં" શકાય તે વિશે. તૈયાર છો? પછી બિલાડીનું સ્વાગત છે.

Arenadata Hadoop

આ સંપૂર્ણપણે નવી અને, હજુ સુધી, સ્થાનિક વિકાસની ઓછી જાણીતી વિતરણ કીટ છે. કમનસીબે, Habré પર આ ક્ષણે માત્ર છે આ લેખ.

વધુ માહિતી અધિકારી પર મળી શકે છે સાઇટ પ્રોજેક્ટ વિતરણના નવીનતમ સંસ્કરણો સંસ્કરણ 3.1.2 માટે Hadoop 3 અને સંસ્કરણ 2.8.5 માટે 2 પર આધારિત છે.

રોડમેપ વિશે માહિતી મળી શકે છે અહીં.

એરેનાડેટા ક્લસ્ટર મેનેજર ઈન્ટરફેસ

એરેનાડેટાનું મુખ્ય ઉત્પાદન છે એરેનાડેટા ક્લસ્ટર મેનેજર (ADCM), જેનો ઉપયોગ વિવિધ કંપની સોફ્ટવેર સોલ્યુશન્સ ઇન્સ્ટોલ કરવા, ગોઠવવા અને મોનિટર કરવા માટે થાય છે. ADCM નું વિનામૂલ્યે વિતરણ કરવામાં આવે છે, અને તેની કાર્યક્ષમતા બંડલ્સ ઉમેરીને વિસ્તૃત કરવામાં આવે છે, જે જવાબી-પ્લેબુકનો સમૂહ છે. બંડલ્સને બે પ્રકારમાં વિભાજિત કરવામાં આવે છે: એન્ટરપ્રાઇઝ અને સમુદાય. બાદમાં Arenadata વેબસાઇટ પરથી મફત ડાઉનલોડ માટે ઉપલબ્ધ છે. તમારું પોતાનું બંડલ વિકસાવવું અને તેને ADCM સાથે કનેક્ટ કરવું પણ શક્ય છે.

Hadoop 3 ના જમાવટ અને સંચાલન માટે, બંડલનું એક સમુદાય સંસ્કરણ ADCM સાથે મળીને ઓફર કરવામાં આવે છે, પરંતુ Hadoop 2 માટે ત્યાં માત્ર છે અપાચે અંબરી એક વિકલ્પ તરીકે. પેકેજો સાથેના ભંડારોની વાત કરીએ તો, તેઓ સાર્વજનિક ઍક્સેસ માટે ખુલ્લા છે, તેઓ ક્લસ્ટરના તમામ ઘટકો માટે સામાન્ય રીતે ડાઉનલોડ અને ઇન્સ્ટોલ કરી શકાય છે. એકંદરે, વિતરણ ખૂબ જ રસપ્રદ લાગે છે. મને ખાતરી છે કે એવા લોકો હશે જેઓ ક્લાઉડેરા મેનેજર અને અંબરી જેવા ઉકેલો માટે ટેવાયેલા હશે, અને જેમને ADCM પોતે ગમશે. કેટલાક માટે, તે વિતરણ પણ એક વિશાળ વત્તા હશે સોફ્ટવેર રજિસ્ટરમાં સમાવેશ થાય છે આયાત અવેજી માટે.

જો આપણે ગેરફાયદા વિશે વાત કરીએ, તો તે અન્ય તમામ Hadoop વિતરણો માટે સમાન હશે. જેમ કે:

• કહેવાતા "વેન્ડર લોક-ઇન". ક્લાઉડેરા અને હોર્ટનવર્ક્સના ઉદાહરણોનો ઉપયોગ કરીને, અમે પહેલેથી જ સમજી ગયા છીએ કે કંપનીની નીતિ બદલવાનું હંમેશા જોખમ રહેલું છે.
• અપાચે અપસ્ટ્રીમ પાછળ નોંધપાત્ર લેગ.

વેનીલા હડુપ

જેમ તમે જાણો છો, Hadoop એ એકવિધ ઉત્પાદન નથી, પરંતુ, હકીકતમાં, તેની વિતરિત ફાઇલ સિસ્ટમ HDFS ની આસપાસ સેવાઓની આખી ગેલેક્સી છે. થોડા લોકો પાસે એક ફાઇલ ક્લસ્ટર પૂરતું હશે. કેટલાકને મધપૂડોની જરૂર છે, અન્યને પ્રેસ્ટો, અને પછી એચબેઝ અને ફોનિક્સ છે; સ્પાર્કનો વધુને વધુ ઉપયોગ થાય છે. ઓર્કેસ્ટ્રેશન અને ડેટા લોડિંગ માટે, Oozie, Sqoop અને Flume ક્યારેક જોવા મળે છે. અને જો સુરક્ષાનો મુદ્દો ઉભો થાય છે, તો રેન્જર સાથે મળીને કર્બેરોઝ તરત જ ધ્યાનમાં આવે છે.

Hadoop ઘટકોના દ્વિસંગી સંસ્કરણો દરેક ઇકોસિસ્ટમ પ્રોજેક્ટની વેબસાઇટ પર ટારબોલના રૂપમાં ઉપલબ્ધ છે. તમે તેમને ડાઉનલોડ કરી શકો છો અને ઇન્સ્ટોલેશન શરૂ કરી શકો છો, પરંતુ એક શરત સાથે: "કાચા" દ્વિસંગીમાંથી પેકેજોને સ્વતંત્ર રીતે એસેમ્બલ કરવા ઉપરાંત, જે તમે મોટે ભાગે કરવા માંગો છો, તમને દરેક સાથે ઘટકોના ડાઉનલોડ કરેલ સંસ્કરણોની સુસંગતતામાં કોઈ વિશ્વાસ નહીં હોય. અન્ય અપાચે બિગટોપનો ઉપયોગ કરીને બિલ્ડ કરવાનો પસંદગીનો વિકલ્પ છે. બિગટોપ તમને અપાચે મેવેન રિપોઝીટરીઝમાંથી બિલ્ડ કરવા, પરીક્ષણો ચલાવવા અને પેકેજો બનાવવાની મંજૂરી આપશે. પરંતુ, જે આપણા માટે ખૂબ જ મહત્વપૂર્ણ છે, બિગટોપ ઘટકોના તે સંસ્કરણોને એસેમ્બલ કરશે જે એકબીજા સાથે સુસંગત હશે. અમે તેના વિશે નીચે વધુ વિગતવાર વાત કરીશું.

અપાચે બિગટોપ

Apache Bigtop એ સંખ્યાબંધના નિર્માણ, પેકેજિંગ અને પરીક્ષણ માટેનું એક સાધન છે
ઓપન સોર્સ પ્રોજેક્ટ્સ, જેમ કે Hadoop અને Greenplum. Bigtop પાસે પુષ્કળ છે
પ્રકાશન લેખન સમયે, નવીનતમ સ્થિર પ્રકાશન આવૃત્તિ 1.4 હતી,
અને માસ્ટરમાં 1.5 હતા. પ્રકાશનના વિવિધ સંસ્કરણો વિવિધ સંસ્કરણોનો ઉપયોગ કરે છે
ઘટકો ઉદાહરણ તરીકે, 1.4 માટે Hadoop કોર ઘટકોમાં સંસ્કરણ 2.8.5 છે, અને માસ્ટરમાં
2.10.0. સમર્થિત ઘટકોની રચના પણ બદલાઈ રહી છે. કંઈક જૂનું અને
નવીનીકરણ ન કરી શકાય તેવું જાય છે, અને તેના સ્થાને કંઈક નવું આવે છે, વધુ માંગમાં, અને
તે અપાચે પરિવારમાંથી જ કંઈક હોવું જરૂરી નથી.

વધુમાં, Bigtop ઘણા છે કાંટો.

જ્યારે અમે બિગટોપ સાથે પરિચિત થવાનું શરૂ કર્યું, ત્યારે અમે સૌ પ્રથમ તેના સાધારણ, અન્ય અપાચે પ્રોજેક્ટ્સ, વ્યાપ અને લોકપ્રિયતા તેમજ ખૂબ જ નાના સમુદાયની તુલનામાં આશ્ચર્યચકિત થયા. તે આનાથી અનુસરે છે કે ઉત્પાદન પર ન્યૂનતમ માહિતી છે, અને ફોરમ અને મેઇલિંગ લિસ્ટ પર ઊભી થયેલી સમસ્યાઓના ઉકેલો શોધવાથી કંઈપણ પ્રાપ્ત થશે નહીં. શરૂઆતમાં, ટૂલની વિશેષતાઓને લીધે વિતરણની સંપૂર્ણ એસેમ્બલી પૂર્ણ કરવી અમારા માટે મુશ્કેલ કાર્ય હતું, પરંતુ અમે આ વિશે થોડી વાર પછી વાત કરીશું.

ટીઝર તરીકે, જેઓ એક સમયે જેન્ટુ અને એલએફએસ જેવા લિનક્સ બ્રહ્માંડના પ્રોજેક્ટ્સમાં રસ ધરાવતા હતા તેઓને આ વસ્તુ સાથે કામ કરવું ખૂબ જ આનંદદાયક લાગે છે અને તે "મહાકાવ્ય" સમયને યાદ કરી શકે છે જ્યારે આપણે જાતે શોધી રહ્યા હતા (અથવા લખવાનું પણ) નવા પેચો સાથે મોઝિલાને ઇબિલ્ડ કરે છે અને નિયમિતપણે પુનઃબીલ્ડ કરે છે.

બિગટોપનો મોટો ફાયદો એ સાધનોની નિખાલસતા અને વૈવિધ્યતા છે જેના પર તે આધારિત છે. તે Gradle અને Apache Maven પર આધારિત છે. ગ્રેડલ એ ટૂલ તરીકે ખૂબ જાણીતું છે જે ગૂગલ એન્ડ્રોઇડ બનાવવા માટે વાપરે છે. તે લવચીક છે, અને, જેમ તેઓ કહે છે, "યુદ્ધ-પરીક્ષણ." મેવેન એ અપાચેમાં જ પ્રોજેક્ટ બનાવવા માટેનું પ્રમાણભૂત સાધન છે, અને તેના મોટા ભાગના ઉત્પાદનો મેવેન દ્વારા બહાર પાડવામાં આવતા હોવાથી, તે અહીં પણ તેના વિના થઈ શકે તેમ નથી. તે POM (પ્રોજેક્ટ ઑબ્જેક્ટ મોડેલ) પર ધ્યાન આપવાનું યોગ્ય છે - "મૂળભૂત" xml ફાઇલ જે તમારા પ્રોજેક્ટ સાથે કામ કરવા માટે મેવન માટે જરૂરી બધું વર્ણવે છે, જેની આસપાસ તમામ કાર્ય બાંધવામાં આવે છે. બરાબર મુ
Maven ના ભાગો અને ત્યાં કેટલાક અવરોધો છે જેનો પ્રથમ વખત બિગટોપ વપરાશકર્તાઓ સામાન્ય રીતે સામનો કરે છે.

પ્રેક્ટિસ

તો તમારે ક્યાંથી શરૂઆત કરવી જોઈએ? ડાઉનલોડ પૃષ્ઠ પર જાઓ અને આર્કાઇવ તરીકે નવીનતમ સ્થિર સંસ્કરણ ડાઉનલોડ કરો. તમે ત્યાં બિગટોપ દ્વારા એકત્રિત બાઈનરી આર્ટિફેક્ટ્સ પણ શોધી શકો છો. માર્ગ દ્વારા, સામાન્ય પેકેજ મેનેજરોમાં, YUM અને APT સપોર્ટેડ છે.

વૈકલ્પિક રીતે, તમે સીધા જ તાજેતરની સ્થિર પ્રકાશન ડાઉનલોડ કરી શકો છો
ગીથબ:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

"બિગટોપ" માં ક્લોનિંગ...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

પરિણામી ./bigtop ડિરેક્ટરી કંઈક આના જેવી દેખાય છે:

./bigtop-bigpetstore - ડેમો એપ્લિકેશન, કૃત્રિમ ઉદાહરણો
./bigtop-ci - CI ટૂલ્સ, જેનકિન્સ
./bigtop-data-generators - ડેટા જનરેશન, સિન્થેટીક્સ, સ્મોક ટેસ્ટ માટે, વગેરે.
./bigtop-deploy - જમાવટ સાધનો
./bigtop-packages — રૂપરેખાઓ, સ્ક્રિપ્ટો, એસેમ્બલી માટે પેચો, સાધનનો મુખ્ય ભાગ
./bigtop-test-framework - પરીક્ષણ માળખું
./bigtop-tests - પરીક્ષણો પોતે, લોડ અને ધૂમ્રપાન
./bigtop_toolchain — એસેમ્બલી માટેનું વાતાવરણ, સાધનને કામ કરવા માટે પર્યાવરણ તૈયાર કરવું
./build - વર્કિંગ ડિરેક્ટરી બનાવો
./dl — ડાઉનલોડ કરેલ સ્ત્રોતો માટેની ડિરેક્ટરી
./docker - ડોકર ઈમેજોમાં નિર્માણ, પરીક્ષણ
./gradle - gradle રૂપરેખા
./output - ડિરેક્ટરી જ્યાં બિલ્ડ આર્ટિફેક્ટ્સ જાય છે
./provisioner - જોગવાઈ

આ તબક્કે અમારા માટે સૌથી રસપ્રદ બાબત એ મુખ્ય રૂપરેખા છે ./bigtop/bigtop.bom, જેમાં આપણે બધા સમર્થિત ઘટકોને સંસ્કરણો સાથે જોઈએ છીએ. આ તે છે જ્યાં અમે ઉત્પાદનના એક અલગ સંસ્કરણનો ઉલ્લેખ કરી શકીએ છીએ (જો આપણે અચાનક તેને બનાવવાનો પ્રયાસ કરવા માંગીએ છીએ) અથવા બિલ્ડ સંસ્કરણ (જો, ઉદાહરણ તરીકે, અમે નોંધપાત્ર પેચ ઉમેર્યો છે).

સબડિરેક્ટરી પણ ખૂબ જ રસપ્રદ છે ./bigtop/bigtop-packages, જે તેમની સાથે ઘટકો અને પેકેજોને એસેમ્બલ કરવાની પ્રક્રિયા સાથે સીધી રીતે સંબંધિત છે.

તેથી, અમે આર્કાઇવ ડાઉનલોડ કર્યું, તેને અનપેક કર્યું અથવા ગીથબમાંથી ક્લોન બનાવ્યું, શું આપણે નિર્માણ કરવાનું શરૂ કરી શકીએ?

ના, ચાલો પહેલા પર્યાવરણ તૈયાર કરીએ.

પર્યાવરણની તૈયારી

અને અહીં આપણે એક નાનકડી એકાંતની જરૂર છે. લગભગ કોઈપણ વધુ અથવા ઓછા જટિલ ઉત્પાદન બનાવવા માટે, તમારે ચોક્કસ વાતાવરણની જરૂર છે - અમારા કિસ્સામાં, આ JDK છે, સમાન વહેંચાયેલ પુસ્તકાલયો, હેડર ફાઇલો, વગેરે, સાધનો, ઉદાહરણ તરીકે, કીડી, ivy2 અને ઘણું બધું. બિગટોપ માટે તમને જરૂરી વાતાવરણ મેળવવા માટેના વિકલ્પોમાંથી એક બિલ્ડ હોસ્ટ પર જરૂરી ઘટકોને ઇન્સ્ટોલ કરવાનો છે. હું ઘટનાક્રમમાં ખોટો હોઈ શકું છું, પરંતુ એવું લાગે છે કે સંસ્કરણ 1.0 સાથે પૂર્વ-રૂપરેખાંકિત અને ઍક્સેસિબલ ડોકર ઈમેજો બનાવવાનો વિકલ્પ પણ હતો, જે અહીં મળી શકે છે.

પર્યાવરણ તૈયાર કરવા માટે, આ માટે એક સહાયક છે - પપેટ.

તમે નીચેના આદેશોનો ઉપયોગ કરી શકો છો, રૂટ ડિરેક્ટરીમાંથી ચલાવો
સાધન ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

અથવા સીધા કઠપૂતળી દ્વારા:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

કમનસીબે, આ તબક્કે મુશ્કેલીઓ પહેલેથી જ ઊભી થઈ શકે છે. અહીં સામાન્ય સલાહ એ છે કે સપોર્ટેડ ડિસ્ટ્રિબ્યુશનનો ઉપયોગ કરો, બિલ્ડ હોસ્ટ પર અપ ટુ ડેટ કરો અથવા ડોકર રૂટનો પ્રયાસ કરો.

વિધાનસભા

આપણે શું એકત્રિત કરવાનો પ્રયાસ કરી શકીએ? આ પ્રશ્નનો જવાબ આદેશના આઉટપુટ દ્વારા આપવામાં આવશે

./gradlew tasks

પેકેજ કાર્યો વિભાગમાં સંખ્યાબંધ ઉત્પાદનો છે જે બિગટોપની અંતિમ કલાકૃતિઓ છે.
તેઓ પ્રત્યય -rpm અથવા -pkg-ind (બિલ્ડિંગના કિસ્સામાં) દ્વારા ઓળખી શકાય છે
ડોકરમાં). અમારા કિસ્સામાં, સૌથી રસપ્રદ Hadoop છે.

ચાલો આપણા બિલ્ડ સર્વરના વાતાવરણમાં બિલ્ડ કરવાનો પ્રયાસ કરીએ:

./gradlew hadoop-rpm

બિગટોપ પોતે ચોક્કસ ઘટક માટે જરૂરી સ્ત્રોતો ડાઉનલોડ કરશે અને એસેમ્બલી શરૂ કરશે. આમ, ટૂલનું ઑપરેશન મેવન રિપોઝીટરીઝ અને અન્ય સ્ત્રોતો પર આધારિત છે, એટલે કે, તેને ઇન્ટરનેટ ઍક્સેસની જરૂર છે.

ઓપરેશન દરમિયાન, પ્રમાણભૂત આઉટપુટ જનરેટ થાય છે. કેટલીકવાર તે અને ભૂલ સંદેશાઓ તમને શું ખોટું થયું તે સમજવામાં મદદ કરી શકે છે. અને કેટલીકવાર તમારે વધારાની માહિતી મેળવવાની જરૂર હોય છે. આ કિસ્સામાં, દલીલો ઉમેરવા યોગ્ય છે --info અથવા --debug, અને ઉપયોગી પણ હોઈ શકે છે –stacktrace. મેઇલિંગ લિસ્ટની અનુગામી ઍક્સેસ માટે ડેટા સેટ જનરેટ કરવાની એક અનુકૂળ રીત છે, કી --scan.

તેની મદદથી, બિગટોપ તમામ માહિતી એકત્રિત કરશે અને તેને ગ્રેડલમાં મૂકશે, ત્યારબાદ તે એક લિંક આપશે,
જેને અનુસરીને, એક સક્ષમ વ્યક્તિ સમજી શકશે કે શા માટે એસેમ્બલી નિષ્ફળ ગઈ.
મહેરબાની કરીને ધ્યાન રાખો કે આ વિકલ્પ તમને જોઈતી ન હોય તેવી માહિતી, જેમ કે વપરાશકર્તાનામ, નોડ્સ, પર્યાવરણ ચલો, વગેરેનો ખુલાસો કરી શકે છે, તેથી સાવચેત રહો.

ઘણીવાર ભૂલો એસેમ્બલી માટે જરૂરી કોઈપણ ઘટકો મેળવવાની અસમર્થતાનું પરિણામ છે. સામાન્ય રીતે, તમે સ્ત્રોતોમાં કંઈક ઠીક કરવા માટે પેચ બનાવીને સમસ્યાને ઠીક કરી શકો છો, ઉદાહરણ તરીકે, સ્ત્રોતોની રૂટ ડિરેક્ટરીમાં pom.xml માં સરનામાં. આ બનાવીને અને તેને યોગ્ય ડિરેક્ટરીમાં મૂકીને કરવામાં આવે છે ./bigtop/bigtop-packages/src/common/oozie/ પેચ, ઉદાહરણ તરીકે, ફોર્મમાં patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

મોટે ભાગે, આ લેખ વાંચતી વખતે, તમારે ઉપરોક્ત ઠીક જાતે કરવું પડશે નહીં.

એસેમ્બલી મિકેનિઝમમાં કોઈપણ પેચો અને ફેરફારો રજૂ કરતી વખતે, તમારે ક્લીનઅપ આદેશનો ઉપયોગ કરીને એસેમ્બલીને "રીસેટ" કરવાની જરૂર પડી શકે છે:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

આ ઑપરેશન આ ઘટકની એસેમ્બલીમાંના તમામ ફેરફારોને પાછો ખેંચી લેશે, જે પછી એસેમ્બલી ફરીથી કરવામાં આવશે. આ વખતે અમે પ્રોજેક્ટને ડોકર ઇમેજમાં બનાવવાનો પ્રયાસ કરીશું:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

બિલ્ડ CentOS હેઠળ કરવામાં આવ્યું હતું, પરંતુ ઉબુન્ટુ હેઠળ પણ કરી શકાય છે:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

વિવિધ Linux વિતરણો માટે પેકેજો બનાવવા ઉપરાંત, સાધન સંકલિત પેકેજો સાથે રીપોઝીટરી બનાવી શકે છે, ઉદાહરણ તરીકે:

./gradlew yum

તમે ડોકરમાં સ્મોક ટેસ્ટ અને જમાવટ વિશે પણ યાદ રાખી શકો છો.

ત્રણ નોડ્સનું ક્લસ્ટર બનાવો:

./gradlew -Pnum_instances=3 docker-provisioner

ત્રણ ગાંઠોના ક્લસ્ટરમાં ધૂમ્રપાન પરીક્ષણો ચલાવો:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

ક્લસ્ટર કાઢી નાખો:

./gradlew docker-provisioner-destroy

ડોકર કન્ટેનરની અંદર કનેક્ટ કરવા માટે આદેશો મેળવો:

./gradlew docker-provisioner-ssh

સ્થિતિ બતાવો:

./gradlew docker-provisioner-status

તમે દસ્તાવેજીકરણમાં ડિપ્લોયમેન્ટ કાર્યો વિશે વધુ વાંચી શકો છો.

જો આપણે પરીક્ષણો વિશે વાત કરીએ, તો તેમાં ઘણી મોટી સંખ્યામાં છે, મુખ્યત્વે ધૂમ્રપાન અને એકીકરણ. તેમનું વિશ્લેષણ આ લેખના અવકાશની બહાર છે. હું ફક્ત એટલું જ કહેવા માંગુ છું કે વિતરણ કીટ એસેમ્બલ કરવું એટલું મુશ્કેલ કાર્ય નથી જેટલું તે પ્રથમ નજરમાં લાગે છે. અમે અમારા ઉત્પાદનમાં જે ઘટકોનો ઉપયોગ કરીએ છીએ તે તમામ ઘટકો પર પરીક્ષણો એસેમ્બલ કરવામાં અને પાસ કરવામાં અમે વ્યવસ્થાપિત છીએ, અને અમને તેમને જમાવવામાં અને પરીક્ષણ વાતાવરણમાં મૂળભૂત કામગીરી કરવામાં પણ કોઈ સમસ્યા નહોતી.

Bigtop માં હાલના ઘટકો ઉપરાંત, બીજું કંઈપણ ઉમેરવાનું શક્ય છે, તમારા પોતાના સોફ્ટવેર ડેવલપમેન્ટ પણ. આ બધું સંપૂર્ણપણે સ્વયંસંચાલિત છે અને CI/CD ખ્યાલમાં બંધબેસે છે.

નિષ્કર્ષ

દેખીતી રીતે, આ રીતે સંકલિત વિતરણ તરત જ ઉત્પાદનમાં મોકલવું જોઈએ નહીં. તમારે એ સમજવાની જરૂર છે કે જો તમારા વિતરણનું નિર્માણ અને સમર્થન કરવાની ખરેખર જરૂર છે, તો તમારે આમાં નાણાં અને સમયનું રોકાણ કરવાની જરૂર છે.

જો કે, યોગ્ય અભિગમ અને વ્યાવસાયિક ટીમ સાથે સંયોજનમાં, વ્યવસાયિક ઉકેલો વિના કરવું તદ્દન શક્ય છે.

એ નોંધવું અગત્યનું છે કે બિગટોપ પ્રોજેક્ટ પોતે જ વિકાસની જરૂરિયાતમાં છે અને તે આજે સક્રિય રીતે વિકસિત થતો દેખાતો નથી. તેમાં હડૂપ 3 દેખાવાની સંભાવના પણ અસ્પષ્ટ છે. જો તમને હડૂપ 3 બનાવવાની ખરેખર જરૂર હોય, તો તમે જોઈ શકો છો. કાંટો એરેનાડેટામાંથી, જેમાં, ધોરણ ઉપરાંત
ત્યાં સંખ્યાબંધ વધારાના ઘટકો છે (રેન્જર, નોક્સ, નિફાઇ).

રોસ્ટેલિકોમ માટે, અમારા માટે બિગટોપ એ એક વિકલ્પ છે જે આજે ધ્યાનમાં લેવામાં આવે છે. અમે તેને પસંદ કરીશું કે નહીં, સમય જ કહેશે.

પરિશિષ્ટ

એસેમ્બલીમાં નવા ઘટકનો સમાવેશ કરવા માટે, તમારે તેનું વર્ણન bigtop.bom અને ./bigtop-packages પર ઉમેરવાની જરૂર છે. તમે હાલના ઘટકો સાથે સામ્યતા દ્વારા આ કરવાનો પ્રયાસ કરી શકો છો. તેને આકૃતિ કરવાનો પ્રયાસ કરો. તે એટલું મુશ્કેલ નથી જેટલું તે પ્રથમ નજરમાં લાગે છે.

તમે શુ વિચારો છો, તમને શુ લાગે છે? ટિપ્પણીઓમાં તમારો અભિપ્રાય જોઈને અમને આનંદ થશે અને તમારા ધ્યાન બદલ આભાર!

આ લેખ Rostelecom ડેટા મેનેજમેન્ટ ટીમ દ્વારા તૈયાર કરવામાં આવ્યો હતો

સોર્સ: www.habr.com