ááááºááŸá áºááẠApache Hadoop á¡ááœáẠááŒá®ážáá¬ážáá±á¬ á¡ááŒá±á¬ááºážá¡áá²áá»á¬áž ááŒá áºáá²á·áááºááŸá¬ áá»áŸáá¯á·ááŸááºáá»áẠááá¯ááºáá±á ááŒá®ážáá²á·áá±á¬ááŸá áºááœáẠCloudera ááŸáá·áº Hortonworks ááá¯á·ááᯠáá±á«ááºážá ááºááŒá®áž (á¡áááá¡á¬ážááŒáá·áº áá±á¬ááºááá¯ááºážááœáẠáááºáá°ááŸá¯) ááŸáá·áº ááŒá®ážáá±ážáá±á¬ááá¹áá¬áá±ážááŒá¿áá¬áá»á¬ážááŒá±á¬áá·áº Mapr ááᯠHewlett Packard ááá¯á· áá±á¬ááºážáá»áá²á·áááºá á¡áááºá á¡á á±á¬ááá¯ááºážááŸá áºá¡áááºážáááºá á¡áá±á¬ááºá¡á¡á¯á¶ááœááºáž áááºáááºááŸá¯ááá á¹á ááœááºá Cloudera ááŸáá·áº Hortonworks á¡ááŒá¬áž ááœá±ážáá»ááºááŸá¯ááᯠáááŒá¬áá ááŒá¯áá¯ááºááááºááŒá áºááŒá®ážá ááá±á· ááŒá áºáá»ááºáá±á¬á·á áá»áœááºá¯ááºááá¯á·ááœáẠá€ááœá±ážáá»ááºááŸá¯ áááŸááá«á áá±á¬ááºááẠá¡á¶á·á¡á¬ážááá·áºá áá¬ááŸá¬ Cloudera ááẠáááºážá ááŒáá·áºááŒá°ážááŸá¯á binary assemblies áá»á¬ážááᯠpublic repository ááá¯á· ááŒáá·áºáá»áááŒááºážá¡á¬áž áááºááá·áºááœá¬ážáááºááŒá áºááŒá±á¬ááºáž ááá¯ááŸá Ạáá±áá±á¬áºáá«áá®áááœáẠááŒá±áá¬áá²á·ááŒá®áž ááá¯á¡áá« áááºážááá¯á·ááᯠá¡ááá±ážá á¬áááºážááœááºážááŸá¯ááŒáá·áºáᬠáááŸáááá¯ááºááŒá®ááŒá áºáááºá 2019 áá¯ááŸá áºááá¯ááºáá®ááœáẠááœááºááŸááá²á·áá±á¬ CDH ááŸáá·áº HDP á áá±á¬ááºáá¯á¶ážáá¬ážááŸááºážáá»á¬ážááᯠáá±á«ááºážáá¯ááºáá¯ááºááẠááŒá áºááá¯ááºáá±ážááŒá®áž áááºážááá¯á·á¡ááœáẠáá¶á·ááá¯ážááŸá¯ááᯠáá áºááŸá áºá០ááŸá áºááŸá áºá¡áá áá»áŸá±á¬áºááá·áºáá¬ážáááºá áá«áá±ááá·áº áá¬áááºáá¯ááºáááá²á á á¬áááºážááœááºážááŸá¯á¡ááœáẠááááºá ááœá±áá±ážáá»á±áá¬ážáá°áá»á¬ážá¡ááœááºáá° áá¬ááŸáááŒá±á¬ááºážáá²áá«á ááŒáá·áºááŒá°ážááŸá¯á á¡ááá±ážáá¬ážááŸááºážááá¯á· áááŒá±á¬ááºážáá»ááºáá±á¬áºáááºáž áá áºáá»áááºáááºážááœáẠá¡á á¯á¡á ááºážá¡á áááºá¡ááá¯ááºážáá»á¬ážá áá±á¬ááºáá¯á¶ážáá¬ážááŸááºážáá»á¬ážá¡ááŒáẠáá¬áá±ážááŸá¯áá»á¬ážááŸáá·áº á¡ááŒá¬ážá¡ááºááááºáá»á¬ážááᯠáááºáá¶ááá°ááá¯áá«á á€áá±á¬ááºážáá«ážááᯠááŒááºáááºáá¬ážáá«áááºá á¡á²áá®á¡áá²ááŸá¬ áá®á¡ááŒá±á¡áá±ááá± áá¯ááºážááœááºááá¯á· ááŒá áºááá¯ááºááŒá±ááŸááá²á· áááºážáááºážááœá±ááᯠá ááºážá á¬ážáá«áááºá
áá±á¬ááºážáá«ážá áá¯á¶ážáááºáá»áẠááá¯ááŸááºáááºá áááºážááœáẠááŒáá·áºáá±ááŸá¯áá»á¬ážá ááŸáá¯ááºážááŸááºáá»ááºááŸáá·áº áááºážááá¯á·ááᯠá¡áá±ážá
áááºááœá²ááŒááºážá
áááºááŒá¬ááŸá¯ ááá«áááºáá«á áááºážááá¯á·ááᯠááá·áºááœááºážááŒááºážááŸáá·áº á
á®á
ááºáááºááŸááºááŒááºážá¡ááœáẠáá»ááºááŒá¯ááºáááºážáá»á¬áž ááŸááááºááá¯ááºáá«á áá¬ááŒá
áºááá²? ááá±á·áá±ááºááœáẠá¡ááœááºááŸá¬ážáá«ážáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·áá¡á¬áá¯á¶á
á°ážá
áá¯ááºááŸá¯ááᯠáá¶ááá¯ááºáá±á¬ Arenadata Hadoop áá²á·ááá¯á·áá±á¬ ááŒáá·áºááŒá°ážááŸá¯á¡ááŒá±á¬ááºáž á¡ááá¯áá»á¯ááºááŒá±á¬áá«áááºá ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠApache Bigtop ááᯠá¡áá¯á¶ážááŒá¯á áááºážááᯠáá»ááºááŒá¯ááºáááºážááᯠá¡áááá¡á¬ážááŒáá·áº Vanilla Hadoop á¡ááŒá±á¬ááºáž ááœá±ážááœá±ážáá«áááºá á¡áááºááá·áºááŒá
áºááŒá®áá¬ážá ááŒá®ážááẠááŒá±á¬ááºááᯠááŒáá¯ááá¯áááºá
Arenadata Hadoop
á€áááºááŸá¬ áá¯á¶ážáá¡áá
áºááŒá
áºááŒá®ážá ááá¯áá áá°áááááºážáá±á¬ááŒááºááœááºážááœá¶á·ááŒáá¯ážáá±ážá¡ááœáẠááŒáá·áºáá»á®áá±ážáááááá¬áá
áºáá¯ááŒá
áºáááºá áá¶ááá±á¬ááºážá
áœá¬áá²á ááá¯á¡áá»áááºááœáẠHabre ááœááºáá¬ááŸááááºá .
á¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááá¯ááá¬ážáááºááœááºááœá±á·ááŸáááá¯ááºáá«áááºá á á®áá¶ááááºážá ááŒáá·áºáá»á®ááŸá¯á áá±á¬ááºáá¯á¶ážáá¬ážááŸááºážáá»á¬ážááẠáá¬ážááŸááºáž 3.1.2 á¡ááœáẠHadoop 3 ááŸáá·áº áá¬ážááŸááºáž 2.8.5 á¡ááœáẠ2 ááᯠá¡ááŒá±áá¶áá¬ážáááºá
áááºážááŒááŒá±áá¯á¶áá²á· áááºáááºáá²á· á¡áá»ááºá¡áááºááœá±ááᯠááœá±á·ááá¯ááºáá«áááºá .
Arenadata Cluster Manager á¡ááºáá¬áá±á·á
áº
Arenadata á á¡ááááá¯ááºáá¯áẠááŒá áºáá« áááºá áá¯áá¹ááá® á¡áá®ážáá®ážá០áá±á¬á·ááºáá²ááºááŒá±ááŸááºážáá»ááºáá»á¬ážá¡á¬áž ááá·áºááœááºážáááºá á á®á ááºáááºááŸááºááŒááºážááŸáá·áº á á±á¬áá·áºááŒáá·áºááẠá¡áá¯á¶ážááŒá¯áááºá ADCM ááẠá¡ááá²á·ááŒáá·áºáá±ááŒá®áž ansible-playbooks á¡á á¯á¡áá±ážáá»á¬ážááŒá áºááá·áº á¡á á¯á¡áá±ážáá»á¬ážááá·áºááŒááºážááŒáá·áº áááºážááá¯ááºáá±á¬ááºááá¯ááºá áœááºážááᯠááá¯ážáá»á²á·áá«áááºá á¡á á¯á¡áá±ážáá»á¬ážááᯠáá¯ááºáááºážááŸáá·áº á¡ááá¯ááºážá¡ááá¯ááºážáá°á ááŸá áºáá»áá¯ážááœá²ááŒá¬ážáá¬ážáááºá áá±á¬ááºááá¯ááºážááœáẠArenadata áááºááá¯ááºá០á¡ááá²á· áá±á«ááºážáá¯ááºááá°ááá¯ááºáá«áááºá áááºáááá¯ááºááá¯ááºá¡á á¯á¡áá±ážááᯠááœá¶á·ááŒáá¯ážááá¯ážáááºá á±ááŒá®áž ADCM ááá¯á· áá»áááºáááºáááºáááºáž ááŒá áºááá¯ááºáááºá
Hadoop 3 á ááŒáá·áºáá»ááºááŒááºážááŸáá·áº á á®áá¶ááá·áºááœá²ááŒááºážá¡ááœááºá á¡á á¯á¡áá±ážá á¡ááá¯ááºážá¡ááá¯ááºážáá¬ážááŸááºážááᯠADCM ááŸáá·áº ááœá²áááºáááºážááŸááºážáá±á¬áºáááºáž Hadoop 2 á¡ááœááºáᬠááŸááá«áááºá á¡ááŒá¬ážááœá±ážáá»ááºá áá¬á¡ááŒá áºá áááºáá±á·áá»áºáá»á¬ážáá«ááŸááá±á¬ ááá¯ááŸá±á¬ááºáá±áá¬áá»á¬ážá¡ááœááºá áááºážááá¯á·ááᯠá¡áá»á¬ážáá°ááŸá¬ áááºáá±á¬ááºááŒáá·áºááŸá¯ááá¯ááºááẠááœáá·áºáá¬ážáá±á¬ááŒá±á¬áá·áº áááºážááá¯á·ááᯠá¡á á¯á¡áá±ážá á¡á áááºá¡ááá¯ááºážá¡á¬ážáá¯á¶ážá¡ááœáẠáá¯á¶ááŸááºá¡ááá¯ááºáž áá±á«ááºážáá¯ááºáá¯ááºááŒá®áž ááá·áºááœááºážááá¯ááºáááºá áá±áá¯áá»á¡á¬ážááŒáá·áºá ááŒáá·áºááŒá°ážááŸá¯áááºá¡ááœááºá áááºáááºá á¬ážá áá¬áá±á¬ááºážáááºá Cloudera Manager ááŸáá·áº Ambari áá²á·ááá¯á·áá±á¬ ááŒá±ááŸááºážáááºážáá»á¬ážááᯠáá»áá·áºáá¬ážááá±áá°áá»á¬áž ááŸáááŒá®áž ADCM ááá¯ááºááá¯áẠááŒáá¯ááºááŸá áºáááºááá·áºáá°áá»á¬áž ááŸááááºááŸá¬ áá±áá»á¬áá«áááºá á¡áá»áá¯á·á¡ááœááºá áááºážááẠááŒáá·áºááŒá°ážááŸá¯á ááŒá®ážáá¬ážáá±á¬ á¡áá»áá¯ážáá»á±ážáá°ážáááºáž ááŒá áºáááá·áºáááºá ááœááºážáá¯ááºá¡á á¬ážááá¯ážááá¯á·á
á¡á¬ážáááºážáá»ááºáá»á¬ážá¡ááŒá±á¬ááºážááŒá±á¬áá«áá áááºážááá¯á·ááẠá¡ááŒá¬ážáá±á¬ Hadoop ááŒáá·áºááŒá°ážááŸá¯á¡á¬ážáá¯á¶ážááŸáá·áº á¡áá°áá°áááºááŒá áºáááá·áºáááºá ááá¯ááá¯áááºááŸá¬-
- "áá±á¬ááºážáá»áá°áá±á¬á·ááºáá»ááŒááºáž" áá¯áá±á«áºáááºá Cloudera ááŸáá·áº Hortonworks áááá°áá¬áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áá¯áá¹ááá®áá°áá«áááᯠááŒá±á¬ááºážáá²ááẠá¡ááŒá²áááºážá¡áá¹ááá¬ááºááŸáááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á· ááá±á¬áá±á«ááºáá¬ážááŒá®ážááŒá áºáááºá
- Apache á¡áááºááá¯ááºážáá±á¬ááºááœáẠáááááá¬áᬠáá±á¬ááºáá»áá±áá«áááºá
ááá®áᬠHadoop
áááºááááá·áºá¡ááá¯ááºážá Hadoop ááẠmonolithic áá¯ááºáá¯ááºáá
áºáá¯ááá¯ááºáá±á¬áºáááºážá á¡ááŸááºááááºááœááºáááºážáááŒáá·áºáá±áá¬ážáá±á¬ááá¯ááºá
áá
ẠHDFS áááºážáá»ááºááŸááááºáá±á¬ááºááŸá¯áá»á¬ážáááááºáá®áá
áºáá¯áá¯á¶ážááŒá
áºáááºá áá°á¡áááºážáááºááẠááá¯ááºáá
áºáá¯áá¡á
á¯á¡áá±ážáá
áºáá¯á¡ááœáẠáá¯á¶áá±á¬ááºáááºááŒá
áºáááºá á¡áá»áá¯á·á Hiveá á¡ááŒá¬áž Prestoá ááá¯á·áá±á¬áẠHBase ááŸáá·áº Phoenix áá»á¬áž ááá¯á¡ááºáááºá Spark ááᯠááá¯áá¯á¶ážáááºá áá®ážááŸá¯ááºááŒááºážááŸáá·áº áá±áá¬ááœáá·áºááŒááºážá¡ááœáẠOozieá Sqoop ááŸáá·áº Flume ááá¯á·ááᯠáá
áºáá«áá
áºáᶠááœá±á·ááŸáááá¯ááºáááºá áá¯á¶ááŒá¯á¶áá±ážááŒá¿áᬠáá±á«áºáá±á«ááºáá«á Ranger ááŸáá·áº Kerberos ááŸáá·áº ááœá²áááºá áá»ááºááŒááºáž áááááá¬áááºá
Hadoop á¡á áááºá¡ááá¯ááºážáá»á¬ážá Binary áá¬ážááŸááºážáá»á¬ážááᯠtarball áá¯á¶á á¶ááŒáá·áº áá±áá áá áºááá±á¬áá»ááºáá áºáá¯á á®á áááºááá¯ááºááœáẠáááŸáááá¯ááºáá«áááºá áááºážááá¯á·ááᯠáá±á«ááºážáá¯ááºááœá²ááŒá®áž áááºáááºááŒááºážááᯠá áááºááá¯ááºáá±á¬áºáááºáž á¡ááŒá±á¡áá±áá áºáá¯áááºážááŒáá·áº- áááºááŒá¯áá¯ááºááá¯ááá·áº "ááŒááºáž" binaries áá»á¬ážá០áááºáá±á·áá»áºáá»á¬ážááᯠááœááºáááºá áœá¬ á á¯á ááºážááŒááºážá¡ááŒááºá áá áºáá¯á á®ááŸáá·áº áá±á«ááºážáá¯ááºáá¯ááºáá¬ážáá±á¬ áá¬ážááŸááºážáá»á¬ážá á¡á áááºá¡ááá¯ááºážáá»á¬ážá ááá¯ááºáááºááŸá¯á¡áá±á«áº áááºáá¯á¶ááŒááºááŸá¯ááŸááá¬áááºááá¯ááºáá«á áááŒá¬áž áŠážá á¬ážáá±ážááœá±ážáá»ááºááŸá¯ááŸá¬ Apache Bigtop ááᯠá¡áá¯á¶ážááŒá¯á áááºáá±á¬ááºáááºááŒá áºáááºá Bigtop ááẠááá·áºá¡á¬áž Apache maven repositories á០áááºáá±á¬ááºáááºá á ááºážáááºááŸá¯áá»á¬áž áá¯ááºáá±á¬ááºáááºááŸáá·áº áááºáá±á·ááºá»áá»á¬áž áááºáá±á¬ááºááẠááœáá·áºááŒá¯áááºááŒá áºáááºá ááá¯á·áá±á¬áº áá»áœááºá¯ááºááá¯á·á¡ááœáẠá¡ááœááºá¡áá±ážááŒá®ážáááºááŸá¬ Bigtop ááẠáá áºáá¯ááŸáá·áºáá áºáᯠáááá¬áááŒá áºááá·áº á¡á áááºá¡ááá¯ááºážáá»á¬ážá áá¬ážááŸááºážáá»á¬ážááᯠá á¯á ááºážáá±ážáááºááŒá áºáááºá áá®á¡ááŒá±á¬ááºážááᯠá¡á±á¬ááºááŸá¬ á¡áá±ážá ááẠááŒá±á¬ááŒáá«áááºá
Apache Bigtop
Apache Bigtop ááẠá¡áá±á¡ááœááºáá»á¬ážá
áœá¬ááᯠáááºáá±á¬ááºááŒááºážá áá¯ááºááá¯ážááŒááºážááŸáá·áº á
ááºážáááºááŒááºážá¡ááœáẠáááááá¬áá
áºáá¯ááŒá
áºáááºá
Hadoop ááŸáá·áº Greenplum áá²á·ááá¯á·áá±á¬ open source ááá±á¬áá»ááºáá»á¬ážá Bigtop ááŸá¬ á¡áá»á¬ážááŒá®ážááŸááááºá
áá¯ááºáá±ááŸá¯áá»á¬ážá áá±ážáá¬ážáá±á
ááºááœááºá áá±á¬ááºáá¯á¶ážááœááºáááºááŒáááºáá±á¬áá¬ážááŸááºážááŸá¬ 1.4á
áá¬á
áá¬ááœáẠ1.5 ááŸááááºá áá¬ážááŸááºážá¡áá»áá¯ážáá»áá¯ážáá¯ááºááŒá®áž ááá°áá®áá±á¬áá¬ážááŸááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áááºá
á¡á
áááºá¡ááá¯ááºážáá»á¬ážá á¥ááá¬á¡á¬ážááŒáá·áºá 1.4 Hadoop core components áá»á¬ážá¡ááœáẠversion 2.8.5 ááŸáá·áº master ááœááºááŸááááºá
2.10.0. áá¶á·ááá¯ážáá¬ážáá±á¬ á¡á
áááºá¡ááá¯ááºážáá»á¬ážá ááœá²á·á
ááºážááŸá¯áááºáááºáž ááŒá±á¬ááºážáá²áá±áááºá áá
áºáá¯áᯠáá±ááºáá±á¬ááºáá»áá±ááŒá®áž
ááŒááºáááºááœááºážáá¶ááá¯ááºáá±á¬ á¡áá¬ááẠááœááºáá»á±á¬ááºááœá¬ážááŒá®áž áááºážááá±áá¬ááœáẠá¡áá
áºá áááºááá¯á¡á¬áž ááá¯ááá¯áá»á¬ážááŒá¬ážáá¬ááŒá®ážá
Apache áááá¬ážá
á¯ááá¯ááºááá¯ááºá áá
áºáá¯áá¯áá±á¬á· ááá¯ááºáá°ážá
ááá¯á·á¡ááŒáẠBigtop ááœááºáá»á¬ážá áœá¬ááŸááááºá .
Bigtop ááŸáá·áº áááºážááŸá®ážá ááŒá¯áá±á¬á¡áá«á á¡ááŒá¬áž Apache ááá±á¬áá»ááºáá»á¬ážá áá»á¶á·ááŸá¶á·ááŸá¯ááŸáá·áº áá°ááŒáá¯ááºáá»á¬ážááŸá¯á¡ááŒáẠá¡ááœááºáá±ážáááºáá±á¬ á¡ááá¯ááºážá¡ááá¯ááºážááŸáá·áº ááŸáá¯ááºážááŸááºáá«á áááºážá áá»áá¯ážááœá¶ááŸá¯ááŒá±á¬áá·áº ááááá¯á¶áž á¡á¶á·á©áááá«áááºá áá¯ááºáá¯ááºáá±á«áºááœáẠá¡áááºážáááºáá»áŸáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááŸáááŒá±á¬ááºážá ááá¯áááºáá»á¬ážááŸáá·áº á á¬ááá¯ááºá á¬áááºážáá»á¬ážááœáẠáá±á«áºáá±á«ááºáá²á·áá±á¬ ááŒá¿áá¬áá»á¬ážá¡ááœáẠááŒá±ááŸááºážáá»ááºáá»á¬ážááᯠááŸá¬ááœá±ááŒááºážááẠáááºááá·áºá¡áá¬á០ááááºááœááºáá±á«áºáááºááá¯ááºáá±á á¡á ááá¯ááºážááœááºá áááºážááẠáá°ážááºááá¯ááºááá¯ááºáá¡ááºá¹áá«áááºáá»á¬ážááŒá±á¬áá·áº ááŒáá·áºáá»á®ááŒááºážá á¡á á¯á¡áá±ážááᯠá¡ááŒá®ážáááºááẠáá»áœááºá¯ááºááá¯á·á¡ááœáẠáááºáá²áá±á¬á¡áá¯ááºááŒá áºáá¬áá±á¬áºáááºáž á€á¡ááŒá±á¬ááºážááᯠáá±á¬ááºá¡áááºážáááºááŒá¬á០ááŒá±á¬ááŒáá«áááºá
Teaser á¡áá±ááŒáá·áº Gentoo ááŸáá·áº LFS ááá¯á·áá²á·ááá¯á· Linux á ááŒáá á¬á ááá±á¬áá»ááºáá»á¬ážááᯠáá áºáá»áááºá á áááºáááºá á¬ážáá²á·ááŒáá°áá»á¬ážááẠá€á¡áá¬ááŸáá·áº ááœá²áá¯ááºááááºááŸá¬ ááœááºážááœááºááœááºáá±á¬ááºážááŒá®áž áá»áœááºá¯ááºááá¯á·ááá¯ááºááá¯áẠááŸá¬ááœá±áá±áá»ááẠ(ááá¯á·ááá¯ááºááẠá á¬áá±ážáá±á á¥áºá¡áá»áááºáá»á¬áž) ááᯠáááááááá±áááºá áá¬áá±ážááŸá¯á¡áá áºáá»á¬ážááŒáá·áº Mozilla ááᯠáááºáá±á¬ááºááŒá®áž áá¯á¶ááŸááºááŒááºáááºáááºáá±á¬ááºáááºá
Bigtop á ááŒá®ážáá¬ážáá±á¬á¡á¬ážáá¬áá»ááºááŸá¬ áááºážááá¯á¡ááŒá±áá¶áá¬ážááá·áºáááááá¬áá»á¬ážá ááœáá·áºáááºážááŸá¯ááŸáá·áº áááºá
á¯á¶á¡áá¯á¶ážááŒá¯ááá¯ááºááŸá¯ááŒá
áºáááºá áááºážááẠGradle ááŸáá·áº Apache Maven ááᯠá¡ááŒá±áá¶áá¬ážáááºá Gradle ááᯠGoogle á Android áááºáá±á¬ááºááẠá¡áá¯á¶ážááŒá¯ááá·áº tool áá¯áá±á«áºááẠá áááºážááẠááá¯ááºáá»á±á¬áá®ááœá±ááŸáááŒá®áž áááºážááá¯á·ááŒá±á¬ááá·áºá¡ááá¯ááºáž "ááá¯ááºááœá²-á
ááºážáááºááŒááºáž" ááŒá
áºáááºá Maven ááẠApache ááá¯ááºááá¯ááºáááºáá±á¬ááºááŒááºážá¡ááœáẠá
á¶áá°áááááá¬áá
áºáá¯ááŒá
áºááŒá®áž áááºážááá¯ááºáá¯ááºá¡áá»á¬ážá
á¯ááᯠMaven ááŸáááá·áº áá¯ááºááœáŸááºáá±ážáá±á¬ááŒá±á¬áá·áºá áááºážááᯠá€áá±áá¬ááœááºááẠááá¯ááºáá±á¬ááºááá¯ááºáá«á á¡áá¯ááºá¡á¬ážáá¯á¶ážáááºáá±á¬ááºáá¬ážááá·áº Maven ááẠááá·áºááá±á¬áá»ááºá¡ááœáẠááá¯á¡ááºááá»áŸá¡áá¬á¡á¬ážáá¯á¶ážááᯠáá±á¬áºááŒááá·áº POM (ááá±á¬áá»ááºá¡áá¬ááá¹áá¯áá¯á¶á
á¶) ááᯠá¡á¬áá¯á¶á
áá¯ááºááá·áºáááºá á¡ááá¡áá»ááŸá¬
Maven á á¡á
áááºá¡ááá¯ááºážáá»á¬áž ááŸáá·áº Bigtop á¡áá¯á¶ážááŒá¯áá°áá»á¬áž ááŒá¯á¶ááœá±á·ááá±á·ááŸááá±á¬ á¡áá¬ážá¡áá®áž á¡áá»áá¯á·ááŸááá«áááºá
á¡áá±á·á¡áá»áá·áº
áá«ááᯠáááºááŸá¬á áááá²á áá±á«ááºážáá¯ááºá á¬áá»ááºááŸá¬ááá¯á·ááœá¬ážááŒá®áž áá±á¬ááºáá¯á¶ážááœááºáááºááŒáááºáá±á¬áá¬ážááŸááºážááᯠááŸááºáááºážá¡ááŒá Ạáá±á«ááºážáá¯ááºáá¯ááºáá«á Bigtop ááŸá á¯áá±á¬ááºážáá¬ážáá±á¬ binary artifacts áá»á¬ážááá¯áááºáž ááá¯áá±áá¬ááœáẠááœá±á·ááá¯ááºáááºá á áá¬ážáá ááºá áá¯á¶áááºáá±á·áá»áºáááºáá±áá»á¬áá»á¬ážááŒá¬ážááœáẠYUM ááŸáá·áº APT ááᯠáá¶á·ááá¯ážáá¬ážáááºá
ááááºážá¡á¬ážááŒáá·áº áááºááẠáá±á¬ááºáá¯á¶ážááœááºáááºááŒáááºáá±á¬ ááœááºááŸáááŸá¯ááᯠááá¯ááºááá¯ááºáá±á«ááºážáá¯ááºáá¯ááºááá¯ááºáááºá
github-
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitâbigtopâ ááœáẠáá¯á¶áá°ááœá¬ážááŒááºáž...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ÐПлÑÑеМОе ПбÑекÑПв: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, гПÑПвП.
ÐпÑеЎелеМОе ОзЌеМеМОй: 100% (20503/20503), гПÑПвП.
Updating files: 100% (1998/1998), гПÑПвП.áááẠ./bigtop directory ááẠá€áá²á·ááá¯á· ááŒá áºáááº-
./bigtop-bigpetstore â ááá¯ááºááŒá¡ááºááºáá»á¬ážá áá±á«ááºážá
ááºá¥ááá¬áá»á¬áž
./bigtop-ci - CI áááááá¬áá»á¬ážá áá»áááºážáááºáá»á¬áž
./bigtop-data-generators - áá±áá¬áá¯ááºáá¯ááºááŒááºážá áá¬áá¯áá±áááá¯ááºáá¬á áá®ážááá¯ážá
ááºážáááºááŸá¯áá»á¬ážá¡ááœáẠá
áááºááá¯á·á
./bigtop-deploy - ááŒáá·áºáá»ááºáá±ážáááááá¬áá»á¬áž
./bigtop-packages â configsá scriptsá assembly á¡ááœáẠááŒááºáááºááŸá¯áá»á¬ážá tool á á¡ááá á¡á
áááºá¡ááá¯ááºáž
./bigtop-test-framework - á
ááºážáááºááŸá¯áá°áá±á¬ááº
./bigtop-tests - áá°ááá¯á·ááá¯ááºáá°ááá¯á·á
ááºážáááºááŸá¯áá»á¬ážá áááºááŸáá·áºáá®ážááá¯áž
./bigtop_toolchain - á
á¯áá±ážááŸá¯á¡ááœááºáááºáááºážáá»ááºá áááááá¬á¡áá¯ááºáá¯ááºáááºáááºáááºážáá»ááºááá¯ááŒááºáááºááŒááºážá
./build - á¡áá¯ááºáááºážááœáŸááºááá¯áááºáá±á¬ááºáá«á
./dl - áá±á«ááºážáá¯ááºáá¯ááºáá¬ážáá±á¬áááºážááŒá
áºáá»á¬ážá¡ááœááºáááºážááœáŸááº
./docker - docker áá¯á¶áá»á¬ážááœááºáááºáá±á¬ááºááŒááºážá á
ááºážáááºááŒááºážá
./gradle - á¡ááá·áºáááºááŸááºáá»ááº
./output - ááŸá±ážáá±á¬ááºážáá
á¹á
ááºážáá»á¬áž áááºáá±á¬ááºááá·áºáá±áᬠáááºážááœáŸááº
./provisioner - á
á®áá¶áá±á¬ááºááœááºáá±ážááŒááºážá
á€á¡ááá·áºááœáẠáá»áœááºá¯ááºááá¯á·á¡ááœáẠá
áááºáááºá
á¬ážá
áá¬á¡áá±á¬ááºážáá¯á¶ážááŸá¬ á¡ááá config ááŒá
áºáááºá ./bigtop/bigtop.bomáá¬ážááŸááºážáá»á¬ážááŒáá·áº áá¶á·ááá¯ážáá±ážáá¬ážáá±á¬ á¡á
áááºá¡ááá¯ááºážáá»á¬ážá¡á¬ážáá¯á¶ážááᯠáá»áœááºá¯ááºááá¯á· ááŒááºááá¯ááºáááºá á€áá±áá¬ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá¯ááºá ááá°áá®áá±á¬áá¬ážááŸááºážááᯠáááºááŸááºááá¯ááºááẠ(áá»áœááºá¯ááºááá¯á· áá¯ááºáááẠáááºážááᯠáááºáá±á¬ááºááẠááŒáá¯ážá
á¬ážááá¯áá«á) ááá¯á·ááá¯áẠáááºáá±á¬ááºááŸá¯áá¬ážááŸááºáž (á¥ááá¬á áá»áœááºá¯ááºááá¯á·ááẠáááá¬áááºááŸá¬ážáá±á¬ áá¬áá±ážááŸá¯áá
áºáá¯ááᯠááá·áºáá¬ážáááº)á
subdirectory ááẠá¡ááœááºá
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážáá«áááºá ./bigtop/bigtop-packagesáááºážááá¯á·ááŸáá·áºá¡áá° á¡á
áááºá¡ááá¯ááºážáá»á¬ážááŸáá·áº áááºáá±á·ááºá»áá»á¬áž áááºáááºááŒááºáž áá¯ááºáááºážá
ááºááŸáá·áº ááá¯ááºááá¯ááºáááºááá¯ááºáááºá
ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáá±á¬áºááœááºážááá¯áá±á«ááºážáá¯ááºáá¯ááºáᬠáááºážááá¯áá¯ááºááá¯ážááŒá®áž ááá¯á·ááá¯áẠgithub á០clone áá áºáá¯ááŒá¯áá¯ááºá á áááºáááºáá±á¬ááºááá¯ááºáá«ááá¬ážá
ááá¯ááºáá°ážá áááºáááºážáá»ááºááᯠá¡áááºááŒááºáá¡á±á¬ááºá
áááºáááºážáá»ááºááŒááºáááºááŒááºážá
ááŒá®ážáá±á¬á· áá®ááŸá¬ áá±ážáááºáá²á· áá¯ááºááœá¬ááŸá¯ááá¯áááºá ááá¯áá»á¬ážáá±á¬ ááá¯á·ááá¯áẠáááºážáá«ážáá±á¬ ááŸá¯ááºááœá±ážááá·áº áá¯ááºáá¯ááºáá áºáá¯áá®ážáá«ážááᯠáááºáá±á¬ááºáááºá á¡áá»áá¯á·áá±á¬ áááºáááºážáá»ááºáá áºáᯠááá¯á¡ááºááẠ- áá»áœááºá¯ááºááá¯á·á á¡ááŒá±á¡áá±ááœááºá á€áááºááŸá¬ JDKá áá°áá®áá±á¬ áá»áŸáá±áá¬ážááá·áº áá áºáá»á áºááá¯ááºáá»á¬ážá áá±á«ááºážá á®ážááá¯ááºáá»á¬áž á áááºááŒáá·áºá áá°ážááºáá»á¬ážá á¥ááá¬á áá¯ááœááºááááºá ivy2 ááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážá áœá¬ááŸááááºá Bigtop á¡ááœáẠáááºááá¯á¡ááºáá±á¬ áááºáááºážáá»ááºááᯠáááŸáááẠááœá±ážáá»ááºá áá¬áá»á¬ážáá²á០áá áºáá¯ááẠbuild host ááœáẠááá¯á¡ááºáá±á¬ á¡á áááºá¡ááá¯ááºážáá»á¬ážááᯠááá·áºááœááºážáááºááŒá áºáááºá áá»áœááºá¯ááºááẠá¡áá»áááºááá¬ážááœáẠááŸá¬ážááá¯ááºáááºá ááá¯á·áá±á¬áº áá¬ážááŸááºáž 1.0 ááœáẠááŒáá¯áááºááŒááºáááºáá¬ážáá±á¬ááŸáá·áº á¡áá¯á¶ážááŒá¯ááá¯ááºáá±á¬ Docker áá¯á¶áá»á¬ážááᯠá€áá±áá¬ááœááºááœá±á·ááá¯ááºáááºá áááºážááœáẠáá¬ážááŸááºáž XNUMX ááœáẠáááºáá±á¬ááºááẠááœá±ážáá»ááºááœáá·áºáááºáž ááŸááá¯á¶ááááºá
áááºáááºážáá»ááºááᯠááŒááºáááºáá¬ááœáẠá€áá¯ááºáá±ážá¡ááœáẠáááºáá±á¬ááºáá áºáŠážááŸááááºá
áááºááẠá¡á±á¬ááºáá« command áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á root directory á០run ááá¯ááºáááºá
áááááá¬á ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
ááá¯á·ááá¯áẠáá¯ááºáá±ážááŸáááá·áº ááá¯ááºááá¯ááº
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"áá¶ááá±á¬ááºážá áœá¬áá²á áá®á¡ááá·áºááŸá¬ á¡áááºá¡áá²ááœá± ááŸááá¬ááá¯ááºáá«áááºá á€áá±áá¬ááœáẠáá±áá°áá»á¡ááŒá¶ááŒá¯áá»ááºááŸá¬ áá¶á·ááá¯ážáá¬ážáá±á¬ ááŒáá·áºááŒá°ážááŸá¯ááᯠá¡áá¯á¶ážááŒá¯áááºá áááºáá±á¬ááºááŸá¯áááºáá¶ááá·áº áá±á¬ááºáá¯á¶ážáá ááá¯á·ááá¯áẠdocker áááºážááŒá±á¬ááºážááᯠá ááºážáá¯á¶ážáááºááŒá áºáááºá
á¡á ááºážá¡áá±áž
áá»áœááºá¯ááºááá¯á· áá¬ááᯠá á¯áá±á¬ááºážááá¯á· ááŒáá¯ážá á¬ážááá¯ááºááá²á áá®áá±ážááœááºážá¡ááœáẠá¡ááŒá±ááᯠcommand áá²á· output ááá±ážáá«áááá·áºáááºá
./gradlew tasks
Package tasks á¡ááá¯ááºážááœáẠBigtop á áá±á¬ááºáá¯á¶ážáááºáá¬áá»á¬ážááŒá
áºáá±á¬ áá¯ááºáá¯ááºáá»á¬ážá
áœá¬ááŸááááºá
áááºážááá¯á·ááᯠáá±á¬ááºáááºááœá² -rpm ááá¯á·ááá¯áẠ-pkg-ind ááŒáá·áº ááœá²ááŒá¬ážáááºááŸááºááá¯ááºááẠ(á¡áá±á¬ááºá¡á¡á¯á¶á¡ááœááºá
docker ááœááº)á áá»áœááºá¯ááºááá¯á·áááá
á¹á
ááœááºá á
áááºáááºá
á¬ážá
áá¬á¡áá±á¬ááºážáá¯á¶ážááŸá¬ Hadoop ááŒá
áºáááºá
áá»áœááºá¯ááºááá¯á·ááááºáá±á¬ááºááŸá¯áá¬áá¬ááááºáááºážáá»ááºááœááºáááºáá±á¬ááºáááºááŒáá¯ážá á¬ážááŒáá«á áá¯á·á
./gradlew hadoop-rpmBigtop ááá¯ááºááá¯ááºá áááºááŸááºáá¬ážáá±á¬ á¡á áááºá¡ááá¯ááºážáá áºáá¯á¡ááœáẠááá¯á¡ááºáá±á¬ á¡áááºážá¡ááŒá áºáá»á¬ážááᯠáá±á«ááºážáá¯ááºáá¯ááºááŒá®áž á áááºá á¯áá¯á¶ážáá«áááºá ááá¯á·ááŒá±á¬áá·áºá tool ááá¯ááºáá±á¬ááºáá»ááºááẠMaven repositories ááŸáá·áº á¡ááŒá¬ážáá±á¬á¡áááºážá¡ááŒá áºáá»á¬ážáá±á«áºááœááºáá°áááºáááºá ááá¯ááá¯áááºááŸá¬á áááºážáááºá¡ááºáá¬áááºá¡áá¯á¶ážááŒá¯ááœáá·áºááá¯á¡ááºáááºá
áááºáááºáá±á
ááºá¡ááœááºážá á
á¶á¡ááœááºááá¯áá¯ááºáá±ážáááºá áá
áºáá«áá
áºáᶠáááºážááŸáá·áº ááŸá¬ážááœááºážáá±á¬ áááºáá±á·áá»áºáá»á¬ážááẠááŸá¬ážááœááºážááœá¬ážáááºááᯠáá¬ážáááºááẠáá°áá®áá±ážááá¯ááºáááºá ááá«ááá¶ááŸá¬ á¡ááá¯á¡áá»ááºá¡áááºááœá± áááá¯á·ááá¯áááºá á€ááá
á¹á
ááœááºá ááŒááºážáá¯á¶ááŸá¯áá»á¬ážáá±á«ááºážááá·áºááá»áá¯ážáááºáááºá --info ááá¯á·ááá¯áẠ--debugááŸáá·áºáááºáž á¡áá¯á¶ážáááºááá¯ááºáá«áááºá âstacktrace. áá±á¬ááºáááºááœá²á
á¬ááá¯á·á
á¬áááºážáá»á¬ážááá¯á·áááºáá±á¬ááºááœáá·áºá¡ááœáẠáá±áá¬á¡á
á¯á¶ááᯠáá¯ááºáá¯ááºááẠá¡áááºááŒá±áá±á¬áááºážáááºážáá
áºáá¯ááŸááá«áááºá --scan.
áááºážáá¡áá°á¡áá®ááŒáá·áº bigtop ááẠá¡áá»ááºá¡áááºá¡á¬ážáá¯á¶ážááᯠá
á¯áá±á¬ááºážááŒá®áž á¡ááá·áºááá¯ááºááá·áºááœááºážáááºááŒá
áºááŒá®ážá ááá¯á·áá±á¬ááºááœáẠáááºážááẠááá·áºááºáá
áºáá¯áá±ážáááºááŒá
áºáááºá
áááºážááᯠááá¯ááºáá¬ááŒááºážááŒáá·áº á¡áááºá¡áá»ááºážááŸááá°áá
áºáŠážááẠá¡áááºááŒá±á¬áá·áº á
ááºážáá±ážááœá²áá»ááºááœááºáááºááᯠáá¬ážáááºááá¯ááºáááºááŒá
áºáááºá
á¡áá¯á¶ážááŒá¯áá°á¡áááºáá»á¬ážá nodeáá»á¬ážá áááºáááºážáá»ááºááŒá±á¬ááºážááœá²ááŸá¯áá»á¬áž á¡á
ááŸááááºááá¯á·áá²á·ááá¯á· áááºáááá¯áá¬ážá¡ááºáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠá€ááœá±ážáá»ááºááŸá¯á០áá±á¬áºáá¯ááºááá¯ááºáááºááᯠáá»á±ážáá°ážááŒá¯á ááááá¬ážáá«á
áááŒá¬ááááá¯áááᯠá¡ááŸá¬ážá¡ááœááºážáá»á¬ážááẠáááºáááºááŸá¯á¡ááœáẠááá¯á¡ááºáá±á¬ á¡á
áááºá¡ááá¯ááºážáá»á¬ážááᯠááááŸáááá¯ááºááŒááºážá á¡áá»áá¯ážáááºááŒá
áºáááºá áá¯á¶ááŸááºá¡á¬ážááŒáá·áºá á¡áááºážá¡ááŒá
áºáá»á¬ážááœáẠáá
áºáá¯áá¯ááᯠááŒá¯ááŒááºááẠpatch áá
áºáá¯ááᯠáááºáá®ážááŒááºážááŒáá·áºá á¥ááá¬á á¡áááºážá¡ááŒá
áºáá»á¬ážá á¡ááŒá
áºáááºážááœáŸááºááŸá pom.xml ááœáẠááááºá
á¬áá»á¬ážááᯠááŒá¯ááŒááºááá¯ááºáááºá áááºážááᯠáááºáá®ážááŒá®áž ááá·áºáá»á±á¬áºáá±á¬ áááºážááœáŸááºááœáẠááá·áºááŒááºážááŒáá·áº áá¯ááºáá±á¬ááºáááºá ./bigtop/bigtop-packages/src/common/oozie/ patchá á¥ááá¬á áá¯á¶á
ᶠpatch2-fix.diffá
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
ááŒá áºááá¯ááºáá»á±áá»á¬ážáá±á¬á¡á¬ážááŒáá·áºá á€áá±á¬ááºážáá«ážááá¯áááºááá·áºá¡áá»áááºááœááºá áááºááẠá¡áááºáá±á¬áºááŒáá«áá»á¬ážááᯠáááºááá¯ááºááá¯ááºááŒááºáááºáááºáááá¯á¡ááºáá«á
áááºáááºááŸá¯ááá¹ááá¬ážááá¯á· áá¬áá±ážááŸá¯áá»á¬ážááŸáá·áº ááŒá±á¬ááºážáá²ááŸá¯áá»á¬ážááᯠááááºáááºááá·áºá¡áá«á ááŸááºážáááºážáá±ážá¡áááá·áºááᯠá¡áá¯á¶ážááŒá¯á á ááºážáá±ážááœá²ááᯠ"ááŒááºáááºáááºááŸááºáááº" ááá¯á¡ááºááá¯ááºáááº-
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedá€áá¯ááºáá±á¬ááºáá»ááºááẠá€á¡á áááºá¡ááá¯ááºážáá ááºážáá±ážááœá²ááá¯á· ááŒá±á¬ááºážáá²ááŸá¯áá»á¬ážá¡á¬ážáá¯á¶ážááᯠááŒááºáááºáá¯ááºááááºážáááºááŒá áºááŒá®ážá ááá¯á·áá±á¬ááºááœáẠá ááºážáá±ážááœá²ááᯠáááºáá¶áá¯ááºáá±á¬ááºáááºááŒá áºáááºá á€áá áºááŒáááºááœáẠdocker áá¯á¶ááŒáá·áº ááá±á¬áá»ááºááᯠáááºáá±á¬ááºááẠááŒáá¯ážá á¬ážáá«áááºá
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ЌМПгП вÑвПЎа
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedáááºáá±á¬ááºááŸá¯ááᯠCentOS á¡á±á¬ááºááœáẠáá¯ááºáá±á¬ááºáá²á·áá±á¬áºáááºáž Ubuntu á¡á±á¬ááºááœááºáááºáž áá¯ááºáá±á¬ááºááá¯ááºáááº-
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indá¡áá»áá¯ážáá»áá¯ážáá±á¬ Linux ááŒáá·áºááŒá°ážááŸá¯áá»á¬ážá¡ááœáẠáááºáá±á·áá»áºáá»á¬ážáááºáá±á¬ááºááŒááºážá¡ááŒááºá áááááá¬ááẠá á¯á ááºážáá¬ážáá±á¬ áááºáá±á·áá»áºáá»á¬ážááŒáá·áº ááá¯ááŸá±á¬ááºáááºážáá áºáá¯ááᯠáááºáá®ážááá¯ááºáááºá á¥ááá¬-
./gradlew yumDocker ááœáẠáá®ážááá¯ážá ááºážáááºááŸá¯áá»á¬ážááŸáá·áº á¡áá¯á¶ážáá»ááŒááºážá¡ááŒá±á¬ááºážááá¯áááºáž ááŸááºááááá¯ááºáááºá
node áá¯á¶ážáá¯á á¡á á¯á¡áá±ážáá áºáá¯ááᯠáááºáá®ážáá«-
./gradlew -Pnum_instances=3 docker-provisionernode áá¯á¶ážáá¯ááŸááá±á¬ á¡á á¯á¡áá±ážááœáẠáá®ážááá¯ážá á áºáá±ážááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºáááº-
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerá¡á á¯á¡áá±ážáá áºáá¯ááᯠáá»ááºáááº-
./gradlew docker-provisioner-destroydocker ááœááºááááºáá¬áá»á¬ážá¡ááœááºáž áá»áááºáááºáááºá¡ááœáẠááœáŸááºááŒá¬ážáá»ááºáá»á¬ážááᯠááá°áá«á
./gradlew docker-provisioner-sshá¡ááŒá±á¡áá±ááá¯ááŒáá«-
./gradlew docker-provisioner-statusá á¬ááœááºá á¬áááºážáá»á¬ážááœáẠááŒáá·áºáá»ááºáá¯ááºáá±á¬ááºá áá¬áá»á¬ážá¡ááŒá±á¬ááºáž ááá¯ááá¯áááºááŸá¯ááá¯ááºáá«áááºá
á ááºážáááºááŸá¯ááœá±á¡ááŒá±á¬ááºážááŒá±á¬áááºá á¡áááá¡á¬ážááŒáá·áº áá®ážááá¯ážáá²á· áá±á«ááºážá ááºážááŸá¯ á¡áá»á¬ážá¡ááŒá¬ážááŸááá«áááºá áááºážááá¯á·á ááœá²ááŒááºážá áááºááŒá¬áá»ááºááẠá€áá±á¬ááºážáá«ážá áááºáááºááẠáá»á±á¬áºááœááºáá«áááºá ááŒáá·áºáá»á®áá±ážáááááá¬ááᯠáááºáááºááŒááºážááẠááááá áºáá»ááºááœáẠáááºáááá²á·ááá¯á· áááºáá²áá±á¬á¡áá¯ááºááá¯ááºááŒá±á¬ááºáž ááŒá±á¬áá«áá á±á áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·ááá¯ááºáá¯ááºáá±ážááœáẠá¡áá¯á¶ážááŒá¯ááá·áºá¡á áááºá¡ááá¯ááºážá¡á¬ážáá¯á¶ážááᯠá á¯á ááºážááŒá®áž á ááºážáááºááŸá¯áá»á¬ážááŒá¯áá¯ááºááá¯ááºáá²á·ááŒá®áž áááºážááá¯á·ááᯠá¡áá¯á¶ážáá»ááŒááºážááŸáá·áº á ááºážáááºáááºáááºážáá»ááºááœáẠá¡ááŒá±áá¶áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºáá¬ááœááºáááºáž ááŒá¿áá¬áááŸááá«á
Bigtop ááœáẠááŸáááŒá®ážáá¬áž á¡á áááºá¡ááá¯ááºážáá»á¬ážá¡ááŒááºá ááá·áºááá¯ááºááá¯ááºáá±á¬á·ááºáá²áẠááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááœááºááẠá¡ááŒá¬ážáááºááá·áºá¡áá¬ááá¯áááᯠááá·áºááœááºážááá¯ááºáááºá á€á¡áá¬á¡á¬ážáá¯á¶ážááẠáá¯á¶ážáá¡ááá¯á¡áá»á±á¬ááºááŒá áºááŒá®áž CI/CD á¡áá°á¡áááŸáá·áº ááá¯ááºáá®áá«áááºá
áá±á¬ááºáá»ááº
áááºááŸá¬ážáááºááŸá¬ á€áááºážááŒáá·áº á á¯á ááºážáá¬ážáá±á¬ ááŒáá·áºááŒá°ážááŸá¯ááᯠáá¯ááºáá¯ááºáá±ážááá¯á· áá»ááºáá»ááºáž áááá¯á·ááá·áºáá«á ááá·áºááŒáá·áºááŒá°ážááŸá¯ááᯠáááºáá±á¬ááºáááºááŸáá·áº áá¶á·ááá¯ážááẠá¡ááŸááºáááẠááá¯á¡ááºáá«áá áááºážááœáẠááœá±ááŸáá·áº á¡áá»áááºááᯠáááºážááŸá®ážááŒáŸá¯ááºááŸá¶ááẠááá¯á¡ááºááŒá±á¬ááºáž áááºáá¬ážáááºááẠááá¯á¡ááºáá«áááºá
ááá¯á·áá±á¬áºá ááŸááºáááºáá±á¬áá»ááºážáááºááŸá¯ááŸáá·áº ááá±á¬áºáááºááŸááºáááºá¡ááœá²á·áá áºááœá²á·ááŸáá·áº áá±á«ááºážá ááºáᬠá á®ážááœá¬ážááŒá áºááŒá±ááŸááºážáá»ááºááá«áá² áá¯ááºáá±á¬ááºáááºá¡áá±á¬áºáá±áž ááŒá áºááá¯ááºáááºá
Bigtop ááá±á¬áá»ááºááá¯ááºááá¯ááºá ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ ááá¯á¡ááºáá±ááŒá®áž ááá±á·áá±ááºááœáẠáááºááŒáœá
áœá¬ áá®ááœááºáá±áá¯á¶ááá±á«áºááŒá±á¬ááºáž áááááŒá¯ááẠá¡áá±ážááŒá®ážáá«áááºá Hadoop 3 ááœáẠááœááºáá±á«áºáá¬ááá·áº á¡áá¬ážá¡áá¬ááá¯áááºáž áááááá±ážáá±á á
áá¬ážáá
ááºá ááá·áºááœáẠHadoop 3 ááᯠá¡ááŸááºáááẠáááºáá±á¬ááºááẠááá¯á¡ááºáá«áá áááºááẠááŒáá·áºááŸá¯ááá¯ááºáááºá Arenadata ááŸá á
á¶á¡ááŒááº
áá±á¬ááºááẠá¡á
áááºá¡ááá¯ááºážáá»á¬ážá
áœá¬ (Rangerá Knoxá NiFi) ááŸááá«áááºá
Rostelecom á¡ááœááºá áá»áœááºá¯ááºááá¯á·á¡ááœáẠBigtop ááẠááá±á·á ááºážá á¬ážáá±ááá·áº ááœá±ážáá»ááºá áá¬áá»á¬ážáá²á០áá áºáá¯ááŒá áºáááºá áá«ááá¯á·ááœá±ážáááºááŒá áºá á± áááœá±ážáá»ááºáááºááŒá áºá á± á¡áá»áááºáááŒá±á¬áá«áááá·áºáááºá
áá±á¬áá»ááá»ááŸá²
á ááºážáá±ážááœá²á¡ááœááºáž á¡á áááºá¡ááá¯ááºážá¡áá áºáá áºáᯠááá·áºááœááºážáááºá áááºážááá±á¬áºááŒáá»ááºááᯠbigtop.bom ááŸáá·áº ./bigtop-packages áá»á¬ážááá¯á· áááºááá·áºáááºááá¯á¡ááºáááºá ááŸáááŒá®ážáá¬áž á¡á áááºá¡ááá¯ááºážáá»á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºááŒááºážááŒáá·áº áááºážááᯠáááºááŒáá¯ážá á¬ážááá¯ááºáááºá á¡á²áá«ááᯠáá¯á¶áá±á¬áºááŒáá·áºáá«á ááááá áºáá»ááºá áááºááá±á¬áẠááááºáá²áá«áá°ážá
áááºáááºááá¯áááºáá«áá²? ááá·áºáááºááŒááºáá»ááºááᯠááŸááºáá»ááºáá»á¬ážááœáẠááŒááºááœá±á·áááá·áºá¡ááœáẠáááºážááŒá±á¬ááºáááºážáá¬ááŒá áºááŒá®áž áááºáá¡á¬áá¯á¶á áá¯ááºááŸá¯á¡ááœáẠáá»á±ážáá°ážáááºáá«áááºá
áá±á¬ááºážáá«ážááᯠRostelecom áá±áá¬á
á®áá¶ááá·áºááœá²ááŸá¯á¡ááœá²á·á០ááŒááºáááºáá¬ážáá«áááºá
source: www.habr.com