ááŒáá·áºáá±áá¬ážáá±á¬ ááœááºáá»á°áá¬ááŸáá·áº áá±áá¬ááŒá®ážáá»á¬ážá¡ááœáẠáá±ážááœááºááŸáááŒá±á¬ááºáž ááááááºá áá áºááŸá áºáá»áŸáẠ18-19% ááá¯ážáááºáá¬áááºá ááá¯ááá¯áááºááŸá¬ á€áááºááœááºáá»ááºáá»á¬ážá¡ááœáẠáá±á¬á·ááºáá²ááºááœá±ážáá»ááºááŒááºážááŒá¿áá¬ááẠáááºááœááºáá±áá±ážáááºáᯠááá¯ááá¯áááºá á€ááá¯á·á áºááœááºá áá»áœááºá¯ááºááá¯á·ááẠá¡áááºááŒá±á¬áá·áº ááŒáá·áºáá±áá¬ážáá±á¬ ááœááºááŒá°áá¬ááá¯á¡ááºááááºážá áá±á¬á·ááºáá²ááœá±ážáá»ááºááŒááºážá¡ááŒá±á¬ááºáž á¡áá±ážá áááºáá±á·áá¬áá«á Cloudera ááá¯á¡áá¯á¶ážááŒá¯á Hadoop á¡áá¯á¶ážááŒá¯ááŒááºážá¡ááŒá±á¬ááºáž ááœá±ážááœá±ážáá¬á áá±á¬ááºáá¯á¶ážááœáẠáá¬á·ááºáá²ááœá±ážáá»ááºááŒááºážááŸáá·áº á áœááºážáá±á¬ááºáááºá¡áá±á«áº á¡áá»áá¯ážáááºáá±á¬ááºáá¯á¶ááá¯á·ááᯠáááºážáááºážá¡áá»áá¯ážáá»áá¯ážááŒáá·áº ááœá±ážááœá±ážáá«áááºá
áá¯á¶ááŸááºáá¯ááºáááºážááœáẠááŒáá·áºáá±áá¬ážáá±á¬ ááœááºáá»á°áá¬ááᯠá¡áááºááŒá±á¬áá·áº ááá¯á¡ááºááááºážá á€áá±áá¬ááœáẠá¡áá¬á¡á¬ážáá¯á¶ážááẠááá¯ážááŸááºážááŒá®áž ááŸá¯ááºááœá±ážáá±áá«áááºá ááá¯ážááŸááºážááẠ- á¡ááŒá±á¬ááºážááŸá¬ ááá
á¹á
á¡áá»á¬ážá
á¯ááœáẠáá»áœááºá¯ááºááá¯á·ááẠá¡áá»ááºá¡áááºáá
áºáá°áá
áºá¡ááœáẠá¡áá±á¬áºáá±ážááá¯ážááŸááºážáá±á¬ ááœááºáá»ááºááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºáá±á¬ááŒá±á¬áá·áºááŒá
áºáááºá á¡á²áá®ááᯠá¡áá»ááºá¡áááºááœá± á¡áá»á¬ážááŒá®ážááŸáááá¯á· áááºáááºá á¡áá»á¬ážááŒá®ážá á¡áá»áá¯ážáááºá¡áá±ááŒáá·áº ááá¯á¡ááºáá«áááºá . ááá¯á·ááŒá±á¬áá·áºá á¡áá¯á¶ážááŒá¯ááŸá¯ááá
á¹á
áá»á¬ážááẠá¡ááœááºáá»ááºááŒáá·áºáááº- ááœááºáá»ááºááŸá¯áá»á¬ážááᯠááá¯áááŒá®ážáá¬ážáá±á¬ áááºážáá»ááºážáá
áºáá¯áá±á«áºááŸá áááºááá
áºá¡ááŒá±á¬ááºá¡áá»á¬ážááᯠááá·áºááœááºážá
ááºážá
á¬ážááẠááá¯á¡ááºááá·áºáá±áá¬ááá¯ááºážááœáẠááœááºáá»ááºááŸá¯áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá¯ááºáááºá
áááŒá¬áá±ážáá®á á¥ááá¬áá»á¬ážáá²á០áá áºáá¯- áá®áá¬ááá¯ááºááœá² Dodo Pizza áá±á¬ááºáááºá¡ááŸá¬á á¬áá±áá¬áá±á·á áºá ááœá²ááŒááºážá áááºááŒá¬ááŸá¯á¡áá±á«áº á¡ááŒá±áá¶á áá»áááºáž topping áá«áá±á¬ áá®áá¬ááᯠááœá±ážáá»ááºááá·áºá¡áá« áá¯á¶ážá áœá²áá°áá»á¬ážááẠá¡ááŒá±áá¶áá«áááºáá á¹á ááºážáá»á¬áž ááŒá±á¬ááºá á¯á¶ááŸáá·áº áá»áááºážá¡áááºážáááºáᬠáá¯ááºáá±á¬ááºáá±á·ááŸááá«áááºá áááºážááŸáá·áºá¡áá®á áá®áá¬ááẠáááºážááááºáá°ááŸá¯áá»á¬ážááᯠáá»áááºááŸááá²á·áááºá ááá¯á·á¡ááŒááºá áá°áááẠá¡ááŒááºá¡á áœááºážáá»á¬ážááá¯ážááœá¬ážá á±ááá·áº á¡á±á¬áºáá«áááºááá·áºá¡ááá·áºááœáẠáá¯á¶ážá áœá²áá°áá»á¬ážá¡ááœáẠáááºážááŸááºážááá·áº áá±á¬ááºáááºáá¯ááºáá¯ááºáá»á¬ážááᯠááá¯ááá¯áá±á¬ááºážááœááºá áœá¬ á¡ááŒá¶ááŒá¯ááá¯ááºáá²á·áááºá
áá±á¬ááºáááºá¥ááá¬: áá¯ááºáá¯ááºáá á¹á ááºážáá»á¬ážááẠH&M á ááá¯ážá¡á¬áž áá±á¬ááºážáá»ááŸá¯á¡ááá·áºááᯠááááºážááááºážáá¬ážá áẠá ááá¯ážááá¯ááºáá áºáá¯áá»ááºážá á®ááœáẠá¡áá»áá¯ážá¡á á¬ážááœá²ááŸá¯ááᯠ40% áá»áŸá±á¬á·áá»ááá¯ááºá á±áá²á·áááºá áá¶á·áá»ááºážáá±á¬áá á¹á ááºážáá»á¬ážááᯠáá±á¬ááºážáá»ááŒááºážá០áááºáá¯ááºááŒááºážááŒáá·áº áááºážááᯠá¡á±á¬ááºááŒááºáá²á·ááŒá®áž áá¬áá®á¡ááá¯áẠááœááºáá»ááºááŸá¯áá»á¬ážááœáẠááá·áºááœááºážá ááºážá á¬ážáá²á·áááºá
áááááá¬ááœá±ážáá»ááºááŸá¯
á€ááœááºáá»á°áá¬á¡áá»áá¯ážá¡á á¬ážá¡ááœáẠá ááºááŸá¯áá¯ááºáááºážá á¶ááŸá¯ááºážááŸá¬ Hadoop ááŒá áºáááºá á¡áááºááŒá±á¬ááºá·? Hadoop ááẠáá±á¬ááºážááœááºáá±á¬á áá±á¬ááºážááœááºá áœá¬ ááŸááºáááºážáááºáá¬ážáá±á¬ áá°áá±á¬ááºáá áºáá¯ááŒá áºáá±á¬ááŒá±á¬áá·áº (áá°áá®áá±á¬ Habr ááẠá€á¡ááŒá±á¬ááºážá¡áá¬á¡ááœáẠá¡áá±ážá áááºáá±á¬ááºážáá«ážáá»á¬ážá áœá¬ááᯠáá±ážáá±á¬ááºáááº)á á¡áá¯á¶ážá¡áá±á¬ááºáá»á¬ážááŸáá·áº á á¬ááŒáá·áºááá¯ááºá¡á á¯á¶ááŒáá·áº ááá¯ááºáá«ááœá¬ážáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá áááºááœá²á·á ááºážáá¯á¶ááŸáá·áºááœá²á·á ááºážáá¯á¶ááá¬ážáá±á¬áá±áá¬ááŸá áºáá¯áá¯á¶ážáááŒá®ážáá¬ážáá±á¬á¡á á¯á¡áá±ážáá»á¬ážááá¯ááá·áºááœááºážááá¯ááºááŒá®ážá áá áºáááºáááºážááá¯ááœááºáá»á°áá¬á áœááºážá¡á¬ážáá»á¬ážááŒá¬ážááœááºááŒáá·áºáá±áá±ážáááá·áºáááºá ááá¯á·á¡ááŒááºá á€áá°áá®áá±á¬á áœááºážáááºáá»á¬ážááᯠá¡áá»áááºáááœá±áž ááá¯ážááŒáŸáá·áºááá¯ááºááẠááá¯á·ááá¯áẠááááºááá¯ááºááẠ- áá¯ááºáá±á¬ááºááŸá¯ááœáẠáá°áá®áá±á¬ á¡áá»á¬ážááá¯áẠá¡ááá¯ááºážá¡áá¬ááᯠáá¯ááºáá±á¬ááºááá¯ááºáááºá
2017 ááœáẠááŒáá¬ááŒá®ážáá±á¬ á¡ááá¯ááºáááºáá¶áá¯áá¹ááá® Gartner Hadoop ááẠáááŒá¬áá® á¡áá¯á¶ážáááŒá¯áá±á¬á·áá«á á¡ááŒá±á¬ááºážááŒáá»ááºááŸá¬ á¡áá±á¬áºáá±áž ááá¯ááºáá²áááº- áá¯áá¹ááá®áá»á¬áž ááẠááœááºááŒá°áᬠáá«áá«ááᯠá¡áá¯á¶ážááŒá¯á ááœá±áá±ážáá»á±ááá¯ááºáá±á¬ááŒá±á¬áá·áº áá¯áá¹ááá®áá»á¬ážááẠcloud ááá¯á· á¡á á¯ááá¯ááºá¡ááŒá¯á¶ááá¯áẠááŒá±á¬ááºážááœáŸá±á·ááŒáááá·áºáááºáᯠáá¯á¶ááŒááºááŒáááºá Hadoop ááᯠâááŒáŸá¯ááºááŸá¶â ááá¯ááºáá±á¬ áá¯áááá¡áá±ážááŒá®ážáá±á¬á¡áá»ááºááŸá¬ áááºážáááŒááºááŸá¯ááºážááŒá áºáááºá Apache Spark ááá¯á·ááá¯áẠGoogle Cloud DataFlow áá²á·ááá¯á·áá±á¬ ááœá±ážáá»ááºááŸá¯áá»á¬ážááẠHadoop ááá¯á¡ááŒá±áá¶áá¬ážááá·áº MapReduce áááºááá¯ááá¯ááŒááºáááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá
Hadoop ááẠMapReduce áááºážááá¬áá»á¬áž (áá¬áá¬áá»á¬ážááŒá¬áž ááœááºáá»ááºááŸá¯áá»á¬ážá¡ááœáẠáá±áá¬ááŒáá·áºááŒá°ážááŸá¯á áá áº) ááŸáá·áº HDFS ááá¯ááºá áá áºááá¯á·ááŒá áºááá·áº á¡áááºááŸá¬ážáá¯á¶ážáá±á¬ ááá¯ááºáá»á¬ážá áœá¬áá±á«áºááœáẠáááºááŸááááºá áá±á¬ááºáá áºáá¯ááẠá¡á á¯á¡á ááºážáá»á¬ážááŒá¬ážááœáẠááŒáá·áºáá±áá¬ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠááááºážáááºážáááºá¡ááœáẠá¡áá°ážáá®ááá¯ááºážáá¯ááºáá¬ážááŒááºážááŒá áºáááº- áá¯á¶áá±á¡ááœááºá¡á á¬ážáá áºáá¯á á®ááᯠnode á¡áá»á¬ážá¡ááŒá¬ážááœáẠáá¬ážááŸáááá¯ááºááŒá®áž ááœá¬ážááŒááºážá¡ááœááºááŒá±á¬áá·áºá á áá áºááẠáá áºáŠážáá»ááºáž node áá»á¬ážá áá»ááŸá¯á¶ážááŸá¯áá»á¬ážááᯠáá¶ááá¯ááºáááºááŸáá á±áááºá ááá¯ááºááá¬ážá¡á á¬áž NameNode áá¯áá±á«áºáá±á¬ á¡áá°ážáá¬áá¬ááᯠá¡áá¯á¶ážááŒá¯áááºá
á¡á±á¬ááºáá±á¬áºááŒáá«áá¯á¶ááẠMapReduce á¡áá¯ááºáá¯ááºáá¯á¶ááᯠááŒááááºá áááá¡ááá·áºááœááºá á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºááŸááºáá¬ážáá±á¬ á á¶ááŸá¯ááºážáá áºáá¯á¡á ááá¯ááºážááŒá¬ážááŒá®áž áá¯áááá¡ááá·áºááœáẠáááºážááᯠááœááºáá»ááºááŸá¯á áœááºážá¡á¬ážá¡á ááŒáá·áºáá±ááŒá®áž ááááá¡ááá·áºááœáẠááœááºáá»ááºááŸá¯ááŒá¯áá¯ááºáááºá
MapReduce ááᯠáááºážáááŸá¬ááœá±ááŸá¯ááá¯á¡ááºáá»ááºá¡ááœáẠáá°áá Google á០áááºáá®ážáá²á·ááŒááºážááŒá
áºáááºá ááá¯á·áá±á¬áẠMapReduce ááẠá¡ááá²á·áá¯ááºááŒá
áºáá¬ááŒá®áž Apache ááẠááá±á¬áá»ááºááᯠáá¬áááºáá°áá²á·áááºá áá±á¬ááºážááŒá®á Google ááẠá¡ááŒá¬ážááŒá±ááŸááºážáááºážáá»á¬ážáᶠáááŒááºážááŒááºáž ááŒá±á¬ááºážááœáŸá±á·áá²á·áááºá á
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážááá·áºá¡áá»ááº- Google ááẠHadoop ááŒá®ážáá±á¬áẠáá±á¬ááºáá
áºááá·áºá¡ááŒá
Ạáá±áá¬áá°áá¬ážááá·áº Google Cloud Dataflow áá¯áá±á«áºáá±á¬ ááá±á¬áá»ááºáá
áºáá¯ááŸáááŒá®ážá áááºážá¡ááœáẠá¡ááŒááºá¡á
á¬ážááá¯ážáááºá
á¡áá®ážáááºááŒáá·áºááŒááºážá¡á¬ážááŒáá·áº Google Cloud Dataflow ááẠApache Beam á ááœá²ááœá²áá»ááºá¡áá±á«áº á¡ááŒá±áá¶áá¬ážááŒá±á¬ááºáž ááŒááá±áá»áááºááœáẠApache Beam ááẠáá±á¬ááºážá áœá¬ááŸááºáááºážáááºáá¬ážáá±á¬ Apache Spark framework áá«áááºáááºá áááºážááẠááŒá±ááŸááºážáá»ááºáá»á¬ážá áá°áá®áá±á¬áá¯ááºáá±á¬ááºááŸá¯á¡ááŒááºááŸá¯ááºážáá®ážáá«ážá¡ááŒá±á¬ááºážááŒá±á¬ááá¯ááá¯ááºá á±ááá·áº áá±á¬ááºážááœááºáá±á¬á á¬ááœááºá á¬áááºážáá»á¬ážáá«ááŸááááºá áá±á¬ááºážááŒá®á Apache Spark ááẠáááºážá¡á¬áž Hadoop áá¬áá¬áá»á¬ážááœáẠá¡áá¯á¶ážááŒá¯ááẠááœáá·áºááŒá¯ááá·áº HDFS ááá¯ááºá áá áºááœáẠáá±á¬ááºážá áœá¬á¡áá¯ááºáá¯ááºáááºá
Hadoop ááŸáá·áº Spark ááŸáá·áº Google Cloud Dataflow á¡ááœáẠá á¬ááœááºá á¬áááºáž ááá¬áááŸáá·áº á¡áááºááá·áºáá¯ááºáá¬ážáá±á¬ ááŒá±ááŸááºážáá»ááºáá»á¬ážá¡á¬áž á€áá±áá¬ááœáẠááá·áºáá«á áááááá¬á ááœá±ážáá»ááºááŸá¯ááẠáááá¬áááºááŸá¬ážáá¬áááºá ááá¯á·á¡ááŒááºá á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠHadoop ááá¯á·ááá¯áẠSpark á¡ááœáẠáááºááá·áºáá¯ááºááᯠáááºážááá¯á·ááá¯ááºááá¯áẠáá¯ááºáá±á¬ááºááá·áºáááºá á¡áá¯ááºá á¡ááœá±á·á¡ááŒá¯á¶ááŸáá·áº á¡áááºá¡áá»ááºážáá»á¬ážá¡áá±á«áº á¡á¬áá¯á¶á áá¯ááºá áá¯ááºáá±á¬ááºááá·áºáááºááá¯áááºáž áá¯á¶ážááŒááºááá¯ááºáááºá
Cloud ááá¯á·ááá¯áẠáá±áááœááºážáá¬áá¬
cloud ááá¯á· áá±áá¯áá»á¡ááœááºáá°ážááŒá±á¬ááºážááŸá¯áá®ááá¯á· áŠážáááºááá·áºáááºážááŒá±á¬ááºážááẠHadoop-as-a-service áá²á·ááá¯á· á áááºáááºá á¬ážá áá¬áá±á¬ááºážááá·áº á¡áá¯á¶ážá¡ááŸá¯ááºážááá¯ááẠááŒáá·áºáááºáá¬á á±áá²á·áááºá ááá¯ááá¯á·áá±á¬ á¡ááŒá±á¡áá±áá»áá¯ážááœááºá áá»áááºáááºáá¬ážáá±á¬ áá¬áá¬áá»á¬ážá á á®áá¶ááá·áºááœá²ááŸá¯ááẠá¡ááœááºá¡áá±ážááŒá®ážáá¬áááºá ááŒá áºáá»ááºáá±á¬á·á áááºážááá°ááŒáá¯ááºáá»á¬ážáá±áá±á¬áºáááºážá Hadoop ááẠá¡áá»á¬ážá¡ááŒá¬ážááᯠááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºááá±á¬ááŒá±á¬áá·áº configure áá¯ááºááẠá¡áá±á¬áºáá±ážáááºáá²áá±á¬ tool áá áºáá¯ááŒá áºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá¬áá¬áá»á¬ážááᯠáá áºáŠážáá»ááºáž á á®á ááºáááºááŸááºááŒááºážá áááºážááá¯á·á á áœááºážáá±á¬ááºáááºááᯠá á±á¬áá·áºááŒáá·áºá á áºáá±ážááŒá®áž ááá·áºáááºáá»ááºáá»á¬ážá áœá¬ááᯠááá¯áá áá¯áẠááŒááºáááºáá«á áá±áá°áá»á¡á¬ážááŒáá·áºá á¡áá¯ááºááẠá¡áá»á±á¬áºáááºážá¡ááœááºááŒá áºááŒá®áž áá áºáá±áá¬áá¬ááœáẠááŸá¯ááºááŸááºáááºááŒááºáž ááá¯á·ááá¯áẠáá áºáá¯áá¯ááᯠááœá²áá»á±á¬áºááẠá¡ááœáá·áºá¡áááºážáá»á¬ážá áœá¬ááŸááááºá
ááá¯á·ááŒá±á¬áá·áºá á¡á ááá¯ááºážááœáẠá¡áááºááŒá±áá±á¬ ááŒáá·áºáá»ááºááŸá¯ááŸáá·áº á á®áá¶ááá·áºááœá²áá±ážáááááá¬áá»á¬ážááŒáá·áº áááºáááºáá¬ážááá·áº á¡áá»áá¯ážáá»áá¯ážáá±á¬ ááŒáá·áºááŒá°ážáá±ážáááááá¬áá»á¬ážááẠá¡ááœááºáá±áááºážá á¬ážáá¬áá²á·áááºá Spark ááᯠáá¶á·ááá¯ážáá±ážááŒá®áž á¡áá¬á¡á¬ážáá¯á¶ážááᯠááœááºáá°á á±ááá·áº áá±áááºážá¡á á¬ážáá¯á¶áž ááŒáá·áºáá±ááŸá¯áá»á¬ážáá²á០áá áºáá¯ááŸá¬ Cloudera ááŒá áºáááºá áááºážááœáẠá¡ááá±ážááŸáá·áº á¡ááá²á·áá¬ážááŸááºáž ááŸá áºáá»áá¯ážáá¯á¶áž áá«ááŸáááẠ- ááŸáá·áº áá±á¬ááºáá¯á¶ážááœáẠnode á¡áá±á¡ááœááºááᯠááá·áºáááºááŒááºážáááŸááá² á¡ááŒá±áᶠáá¯ááºáá±á¬ááºááá¯ááºá áœááºážá¡á¬ážáá¯á¶ážááᯠáááŸáááá¯ááºáááºá
á
áá
áºááá·áºááœááºážá
ááºááœááºá Cloudera Manager ááẠááá·áºáá¬áá¬áá»á¬ážááá¯á· SSH ááŸáá
áºááá·áº áá»áááºáááºáááºááŒá
áºáááºá á
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážáá±á¬á¡áá»ááº- ááá·áºááœááºážááá·áºá¡áá«á áááºážááá¯áá±á«áºááá¯ááŒááºážááŒáá·áºáá¯ááºáá±á¬ááºááŒá±á¬ááºážáááºááŸááºáááºááá¯áá±á¬ááºážáááºá á¡ááœá²áá»á¬áž: á¡áá°áž áááºáá±á·ááºá»áá»á¬ážá áá
áºáá¯á
á®ááẠáá
áºáá¯ááŸáá·áºáá
áºáᯠáá¯ááºáá±á¬ááºááẠááŒááºáááºáá¬ážáá±á¬ ááá¯á¡ááºáá±á¬ á¡á
áááºá¡ááá¯ááºážáá»á¬áž á¡á¬ážáá¯á¶ážááᯠáá«áááºáááºá á¡ááŒá±áá¶á¡á¬ážááŒáá·áº áááºážááẠáááºáá±á·áá»áºáááºáá±áá»á¬á ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬áá¬ážááŸááºážááŒá
áºáááºá
áááºáááºááŒá®ážáá±á¬ááºá á¡á á¯ááá¯áẠáááºáá®áá®áá¬á ááá·áºááœááºážáá¬ážáá±á¬ áááºáá±á¬ááºááŸá¯áá»á¬ážááᯠáááºááœá±á·ááŒááºááá¯ááºááá·áºá¡ááŒáẠá¡áááºážá¡ááŒá áºáá»á¬ážááᯠáá±á«ááºážááá·áº/áááºááŸá¬ážáᬠá¡á á¯á¡áá±ážááœá²á·á ááºážáá¯á¶ááᯠáááºážááŒááºááá¯ááºáááºá
ááááºá¡áá±ááŒáá·áº BigData ááá±á¬ááºááá±á¬á¡áá¬áááºááá¯á· ááá·áºá¡á¬ážááá¯á·áá±á¬ááºáá±ážááá·áº áá¯á¶ážáá»á¶áá¡áááºážááẠááá·áºááŸá±á·ááœááºáá±á«áºáá¬áááºá áá«áá±ááá·áº âááœá¬ážá
áá¯á·â ááá¯á· áááŒá±á¬ááẠáá±á«ááºážá¡á¯á¶ážá¡á±á¬ááºááᯠááœáŸá±á·ááŒáá·áºáá¡á±á¬ááºá
Hardware ááá¯á¡ááºáá»ááºáá»á¬áž
áááºážááááºááá¯ááºááœááºá Cloudera ááẠááá°áá®áá±á¬ ááŒá áºááá¯ááºááá·áºáá¯á¶á á¶áá»á¬ážááᯠáá±á¬áºááŒáááºá áááºážááá¯á·áááºáá±á¬ááºáá¬ážááá·áº áá±áá°áá»á¡ááŒá±áá¶áá°áá»á¬ážááᯠáá¯á¶á¥ááá¬ááœáẠááŒááá¬ážáááºá
MapReduce ááẠá€á¡áá±á¬ááºážááŒááºáá¯á¶á¡á¬áž ááŸá¯ááºáá«ážá
á±ááá¯ááºáááºá ááááºá¡ááá¯ááºážá០áá¯á¶ááŒááºážááᯠáááºáá¶ááŒáá·áºááŸá¯áá«áá áá±áá¬ááá¯ááºážáá®ážáá«ážááœááºá MapReduce á¡áá¯ááºááẠdisk ááá¯á·ááá¯áẠnetwork ááŸáá±áá¬áá»á¬ážááá¯áááºáá±á¬á¡áá«ááœáẠááááºááá¯á·ááŸá¯áá»á¬ážááŒá¯á¶ááœá±á·áááá¯ááºáááºááᯠááŸááºážáá«áááºá áá«ááᯠCloudera ááá±á¬á·ááºááŸá¬áááºáž ááŸááºáá¬ážáá¬ážáá«áááºá ááááºá¡áá±ááŒáá·áºá á¡áá»áááºááŸáá·áºáááŒá±ážáá®ááœááºáá»ááºááŸá¯áá»á¬ážááœááºá¡áá¯á¶ážááŒá¯áá±á·ááŸáááá·áº Spark á¡áá«á¡ááẠááŒááºáááºáá±á¬ááœááºáá»ááºááŸá¯áá»á¬ážá¡ááœáẠI/O ááŒááºááŸá¯ááºážááẠá¡ááœááºá¡áá±ážááŒá®ážáá«áááºá ááá¯á·ááŒá±á¬áá·áºá Hadoop ááá¯á¡áá¯á¶ážááŒá¯ááá·áºá¡áá«á á¡á
á¯á¡áá±ážááœáẠáááºáá»ááºáá®ááŒá®áž ááŒááºáááºáá±á¬á
ááºáá»á¬ážáá«áááºáááºá áááºážááᯠáá±á«á·áá±á«á·áá«ážáá«ážáá¬ážáááºá cloud á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááœáẠá¡ááŒá²áááºážá¡á¬ááá¶áá»ááºáááŸááá±á¬á¡áá»ááºááŸá¬ á¡ááœááºá¡áá±ážááŒá®ážáá«áááºá
á áœááºážá¡á¬ážááŒá®ážáá¬ážáá±á¬ multi-core CPU áá»á¬ážáá«ááŸááá±á¬ áá¬áá¬áá»á¬ážááœáẠOpenstack virtualization ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážááŒáá·áº load ááŒáá·áºáá±ááŸá¯ááœáẠáááºáá»ááºááœá±ááᯠáááŸááááºá áá±áᬠnode áá»á¬ážááᯠáááºážááá¯á·á ááá¯ááºááá¯áẠáááá¯áááºáá¬á¡áááºážá¡ááŒá áºáá»á¬ážááŸáá·áº áá®ážááŒá¬ážáá áºáá»á¬ážááᯠááœá²áá±áá±ážáááºá áá»áœááºá¯ááºááá¯á·ááá¯á¶ážááŒááºáá»áẠAtos Codex Data Lake Engine áá»ááºááŒáá·áºáá±á¬ virtualization ááᯠá¡á±á¬ááºááŒááºááŒá®ážááŒá áºáá±á¬ááŒá±á¬áá·áº á áœááºážáá±á¬ááºááẠ(ááœááºáááºá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááᯠáá»áŸá±á¬á·áá»áá¬ážáááº) ááŸáá·áº TCO (á¡ááá¯ááá¯ááºážááá¯ááºáá¬áá¬áá¬áá»á¬ážááᯠáááºáá¯ááºááŒááºáž) ááá¯á·ááœáẠáá»áœááºá¯ááºááá¯á·ááŸá áºáŠážá áá¯á¶áž á¡áá»áá¯ážááŸáá á±áá«áááºá
BullSequana S200 áá¬áá¬áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áá±á¬á¡áá«á ááááºááá¯á·ááŸá¯á¡áá»áá¯á·áááŸááá² áá»áœááºá¯ááºááá¯á·ááẠá¡ááœááºáá°áá®áá±á¬áááºááᯠáááŸááá«áááºá á¡áááá·áºáá¯á¶ážááœá²á·á
ááºážáá¯á¶ááœáẠBullSequana S3 áá¬áᬠ200 áᯠáá«áááºááŒá®áž áá
áºáá¯á
á®ááœáẠJBOD ááŸá
áºáá¯áá«ááŸáááŒá®áž áá±áᬠnode áá±ážáá¯áá«ááŸááá±á¬ áá±á¬ááºááẠS200s áá»á¬ážááᯠááœá±ážáá»ááºá áá»áááºáááºáá¬ážáááºá á€áááºááŸá¬ TeraGen á
ááºážáááºááŸá¯ááœáẠLoad á á¥ááá¬áá
áºáá¯ááŒá
áºáááºá
ááá°áá®áá±á¬ áá±áá¬ááá¬áááŸáá·áº áá°ážáá°ááŸá¯áááºááá¯ážáá»á¬ážááŒáá·áº á
ááºážáááºááŸá¯áá»á¬ážááẠá¡á
á¯á¡á
ááºážáá»á¬ážááŒá¬ážááœáẠáááºááŒáá·áºáá±ááŸá¯áááºááŸááºáá»ááºáá»á¬ážááœáẠáá°áá®áá±á¬ááááºáá»á¬ážááᯠááŒááááºá á¡á±á¬ááºááœáẠá
áœááºážáá±á¬ááºááẠá
ááºážáááºááŸá¯áá»á¬ážááŒáá·áº disk áááºáá±á¬ááºááŸá¯ ááŒáá·áºáá±ááŸá¯á ááááºáá
áºáá¯ááŒá
áºáááºá
BullSequana S3 áá¬áᬠ200 áá¯á á¡áááá·áºáá¯á¶ážááœá²á·á
ááºážááŸá¯á¡áá±á«áº á¡ááŒá±áá¶á ááœááºáá»ááºááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºáá²á·áááºá áááºážááœáẠáá±áᬠnode 9 áá¯ááŸáá·áº master node 3 áá¯ááá¯á·á¡ááŒáẠOpenStack Virtualization ááá¯á¡ááŒá±áá¶á áá¬ááœááºááŸá¯ááŒá¯áá¯ááºááá·áºá¡áá«ááœáẠáá®ážááá·áºáá¬ážááŸááá±á¬ virtual machines áá»á¬ážáá«áááºáááºá TeraSort á
ááºážáááºááŸá¯ááááº- ááá±á¬ááºá¡ááœááºá¡á
á¬áž 512 MB ááẠáá¯ááºááŸááºá
áá
áºááŒáá·áº 23,1 áááá
áºááŸáá·áº áá®áá»áŸáá±á¬ áá°ážáá°áá¯á¶áá°ááœá¬ážááŸá¯á¡áá»áẠXNUMX áá¯ááŸáá·áºáá®áá»áŸáááºá
á áá áºááᯠáááºááᯠáá»á²á·ááœááºááá¯ááºááá²á Data Lake Engine á¡ááœáẠáááá¯ááºáá±á¬ ááá¯ážáá»á²á·ááŸá¯ á¡áá»áá¯ážá¡á á¬ážáá»á¬áž ááŸááá«áááºá
- áá±áᬠáá¯á¶ááŸááºáá»á¬áž- á¡áá¯á¶ážááŒá¯ááá¯ááºáá±á¬ áá±áá¬á 40 TB ááá¯ááºážá¡ááœááº
- GPU áá áºáá¯ááᯠáááºáááºááá¯ááºááŸá¯ááŸáá·áºá¡áá° ááœá²ááŒááºážá áááºááŒá¬áá±á¬ áá¯á¶ááŸááºáá»á¬áž
- áá¯ááºáááºážááá¯á¡ááºáá»ááºáá±á«áºáá°áááºá á¡ááŒá¬ážááœá±ážáá»ááºá áá¬áá»á¬áž (á¥ááá¬á áááºááẠKafka ááá¯á¡ááºáá«á ááŸáá·áº á¡ááŒá¬ážááœá±ážáá»ááºá áá¬áá»á¬áž)
Atos Codex Data Lake Engine ááœáẠááá¯ááºá
ááºá Cloudera á¡á
á¯á¶á¡ááẠá¡áá«á¡ááẠáá¬áá¬áá»á¬áž ááŸáá·áº ááŒáá¯áááºááá·áºááœááºážáá¬ážáá±á¬ áá±á¬á·ááºáá²áẠááŸá
áºáá¯áá¯á¶áž áá«áááºáááºá Hadoop ááá¯ááºááá¯ááºá RedHat Enterprise Linux kernel ááá¯á¡ááŒá±áá¶á virtual machines áá»á¬ážáá«ááŸááá±á¬ OpenStacká áá±áá¬ááŒááºáááºáá¯á¶áá°ááŒááºážááŸáá·áº á¡áááºáá°ážáá°á
áá
áºáá»á¬áž (á¡áááºáá¯á¶ááŸáá·áº Cloudera BDR - Backup and Disaster Recovery á¡áá«á¡áááº)á Atos Codex Data Lake Engine ááẠá¡ááá¡ááŸááºááŒá¯áá¶áááá·áº ááááá¯á¶áž virtualization ááŒá±ááŸááºážáá»ááºááŒá
áºáááºá .
á¡áá±ážá
áááºá¡áá»ááºá¡áááºáá»á¬ážááá¯á
áááºáááºá
á¬ážáá«áá áá»áœááºá¯ááºááá¯á·ááá±ážááœááºážáá»á¬ážááᯠcomment ááœááºááŒá±ááŒá¬ážáá±ážáá«áááºá
source: www.habr.com