áá® Data Science buzzwords ááŸá
áºáá¯á áá°áá±á¬áºáá±á¬áºáá»á¬ážáá»á¬ážááᯠááŸá¯ááºááœá±ážá
á±áááºá Data Mining ááẠáá±áá¬áá»á¬ážááᯠáá¯ááºáá°ááŒááºážááŸáá·áº áá¯ááºáá°ááŒááºážáá²á·ááá¯á· áá¬ážáááºááŸá¯ááœá²áá±á·ááŸááá±á¬áºáááºáž áááºááœá±á·ááœááºáá° ááá¯ááá¯ááŸá¯ááºááœá±ážáá«áááºá á€ááá¯á·á
áºááœááºá ááá¹áá¯áá°ážáá±á¬áºááŒááºážááŸáá·áº áá±áá¬áá°ážáá±á¬áºááŒááºážááŸáá·áº áá±áá¬áá¯ááºáá°ááŒááºážááŒá¬áž ááŒá¬ážáá¬ážáá»ááºááᯠááŸá¬ááœá±ááŒáá·áºááŒáá«á
áá¯á·á
Data Mining ááá¯áá¬áá¬áá²á
Data mining ááá¯á·áááºáž áá±á«áºáá«áááºá Database Knowledge Discovery (KDD)á ááẠáá»áŸáá¯á·ááŸááºáá¯á¶á á¶áá»á¬áž ááá¯á·ááá¯áẠáá±ááºáá±á á®ážááŒá±á¬ááºážáá»á¬ážááᯠááŸá¬ááœá±áááºááŸáá·áº áááºážááá¯á·áá¶á០áááºááá¯ážáá»á¬ážááᯠáá¯ááºáá°ááẠááááºážááááºážááŸáá·áº áááºá¹áá»á¬áááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á ááŒá®ážáá¬ážáá±á¬áá±áá¬á¡ááœá²áá»á¬ážááᯠááœá²ááŒááºážá áááºááŒá¬ááẠáááŒá¬ááá¡áá¯á¶ážááŒá¯ááá·áº áááºážááá¬áá áºáá¯ááŒá áºáááºá
Data Mining áá²á· áá¬ááœá±áá¯ááºááá¯á·ááá²á
áá¯ááºáááºážá ááºááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááŒááºážááŒáá·áºá áá±áá¬áá±á·á áºáá»á¬ážááᯠááŸá¬ááœá±ááá¯ááºááŒá®áž ááŸááºáá¬ážáá±á¬ áá¯á¶á á¶áá»á¬ážááᯠáááááá±á¬ááºáá±á¬áẠáá±á¬áºáá¯ááºááá¯ááºáááºá á á®ážááœá¬ážáá±ážáá¯ááºáááºážáá»á¬ážá¡ááœááºá ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ áá¯ááºáááºážáá¯á¶ážááŒááºáá»ááºáá»á¬ážáá»áá¬ááœáẠá¡áá±á¬ááºá¡áá°ááŒá áºá á±ááẠáá±áá¬ááœááºážááŸá áá¯á¶á á¶áá»á¬ážááŸáá·áº áááºáá¶áá±ážáá»á¬ážááᯠááŸá¬ááœá±ááœá±á·ááŸáááẠáá±áá¬áá°ážáá±á¬áºááŒááºážááᯠáááŒá¬áá á¡áá¯á¶ážááŒá¯áá«áááºá
áá»áŸá±á¬ááºááœáŸá¬á¥ááá¬
1990 áá¯ááŸá áºáá»á¬ážá¡ááœááºáž áá±áá¬áá°ážáá±á¬áºááŒááºáž áá»ááºááŒáá·áºáá¬ááŒá®ážáá±á¬áẠáááºáá®á ááá¹áá¬áá±ážá áá»ááºážáá¬áá±ážá á±á¬áá·áºááŸá±á¬ááºááŸá¯á áááºáá°ááá¯á·áá±á¬ááºáá±ážá áááºááœááºáá±ážá e-commerce á áááºááá¯á·á¡áá«á¡ááẠáá»ááºááŒáá·áºáá±á¬á ááºááŸá¯áá¯ááºáááºážáá»á¬ážá០áá¯áá¹ááá®áá»á¬ážááẠáá±áá¬ááá¯á¡ááŒá±áá¶á á¡áá»ááºá¡áááºáááŸáááẠáá±áá¬áá°ážáá±á¬áºááŒááºážáááºážáááºážáá»á¬ážááᯠá áááºá¡áá¯á¶ážááŒá¯áá¬ááŒáááºá áá±áá¬áá°ážáá±á¬áºááŒááºážááẠáá±á¬ááºáááºáá»á¬ážááᯠá¡ááá¯ááºážááá¯ááºážááœá²áá¬á ááááºáááºááŸá¯ááᯠáá±á¬áºáá¯ááºááá¯ááºáááºá á¡áá±á¬ááºážááᯠááá·áºááŸááºážááá¯ááºáááºááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážááᯠáá°áá®áá±ážááá¯ááºáááºá
- áá±á¬ááºáááºááœá²áá±ááŸá¯
áá±á¬ááºáááºáá±áá¬ááᯠááœá²ááŒááºážá áááºááŒá¬ááŒá®áž áá áºááŸááºáá±á¬ááºáááºáá»á¬ážá á ááá¯ááºááá¹ááá¬áá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºááŒááºážááŒáá·áº áá¯áá¹ááá®áá»á¬ážááẠáááºážááá¯á·ááᯠáá®ážááŒá¬ážá¡á¯ááºá á¯áá áºáá¯á¡ááŒá Ạá¡á¯ááºá á¯ááœá²á·áᬠáááºážááá¯á·áááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áºááá¯ááºáá®ááá·áº á¡áá°ážáááºážááŸááºážááŸá¯áá»á¬ážááᯠáá±ážáá±á¬ááºááá¯ááºáááºá - Market Basket ááœá²ááŒááºážá
áááºááŒá¬ááŒááºážá
á€áááºážááá¬ááẠáá¯ááºáá á¹á ááºážá¡á¯ááºá á¯áá áºá á¯ááᯠáááºáááºáá«áá á¡ááŒá¬ážáá¯ááºáá¯ááºá¡á¯ááºá á¯áá áºá á¯ááᯠáááºáááºáá°ááá¯ááºááŒá±ááá¯áá»á¬ážáááºáᯠáá®á¡áá¯áá®á¡áá±á«áºá¡ááŒá±áá¶áá¬ážáááºá áááºááŸá¬ážáá±á¬ á¥ááá¬áá áºáá¯- ááááºáá»á¬ážááẠáááºážááá¯á·á ááá±ážáá»á¬ážá¡ááœáẠá¡ááŸá®ážáá»á¬ážáááºááá·áºá¡áá« á¡ááŸá®ážáá»á¬ážááŸáá·áºá¡áá° áá®áá¬áááºáá±á·ááŸáááŒáááºá - á¡áá±á¬ááºážááá·áºááŸááºážáá»ááº
áááºážááẠá á»á±ážááœááºááŒááºážáá±á¬ááºážááœá²ááŒááºážá áááºááŒá¬ááŒááºážááŸáá·áº áááºáá°áááºáᯠáááºááá±á¬áºáááºáž á€á¡áá»áááºááẠáá±áá¬ááœá²ááŒááºážá áááºááŒá¬ááŸá¯ááᯠáá±á¬ááºáááºáá áºáŠážááẠá¡áá¬áááºááœáẠáá¯ááºáá á¹á ááºážáá áºáᯠáááºáá¶áááºáá°ááá·áºá¡áá»áááºááᯠááá·áºááŸááºážááẠá¡áá¯á¶ážááŒá¯áááºá á¥ááá¬á¡á¬ážááŒáá·áºá áááºážááŒáá áºáŠážááẠá áááŒá¬áá¶ááá·áºáá±á¬áááá¯áááºážáá áºáá°ážááá¯áááºáááºá á€áááá¯áááºážááᯠáá±á¬ááºážáá»ááá·áºá ááá¯ážááá¯ááºááẠáááºážááŒá áááºážááᯠáááºáá¶áááºáá°ááá¯ááºááẠá áá¡ááœááºáž á¡áá áºáá áºáá¯áá¯ááºááẠá á®á ááºáá¬ážáááºá - ááááºáááºááŸá¯ááᯠáá±á¬áºáá¯ááºááŒááºážá
áá±áá¬áá°ážáá±á¬áºááŒááºážááẠááááºáááºááŸá¯ááŸá¬ááœá±ááŒááºážá¡ááœáẠáá¯á¶á á¶áá»á¬ážáááºáá±á¬ááºáá¬ááœáẠá¡áá±á¬ááºá¡áá°ááŒá áºá á±áááºá ááááºáááºááŒá®áž ááŸááºáááºáá±á¬ á¡á á®áááºáá¶á á¬ááá°áá¬áá»á¬ážááᯠá á¯áá±á¬ááºážááŒááºážááŒáá·áºá á á®ážááœá¬ážáá±ážáá¯ááºáááºážáá»á¬ážááẠáá¶ááááŒá áºááœáẠá¡áá±á¬ááºážá¡áááºáá»á¬ážááᯠáá¯á¶ážááŒááºááẠá¡ááœáá·áºá¡á¬áá¬ááŸááááºá - áá¯ááºáá¯ááºááŸá¯ááœáẠáá¯á¶á
á¶ááᯠááááŸáááŒááºážá
áá¯ááºáá¯ááºáá¯ááºáááºážááœááºá áá¯ááºáá¯ááºáááá¯áá¬á áááá¯ááá¯ááºááŸáá·áº áá±á¬ááºáááºááá¯á¡ááºáá»ááºáá»á¬ážááŒá¬áž áááºá ááºááŸá¯ááᯠáá±á¬áºáá¯ááºááŒááºážááŒáá·áº áá®ááá¯ááºážá áá áºáá»á¬ážááᯠáá°áá®ááẠáá±áá¬áá°ážáá±á¬áºááŒááºážááᯠá¡áá¯á¶ážááŒá¯áááºá áá±áá¬áá°ážáá±á¬áºááŒááºážááẠáá¯ááºáá¯ááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á¡áá»áááºááŸáá·áº áá¯ááºáá»á ááááºáá»á¬ážááᯠááá·áºááŸááºážááá¯ááºáááºá
áááºážááá¯á·ááẠáá±áá¬áá°ážáá±á¬áºááŒááºážá¡ááœáẠá¡áá¯á¶ážááŒá¯ááŸá¯á¡áááºážáááºáá¬ááŒá áºáááºá
áá±áá¬áá°ážáá±á¬áºááŒááºáž á¡ááá·áºáá»á¬áž
áá±áá¬áá°ážáá±á¬áºááŒááºážááẠáá¯á¶á á¶áá»á¬ážááᯠá¡áá²ááŒááºáááºááŸáá·áº áá±á¬ááºáá¯á¶ážááœáẠáááºááá¯ážáá¯ááºáá°áááºá¡ááœáẠáá±áá¬á á¯áá±á¬ááºážááŒááºážá ááœá±ážáá»ááºááŒááºážá ááá·áºááŸááºážáá±ážááŒá¯áá¯ááºááŒááºážá á¡ááœááºááŒá±á¬ááºážááŒááºážááŸáá·áº áá¯ááºáá°ááŒááºážá á¡áá¯á¶ážá á¯á¶áá±á¬áá¯ááºáááºážá ááºáá áºáá¯ááŒá áºáááºá
áá±áá¯áá»á¡á¬ážááŒáá·áºá áá±áá¬áá°ážáá±á¬áºááŒááºážáá¯ááºáááºážá ááºáá áºáá¯áá¯á¶ážááᯠá¡ááá·áº á ááá·áºááŒáá·áº á¡áá»ááºážáá»á¯á¶ážááá¯ááºáááºá
- áá±áá¬ááŸááºážáááºážááŒááºážá
áááºááœá±á·ááá¹áá¬ááœááºá áá±áá¬áá»á¬ážááᯠá¡ááŒá²áááºáž ááá·áºá ááºááŒá®áž ááœá²á·á ááºážáááºáá±á¬ááºáá¬ážááŒááºážáááŸááá«á áááºážááá¯á·ááẠáááŒá¬áá áá°áá¶áá±ááŒááºážá áááŒáá·áºá á¯á¶áá² á¡ááŸá¬ážá¡ááœááºážáá»á¬áž áá«áááºáá±ááá¯ááºáááºá áá±áá¬áá°ážáá±á¬áºááŒááºážááááºááẠáááá»áá±áá»á¬á á±áááºá áá±áá¬ááᯠáŠážá áœá¬ááŸááºážáááºážááẠááá¯á¡ááºáááºá á¡áá»áá¯á·áá±á¬ ááá·áºááŸááºážáá±ážáááºážáááºážáá»á¬ážááœáẠáá»á±á¬ááºáá¯á¶ážáá±áá±á¬ áááºááá¯ážáá»á¬ážááᯠááŒáá·áºááœááºážááŒááºážá á¡ááá¯á¡áá»á±á¬ááºááŸáá·áº áááºááŒáá·áº ááááºážáá»á¯ááºááŒááºážáá»á¬áž á áááºááá¯á· áá«áááºáá«áááºá - áá±áá¬áá±á«ááºážá
ááºážááŸá¯
á€áááºááŸá¬ ááá°áá®áá±á¬áááºážááŒá áºáá»á¬ážá០áá±áá¬áá»á¬ážááᯠáá¯ááºáá°á áá±á«ááºážá ááºáᬠáá±á«ááºážá ááºáá¬ážááá·áº á¡ááá·áºááŒá áºáááºá á¡áááºážá¡ááŒá áºáá»á¬ážááẠáá±áá¬áá±á·á áºáá»á¬ážá á á¬áá¬ážááá¯ááºáá»á¬ážá ááá¬ážááœááºáá»á¬ážá á á¬ááœááºá á¬áááºážáá»á¬ážá áááºáá±á«ááºážá á¯á¶áá±áá¬á¡á á¯á¶áá»á¬ážá á¡ááºáá¬áááºá áááºááŒáá·áº ááŒá áºááá¯ááºáááºá - áá±áá¬ááá°áá¬
á¡áá»á¬ážá¡á¬ážááŒáá·áºá áá±áá¬áá°ážáá±á¬áºááŒááºážááœáẠáá±á«ááºážá ááºáá±áá¬á¡á¬ážáá¯á¶ážááᯠáááá¯á¡ááºáá«á Data sampling ááẠá¡áá¯á¶ážáááºáá±á¬ data áá»á¬ážááá¯áᬠááœá±ážáá»ááºááŒá®áž áá±áá¬áá±á·á áºááŒá®ážáá áºáá¯á០áá¯ááºáá°ááá·áº á¡ááá·áºááŒá áºáááºá - áá±áá¬áá°ážááŒá±á¬ááºážááŒááºážá
áá±áá¬ááᯠááœá±ážáá»ááºááŒá®ážáááºááŸáá·áº áááºážááᯠááá¹áá¯áá°ážáá±á¬áºáááºá¡ááœáẠááá·áºáá»á±á¬áºáá±á¬ áá¯á¶á á¶áá»á¬ážá¡ááŒá áºááá¯á· ááŒá±á¬ááºážáá²áááºá á€áá¯ááºáááºážá ááºááœáẠáá¯á¶ááŸááºááŒá¯áá¯ááºááŒááºážá áá±á«ááºážá ááºážááŒááºážá áá±áá°áá»ááŒá¯áá¯ááºááŒááºáž á¡á ááŸááááºááá¯á· áá«áááºáááºá - áá±áá¬áá°ážáá±á¬áºááŒááºážá
á€ááœáẠáá±áá¬áá°ážáá±á¬áºááŒááºážá á¡áá±ážááŒá®ážáá¯á¶áž á¡á áááºá¡ááá¯ááºáž ááŒá áºááẠ- áááºážááá¯á·ááœáẠáá¯á¶á á¶áá»á¬ážááᯠááŸá¬ááœá±ááẠá¡áááá¬ááºááŸááá±á¬ áááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá áá¯ááºáááºážá ááºááœáẠáá¯ááºáá¯ááºááŒááºážá á¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážá ááá·áºááŸááºážááŒááºážá á á¯ááœá²á·ááŒááºážá á¡áááºážá¡ááœá²á· áááºáá°ááŒááºážááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬áž áá«áááºáááºá - áá±á¬áºáááºá¡áá²ááŒááºááŒááºážá
á€á¡ááá·áºááẠá¡áá¯á¶ážáááºááá¯ááºáá»á±ááŸááá±á¬á áá¬ážáááºáááœááºáá°áá±á¬áá¯á¶á á¶áá»á¬ážááŸáá·áº áá°ááá»ááºáá»á¬ážááᯠáá¶á·ááá¯ážáá±ážááá·áº áá¯á¶á á¶áá»á¬ážááᯠááŸá¬ááœá±áá±á¬áºáá¯ááºááẠáááºááœááºáá«áááºá - á¡ááááᬠááá¯ááºá
á¬ážááŒá¯ááŸá¯
áá±á¬ááºáá¯á¶ážá¡ááá·áºááœááºá áááŸááá¬áá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠá¡ááááᬠááá¯ááºá á¬ážááŒá¯ááŒááºážááŸáá·áº á áááºáá°ážáá¯á¶áá±á¬áºááŒááºážáááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á ááœá²áá±á¬ááºááŸá¯ááŸááá±á¬ áááºážáááºážááŒáá·áº áááºááŒáá«áááºá
Data Mining á á¡á¬ážáááºážáá»ááºáá»á¬áž
- á¡áá»áááºááŸáá·áº áá¯ááºá¡á¬áž ááŒá®ážáá¬ážáá±á¬ áááºážááŸá®ážááŒáŸá¯ááºááŸá¶ááŸá¯
áá±áá¬áá°ážáá±á¬áºááŒááºážááẠááŸááºáá»á¬ážááŒá®áž ááŸá¯ááºááœá±ážáá±á¬ áá¯ááºáááºážá ááºááŒá áºáá±á¬ááŒá±á¬áá·áºá áá»áœááºážáá»ááºáá±á¬áá°áá»á¬ážáá¶á០á¡áá¯ááºáá»á¬ážá áœá¬ ááá¯á¡ááºáá«áááºá áá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážááẠá¡á áœááºážáááºáá±á¬ áá±áá¬áá°ážáá±á¬áºáá±ážáááááá¬áá»á¬ážááᯠáá¯á¶ážááá¯ááºáá±á¬áºáááºáž áááºážááá¯á·ááẠáá±áá¬ááᯠááŒááºáááºááŒá®áž ááááºáá»á¬ážááᯠáá¬ážáááºááẠáá»áœááºážáá»ááºáá°áá»á¬áž ááá¯á¡ááºáá«áááºá ááááºá¡áá±ááŒáá·áº á¡áá»ááºá¡áááºá¡á¬ážáá¯á¶ážááᯠá á®áá¶áá±á¬ááºááœááºááẠá¡áá»áááºá¡áááºážáááºááŒá¬ááá¯ááºáááºá - áá±áá¬ááá¯ááºáá±ážááá¯ááºáá¬ááŸáá·áº áá¯á¶ááŒá¯á¶áá±áž
áá±áá¬áá°ážáá±á¬áºááŒááºážááẠá á»á±ážááœááºáááºážáááºážáá»á¬ážááŸáá áºááá·áº áá¯á¶ážá áœá²áá°á¡áá»ááºá¡áááºáá»á¬ážááᯠá á¯áá±á¬ááºážáá±á¬ááŒá±á¬áá·áº áá¯á¶ážá áœá²áá°áááá¯ááºáá±ážááá¯ááºáá¬á¡á¬áž áá»áá¯ážáá±á¬ááºááá¯ááºáááºá ááá¯á·á¡ááŒáẠáááºáá¬áá»á¬ážááẠdata mining á áá áºáá»á¬ážááœáẠááááºážáááºážáá¬ážáá±á¬ áá±áá¬áá»á¬ážááᯠááá°ááá¯ááºáááºá áááºážááẠáá¯á¶ážá áœá²áá°áá±áá¬áá»á¬ážá áá¯á¶ááŒá¯á¶áá±ážááᯠááŒáááºážááŒá±á¬ááºááŸá¯ááŒá áºá á±áááºá ááá¯ážáá°áá¬ážáá±á¬ áá±áá¬áá»á¬ážááᯠá¡ááœá²áá¯á¶ážá á¬ážáá¯ááºáá«á á¡ááŒá¬ážáá°áá»á¬ážááᯠá¡ááœááºááá° áá¯áá¹ááá±ážááá¯ááºáááºá
á¡áááºáá«á¡áá»ááºááẠáá±áá¬áá°ážáá±á¬áºááŒááºážááá¯ááºáᬠá¡áá»ááºážáá»á¯áẠáááá«ááºážááŒá áºáááºá áá»áœááºáá±á¬áºááŒá±á¬ááŒá®ážáá¬ážá¡ááá¯ááºážá áá±áá¬áá°ážáá±á¬áºááŒááºážááœáẠáá±áá¬áá¯ááºáá°ááŒááºážáá¯ááºáááºážá áẠ(áá±áá¬áá¯ááºáá°ááŒááºáž) á¡áá«á¡ááẠáá±áá¬á á¯áá±á¬ááºážááŒááºážááŸáá·áº áá±á«ááºážá ááºááŒááºážáá¯ááºáááºážá ááºáá»á¬ážáá«ááŸááááºá á€ááá á¹á ááœááºá áá±áá¬áá¯ááºáá°ááŒááºážááẠááŸááºáá»á¬ážáá±á¬áá±áá¬áá°ážáá±á¬áºááŒááºážáá¯ááºáááºážá ááºá áá áºá áááºáá áºááá¯ááºážááŒá áºááá¯ááºáááºáá¯ááá¯ááẠáá¯á¶ááŒá¯á¶áá«áááºá
Data Extraction ááá¯áá¬áá¬áá²á
"áááºáá±áá¬áá°ážáá±á¬áºááŒááºáž" ááŸáá·áº "áááºááŒá áºááŒááºáž" áá¯áááºážáá°áááá»á¬ážáá±á¬ á€áá¯ááºáááºážá ááºááẠ(áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº ááœá²á·á ááºážáá¯á¶áááŸááá±á¬ ááá¯á·ááá¯áẠááœá²á·á ááºážáááºáá±á¬ááºáá¯á¶áá¶á·áá»ááºážáá±á¬) áá±áá¬áááºážááŒá áºáá»á¬ážá០á¡áá»ááºá¡áááºáá»á¬ážááᯠáááá¯áá»á¯ááºááá¯ááºáá¬ážáá±á¬áá±áá¬áá»á¬ážááá¯á· áá¯ááºáá°ááŒááºážááŸáá·áº ááááºážáááºážááŒááºáž ááá¯á·ááá¯áẠáá±á¬ááºáááºáá¯ááºáá±á¬ááºááŒááºážá¡ááœáẠáá áºáá±áá¬áááºážááœáẠáááá¯áá»á¯ááºááá¯ááºááŸá¯ááŒá¯ááŒááºáž ááŒá áºáááºá á¡áá°ážáááŒáá·áºá ááœá²á·á ááºážáá¯á¶áááŸááá±á¬ áá±áá¬áááºážááŒá áºáá»á¬ážááẠáááºá á¬áá»ááºááŸá¬áá»á¬ážá á¡á®ážáá±ážááºáá»á¬ážá á á¬ááœááºá á¬áááºážáá»á¬ážá PDF ááá¯ááºáá»á¬ážá á áááºááºáááºáá¬ážáá±á¬ á á¬áá¬ážáá»á¬ážá áááºááá±á¬ááºá¡á á®áááºáá¶á á¬áá»á¬ážá áá®ážááºááá¯ááºáá»á¬ážá ááŒá±áá¬áá»ááºáá»á¬áž á¡á ááŸááááºááá¯á· áá«áááºáá«áááºá áááá¯áá»á¯ááºááá¯ááºáá¬ážáá±á¬ ááá¯ááŸá±á¬ááºááŸá¯ááẠáá±áááœááºážá cloud ááá¯á·ááá¯áẠáá±á«ááºážá ááºááá¯ááºáááºá áá±áá¬áá¯ááºáá°ááŒááºážááœáẠáá±á¬ááºááá¯ááºážááœáẠááŒá áºáá±á«áºááá¯ááºááá·áº áá¯ááºáá±á¬ááºááŒááºáž ááá¯á·ááá¯áẠá¡ááŒá¬ážáá±á¬ ááœá²ááŒááºážá áááºááŒá¬ááŒááºážáá»á¬áž ááá«áááºááŒá±á¬ááºáž ááŸááºáá¬ážáá¬ážááẠá¡áá±ážááŒá®ážáá«áááºá
Data Extraction ááŒáá·áº áá¬áá¯ááºááá¯ááºááá²á
á¡ááŒá±áá¶á¡á¬ážááŒáá·áºá áá±áá¬áá¯ááºáá°ááŒááºážáááºááœááºáá»ááºáá»á¬ážááẠá¡áá»áá¯ážá¡á á¬áž á áá»áá¯áž ááŸááááºá
- ááááºážáááºážááŒááºážá
áá±áá¬áá¯ááºáá°ááŒááºážááẠá á¬á¡á¯ááºáá»á¬ážá ááááºážá á¬áá»á¬ážá ááŒá±á á¬áá»á¬ážáá²á·ááá¯á· áá¯ááºááá¯ááºážááá¯ááºáᬠáá±á¬áºáááºáá»á¬ážá០á¡áá»ááºá¡áááºáá»á¬ážááᯠááááºážáááºážáááºá¡ááœáẠáá±áá¬áá±á·á áºáá»á¬áž ááá¯á·ááá¯áẠá¡áááºááááºážáááºážááŒááºážáá²á·ááá¯á·áá±á¬ áá áºáá»á áºáááºáá±á¬áºáááºáá»á¬ážá¡ááŒá áºááá¯á· ááŒá±á¬ááºážáá²ááá¯ááºáááºá - áá±áá¬áá¯á¶á
á¶ááᯠááŒá±á¬ááºážáá²ááŒááºážá
ááá·áºáááºááŸáááá¯ááºá០áá±áá¬ááᯠááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á¡á±á¬ááºááœáẠá¡áá áºáá áºáá¯ááá¯á· ááœáŸá±á·ááŒá±á¬ááºážááá¯áá±á¬á¡áá«á áááºážááᯠáá¯ááºáá°ááŒááºážááŒáá·áº ááá·áºááá¯ááºááá¯ááºááá¯ááºá០á¡áá»ááºá¡áááºáá»á¬ážááᯠá á¯áá±á¬ááºážááá¯ááºáá«áááºá - áá±áá¬ááœá²ááŒááºážá
áááºááŒá¬
áááºážááᯠááá¯ážááœááºážááááŒááºááá¯ááºá á±ááẠáá¯ááºáá°áá¬ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºáá±á¬ááºážááœá²ááŒááºážá áááºááŒá¬áááºááŸá¬ áá¬áá¬ááºááŒá áºáááºá áááºážááẠáá±áá¬áá°ážáá±á¬áºááŒááºážááŸáá·áº áááºáá°áááºáᯠáááºááá±á¬áºáááºáž áá±áá¬áá°ážáá±á¬áºááŒááºážááẠáááºážáá¡á áááºá¡ááá¯ááºážááá¯ááºáá² áá±áá¬áá°ážáá±á¬áºááŒááºážááááºážááá¯ááºááŒá áºááŒá±á¬ááºáž áááááá«á ááá¯á·á¡ááŒáẠáá±áá¬áá»á¬ážááᯠááœá²ááŒááºážá áááºááŒá¬áá¯á¶ ááœá²ááŒá¬ážáááºá á¥ááá¬áá áºáá¯ááŸá¬ á¡áœááºááá¯ááºážá ááá¯ážááá¯ááºááŸááºáá»á¬ážááẠááŒáá¯ááºáááºááá¬áá»á°áá¬áá»á¬ážááᯠá¡áá»áááºááŸáá·áºáááŒá±ážáá® á á±á¬áá·áºááŒáá·áºááẠAmazon áá²á·ááá¯á· e-commerce site áá»á¬ážá០áá¯ááºáá¯ááºá¡áá»ááºá¡áááºáá»á¬ážááᯠááœá²áá¯ááºááŒááºážáááºááŒá áºáááºá áá±áá¬áá°ážáá±á¬áºááŒááºážáá²á·ááá¯á·áááºá áá±áá¬áá¯ááºáá°ááŒááºážááẠá¡áá»áá¯ážáá»á±ážáá°ážáá»á¬ážá áœá¬ááŸáááá·áº á¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááŸá¯áá áºáá¯ááŒá áºáááºá á¡áááºáá¯ááºážá áá°ááœá±á áá±áá¬ááœá±ááᯠáá áºáá±áá¬ááá± áá áºáá±áá¬ááᯠááá¯ááºááá¯ááºáá°ážáá°ááŒá®áž áá°ážááá·áºááá¯ááºáá¬áᬠá¡áá»áááºáá¯ááºááœááºážáááºá áá±áá¬áá¯ááºáá°ááŒááºážááẠá á¯á ááºážááŸá¯ááᯠááŒááºáááºá á±ááŒá®áž áá¯ááºáá°áá¬ážáá±á¬áá±áá¬áá»á¬ážá áááá»ááŸá¯ááᯠáá»á¬ážá áœá¬ááá¯ážáááºá á±áááºá
Data Extraction ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážáá¥ááá¬á¡áá»áá¯á·
áá±áá¬áá°ážáá±á¬áºááŒááºážáá²á·ááá¯á·áááºá áá±áá¬áá°ážáá±á¬áºááŒááºážááᯠáá¯ááºáááºážá¡áá»áá¯ážáá»áá¯ážááœáẠááœááºáá»ááºá áœá¬ á¡áá¯á¶ážááŒá¯ááŒáááºá e-commerce á á»á±ážááŸá¯ááºážá á±á¬áá·áºááŒáá·áºááŒááºážá¡ááŒááºá áá±áá¬áá°ážáá±á¬áºááŒááºážááœáẠáááºáááá¯ááºááá¯ááºáá¯áá±ááá ááááºážá á¯á ááºážááŸá¯á á á»á±ážááœááºáá»á²á·ááœááºááŸá¯á á¡áááºááŒá¶ááŒá±á ááá®ážááœá¬ážáá¬ááŸá¯á á¡ááŒá¶áá±ážááŸá¯á ááœá±ááŒá±ážááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážá¡ááœáẠáá°áá®áá±ážááá¯ááºáááºá
- áŠážáá±á¬ááºáá»áá¯ážáááº
áá¯áá¹ááá®áá»á¬ážááẠáááºážááœáŸááºáá»á¬ážá០áá±áá¬áá»á¬ážááᯠáá¯ááºáá°ááá¯ááºáááº- Yelpá Crunchbaseá Yellowpages ááŸáá·áº áá¯ááºáááºážááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á¡ááœáẠáŠážáá±á¬ááºááŸá¯áá»á¬áž ááŒá¯áá¯ááºááá¯ááºáááºá Yellowpages ááŸáá±áá¬áá¯ááºáá°áááºážááá¯áá±á·áá¬ááẠá¡á±á¬ááºáá«áá®áá®ááá¯ááᯠááŒáá·áºááŸá¯ááá¯ááºáá«áááºá . - á¡ááŒá±á¬ááºážá¡áá¬ááŸáá·áº ááááºážáá»á¬áž á
á¯á
ááºážááŸá¯
á¡ááŒá±á¬ááºážá¡áᬠáá±á«ááºážá ááºážáá¬ážáá±á¬ áááºááá¯ááºáá»á¬ážááẠáááºážááŒá áºáá»á¬ážá áœá¬á០áá¯á¶ááŸááºáá±áá¬ááááºáá»á¬ážááᯠáááºáá¶áááŸáááá¯ááºááŒá®áž áááºážááá¯á·áááá¯ááºáá»á¬ážááᯠá¡ááºááááºáá¯ááºáá¬ážáá«á - áá¶á
á¬ážáá»ááºáá»á¬ážááᯠááá¯ááºážááŒá¬ážá
áááºááŒá¬ááŒááºážá
Instagram ááŸáá·áº Twitter áá²á·ááá¯á·áá±á¬ áá°ááŸá¯ááœááºáááºáá»á¬ážá០áá¯á¶ážáááºáá»ááºáá»á¬ážá ááŸááºáá»ááºáá»á¬ážááŸáá·áº áááºáá±áá¶áá»ááºáá»á¬ážááᯠáá¯ááºáá°ááŒá®ážáá±á¬ááºá áá»áœááºážáá»ááºááá¬ááŸááºáá»á¬ážááẠá¡áááºážáá¶ááá±á¬áá¬ážáá»á¬ážááᯠááá¯ááºážááŒá¬ážá áááºááŒá¬ááá¯ááºááŒá®áž á¡ááŸááºáá¶ááááºá áá¯ááºáá¯áẠááá¯á·ááá¯áẠááŒá áºá ááºááᯠáááºááá¯á·ááŒááºááŒá±á¬ááºáž ááááŒááºáá¬ážáááºááá¯ááºáááºááŒá áºáááºá
áá±áá¬áá¯ááºáá°ááŒááºáž á¡ááá·áºáá»á¬áž
áá±áá¬áá¯ááºáá°ááŒááºážááẠETL (Extract, Transform, Load- Extract, Transform, Load) ááŸáá·áº ELT (Extract, Load, and Transform) á áááá¡ááá·áºááŒá áºáááºá ETL ááŸáá·áº ELT ááá¯á·ááẠááŒá®ážááŒáá·áºá á¯á¶áá±á¬ áá±áá¬áá±á«ááºážá ááºážááŸá¯áá»á°áá¬á áá áºá áááºáá áºááá¯ááºážááŒá áºáááºá áá áºáááºážááá¯ááá±á¬áº áá±áá¬áá¯ááºáá°ááŒááºážááẠáááºážááá¯á·á áá¯ááºáá°ááŒááºážá áá áºá áááºáá áºááá¯ááºážááŒá áºáááºá
áá¯ááºáá°á á¡ááœááºááŒá±á¬ááºážá áááºáá«á
áá±áá¬áá°ážáá±á¬áºááŒááºážááẠáá±áá¬á¡áá»á¬ážá¡ááŒá¬ážá០á¡áá»ááºá¡áááºáá»á¬ážááᯠáá¯ááºáá°ááŒááºážááŸáá·áº áááºáááºáá±áá±á¬áºáááºáž áá±áá¬áá¯ááºáá°ááŒááºážááẠááá¯ááá¯ááá¯áá±á¬ááºážááŒá®áž ááá¯ážááŸááºážáá±á¬ áá¯ááºáááºážá ááºááŒá áºáááºá á¡ááá·áºáá¯á¶ážááá·áºááá¯á· áá»áŸá±á¬á·áá»ááá¯ááºáááºá
- áá±áá¬á¡áááºážá¡ááŒá
áºááᯠááœá±ážáá»ááºááŒááºážá
áááºááá¯ááºáá²á·ááá¯á· áááºáá±áá¬áá¯ááºáá°ááá¯ááá·áº á¡áááºážá¡ááŒá áºááᯠááœá±ážáá«á - áá±áá¬á
á¯áá±á¬ááºážááŒááºážá
ááá¯ááºááá¯á· "GET" áá±á¬ááºážááá¯áá»ááºáá áºáᯠáá±ážááá¯á·ááŒá®áž Pythoná PHPá Rá Ruby á áááºááá¯á·ááᯠá¡áá¯á¶ážááŒá¯á áááŸááá¬áá±á¬ HTML á á¬ááœááºá á¬áááºážááᯠááœá²ááŒááºážá áááºááŒá¬áá«á - áá±áá¬ááá¯ááŸá±á¬ááºááŸá¯
á¡áá¬áááºá¡áá¯á¶ážááŒá¯áááºá¡ááœáẠáá±áá¬ááᯠáááºá áá±áááœááºážáá±áá¬áá±á·á Ạááá¯á·ááá¯áẠcloud ááá¯ááŸá±á¬ááºááŸá¯ááœáẠááááºážáááºážáá«á á¡áááºá áááºááẠáá±áá¬áá¯ááºáá°ááá¯áá±á¬ á¡ááœá±á·á¡ááŒá¯á¶ááŸá áááá¯ááááºáá¬áá áºáŠážááŒá áºáá«áá á¡áááºáá±á¬áºááŒáá« á¡ááá·áºáá»á¬ážááẠááá·áºá¡ááœáẠááá¯ážááŸááºážáááºáᯠáááºááá±áááºá ááá¯á·áá±á¬áº áááºááẠáááá¯ááááºáá¬áá áºáŠážááá¯ááºáá«áá ááŒááºáááºážáá áºáá¯ááŸááá«ááẠ- áá²á·ááá¯á·áá±á¬ áá±áá¬áá°ážáá±á¬áºáá±ážáááááá¬áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áá«á . áá±áá¬áá°ážáá±á¬áºáá±áž áááááá¬áá»á¬ážáá²á·ááá¯á· áá±áá¬áá¯ááºáá°ááá·áºáááááá¬áá»á¬ážááẠá áœááºážá¡ááºáá»áœá±áá¬ááŒá®áž áá°ááá¯ááºážá¡ááœáẠáá±áá¬á á®áá¶áá±á¬ááºááœááºáá¬ááœáẠááœááºáá°á á±ááẠáá®ááá¯ááºážáá¯ááºáá¬ážáááºá á€áááááá¬áá»á¬ážááẠá á»á±ážáááºáá¬áá¯á¶áá¬áá á¡á ááŒá¯áá°áá»á¬ážá¡ááœááºáááºáž á¡áááºááŒá±áá«áááºá áááºážááá¯á·ááẠáá¯á¶ážá áœá²áá°áá»á¬ážá¡á¬áž áááá áºááá¯ááºážá¡ááœááºáž áá±áá¬á á¯áá±á¬ááºážáááºá áááºážááᯠcloud ááœáẠááááºážáááºážáááºááŸáá·áº áááºážá¡á¬áž áá±á¬áºáááºáá»á¬ážá áœá¬ááá¯á· áááºááá¯á·ááœáá·áºááŒá¯áááº- Excelá CSVá HTMLá JSONá ááá¯á·ááá¯áẠAPI áá áºáá¯ááŸáá áºááá·áº áááºááá¯ááºáá±á«áºááŸá áá±áá¬áá±á·á áºáá»á¬ážááá¯á· áááºááá¯á·ááœáá·áºááŒá¯áááºá
Data Extraction á á¡á¬ážáááºážáá»ááºáá»á¬áž
- áá¬áá¬áá»ááº
ááŒá®ážáá¬ážáá±á¬ áá±áá¬ááᯠáá¯ááºáá°áá±á¬á¡áá«á áá áºááŸááºááá¯ááºá áááºáá¬áá¬ááẠáá¬áᬠáá»ááºáá®ážááœá¬ážááá¯ááºáááºá áááºážááẠááá¯ááºááá¯ááºááŸááºá á¡áá»áá¯ážá á®ážááœá¬ážááᯠááááá¯ááºáááá·áºáááºá - IP ááŒáá·áºáá¬ážááŒá
áºáá«á
áá°áá áºáŠážááẠáá±áá¬ááᯠáááŒá¬áá á á¯áá±á¬ááºážáá±á¬á¡áá«á áááºááá¯ááºáá»á¬ážááẠáááºážááá¯á·á IP ááááºá á¬ááᯠááááºááá¯á·ááá¯ááºáááºá á¡áááºážá¡ááŒá áºáá áºáá¯ááẠáá±áá¬ááᯠáááŒáá·áºá á¯á¶á¡á±á¬ááºááŒá¯áá¯ááºááŒááºážááŒáá·áº IP ááááºá á¬ááᯠáá¯á¶ážáá¯á¶ážáá»á¬ážáá»á¬ážáá¬ážááŒá áºááá¯ááºááẠááá¯á·ááá¯áẠáááºáá±á¬ááºááœáá·áºááᯠááá·áºáááºááá¯ááºáááºá áá±áá¬ááᯠááŒááºáááºááá°áááºááŸáá·áº ááááºááá¯á·ááŒááºážááᯠááŸá±á¬ááºááŸá¬ážáááºá áááºážááᯠá¡áááºá¡áááºá¡ááŒááºááŸá¯ááºážááŒáá·áº áá¯ááºáá±á¬ááºáááºááŸáá·áº ááááºááá¯á·ááŒááºážááá·áºáá»ááºáá±ážáááºážááá¬á¡áá»áá¯á·ááᯠá¡áá¯á¶ážááŒá¯ááẠááá¯á¡ááºáááºá - á¥ááá±ááŒá¿áá¬áá»á¬áž
áááºá០áá±áá¬ááᯠáá¯ááºáá°ááŒááºážááẠááá¬ážá¥ááá±ááŸáá·áºá¡áá® ááŒá áºáá¬áá±á¬á¡áá« áá®ážááá¯ážáá±á¬áẠá§áááá¬áá²ááá¯á· áá±á¬ááºááœá¬ážáá«áááºá Linkedin ááŸáá·áº Facebook áá²á·ááá¯á·áá±á¬ á¡áááááá¯ááºáá»á¬ážááŒá áºááá·áº áá±áá¬áá»á¬ážááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá°ááŒááºážááᯠáá¬ážááŒá áºáá¬ážááŒá±á¬ááºáž áááºážááá¯á·áá¡áá¯á¶ážááŒá¯ááŸá¯á ááºážáá»ááºážáá»á¬ážááœáẠááŸááºážáááºážá áœá¬áá±á¬áºááŒáá¬ážáááºá bot ááŸá¯ááºááŸá¬ážááŸá¯áá»á¬ážááŒá±á¬áá·áº áá¯áá¹ááá®áá»á¬ážá¡ááŒá¬áž ááá¬ážá áœá²ááŸá¯áá»á¬áž á¡áá»á¬ážá¡ááŒá¬ážááŸááá²á·áááºá
áá±áá¬áá°ážáá±á¬áºááŒááºážááŸáá·áº áá±áá¬áá¯ááºáá°ááŒááºážááŒá¬áž á¡áááááœá¬ááŒá¬ážáá»ááºáá»á¬áž
- áá±áá¬áá°ážáá±á¬áºááŒááºážááᯠáá±áá¬áá±á·á áºáá»á¬ážááœáẠá¡ááááá¬ááŸá¬ááœá±ááœá±á·ááŸáááŸá¯á á¡ááááá¬áá¯ááºáá°ááŸá¯á áá±áá¬/áá¯á¶á ᶠááœá²ááŒááºážá áááºááŒá¬ááŸá¯á ááááºážá¡áá»ááºá¡áááºá á¯áá±á¬ááºážááŒááºážáá¯áááºáž áá±á«áºáááºá áá±áá¬áá¯ááºáá°ááŒááºážááᯠáááºáá±áá¬áá¯ááºáá°ááŒááºážá áááºá á¬áá»ááºááŸá¬á áááºááºáááºááŒááºážá áá±áá¬á á¯áá±á¬ááºážááŒááºážá áááºááŒáá·áº á¡ááŒááºá¡ááŸááºá¡áá¯á¶ážááŒá¯ááá¯ááºáááºá
- áá±áá¬áá°ážáá±á¬áºááŒááºážááá¯ááºáᬠáá¯áá±ááááẠá¡áá»á¬ážá¡á¬ážááŒáá·áº ááœá²á·á ááºážáááºáá±á¬ááºáá¬ážáá±á¬ áá±áá¬á¡áá±á«áº á¡ááŒá±áá¶áá±á¬áºáááºáž áá±áá¬áá°ážáá±á¬áºááŒááºážááŸá¬ á¡áá»á¬ážá¡á¬ážááŒáá·áº ááœá²á·á ááºážáááºáá±á¬ááºáá¯á¶áááŸááá±á¬ ááá¯á·ááá¯áẠááœá²á·á ááºážááŸá¯á¡á¬ážáááºážáá±á¬ á¡áááºážá¡ááŒá áºáá»á¬ážá០áá¯ááºáá°áá±á·ááŸááááºá
- áá±áá¬áá°ážáá±á¬áºááŒááºážá áááºááœááºáá»ááºááŸá¬ áá±áá¬áá»á¬ážááᯠááœá²ááŒááºážá áááºááŒá¬áááºá¡ááœáẠááá¯ááá¯á¡áá¯á¶ážáááºá á±áááºááŒá áºáááºá áá±áá¬áá¯ááºáá°ááŒááºážááá¯áááºááŸá¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠáá áºáá±áá¬áááºážááœáẠááááºážáááºážááŒááºáž ááá¯á·ááá¯áẠá á®áá¶áá±á¬ááºááœááºááá¯ááºááá·áº á á¯á ááºážááŸá¯ááŒá áºáááºá
- áá±áá¬áá°ážáá±á¬áºááŒááºážááœáẠááœá²ááŒááºážá áááºááŒá¬ááŒááºážááẠáá¯á¶á á¶áá»á¬áž ááá¯á·ááá¯áẠáá±ááºáá±á á®ážááŒá±á¬ááºážáá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºáááºá¡ááœáẠáááºá¹áá»á¬áááºážáá»á¬ážáá±á«áºááœáẠá¡ááŒá±áá¶áá¬ážáááºá áá±áá¬áá¯ááºáá°ááŸá¯ááẠá¡áááºážá¡ááŒá áºáá»á¬ážááᯠáá»á±á¬áºááœáŸá¬ážááẠáááá¯ááááºáá¬áá¬á áá¬ážáá»á¬áž ááá¯á·ááá¯áẠáá±áá¬áá¯ááºáá°ááá·áºáááááá¬áá»á¬ážááᯠá¡ááŒá±áá¶áá¬ážáááºá
- áá±áá¬áá°ážáá±á¬áºááŒááºážá áááºááœááºáá»ááºááŸá¬ ááááºá ááááá²á·áá±á¬ ááá¯á·ááá¯áẠáá»á áºáá»á°ááŸá¯áá¬ážááŒááºážáááŸááá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠááŸá¬ááœá±áááºááŒá áºááŒá®áž áá±áá¬áá¯ááºáá°ááŸá¯ááẠááŸáááŒá®ážáá¬áž á¡áá»ááºá¡áááºáá»á¬ážááŸáá·áº áááºááá¯ááºáá«áááºá
- áá±áá¬áá°ážáá±á¬áºááŒááºážááẠááá¯ááá¯ááŸá¯ááºááœá±ážááŒá®áž áá°áá»á¬ážááᯠáá±á·áá»áá·áºáá±ážáá¬ááœáẠááŒá®ážáá¬ážáá±á¬ áááºážááŸá®ážááŒáŸá¯ááºááŸá¶ááŸá¯ ááá¯á¡ááºáááºá ááŸááºáááºáá±á¬ tool ááŒáá·áº áá±áá¬áá¯ááºáá°ááŒááºážááẠá¡ááœááºááœááºáá°ááŒá®áž áá¯ááºáá»á áááẠáááá±á¬ááºááá¯ááºáááºá
á áááºáá°áá»á¬áž Data ááœáẠáááŸá¯ááºááœá±ážá á±ááẠáá»áœááºá¯ááºááá¯á· áá°áá®áá±ážáá«áááºá á¡áá°ážáááŒáá·áº habravchans á¡ááœááºá áá»áœááºá¯ááºááá¯á·ááẠáááá¯ááá¯ážááŸááºážáá¯ááºáá áºáᯠááŒá¯áá¯ááºáá²á·áááºá HABRááá°ážá ááºážááœáẠáá±á¬áºááŒáá¬ážááá·áº áá»áŸá±á¬á·á á»á±ážááá¯á· á¡ááᯠ10% áá»áŸá±á¬á·á á»á±ážááᯠáá±ážáááºá
áá±á¬ááºáááºáááºáááºážáá»á¬áž
á¡áá°ážá¡áá¬ážáá±áž áá±á¬ááºážáá«ážáá»á¬áž
source: www.habr.com