á€áá±á¬ááºážáá«ážááẠáá»áœááºá¯ááºá áá±á¬ááºážáá«ážááᯠáá¬áá¬ááŒááºáá¬ážááŒááºážááŒá áºáááº- ááá¯áááºá á¡áá±á¬áºáá±ážááᯠáá°ááŒáá¯ááºáá»á¬ážááœá¬ážááá·áºá áááºážáááá¯ážááŸááºážááŸá¯ááŒá±á¬áá·áº ááŒá áºááá¯ááºáááºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááẠáááºážááᯠáá¯ááŸá¬ážáá¬áá¬ááŒáá·áº áá±ážááẠáá¯á¶ážááŒááºááŒá®áž áá±áá¬ááá¯ááŸá±á¬ááºáá¯á¶ (DW) ááá¯áááºááŸá¬ áá±áᬠááá¯ááŸá±á¬ááºáá¯á¶ (DW) áá°ááẠáááºáá²á·ááá¯á· ááŒá áºáááºá áááºážááá¯á·ááᯠáááºáá²á·ááá¯á· ááŸááºážáááºážá á±ááẠáá±áᬠáá»áœááºážáá»ááºáá° ááá¯ááºáá±á¬ áá¬áááºáá°áá áºáŠážá¡á¬áž á¡áááºážááẠááŸááºážááŸááºážáááºážáááºáž ááá á±ááẠá¡áááºážááẠáááºááá·áºááá¯ááºáá«áááºá á¡áá°áá°áá¯ááºáá«á
áá¬ááŒá±á¬áá·áº Data lake á¡ááŒá±á¬ááºážáá±ážáá»ááºáá¬áá²á áá»áœááºá¯ááºááẠáá±áá¬ááŸáá·áº ááœá²ááŒááºážá áááºááŒá¬ááŸá¯ááŒáá·áº 10 ááŸá áºáá»á±á¬áº áá¯ááºááá¯ááºáá²á·ááŒá®áž ááá¯á¡áá« áá±á¬á ááœááºááŒáá¯á·ááŸá Amazon Alexa AI ááœáẠáá±áá¬ááŒá®ážáá»á¬ážááŒáá·áº áá¯ááºáá±á¬ááºáá±áá±á¬áºáááºážá áá»áœááºá¯ááºááẠVancouver áá»áœááºážááœáẠVictoria ááœááºáá±ááá¯ááºááŒá®áž áá±á¬áºá ááœááºá Seattle ááá¯á· áááŒá¬ááááœá¬ážáá±á¬ááºáááºáááºáá±á¬áºáááºážá áááºáá°ážáá¬ážá áá±á¬áºá ááá¯ááŸá¬áá±á¬áẠááœááºáááá·áºááœá±ááŸá¬ ááŒá±á¬áááºáááºá áá¶áááºáá¶áá«áááºáž áá±ážáááºáá±ááá·áº á¡ááºá¹áááááºááᯠá¡ááááá±ážááŒá®áž áá±ážááŒá®ážáá¬ážáá«á áá»áœááºá¯ááºááẠááŒá±á¬ááºá¡áá±áááá០ááœá²ááŒááºážá áááºááŒá¬ááŸá¯áááºážááŒá±á¬ááºážáá»á¬ážááᯠáá»áŸáá±ááẠááá¯á¡ááºááŒá®áž áá áºáá«áá áºáá¶ááœáẠáá±ážáá«áááºá .
áá»áœááºá¯ááºááẠáá±áá¬ááá¯ááŸá±á¬ááºáá¯á¶áá»á¬ážááŸáá·áº á¡ááŒá²á¡áá¯ááºáá¯ááºáá²á·ááŒá®áž 2015 áá¯ááŸá
áºááŸá
á áá»áœááºá¯ááºááẠAmazon Web Services ááŸáá·áº áá®ážáááºá
áœá¬áá¯ááºáá±á¬ááºáá²á·ááŒá®áž áá±áá¯áá»á¡á¬ážááŒáá·áº cloud ááœá²ááŒááºážá
áááºááŒá¬ááŸá¯ (AWS, Azure, GCP) ááá¯á· ááŒá±á¬ááºážáá²á·áááºá 2007 áá¯ááŸá
áºááááºážá ááœá²ááŒááºážá
áááºááŒá¬ááŸá¯ááá¯ááºáᬠááŒá±ááŸááºážáá»ááºáá»á¬ážá ááá·áºáá²ááŒá±á¬ááºážáá²áá¬ááŸá¯ááᯠáá»áœááºá¯ááºáááááŒá¯ááááŒá®áž áá±áá¬ááá¯áá±á«ááºáá±á¬ááºážáá»áá° Teradata á¡ááœááºááẠáá¯ááºáá±á¬ááºáá²á·ááŒá®áž áááºážááᯠSberbank ááœáẠá¡áá±á¬ááºá¡áááºáá±á¬áºáá²á·ááŒá®ážá Hadoop ááŸáá·áºá¡áá° Big Data áá±á«áºáá¬áá±á¬á¡áá«ááœááºááẠááŒá
áºáááºá ááá¯ááŸá±á¬ááºááŸá¯áá±ááºáá¯ááºááœá¬ážááŒá®ááŒá
áºááŒá®áž ááᯠá¡áá¬á¡á¬ážáá¯á¶ážááẠHadoop ááœááºááŸááá±ááŒá®áᯠáá°ááá¯ááºážáááŒá±á¬áá¬ááŒáááºá ááá¯á·áá±á¬áẠData Lake á¡ááŒá±á¬ááºážááᯠáááºáá¶ááŒá±á¬áá¬áááºá ááᯠdata warehouse áá¡áá¯á¶ážááẠáá»áááºážáá±áá±á¬ááºááŒá®áᯠáááºáá¶ááŒá±á¬ááá¯áá¬ááŒáááºá áá«áá±ááá·áº áá¶áá±á¬ááºážáá±á¬ááºáá
áœá¬ (áá¶ááá±á¬ááºážá
áœá¬áá² Hadoop ááá¯á
ááœáá·áºáá²á· ááœá±á¡ááŒá±á¬ááºá¡áá»á¬ážááŸá¬áá°á¡áá»áá¯á·á¡ááœááº) áá±áá¬ááá¯áá±á«ááºá áá»á±á¬ááºáááœá¬ážáá«áá°ážá
áá®áá±á¬ááºážáá«ážááŸá¬ data lake ááá¯áᬠáá¬áá²ááá¯áá¬ááᯠáá±á·áá¬ááŒáá·áºáá«áááºá á€áá±á¬ááºážáá«ážááẠáá±áá¬ááá¯ááŸá±á¬ááºáá¯á¶áá»á¬ážááŸáá·áº á¡ááœá±á·á¡ááŒá¯á¶á¡áááºážááẠááá¯á·ááá¯áẠáááŸááá°áá»á¬ážá¡ááœáẠáááºááœááºáá«áááºá
áá¯á¶áá²ááŸá¬ Lake Bled áá«á áá«á áá»áœááºáá±á¬áº á¡ááŒáá¯ááºáá¯á¶áž áá±áááºááœá±áá²á áá
áºáá¯áá«á áá»áœááºáá±á¬áº á¡á²áá®ááŸá¬ áá
áºááŒáááºáá² ááŸááá²á·áá±ááá·áº áá
áºáááºáá¯á¶áž áááááá±áá²á·áááºá áá«áá±ááá·áº data lake áá²á·áá±á¬ááºáááºá¡áá¯ááºá¡áá»áá¯ážá¡á
á¬ážá¡ááŒá±á¬ááºážááŒá±á¬áá«áááºá á€á¡áá¯á¶ážá¡ááŸá¯ááºážááᯠáá
áºááŒáááºáááºááá¯á ááŒá¬ážáá°ážáá¬ážáááŸááá°áá»á¬áž ááŒá
áºáá±á¬ááºážááŒá
áºááá¯ááºáá±á¬áºáááºáž áá±á¬ááºáááºá¡áááá¹áá«ááºáá
áºáá¯á áááºáá°ááá¯áá»áŸ ááááá¯ááºáááºááá¯ááºáá«á
ááááŠážá áœá¬á á€áááºááŸá¬ Data Lake á áá±áááºážá¡á á¬ážáá¯á¶áž á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááŒá áºáááº-
âá¡ááœá²á·á¡á ááºážá¡ááœááºážááŸááááºáá°áááᯠááœá²ááŒááºážá áááºááŒá¬áááºáááŸáááá¯ááºááá·áº áá¯ááºááŒááºážá¡áá»áá¯ážá¡á á¬ážá¡á¬ážáá¯á¶ážá ááá¯ááºááá¯ááŸá±á¬ááºááŸá¯áá áºáá¯â - Martin Fowlerá
âáá±áá¬áá¬á·á áá±áá°ážááᯠááá·áºá ááºá¡á±á¬áẠáá¯ááºááá¯ážááŒá®áž áá¯ááºááá¯ážáá¬ážáá²á· áá±ááá·áºáá°ážááá¯á· áááºááẠData lake áᬠááá¬ááá¯á¶á á¶áá²á· ááŒá®ážáá¬ážáá²á· áá±ááŸá±á¬ááºáááºááŒá®ážáá«á á¡áá¯á¶ážááŒá¯áá°áá»á¬ážá áá»áœááºá¯ááºááẠáá»áœááºá¯ááºá¡ááœáẠáá±ááá¯á á¯áá±á¬ááºážááá¯ááºáááºá áááºááŸáá¯ááºážá áœá¬áá¯ááºáᬠá á°ážá ááºážááŸá¬ááœá±ááá¯ááºáááº" - James Dixoná
ááᯠáá»áœááºá¯ááºááá¯á·ááẠdata lake ááẠááœá²ááŒááºážá áááºááŒá¬ááŒááºážá¡ááŒá±á¬ááºážááŒá áºááŒá±á¬ááºáž áá±áá»á¬áááááŒá®ážá áááºážááẠáá»áœááºá¯ááºááá¯á·á¡á¬áž áááºážá áá°áááºážáá¯á¶á á¶ááœáẠáá±áá¬á¡áá»á¬ážá¡ááŒá¬ážááᯠááááºážáááºážááá¯ááºá á±áᬠáá»áœááºá¯ááºááá¯á·ááœáẠááá¯á¡ááºáá±á¬ á¡áááºááŒá±ááŒá±á¡áá¯á¶ážááŒá¯ááá¯ááºááá·áº áá±áá¬ááᯠáááŸááááºááŒá áºáááºá
ááá¯ážááŸááºážáá²á· á áá¬ážáá¯á¶ážááœá±ááᯠááá¯ážááŸááºážáá²á· á áá¬ážáá¯á¶ážááœá±áá²á· ááŸááºážááŒááá¯ááºááẠá¡áá¬ááœá±ááᯠááá¯ážááŸááºážá¡á±á¬áẠáá¯ááºááá¬ááᯠááŸá áºáááºáááºá á¡á²áá«á áááºááá¯á¡áá¯ááºáá¯ááºááá² ááá¯áá¬ááᯠáá¬ážáááºáá«áááºá áá áºáá±á·ááŸá¬á iPhone áá¬ááºáá¯á¶ááŒáááºážááŸá¬ ááŸáá·áºáááºááŒáá·áºáááºážá áá«á áááá·áºáá±áá¬á¡áá¯ááºáá«á ááœááºáááá·áºááœá±á¡ááœáẠáááá¯ááºáá áºáá¯áá±á¬áẠáá¯ááºáá²á·áááºá
á¡áá¬á¡á¬ážáá¯á¶ážáááºá¡ááœááºááá¯ážááŸááºážáá«áááºá áá¯ááºážáá²ááŸá¬ áá¬ááºáá¯á¶ááá¯ááºá áá¬ááºáá¯á¶ááᯠáá¯ááºážáá²ááŸá¬ ááááºážáá¬ážááŒá®áž iCloud (cloud file storage) ááŸá¬ ááááºážáá¬ážááá¯ááºáá«áááºá áá¯ááºážááẠááŒáá¬ážááá·áºá¡áá¬á áááá®áááºááºá á¡áá»áááºá áá¬ááºáá¯á¶ áááºáá¬áá±áá¬áá»á¬ážááá¯áááºáž á
á¯áá±á¬ááºážáá«áááºá ááááºá¡áá±ááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·ááá¬ááºáá¯á¶ááá¯ááŸá¬ááœá±ááẠiPhone áá¡áá¯á¶ážááŒá¯áááœááºáá°áá±á¬á¡ááºáá¬áá±á·á
áºááá¯á¡áá¯á¶ážááŒá¯á á¡ááœáŸááºážáá»á¬ážááá¯áááºááœá±á·ááŒááºááá¯ááºáááºá á¥ááá¬á áá®ážáá°áá±á¬á
áá¬ážáá¯á¶ážááŒáá·áºáá¬ááºáá¯á¶áá»á¬ážááá¯ááŸá¬ááœá±áá±á¬á¡áá«ááœááºá áá®ážáá¯á¶áá«ááá·áºáá¬ááºáá¯á¶ á áá¯á¶ááá¯ááœá±á·ááá¯ááºáááºá áá»áœááºáá±á¬á·áºá¡ááœááºááá±á¬á· áá«á á¡áááºážááŒááºááŒááºáááºáááºáá²á· áááá»á
áœá¬á¡áá¯ááºáá¯ááºáá²á· Business Intelligence tool áá
áºáá¯ááá¯áá«áá²á
áá¯ááºáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ááŒá¯á¶áá±áž (ááœáá·áºááŒá¯áá»ááºááŸáá·áº á á áºááŸááºááŒá±á¬ááºážá¡áá±á¬ááºá¡áá¬ážááŒááŒááºáž) ááᯠááá±á·ááá·áºáá«á ááá¯á·ááá¯ááºáá«á áá»áœááºá¯ááºááá¯á·ááá±áá¬áá»á¬ážááẠá¡áá»á¬ážáá°ááŸá¬ ááá¯ááááºážááœáẠá¡ááœááºááá° áá¯ááºáá¯á¶ážááœá¬ážááá¯ááºáá«áááºá developer áá»á¬ážá áá±á«á·áááŸá¯ ááŸáá·áº ááá¯ážááŸááºážáá±á¬ á ááºážáá»ááºážáá»á¬ážááᯠááá¯ááºáá¬ááẠáá»ááºááœááºááŒááºážááŒá±á¬áá·áº áá±áá¬áá»á¬ážááᯠáá°ááááŸááºááŒá¬áž áááŸáááá¯ááºáá±á¬ áá±á¬áºááá¯áá±ážááŸááºážááŒá®ážáá»á¬ážááŸáá·áº startup áá»á¬ážá¡ááŒá±á¬ááºáž ááááºážáá»á¬ážá áœá¬ ááŸááá«áááºá
á€áá»áŸááá¯ážááŸááºážáá±á¬áá¯á¶áááºáááºáá»áŸáẠdata lake ááá¬áá²á ááá¬ážááá¯ážáá»áá±áá¬ááá¯áá±á«ááºááŸáá·áºáááºážáá¡áááááŒááºá ááºáá»á¬ážááŸáá·áºáááºážáááœá²ááŒá¬ážááŸá¯áá»á¬ážááá¯ááŒááºáá±á¬ááºáááºáá°áá®áá±ážáááº-
- áá±áá¬ááᯠáááºáá±áááºá (Ingestion) ááẠáá±á¡áá¯ááºá á¡ááá á¡á áááºá¡ááá¯ááºážááŒá áºáááºá áá±áá¬ááẠáá±áá¬ááá¯áá±á«ááºá¡ááœááºážááá¯á· áááºážáááºážááŸá áºáá»áá¯ážááŒáá·áº áááºáá±á¬ááºááá¯ááºááẠ- batch (ááŒá¬ážáá¬áááœáẠáááºááŒááºáž) ááŸáá·áº ááá¯ááºááá¯ááºáá¯ááºááœáŸáá·áºááŒááºáž (áá±áá¬á á®ážáááºážááŸá¯)á
- ááá¯ááºááá¯ááŸá±á¬ááºááŸá¯ (Storage) ááẠData Lake á á¡ááá á¡á áááºá¡ááá¯ááºážááŒá áºáááºá á¡ááœááºááá° á¡ááá¯ááºážá¡áá¬á á¡ááœááºáá¯á¶ááŒááºá áááºáá»áááŒá®áž áá¯ááºáá»á ááááºáááºáá¬ááẠááá¯ááŸá±á¬ááºáááºážááᯠáá»áœááºá¯ááºááá¯á· ááá¯á¡ááºáá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá AWS ááœááºáááºážááẠS3 ááŒá áºáááºá
- Catalog ááŸáá·áº Search (Catalog ááŸáá·áº Search) - áá»áœááºá¯ááºááá¯á·ááẠData Swamp ááá¯ááŸá±á¬ááºááŸá¬ážáááºá¡ááœáẠ(á€áááºááŸá¬áá»áœááºá¯ááºááá¯á·áááºáá±áá¬á¡á¬ážáá¯á¶ážááá¯áá áºáá¯á¶áááºážááœááºá áœáá·áºáá áºáá±á¬á¡áá«á áááºážááŸáá·áºá¡áá¯ááºáá¯ááºáááºáááŒá áºááá¯ááºáá«)á áá±áá¬ááá¯ááœá²ááŒá¬ážááẠmetadata á¡ááœáŸá¬áá áºáá¯áááºáá®ážáááºááá¯á¡ááºáááºá ááá¯á·ááŸáᬠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠááœá²ááŒááºážá áááºááŒá¬ááẠááá¯á¡ááºááá·áº á¡áá»ááºá¡áááºáá»á¬ážááᯠá¡ááœááºááá° ááŸá¬ááœá±ááá¯ááºáááºááŒá áºáááºá ááá¯á·á¡ááŒááºá áááºááẠElasticSearch áá²á·ááá¯á·áá±á¬ áá±á¬ááºáááºááŸá¬ááœá±ááŸá¯ááŒá±ááŸááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá¯ááºáááºá Search ááẠá¡áá¯á¶ážááŒá¯áá°á¡ááœáẠááá¯á¡ááºáá±á¬áá±áá¬ááᯠá¡áá¯á¶ážááŒá¯áááœááºáá°áá±á¬ á¡ááºáá¬áá±á·á áºááŸáá áºááá·áº ááŸá¬ááœá±ááẠáá°áá®áá±ážáááºá
- á¡ááŒá±á¬ááºážá¡áá²áá²á· (Process) - á€á¡ááá·áºááẠáá±áá¬ááᯠáá¯ááºáá±á¬ááºááŒááºážááŸáá·áº ááŒá±á¬ááºážáá²ááŒááºážá¡ááœáẠáá¬áááºááŸááááºá áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬ááᯠááŒá±á¬ááºážáá²ááá¯ááºáááºá áááºážáááœá²á·á ááºážáá¯á¶ááᯠááŒá±á¬ááºážáá²ááá¯ááºáááºá áááºážááᯠááŸááºážáá¯ááºááá¯ááºáááºá ááŸáá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážá áœá¬ááᯠáá¯ááºáá±á¬ááºááá¯ááºáááºá
- áá¯á¶ááœá¯á¶ááŸá¯ (áá¯á¶ááŒá¯á¶áá±áž) - ááŒá±ááŸááºážáá»ááºá áá¯á¶ááŒá¯á¶áá±ážáá®ááá¯ááºážá¡ááœáẠá¡áá»áááºááŒá¯ááºážááẠá¡áá±ážááŒá®ážáá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá ááá¯ááŸá±á¬ááºááŸá¯á á á®áá¶áá±á¬ááºááœááºáá±á ááºá¡ááœááºáž áá±áá¬áá¯ááºááŸááºááŒááºáž á¡áá±á¬ááºá¡áá¬ážá áá á áºááŒááºážááŸáá·áº ááœáá·áºááŒá¯áá»ááºáááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááẠá¡áá±ážááŒá®ážáá«áááºá áá±á¬ááºáá¯á¶ážááœáẠá á¬áááºážá á áºáááááá¬áá áºáᯠááá¯á¡ááºáá«áááºá
áááºááœá±á·áá»áá±á¬ááŸá¯áá±á¬áá·áºááŸáá±á áá»áœááºá¯ááºááá¯á·ááẠá¡áá»ááºá¡áááºáá±áááºáá áºáá¯á¡á¬áž á¡ááºá¹áá«áááºáá¯á¶ážáá¯ááŒáá·áº áááºááŸááºááá¯ááºáááº-
- áááºááá·áºá¡áá¬ááá¯áááᯠá á¯áá±á¬ááºážááááºážáááºážáá«á â data lake ááœáẠá¡áá»áááºá¡ááá¯ááºážá¡áá¬áá áºáá¯á¡áá ááá¯ááºáá±á¬ááºááá±ážáá±á¬ áá±áá¬ááŸáá·áº á á®áá¶ááŒá®áž/ááŸááºážáááºážáá¬ážáá±á¬ áá±áᬠááŸá áºáá¯áá¯á¶ážáá«ááŸááááºá
- Deep Scan â data lake ááẠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡á¬áž áá±áá¬áá»á¬ážááᯠá á°ážá ááºážáá±á·áá¬ááŒá®áž ááœá²ááŒááºážá áááºááŒá¬ááá¯ááºá á±áá«áááºá
- Flexible access â data lake ááẠááá°áá®áá±á¬ data áá»á¬ážááŸáá·áº ááá°áá®áá±á¬á¡ááŒá±á¡áá±áá»á¬ážá¡ááœáẠááá¯ááºáá»á±á¬áá®ááœá±ááŸááá±á¬áááºáá±á¬ááºááœáá·áºááá¯áá±ážáá«áááºá
ááᯠáá»áœááºá¯ááºááá¯á·ááẠáá±áá¬ááá¯ááŸá±á¬ááºáá¯á¶ááŸáá·áº áá±áá¬áááºááŒá¬áž ááŒá¬ážáá¬ážáá»ááºááᯠááœá±ážááœá±ážááá¯ááºááŒá®ááŒá áºáááºá áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº áá°ááœá±áá±ážááŒáááº
- áá±áá¬ááá¯áá±á«ááºáá±á¬ áááºááá¯áá²á
- áá±áá¬ááá¯áá±á«ááºááᯠáá±áá¬á¡áá¯ááºááŒáá·áº á¡á á¬ážááá¯ážáá±ááá¬áž ááá¯á·ááá¯áẠááá¯ážáá»á²á·áá±áá«ááá¬ážá
- data lake ááá«áá²áá¯ááºááá¯á·ááá±ážáá¬ážá
ááá¯ááá¯ááŒá±á¬áááẠááŸááºážááŸááºážáááºážáááºáž á¡ááŒá±áááŸááá«áá°ážá á¡á¬ážáá¯á¶ážá áááºááŸááºáá¬ážáá²á· á¡ááŒá±á¡áá±á á¡áááºážáá²á· áá»áœááºážáá»ááºááŸá¯áá²á· áááºáá»ááºá¡áá±á«áº áá°áááºáá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá±áá¬ááá¯áá±á«ááºáá áºáá¯á¡á¬áž Oracle ááá¯á· AWS ááá¯á·ááŒá±á¬ááºážááœáŸá±á·ááŒááºážááŸáá·áº Amazon áá¯ááºáááºážááœá²áá áºáá¯á០- Woot - áá±áá¬áááºáá áºáᯠáááºáá®ážááŒááºážá .
áá áºáááºááœááºá áá±á¬ááºážáá»áá° Snowflake á áááºážááá¯á·á áá±áá¬ááááºáá±á¬ááºáž (2020 áá¯ááŸá áºá¡áá áá±áá¬ááá¯ááŸá±á¬ááºáá¯á¶ááŒá áºáá²á·áááº) ááŒá áºáá±á¬ááŒá±á¬áá·áº áá±áá¬áááºááŸáá·áº áá±áá¬ááá¯áá±á«ááºááŸá áºáá¯áá¯á¶ážááᯠáá±á«ááºážá ááºááá¯ááºáá±á¬ááŒá±á¬áá·áº áá±áá¬áááºá¡ááŒá±á¬ááºáž áááºááœá±ážáááºáááá¯á¡ááºáá±á¬á·ááŒá±á¬ááºáž ááŒá±á¬ááŒá¬ážáá²á·áááºá Snowflake áá²á· ááááºááá¯ááºáá°ážáá«áá°ážá áá«á ááááºááᯠáá°ážááŒá¬ážáá²á· áá¯ááºáá¯ááºáá áºáá¯áá«á á á»á±ážááŸá¯ááºážááá á¹á á áááŒá¬ážááá á¹á áá«á
áááá¯á¶ážáá»á¯ááºá¡á¬ážááŒáá·áºá áá»áœááºá¯ááºáááá¯ááºáá±ážááá¯ááºáá¬á¡ááŒááºááŸá¬ áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·áá¡á á®áááºáá¶ááŒááºážá¡ááœáẠá¡ááááá±áá¬á¡áááºážá¡ááŒá áºá¡ááŒá Ạáá±áá¬ááá¯áá±á«ááºáá áºáᯠááá¯á¡ááºáá±áá±ážááŒá®áž áááºááá·áºá¡áá¬áááᯠáá»áœááºá¯ááºááá¯á· áá±áá¬á¡áá¯ááºáá²ááœáẠááááºážáááºážáá¬ážááŒááºážááŸáá·áº áááá¯ááºáá®áá«á ááœá²ááŒááºážá áááºááŒá¬ááŸá¯á á¡áááºážááá¹ááá áºáá¯áá¯á¶ážááẠá á®ážááœá¬ážáá±ážáá¯ááºáááºážá¡ááœáẠáá¯á¶ážááŒááºáá»ááºáá»á¬ážáá»ááẠááœááºáá°á áœá¬ áááºáá±á¬ááºááá¯ááºá á±áááºááŒá áºáááºá áá¬áá²ááŒá±á¬ááŒá±á¬á á á®ážááœá¬ážáá±ážá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠá¥ááᬠAmazon ááœáẠdata lake ááẠdata warehouse ááŸáá·áº ááá¯ááá¯áááá±á¬ááºá áœá¬á¡áá¯ááºáá¯ááºááŒááẠ- Redshift (analytical data warehouse) ááŸáááŒá®áž Redshift Spectrum/Athena (S3 ááŸá data lake á¡ááœáẠSQL interface ááŸáááẠHive/Presto)á á¡ááŒá¬ážáá±á¬ áá±ááºáá® ááœá²ááŒááºážá áááºááŒá¬ááŸá¯áá±áᬠááá¯ááŸá±á¬ááºáá¯á¶áá»á¬ážááŸáá·áº á¡áá¬ážáá°áááºááŒá áºáááºá
áá¯á¶ááŸáẠdata warehouse architecture ááᯠááŒáá·áºááŒáá«á áá¯á·á
á€áááºááŸá¬ ááá¹ááááºá¡ááŒá±áá
áºáá¯ááŒá
áºáááºá áá»áœááºá¯ááºááá¯á·ááœáẠETL/ELT ááᯠá¡áá¯á¶ážááŒá¯á á¡áááºážá¡ááŒá
áºá
áá
áºáá»á¬áž ááŸááááºá áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬áá»á¬ážááᯠááœá²ááŒááºážá
áááºááŒá¬áá±á¬áá±áá¬ááá¯áá±á«ááºáá
áºáá¯ááá¯á· áá°ážáá°ááŒá®áž áááºážááᯠBusiness Intelligence ááŒá±ááŸááºážáá»ááºáá
áºáá¯ááá¯á· áá»áááºáááºáá±ážááẠ(áá»áœááºá¯ááºá¡ááŸá
áºáááºáá¯á¶ážááŸá¬ Tableau ááŒá
áºáááºá ááá·áºá¡ááœááºáá±á¬á)
á€ááŒá±ááŸááºážáá»ááºááœáẠá¡á±á¬ááºáá«á¡á¬ážáááºážáá»ááºáá»á¬ážááŸááááºá
- ETL/ELT áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááẠá¡áá»áááºááŸáá·áº á¡áááºážá¡ááŒá áºáá»á¬áž ááá¯á¡ááºáááºá
- á ááºážáááºážá¡ááá¯ááºážá ááœá²ááŒááºážá áááºááŒá¬ááŸá¯áá±áá¬ááá¯áá±á«ááºááœáẠáá±áá¬ááááºážáááºážááŒááºážá¡ááœáẠááŸááºáá¬ááºááẠá¡á á¯á¡áá±ážáá áºáá¯áá¯á¶ážááᯠáááºáá°áááºááá¯á¡ááºáá±á¬ááŒá±á¬áá·áº (á¥ááá¬á Redshiftá BigQueryá Teradata) ááẠá á»á±ážáááŒá®ážáá«á
- áá¯ááºáááºážá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠááá·áºá ááºááŒá®áž áááŒá¬áá á á¯á ááºážáá¬ážáá±á¬ áá±áá¬ááᯠá¡áá¯á¶ážááŒá¯ááœáá·áºááŸáááŒá®áž áá±áá¬áá¯ááºááŒááºážáá»á¬ážááᯠáá¯á¶ážá áœá²ááœáá·áºáááŸááá«á
áá¯ááºáá«áááºá áá«ááœá±á¡á¬ážáá¯á¶ážá áááºážáá²á·ááá
á¹á
áá±á«áºááŸá¬ áá°áááºáááºá ááá·áºáá±áá¬ááá¯áá±á«ááºááœáẠááŒá¿áá¬áááŸááá«áá Data lake áá¯á¶ážááááá¯á¡ááºáá«á ááá¯á·áá±á¬áº áá±áá¬ááœááºáááŸáááŒááºážá áá«áá«áááŸáááŒááºáž ááá¯á·ááá¯áẠá
á»á±ážááŸá¯ááºážááẠá¡áááá¡áááºážááá¹áá០áá«áááºáá¬áá±á¬á¡áá«ááœáẠData lake ááœá±ážáá»ááºááŸá¯ááᯠáááºá
ááºážá
á¬ážááá¯ááºáá«áááºá ááá¯á·ááŒá±á¬áá·áº Data lake ááẠá¡ááœááºáá±áááºážá
á¬ážáááºá á€áááºááŸá¬ áá±áá¬á¡áá¯ááºáááá¯áá¬á á¥ááá¬áá
áºáá¯ááŒá
áºáááºá
data lake áá»ááºážáááºáááºážááᯠá¡áá¯á¶ážááŒá¯á áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·á data lake (batch ááá¯á·ááá¯áẠstreaming) áá²ááá¯á· áá±áá¬áá¯ááºááŒááºážáá»á¬ážááᯠáááºááŒá®ážáá±á¬áẠááá¯á¡ááºáááᯠáá±áá¬ááᯠáá¯ááºáá±á¬ááºáá«áááºá Data lake ááẠáá¯ááºáááºážá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡á¬áž áááºážááá¯á·áááá¯ááºááá¯ááºáá±áá¬á¡ááœááºááŒá±á¬ááºážááŒááºáž (ETL/ELT) áááºáá®ážááẠááá¯á·ááá¯áẠBusiness Intelligence ááŒá±ááŸááºážáá»ááºáá»á¬ážááœáẠáá±áá¬ááᯠááá¯ááºážááŒá¬ážá
áááºááŒá¬ááá¯ááºááẠ(ááá¯á¡ááºáá±á¬áá¬ááºáá±á¬ááºážááᯠáááá¯ááºáá»áŸááº)á
áááºááá·áº ááœá²ááŒááºážá áááºááŒá¬ááŸá¯ááŒá±ááŸááºážáá»ááºá áááºážááá¯ááºááẠá á®ážááœá¬ážáá±ážá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááᯠáááºáá±á¬ááºááŸá¯áá±ážáááºááŒá áºáááºá ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáááºážááá¯á¡ááºáá»ááºááŸáá·áºá¡áá® á¡ááŒá²áá¯ááºáá±á¬ááºáá±ááááºá (Amazon ááœáẠá€á¡áá¬ááẠáá±á¬ááºááŒááºá¡áá¯ááºáá¯ááºáá±á¬ á¡ááŒá±áá¶áá°áá»á¬ážáá²á០áá áºáá¯ááŒá áºáááº)á
data warehouse ááŸáá·áº data lake ááŸá áºáá¯áá¯á¶ážááŒáá·áº áá¯ááºáá±á¬ááºááŒááºážááŒáá·áº ááŒá±ááŸááºážáá»ááºááŸá áºáá¯áá¯á¶ážááᯠááŸáá¯ááºážááŸááºááá¯ááºáááº-
áá±á¬ááºáá»ááºááœá²ááá¯ááºááá·áº á¡ááááá±á¬ááºáá»ááºááŸá¬ data warehouse ááẠdata lake ááŸáá·áº áááŸááºááŒáá¯ááºáá² áááºážááᯠááŒáá·áºáá±ážááŒááºážááŒá
áºáááºá áá«áá±ááá·áº ááá·áºááá
á¹á
á¡ááœáẠáááºá¡áá¬á ááá·áºáá±á¬áºááá²ááá¯áᬠáá¯á¶ážááŒááºááá¯á· ááá·áºá¡áá±á«áºááŸá¬áá² áá°áááºáá«áááºá ááá¯ááºááá¯ááºá
ááºážááŒáá·áºááŒá®áž ááŸááºáááºáá²á· áá±á¬ááºáá»ááºááœá²ááá¯á· á¡ááŒá²áááºáž á
áááºáááºá
á¬ážááá¯á·áá±á¬ááºážáááºá
data lake approach ááᯠá áááºá¡áá¯á¶ážááŒá¯áá¯ááºážá ááŒá áºáááºááœá±áá²á áá áºáá¯ááᯠááŒá±á¬ááŒááá¯áá«áááºá á¡áá¬á¡á¬ážáá¯á¶ážááẠá¡áá±ážá¡ááœá²ááŒá áºááŒá®ážá ELT tool (áá»áœááºá¯ááºááá¯á·ááœáẠMatillion ETL) ááŸáá·áº Amazon Redshift ááá¯á·ááᯠá¡áá¯á¶ážááŒá¯ááẠááŒáá¯ážá á¬ážáá²á·áá±á¬áºáááºážá áá»áœááºá¯ááºáááŒá±ááŸááºážáá»ááºááẠá¡áá¯ááºáá¯ááºáá±á¬áºáááºáž ááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áº áááá¯ááºáá®áá«á
áááºááŸááºáááºážáá»á¬ážááᯠáá°á áááºážááá¯á·ááᯠá¡ááœááºááŒá±á¬ááºážáᬠááŒá áºááẠ2 áá¯á¡ááœáẠáá±áá¬áá¶á·ááá¯ážááẠáááºážááá¯á·ááᯠá á¯á ááºážááẠááá¯á¡ááºáááº-
- á á»á±ážááœááºááŸá¬ááœá±áá±ážá¡ááœá²á·ááẠSEO á¡ááœáẠbot ááŸá¯ááºááŸá¬ážááŸá¯ááᯠááá¯ááºážááŒá¬ážá áááºááŒá¬ááá¯áááºá
- á¡áá¯ááºáá®ááẠáááºááá¯ááºá áœááºážáá±á¬ááºááẠááá¯ááºážáá¬ááŸá¯áá»á¬ážááᯠááŒáá·áºáá»ááºáááºá
á¡ááœááºááá¯ážááŸááºážááŒá®áž á¡ááœááºááá¯ážááŸááºážáá±á¬ ááŸááºáááºážáá»á¬ážá áá«á á¥ááá¬áá áºáá¯áá«á
https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"ááá¯ááºáá áºáá¯ááẠ1-4 megabytes á¡áá±ážáá»áááºááŸááááºá
áá«áá±ááá·áº á¡áááºá¡áá²áá áºáá¯áá±á¬á· ááŸááá²á·áá«áááºá áá»áœááºá¯ááºááá¯á·ááœáẠááá¹áá¬áá áºááŸááºážááŸá ááá¯ááááºáž 7 áá¯ááŸáááŒá®áž áá áºáá±á·áá»áŸáẠááá¯ááºáá±á«ááºáž 7000 áá±á¬ááºááᯠáááºáá®ážáá²á·áá«áááºá áááºážááẠááá¬áá¡áá»á¬ážááŒá®ážááá¯ááºáá«á 50 áá áºáá«ááá¯ááºáá¬ááŸááááºá ááá¯á·áá±á¬áº áá»áœááºá¯ááºááá¯á·á Redshift á¡á á¯á¡áá±ážá á¡ááœááºá¡á á¬ážááŸá¬áááºáž áá±ážáááºááẠ(4 nodes) ááŒá áºáááºá ááá¬ážááá¯ážáá»áááºážáááºážááŒáá·áº ááá¯ááºáá áºáá¯áááºááẠáá áºáááá áºááá·áº ááŒá¬áááºá ááá¯ááá¯áá¬á ááŒá¿áá¬ááᯠááááºááá¯ááºáááŒá±ááŸááºážááá¯ááºáá°ážá ááŒá®ážáá±á¬á· data lake áá»ááºážáááºáááºážááᯠáá¯á¶ážááá¯á· áá¯á¶ážááŒááºááá¯ááºáá¬á áá®ááá¯áá«áá²á ááŒá±ááŸááºážáá»ááºááẠá€áá²á·ááá¯á· ááŒá áºáááº-
á¡áá±á¬áºáá±ážááá¯ážááŸááºážáá«ááẠ(Cloud ááŸá¬á¡áá¯ááºáá¯ááºááŒááºážáá²á·á¡á¬ážáá¬áá»ááºáááá¯ážááŸááºážááŒá±á¬ááºážáááááŒá¯á
á±áá»ááºáá«áááº)á áá«áá¯á¶ážáá²á·áááº:
- ááœááºáá»ááºááŸá¯á áœááºážá¡á¬ážá¡ááœáẠAWS Elastic Map Reduce (Hadoop)
- áá±áá¬ááᯠáá¯ááºááŸááºáááºááŸáá·áº áááºáá±á¬ááºááœáá·áºááᯠááá·áºáááºááá¯ááºá áœááºážááŸááá±á¬ ááá¯ááºááá¯ááŸá±á¬ááºááŸá¯á¡ááŒá ẠAWS S3
- InMemory ááœááºáá»ááºááŸá¯áá«áá«á¡ááŒá ẠSpark ááŸáá·áº áá¯áá¹áááá±áááŸáá·áº áá±áá¬á¡ááœááºááŒá±á¬ááºážáááºá¡ááœáẠPySpark
- Spark áááááºá¡ááŒá áºáá«áá±áž
- áá±áá¬á¡áá áºáá»á¬ážááŸáá·áº á¡áááºážááá·áºáá»á¬ážá¡ááŒá±á¬ááºáž áááºáá¬áá±áá¬á á¯áá±á¬ááºážáá°á¡ááŒá ẠAWS Glue Crawler
- Redshift Spectrum ááẠáááºááŸá Redshift á¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡ááœáẠdata lake á¡ááœáẠSQL interface á¡ááŒá áº
á¡áá±ážáá¯á¶áž EMR+Spark á¡á á¯á¡áá±ážááẠáááá Ạ30 á¡ááœááºáž ááá¯ááºá¡á á¯á¡áá±ážáá áºáá¯áá¯á¶ážááᯠáá¯ááºáá±á¬ááºáá²á·áááºá áá±áá¬áá»á¬ážá áœá¬ááŸááá±á¬ Alexa ááŸáá·áºáááºááá¯ááºáá±á¬ á¡áá°ážáááŒáá·áº AWS á¡ááœáẠá¡ááŒá¬ážááá á¹á áá»á¬ážááŸááá«áááºá
Data lake áá¡á¬ážáááºážáá»ááºáá»á¬ážáá²ááŸáá áºáá¯ááẠGDPR ááŒá áºáááºááᯠáááŒá¬áá±ážáá®á áá»áœááºáá±á¬áºááááá¯ááºááá«áááºá ááŒá¿áá¬ááŸá¬ áá±á¬ááºáááºá áááºážááᯠáá»ááºááẠáá±á¬ááºážááá¯áá±á¬á¡áá« áá±áá¬ááẠááá¯ááºáá»á¬ážáá²á០áá áºáá¯ááœáẠááŸááá±áááºá áá»áœááºá¯ááºááá¯á·ááẠData Manipulation Language ááᯠá¡áá¯á¶ážáááŒá¯ááá¯ááºáá² áá±áá¬áá±á·á áºáá áºáá¯ááœááºáá²á·ááá¯á· áá¯ááºáá±á¬ááºáá»ááºááᯠáá»ááºáá áºááŒááºážááẠááŒá áºáááºá
á€áá±á¬ááºážáá«ážááẠdata warehouse ááŸáá·áº data lake á¡ááŒá¬áž ááŒá¬ážáá¬ážáá»ááºááᯠááŸááºážáááºážá
á±áááºáᯠáá»áŸá±á¬áºááá·áºáá«áááºá á
áááºáá«áááºá
á¬ážáá«á áá»áœááºá¯ááºáááºáá°ážáá±á¬ ááá¬ááŸááºáá»á¬ážá áá±á¬ááºážáá«ážáá»á¬áž ááá¯á·ááá¯áẠáá±á¬ááºážáá«ážáá»á¬ážááᯠáá¬áá¬ááŒááºááá¯ááá¯ááºáá«áááºá ááŒá®ážáá±á¬á· áá»áœááºáá±á¬áºáá¯ááºáá±á¬ááºáá²á· ááŒá±ááŸááºážáááºážááœá±áá²á· áá°ááá¯á·áá²á· áááºáá±á¬ááºáá¯á¶ááœá±ááᯠááŒá±á¬ááŒáá«á
source: www.habr.com