á¤áááşáážáŹ áá˝á˛ááźááşá¸á áááşááźáŹáážáŻá áá áşááťáŹá¸áĄááźáąáŹááşá¸ ááąáŹááşá¸ááŤá¸áá˝á˛ááťáŹá¸á ááŻááááĄáááŻááşá¸ááźá áşáááş ().

áááąáˇááąááşáá˝ááş áááŻáá
ááŻááşááąááŹááŻááşááąáŹááşááźááşá¸áážááˇáş ááááşááťáŹá¸ááᯠáĄáááášááŹááşáá˝ááˇáşáááŻááźááşá¸áááş ááŻááşáááşá¸áĄááťááŻá¸áĄá
áŹá¸áááŻááşá¸ááᯠáĄááąáŹááşáĄáá°ááźá
áşá
áąáááşááᯠááśááááźá
áşá
ááŹááážáááąáŹáˇááŤá á¤ááá
ášá
áážááˇáşá
ááşááťááşá¸á áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻá
áá
áşááťáŹá¸áááş áááˇáşáááşááťááşááťáŹá¸áážááˇáşáĄáá° áááŻáááŻááťáŹá¸ááźáŹá¸ááŹáááşáážááˇáşáĄááťáž áĄáááŽááąá¸áážááşá¸ááťáŹá¸áá˝ááş áĄá
ááťááŻá¸áážáŻááťáŹá¸áážááˇáş áĄááŻáśá¸ááźáŻáá°ááźá
áşáááşááťáŹá¸ áĄááąáĄáá˝ááş áááŻá¸ááŹááąáááşá
áááŻáˇáĄáá˝ááşááźáąáŹááˇáş ááŻáášáááŽááťáŹá¸áááş áááşá¸áááŻáˇá áá˝á˛ááźááşá¸á
áááşááźáŹáá°ááťáŹá¸ááᯠáá˝á˛ááźááşá¸á
áááşááźáŹááźáŽá¸ áááŻááşááŹááąáŹ ááŻáśá¸ááźááşááťááşááťáŹá¸áĄááźá
áş ááźáąáŹááşá¸áá˛áááşáĄáá˝ááş áááşá¸áááŻáˇá áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻáááŻááşáᏠáĄááťááşáĄáááşááťáŹá¸ááᯠáááŻáááŻá áĄááźááşá¸ááťááşá¸ ááááşá¸áĄááťááşáĄáááşááťáŹá¸ ááąá¸ááťááşáážááááşá ááŻáášáááŽáá
áşááŻáĄáá˝ááş áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻá
áá
áşá áĄááąá¸ááŤáážáŻááᯠááťážáąáŹáˇááá˝ááşáááˇáşáá˛á á
áá
áşáááŻááşáááŻááşá ááŻáśááźááşá
áááşááťáááźáŽá¸ áááşááźáááşááąáááŤáááşá
ááąáŹááşáááşááťáŹá¸ááᯠááąáˇááŹááŻáśá¸áááşáááşá
ááąáŹááşáááşáá˝á˛ááźááşá¸á
áááşááźáŹááťááşáááş ááŻáášáááŽáá
áşááŻááááŹá¸áááş SDK áážáá
áşáááˇáş áááşá¸ááááşáááŻááş áááŻáˇáááŻááş áĄááşááşááŽááąá¸áážááşá¸áááŻáˇ ááťáááşáááşáᏠáááşá¸ááááŻááşáááŻááşááŻááşááąáˇá
áşáá˝ááş ááąáŤááşá¸á
ááşá¸áᏠáá˝á˛áĄá
ááťááŻá¸áážáŻááťáŹá¸ááᯠáá˝áąá¸ááťááşáááˇáş áááşááąáŹááşáážáŻáá
áşááŻááźá
áşáááşá á¤ááťááşá¸áááşáážáŻáá˝ááş ááááŹáááşáážáŹá¸ááąáŹ áĄáŹá¸áááşá¸ááťááşáá
áşááŻáážááááş- áááşáá˝áąá¸ááťááşáááˇáşáááşááąáŹááşáážáŻá áááˇáşáááşááťááşááťáŹá¸ááźáąáŹááˇáş á
áŻááąáŹááşá¸ááážááááˇáşááąááŹáĄáŹá¸ááŻáśá¸ááᯠáááşáĄáááŻáážááááˇáşáĄáááŻááşá¸ áĄáááĄááťááŻááşááąáŹááşáááŻááşáááşáááŻááşááąá áĽáááŹáĄáŹá¸ááźááˇáşá á
áá
áşáá
áşááŻáá˝ááş MapReduce ááŻááşááąáŹááşááťááşááťáŹá¸ááᯠááŻááşááąáŹááşáááş áá˝ááşáá°áááşáááŻááşááŤá áĄááźáŹá¸áá
áşááŻáá˝ááş áááşáááş áááşáááąáŹáşáááşááᯠááŻááşááąáŹááşáááŻááşáááşáááŻááşááąá áĄááźáŹá¸áĄáŹá¸áááşá¸ááťááşáážáŹ áááşááąáŹááşáážáŻááťáŹá¸áĄáá˝ááş ááŻáśáážááş (á
á˝á˛áááşáá˝ááş) ááąááşááźá
áşááŤáááşá
á
áťáąá¸áá˝ááşáá˝ááş ááąáŹááşáááşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻáááŻááşáᏠááźáąáážááşá¸ááťááşááťáŹá¸á
á˝áŹáážáááąáŹáşáááşá¸ ááŻááşáááşá¸áááŻááşá¸áĄáá˝ááş áááˇáşááťáąáŹáşááąáŹ universal service áá
áşááŻááťáž ááážááá°ááąáŹáĄááťááşááᯠáááźáŹáᎠáááŻáˇáááŻááş ááąáŹááşáááŻááşá¸áá˝ááş áá˝á˛ááźááşá¸á
áááşááźáŹáá°ááťáŹá¸áážááˇáş áááşáááŻááşááááş (á¤áááşááąáŹááşáážáŻááťáŹá¸áĄáŹá¸ááŻáśá¸áĄáá˝ááş á
áťáąá¸áážáŻááşá¸ááťáŹá¸ áĄááťáááşáááŻááşá¸ááźááˇáşáááşááąááťáááş)á áááŻáááŻáˇááąáŹáĄááźáąáĄááąááťááŻá¸áá˝ááş ááŻáášáááŽááťáŹá¸áááş áááŻáĄááşááąáŹ á
áááşááźááŻááşáááşáááşááťáŹá¸áážááˇáş á
á˝ááşá¸ááąáŹááşáááşááťáŹá¸áĄáŹá¸ááŻáśá¸ááźááˇáş áááşá¸áááŻáˇááááŻááşáááŻááşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻá
áá
áşááᯠáááşááŽá¸áááş ááŻáśá¸ááźááşááąáˇáážááááşá
ááŹááŹáĄáá˛áááş
Server-side áááŻááşá¸ááźáŹá¸á
áááşááźáŹááťááşáááş ááŻáášáááŽáá
áşááŻáĄáá˝ááşá¸ áááşá¸ááááŻááşáááŻááşááŹááŹááťáŹá¸áážááˇáş (ááťáŹá¸ááąáŹáĄáŹá¸ááźááˇáş) áááşá¸áááźááŻá¸áááşá¸áĄáŹá¸ááŻááşáážáŻááźááˇáş áĄááŻáśá¸ááźáŻáááŻááşáááˇáşáááşááąáŹááşáážáŻáá
áşááŻááźá
áşáááşá á¤ááŻáśá
áśáá˝ááşá áĄááŻáśá¸ááźáŻáá°ááźá
áşáááşáĄáŹá¸ááŻáśá¸ááᯠá
ááşáá˝ááşá¸ááŹááŹááťáŹá¸ááąáŤáşáá˝ááş ááááşá¸áááşá¸ááŹá¸ááźáŽá¸ developer ááťáŹá¸áááş ááá°ááŽááąáŹáááŻáážáąáŹááşáážáŻááąááŹááąáˇá
áşááťáŹá¸ááᯠá
ááşá¸ááŻáśá¸áááŻááşááźáŽá¸ áĄáááşááźáąááŻáśá¸ááááŻááŹááᯠáá˝áąá¸ááťááşáááŻááşá
áąáááşááźá
áşáááşá áĄááťááŻáˇááąáŹáĄááŻááşááťáŹá¸áĄáá˝ááş ááźááşáááááŻááşá¸áááˇáşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááᯠáááşáĄááŻáśá¸ááźáŻáááŻááąá¸ááťážááşáááşá áááşá¸áááş ááźá
áşáááŻááşááŤááąá¸áááşá
Server-side áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááᯠáááşá¸áááşá¸áážá
áşááťááŻá¸ááźááˇáş áĄááŻáśá¸ááźáŻáááŻááşáááşá ááááŚá¸á
á˝áŹ- áĄááťááŻáˇááąáŹ open source utilities áááŻáá˝áąá¸ááťááşááŤá áááşá¸áááŻáˇááᯠáááˇáşá
ááşááťáŹá¸áá˝ááş áĄááŻáśá¸ááťááźáŽá¸ ááŻááşáááşá¸áááŻááşáᏠááŻáášááááąáááᯠááąáŹáşááąáŹááşááŤá
ĐĐťŃŃŃ
ĐинŃŃŃ
áááşáĄáááŻáážáááąáŹ áááşáááˇáşáĄááŹáááŻáááᯠá
áááşááźááŻááşááźááşáááşáááŻááşáááşá
áááşá¸áááş áááźáŹáá áĄáá˝ááşáááşáá˛ááźáŽá¸ ááŽá¸ááźáŹá¸ developer ááťáŹá¸ áááŻáĄááşáááşá
ááŻááá- SaaS áááşááąáŹááşáážáŻááťáŹá¸ (Amazoná Googleá Azure) ááᯠáááşáááŻááşáááŻááş áĄááŻáśá¸ááźáŻáááˇáşáĄá áŹá¸ áĄááŻáśá¸ááźáŻááŤá áááááĄáááŻááşá¸áá˝ááş SaaS áĄááźáąáŹááşá¸áĄááąá¸á áááşááźáąáŹááŤáááşá
ĐĐťŃŃŃ
ĐинŃŃŃ
áááşá¸áááş áĄáááşáĄáááş áĄáá˝á˛ááťáŹá¸áá˝ááş á
áťáąá¸áááşááŹááąáŹáşáááşá¸ ááźáŽá¸ááźáŽá¸ááŹá¸ááŹá¸ ááźáŽá¸áá˝áŹá¸ááŹáááşáážááˇáşáĄááťáž áááşá¸áááş áĄáá˝ááşá
áťáąá¸ááźáŽá¸ááąááąá¸áááşá
áááˇáşáááşááťááşááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠááááşá¸ááťáŻááşáááş áááźá
áşáááŻááşááŤá
áĄáŻááşááťáŻááşááąá¸ááᯠáááşááąáŹááşáážáŻááąá¸áá°á áááŻáśá¸áááŻáˇ ááŻáśá¸ááŻáśá¸ááťáŹá¸ááťáŹá¸ áá˝ážá˛ááźáąáŹááşá¸ááŹá¸áááşá
áááşááąáŹááşáážáŻáĄáá˝ááşá¸á áááşáááˇáşáĄááŹáážááááşááᯠáĄááźá˛ááááááŻááş (áááşá¸áááş ááááŻáĄááşáááŻááş)
ááŹááŹáá˝á˛ááźááşá¸á áááşááźáŹáážáŻááᯠáááşáááŻá áŻááąáŹááşá¸ááá˛á
áĄáááşá ááťá˝ááşáŻááşáááŻáˇáááş ááąáŹááşáááşáá˝á˛ááźááşá¸á áááşááźáŹáážáŻááᯠáĄááŻáśá¸ááźáŻááźááşá¸ááž ááąá¸áá˝áŹááźáŽá¸ ááťá˝ááşáŻááşáááŻáˇááááŻááşáááŻááşááᯠáááşááąáŹááşáááŻááŤáá áááááŻáśá¸áĄááąááźááˇáş á áá áşáá áşá áááşááąáŹááşááŻáśááᯠá ááşá¸á áŹá¸áááş áááŻáĄááşááŤáááşá áĄáąáŹááşáá˝ááş áááşáááˇáşáá˝ááşá¸á ááşá¸á áŹá¸áááş áááŻáĄááşáááˇáşáĄááŹá áĄáááˇáşáá áşáááˇáşááťááşá¸á áŽááᯠááŹááźáąáŹááˇáş áááŻáĄááşááᲠáážááˇáş áááşáááˇáşááááááŹááťáŹá¸ááᯠááŻáśá¸áááŻááşáááşááᯠáĄáąáŹááşáá˝ááş áĄáááˇáşáááˇáş ááźáąáŹááźááŤáááşá
1. ááąááŹáááşááśááźááşá¸á
ááąáŹááşáááşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááá
ášá
áá˝ááşáá˛áˇáááŻáˇáááşá ááŻáášáááŽáá˝á˛ááźááşá¸á
áááşááźáŹáá°ááťáŹá¸áááş áĄááŹáááşáá˝ááş ááąáˇááŹáááŻáááˇáş ááźá
áşáááşáĄááťááŻá¸áĄá
áŹá¸ááťáŹá¸ááᯠáá˝áąá¸ááťááşááźáŽá¸ á
áŹáááşá¸áá
áşááŻáĄááźá
áş á
áŻááąáŹááşá¸ááźáááşá ááŻáśáážááşáĄáŹá¸ááźááˇáşá á¤ááźá
áşáááşááťáŹá¸áááş "ááźá
áşáááşááŻáśá
áś" ááŻááąáŤáşááąáŹ ááŽá¸ááźáŹá¸áĄá
áŽáĄá
ááşáá
áşááŻááźááˇáş ááźá
áşáá˝áŹá¸áááşá
áááŻáˇááąáŹááşá áááŻáááŻááşá¸áĄáááŽááąá¸áážááşá¸ (áááşáááŻááş) áá˝ááş ááŻáśáážááşáĄááŻáśá¸ááźáŻáá°ááťáŹá¸ (á
ááşáá
ášá
ááşá¸ááťáŹá¸) áážááˇáş ááŹááŹááťáŹá¸á
á˝áŹ ááŤáážáááźáąáŹááşá¸ á
áááşáá°á¸ááźááˇáşááŤá á
ááşáá
ášá
ááşá¸ááťáŹá¸ááž áĄááźá
áşáĄááťááşááťáŹá¸ááᯠááŹááŹááťáŹá¸áááŻáˇ ááŻáśááźáŻáśá
á˝áŹ áá˝ážá˛ááźáąáŹááşá¸áááşáĄáá˝ááş áĄáááşáĄáááşáĄáá˝ážáŹáá
áşáᯠáááŻáĄááşááŤáááşá ááááŻááŹáááşááŹááąáŤáş áá°áááşá ááá°ááŽááąáŹ áĄá
áŽáĄá
ááşááťáŹá¸ áĄááťáŹá¸áĄááźáŹá¸ áážááááŻááşááŤáááşá
- á áá˝á˛ááťáŹá¸ááᯠá
áŻááąáŹááşá¸áááşáĄáá˝ááş áááşá¸á
áŽáĄááźá
áş áĄááŻáśá¸ááźáŻáááşá
áĄáááŻááşá¸ 2014 ááŻáážá áşáá˝ááş Apache Kafka áááŻáááşááŽá¸áá°áááş "áááşá¸áááşá áŹááąá¸áááşáĄááąáŹááşá¸ááŻáśá¸á áá áşááźá áşáááş" áážááˇáş Kafka ááááşááŹááťáŹá¸áááŻáážá áşáááşááąáŹááźáąáŹááˇáşáááşá¸áááş Franz Kafka áááąáŹááşáážááąáŹáˇááşáá˛áááŻáĄáááşááąá¸áááşááŻáśá¸ááźááşáá˛áˇáááşá â
ááťá˝ááşáŻááşáááŻáˇááĽáááŹáá˝ááşá ááąááŹááŻááşááŻááşáá°ááťáŹá¸áážááˇáş ááąááŹááŻáśá¸á
á˝á˛áá°ááťáŹá¸ (á
ááşáá
ášá
ááşá¸ááťáŹá¸áážááˇáş ááŹááŹááťáŹá¸) áĄááťáŹá¸áĄááźáŹá¸áážáááźáŽá¸ Kafka áááş áááşá¸áááŻáˇááᯠáĄááťááşá¸ááťááşá¸ááťáááşáááşááąá¸áááşá á
áŹá¸ááŻáśá¸áá°ááťáŹá¸ááᯠáĄáąáŹááşááŤáĄáááˇáşááťáŹá¸áá˝ááş áĄááąá¸á
áááşááąáŹáşááźáá˝áŹá¸áááşááźá
áşááźáŽá¸ áááşá¸áááŻáˇáááş áĄááááĄááźáąáŹááşá¸áĄááŹááťáŹá¸ááźá
áşáááşá ááᯠááťá˝ááşáŻááşáááŻáˇáááş ááąááŹááŻááşááŻááşáá°ááťáŹá¸ (ááźá
áşáááşááťáŹá¸) áááŻáᏠá
ááşá¸á
áŹá¸ááŤáááşá
Kafka áááş áááşá¸á
áŽááźááşá¸áážááˇáş áááŻááşá¸ááźáŹá¸ááźááşá¸áááŻááşáᏠáááąáŹáááŹá¸ááťáŹá¸ááᯠááŻáśá¸áĄáŻááşááŹá¸áááşá áááşá¸áĄááźáąáŹááşá¸ áĄááźáŹá¸ááąááŹááťáŹá¸áá˝ááş áááŻáááŻááááťá
á˝áŹáááşááŤá áááŻááąáŹááşá¸áááş (áĽáááŹá ) áĄááąá¸á
áááşáĄááťááşáĄáááşááťáŹá¸ááᯠáááąáˇááŹáá˛á ááá°ááŽááąáŹ OS áážá
áşááŻáĄáá˝ááş áááŻáááŻááşá¸áĄááşáááŽááąá¸áážááşá¸áá
áşááŻááᯠá
áááşáááŻááşááźáŽááźá
áşááźáąáŹááşá¸ á
áááşáá°á¸ááźááˇáşááźááŤá
ááŻáˇá áááŻáˇááąáŹááş ááŹá¸áážááşá¸áá
áşááŻá
áŽáááş áááşá¸ááááŻááşáááŻááş ááŽá¸ááźáŹá¸ááźá
áşáááşá
áŽá¸ááźáąáŹááşá¸ááᯠáááşááŽá¸áááşá ááŻááşááŻááşáá°ááťáŹá¸áááş ááźá
áşáááşááťáŹá¸ááᯠKafka áááŻáˇ ááąá¸áááŻáˇááźááźáŽá¸ áááşá¸áááŻáˇááᯠáááˇáşááťáąáŹáşááąáŹ áááşá¸á
áŽáááŹá¸áá˝ááş áážááşáááşá¸áááşááŹá¸áááşá

(ááŻáś )
áá
áşááťáááşáááşá¸áážáŹáááşá Kafka áááş áááˇáşáĄáŹá¸ áĄááŻáśá¸áĄáá˛ááťáŹá¸ááźááˇáş áááşáááŻááşááźáŽá¸ ááŽááŽáĄááŻááşááťáŹá¸áá˝ááş ááźá
áşáááşááťáŹá¸ááᯠááŻááşááąáŹááşáááŻááşá
áąááŤáááşá Kafka áááş ááźáŽá¸áá˝áŹá¸ááŹááąááąáŹ áááŻáĄááşááťááşááťáŹá¸ááᯠááąáŹááşá¸á
á˝áŹ ááťáááşáážáááąá¸áááˇáş áĄáá˝ááşáĄáááşááźáąááąáŹ ááááááŹáá
áşáᯠ(áĽáááŹá ááźá
áşáááşááťáŹá¸á ááááŽáááşáĄááąáĄááŹá¸áĄá)á
áĄááťáŹá¸áĄáŹá¸ááźááˇáş shard áá
áşááŻáááş ááŻáśááąáŹááşááąáŹáşáááşá¸á (áĄááźá˛ááŻááşááá˛áˇáááŻáˇ) ááťáááşáážáááąáŹáĄááŤáá˝ááş áĄááŹááťáŹá¸áááş áááŻáááŻáážáŻááşáá˝áąá¸ááŹáááşá ááááŻááŹáááşááŹáááş áĄáážáŹá¸áĄáá˝ááşá¸áááŻááśáááŻááşáááşáážáááááşááźá
áşááąáŹááźáąáŹááˇáş ááŻááşááŻááşááąá¸áá˝ááş ááŻááşáááŻááşá¸áááŻááşááŹáĄááźááşá¸áááşáá
áşááŻáááşá¸áááŻáᏠáĄááŻáśá¸ááźáŻáááŻáááşáááŻááşááŤá Kafka áĄááźááşá RabbitMQ áá˝ááş áá°ááááťáŹá¸ááąáŹ ááźáąáážááşá¸ááťááşáá
áşáᯠáážáááąá¸áááşá ááźá
áşáááşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááťáŹá¸áĄáá˝ááş áááşá¸á
áŽáá
áşááŻáĄááźá
áş ááŻááşááŻááşáážáŻáá˝ááş ááťá˝ááşáŻááşáááŻáˇáĄááŻáśá¸áááźáŻá፠(áááŻáá˛áˇáááŻáˇááąáŹáĄáá˝áąáˇáĄááźáŻáśáážáááŤá áážááşááťááşááťáŹá¸áá˝ááş ááťá˝ááşáŻááşáááŻáˇáĄáŹá¸ ááźáąáŹááźááŤá)á áááŻáˇááąáŹáşá ááťá˝ááşáŻááşáááŻáˇáááş AWS Kinesis áááŻááŻáśá¸áááşá
ááąáŹááşáá
áşáááˇáşáááŻáˇááá˝áŹá¸áááşá ááťá˝ááşáŻááşáááŻáˇáááş á
áá
áşáááąáŹááşáááşáĄáá˝ážáŹáá
áşáᯠ- ááŻááşááźááşá¸áážááşáááşá¸áááŻáážáąáŹááşáážáŻááᯠááąáŹáşááźáááşáááŻáĄááşááŤáááşá áááşá¸áááş áááŻáĄááşááąáŹáĄáá˝ážáŹáááŻááşááąáŹáşáááşá¸ áá
áşá
áŻáśáá
áşááŻáážáŹá¸áá˝ááşá¸áá˝áŹá¸ááźáŽá¸ Kafka áážá ááźá
áşáááşáááşá¸á
áŽááťáŹá¸ááᯠááźááşáááşáááşáážááşááŤá áĄááŻáśá¸áááşáááşááźá
áşáááşá ááŻááşááźááşá¸áážááşáááşá¸ááťáŹá¸ááᯠááááşá¸áááşá¸ááŹáá˝ááş áážáŻááşáá˝áąá¸ááźáŽá¸ á
áťáąá¸ááźáŽá¸ááąáŹááźáąáážááşá¸ááťááşááááŻáĄááşááŤá áááşá¸áááŻáˇááᯠáážááşáááşááąáŹáĄá
áŽáĄá
áĽáşáá
áşááąááŹáá˝ááş (ááŹáˇááşááááŻááşááąáŤáşáá˝ááşáááş) ááąá¸áááŻááşáááşá

2. ááźá áşáááşá áŽá¸ááźáąáŹááşá¸ááťáŹá¸ááᯠááŻááşááąáŹááşááąáááşá
ááťá˝ááşáŻááşáááŻáˇáááş áĄá
áŽáĄá
ááşáĄáŹá¸ááŻáśá¸ááᯠááźááşáááşááźáŽá¸ áááˇáşááťáąáŹáşááąáŹ á
áŽáááşá¸ááťáŹá¸áá˝ááş ááŹá¸áážáááźáŽá¸ááąáŹááşá ááťá˝ááşáŻááşáááŻáˇáááş á
áŽááśááąáŹááşáá˝ááşáᲠáĄáááˇáşáááŻáˇ áááşáá˝áŹá¸ááŤáááşá á¤áá˝ááş ááťá˝ááşáŻááşáááş áááˇáşáĄáŹá¸ áĄááŻáśá¸áĄááťáŹá¸ááŻáśá¸ ááŻááşááąáŹááşááźááşá¸ áá˝áąá¸ááťááşáážáŻáážá
áşááŻáĄááźáąáŹááşá¸ ááźáąáŹááźááŤáááşá
ááááá˝áąá¸ááťááşá
ááŹáážáŹ Apache á
áá
áşáá˝ááş Spark Streaming áááŻáá˝ááˇáşáááşááźá
áşáááşá Apache ááŻááşááŻááşáĄáŹá¸ááŻáśá¸áááş áááŻááşááŻáśáá°ááťáŹá¸ááŤáááˇáş ááŻáśááźáŻáśááąáŹ áááŻááşá
áá
áşááźá
áşááąáŹ HDFS áá˝ááş áĄáááşáážááşááąááŤáááşá Spark Streaming áááş áááŻááşáááŻááşáá˝ážááˇáşááźááşá¸ááąááŹáážááˇáş á
ááąá¸ááťáŹá¸ááᯠááąáŹááşá¸áá˝ááşá
á˝áŹáááŻááşáá˝ááşáááŻááşááąáŹ áĄááŻáśá¸ááźáŻááá˝ááşáá°ááąáŹááááááŹáá
áşááŻááźá
áşáááşá áááŻáˇááąáŹáş ááááşá¸ááááşá¸áááş áááşáá˛áááŻááşáááşá
áĄááźáŹá¸áá˝áąá¸ááťááşá
ááŹáážáŹ áááˇáşáááŻááşáááŻááş event handler ááᯠáááşááąáŹááşáááşááźá
áşáááşá áááşá¸áááŻááŻááşááąáŹááşáááşá áĽáááŹáĄáŹá¸ááźááˇáşá áááşáááş Python áĄááşáááŽááąá¸áážááşá¸áá
áşááŻááąá¸ááŹá¸áááşá áááşá¸ááᯠDocker áá˝ááşáááşááąáŹááşááźáŽá¸ Kafka áááşá¸á
áŽá
áŹáááşá¸áá˝ááşá¸áááş áááŻáĄááşáááşá áĄá
ááťááŻá¸áážáŻááťáŹá¸áááş docker handlers ááťáŹá¸ááśááąáŹááşáážáááąáŹáĄááŤá ááŻááşááąáŹááşááźááşá¸á
áááşááŤáááşá á¤áááşá¸áááşá¸ááźááˇáş áááşáááş áĄáááŽááąá¸áážááşá¸ááťáŹá¸ááᯠáĄááťáááşáááŻááşá¸áááşáááşááąáááş áááŻáĄááşáááşá
áĄáááşáá˝ááşááąáŹáşááźááŹá¸ááąáŹ áá˝áąá¸ááťááşá
ááŹááťáŹá¸áá˛ááž áá
áşááŻááᯠáá˝áąá¸ááťááşááźáŽá¸ áááşá¸áááŻááşáááŻááş ááŻááşááąáŹááşááźááşá¸áááŻáˇ áááşáá˝áŹá¸áááşáᯠáá°áááźááŤá
ááŻáˇá ááááŻáááşááŹááťáŹá¸áááş ááąááŹááááŹá¸áááşáážáŻááᯠá
á
áşááąá¸ááźááşá¸á áĄáážááŻááşááťáŹá¸ááᯠá
á
áşááŻááşááźááşá¸áážááˇáş "ááťááŻá¸áá˛áˇááąááąáŹ" ááźá
áşáááşááťáŹá¸ááᯠá
á
áşááąá¸ááźááşá¸ááźááˇáş á
áááşáááˇáşáááşá áážááşáááşáážáŻáĄáá˝ááş ááťá˝ááşáŻááşáááŻáˇ ááťáŹá¸ááąáŹáĄáŹá¸ááźááˇáş áĄááŻáśá¸ááźáŻááźáááşá . áááşá¸ááąáŹááşá áááşáááş ááąááŹááźáąááŻáśáá˝á˛ááźááşá¸ááᯠááŻááşááąáŹááşáááŻááşáááş- ááá°ááŽááąáŹ áááşá¸ááźá
áşááťáŹá¸ááž ááąááŹááťáŹá¸ááᯠááŻáśáááŹá¸áá
áşááŻáááŻáˇ ááąáŤááşá¸áááˇáşáááşáĄáá˝ááş ááŻáśáážááşááźáŻááŻááşááźáŽá¸ á
áśáááşáážááşááŹá¸áááşá

3. ááąááŹááąáˇá áş
áááááĄáááˇáşáážáŹ ááŻáśáážááşááźá
áşá
ááşááťáŹá¸ááᯠááááşá¸ááááşá¸áááşááźá
áşáááşá áĄáááşáááˇáşááŻááşááŹá¸ááąáŹ áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻá
áá
áşááźááˇáş ááŻááşááąáŹááşáááˇáşáĄááŤá áááşá¸áááŻáˇááᯠáááźáŹáá áĄááŻáśá¸ááźáŻááááşááźá
áşááźáŽá¸á áááŻáˇááźáąáŹááˇáş áĄáááşááźáąááąáŹ ááąááŹááąáˇá
áşááᯠáá˝áąá¸ááťááşáááş áĄááąá¸ááźáŽá¸ááŤáááşá
ááąááŹáááş ááŻáśááąáĄá
áŽáĄá
áĽáşáá
áşááŻáážááˇáş áááŻááşááŽááŤáá áááşáá˝áąá¸ááťááşáááŻááşááŤáááşá áááŻáˇáááŻááş áĄááźáŹá¸ááąáŹáşááśááŹá¸ááąááŹááąáˇá
áşáĄááťááŻáˇá á¤áááşá¸ááźááˇáş á
áŻá
ááşá¸áážáŻááťáŹá¸áááş áĄáá˝ááşááťááşááźááşá
á˝áŹ ááŻááşááąáŹááşáááŻááşáááşááźá
áşáááşá áĄáŹá¸áááşá¸ááťááşáážáŹ áĄá
áŽáĄá
áĽáşááᯠáááşá¸áááşá¸ááťááşááťááş ááźáŻááźááşááŹá¸ááźááşá¸ááźá
áşááąáŹááźáąáŹááˇáş ááźáŻááźááşáá˝ááşá¸ááśááźááşá¸ááážááᲠááááŹá¸ááąáŹ áĄááŹááášááŻááťáŹá¸ááᯠáááˇáşáááşáááźá
áşáááŻááş (áĽáááŹá ááŻáśáážááşáááŻááşááąáŹ ááźá
áşáááşáá
áşáᯠááźá
áşááąáŤáşáááˇáşáĄááŤ)á ááŤááąáááˇáş ááááşááᯠááźááşááźááşááąáá˝ááşáááŻáˇááááşá
áá˝á˛áˇá
ááşá¸ááŻáśáááŽááąáŹááąááŹáĄáá˝ááşá áĽáááŹáĄáŹá¸ááźááˇáşá áááşáááş NoSQL áááŻáá°áááŻááşáááşá . áááşá¸áááş HDFS ááąáŤáşáá˝ááşáĄááŻááşááŻááşáááşá ááąáŹááşá¸áá˝ááşá
á˝áŹááŻáśáá°áá˝áŹá¸áááşá áááşáááşááťáŹá¸á
á˝áŹááąáŹááźá
áşáááşááťáŹá¸áááŻááźáŻá
áŻááťááŻá¸ááąáŹááşáááŻááşááźáŽá¸á áĄáážáŹá¸áááŻááśáááŻááşáááşáážááááşá
áááŻáááŻá¸áážááşá¸áá˛áˇ áĄááŹáá
áşááŻáááŻáááşá¸ ááźážááˇáşáááşáááŻááşáááşá áĽáááŹá . áááşá¸áááş áĄáá˝ááşáážáąá¸áá˝áąá¸ááźáŽá¸ áĄáá˝á˛áááşááťáŹá¸áĄáá˝ááş ááźá
áşáááşá áááŻáˇááąáŹáş áĄáŹá¸ááŹááťááşáážáŹ áĄáá˝ááşáááŻá¸áážááşá¸ááąáŹááźáąáŹááˇáş á
áááşáááş áááˇáşááťáąáŹáşááŤáááşá

4. á áŻá ááşá¸áážáŻááťáŹá¸
áĄááźá
áşáĄááťááşáĄáŹá¸ááŻáśá¸ááᯠáááŻáá
ááŻááşááááşá¸áááşá¸ááźáŽá¸ ááąáŹááşáážáááŹááąáŹ áĄááŻááşááž áĄááąá¸ááźáŽá¸ááąáŹ áĄááťááşáĄáááşáĄáŹá¸ááŻáśá¸ááᯠá
áŻááąáŹááşá¸ááźáŽá¸ ááąááŹááąáˇá
áşááᯠáĄááşááááşááŻááşáááŻááŤáááşá áá
áşááášááŹááŻáśá¸áá˝ááş áááşáááŻááşáᏠáááşáážáşááŻááşááťáŹá¸áážááˇáş áááşááá
áşááťáŹá¸ááᯠááá°áááŻááŤáááşá áĽáááŹáĄáŹá¸ááźááˇáşá áĄááźá
áşáĄááťááşááťáŹá¸ááž ááŻáśá¸á
á˝á˛áá°ááááŻáááŻááşááᯠá
áŻááąáŹááşá¸ááźáŽá¸ áĄááźáŻáĄáá°ááᯠáá
áşáááşá¸áááşá¸ááźááˇáş áááŻááşá¸ááŹááŤá ááźá
áşáááşááťáŹá¸ááᯠáá
áşá
áŻáá
áşá
ááşá¸áááşá¸ á
áŻááąáŹááşá¸ááźáŽá¸ áááşááśááááşá¸áááşá¸áááş (áĄááŻáśá¸ááźáŻáá°áááŹá¸ááťáŹá¸áá˝ááş)á áá
áşááťáááşáááşá¸áážáŹáááşá áááşáááş á
áŻá
ááşá¸áážáŻ-áážááážááŻááşá¸ááąá¸áážá°á¸áážááˇáş á
á
áşááŻááşáážáŻáá
áşááŻáááŻáááşá¸ ááťáááşáááşáááŻááşá
áąáááşáĄáá˝ááş á
áá
áşáá
áşááŻááᯠáááşááąáŹááşáááŻááşáááş- áĄááťááŻáˇááąáŹááźá
áşáááşáĄááťááŻá¸áĄá
áŹá¸áá
áşááŻááž ááŻáśá¸á
á˝á˛áá°ááťáŹá¸áááŻáᏠá
áŻááąáŹááşá¸ááŤá
áááŻáˇááąáŹááşáá˝ááşá áĄáá˝á˛áˇáážááá
áşá
áŻáśáá
áşáŚá¸áááş áĄáááˇáşááźááˇáşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááťáŹá¸áᏠáááŻáĄááşááŤáá ááźááşááááŻááşá¸ááźáŹá¸á
áááşááźáŹáážáŻá
áá
áşááťáŹá¸ááᯠááťáááşáááşáááŻááşáááşá áááş Mixpanel ááᯠáááşááśáážáŹáá°áááŻááşááŤáááşá áááŻáˇááąáŹáş áááşá¸áááş áĄáá˝ááşá
áťáąá¸ááźáŽá¸ááąáŹááźáąáŹááˇáşá áĄááŻáśá¸ááźáŻáá°ááźá
áşáááşáĄáŹá¸ááŻáśá¸ááᯠáááŻááąááŹáááŻáˇ ááąá¸áááŻáˇááźááşá¸áááŻááşáᲠáááŻáĄááşáááˇáşáĄááŹááťáŹá¸ááŹááźá
áşáááşá áááŻáááŻáˇááŻááşááąáŹááşáááşá ááťá˝ááşáŻááşáááŻáˇáááş ááźááşáá
áá
áşááťáŹá¸á API ááťáŹá¸ áááŻáˇáááŻááş ááźáąáŹáşááźáŹááááşááąáŹááşá¸ááťáŹá¸áááŻáˇ áĄá
áąáŹáááŻááşá¸á á
áŻá
ááşá¸ááŹá¸áááˇáş áĄááťááŻáˇááąáŹ áĄááźá
áşáĄááťááşááťáŹá¸ááᯠáá˝ážá˛ááźáąáŹááşá¸ááąá¸áááˇáş áážááážááŻááşá¸ááąá¸áážá°á¸ááᯠáááşááŽá¸áááş áááŻáĄááşááŤáááşá

5. áážáąáˇáááşá¸
áááşááŽá¸ááŹá¸ááąáŹá áá áşáážááˇáş áážáąáˇáááşá¸ááᯠááťáááşáááşáááş áááŻáĄááşáááşá áĽáááŹááąáŹááşá¸áá áşááŻá áááşááąáŹááşáážáŻááŤá á áááş áááşáážáşááŻááşááťáŹá¸ áááşááąáŹááşááŹáá˝ááş áá°ááŽááąá¸áááˇáş ááąááŹááąáˇá áş GUI áá áşááŻááźá áşáááşá áĄááźááşáĄáážááşáĄááťááŻá¸áááşááąáŹááşááŻáś-
- áĄááŻáśá¸ááźáŻáá°áááş SQL query áá áşááŻááźáŻááŻááşáááşá
- ááŻáśáˇááźááşáážáŻááźááˇáş áá°áááş ááááááşááášáááŹááᯠááážááááşá
- áááşá¸áááş áááşá¸áĄáá˝ááş 'áĄááźááşáĄáŹááŻáśáĄáá áş' ááᯠáááşááŽá¸ááąá¸ááźáŽá¸ áááşáááŻááşáááŻááş ááááşá¸áááşá¸áááŻááşááąáŹ áážáááąáŹ ááááşáá áşáá áşáᯠááážááááşááźá áşáááşá
áááşááąáŹááşáážáŻáážá ááŻáśááááşááąáŹááşááťáŹá¸áááş áĄáááŻáĄááťáąáŹááş áĄááşááááşááŻááşááąáááşá áááşáááş áááşáá
áąáŹááˇáşááźááˇáşáážáŻááᯠá
áááşááźááŻááşááźááşáááşáááŻááşááźáŽá¸ ááźáąááŹááśáááŻááşáááşá Redash áááş áááŻááşáááŻááşáááşááśááťááşá¸áááŤá áĄááá˛áˇááźá
áşááąáŹáşáááşá¸ SaaS áĄááąááźááˇáş áá
áşáááťážááş $50 ááŻááşááťáááşááźá
áşáááşá

ááąáŹááşááťááş
áĄáááşááąáŹáşááźááŤáĄáááˇáşááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠááźáŽá¸ááźáąáŹááşááźáŽá¸ááąáŹááşá áááşáááş áááşáááŹááŹáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááᯠáááşááŽá¸áááşááźá
áşáááşá áĄááŹáĄáŹá¸ááŻáśá¸ááᯠáááşáááŻááşáááŻááş á
áŽá
ááşáááşáážááşááŹá¸áááş áááŻáĄááşááąáŹááźáąáŹááˇáş ááąáŹááşáááşáá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááťáŹá¸ááᯠááťáááşáááşááŻáśááťážááźááˇáş áááşá¸áááş áááŻá¸áážááşá¸ááźááşá¸ááážáááźáąáŹááşá¸ ááťáąá¸áá°á¸ááźáŻá áááááźáŻááŤá áááŻáˇááźáąáŹááˇáşá áááˇáşáááŻááşáááŻááşá
áá
áşááᯠááááşááŽá¸ááŽá áááşáá˝á˛ááąááąá¸áááŻááąáŹ áĄáááşá¸áĄááźá
áşááťáŹá¸áážááˇáş ááąá¸áááşááąáŹ áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻá
áá
áşáĄáá˝ááş áááŻáĄááşáážáŻááᯠáážááŻááşá¸áážááşáááˇáşáááşá
áááşášááťáŹáááŻááąáˇááŹááźáŽá¸ ááŻááşááťá
ááááşááťáŹá¸áá˝ááşá¸ááźáąáŹááşá¸ áá˝áąáˇáážáááŤáá ááąáŹááşáĄáááŻááşá¸áá˝ááş á
áťáąá¸áááşááŹááąáŹ server-side áá˝á˛ááźááşá¸á
áááşááźáŹáážáŻááŹá¸áážááşá¸ááᯠáááşáááŻáˇááźáŻááŻááşááááşááᯠáá˝áąá¸áá˝áąá¸ááŤáááşá
áááşáážáŻáážáŻáĄáá˝ááş ááťáąá¸áá°á¸áááşááŤáááşá ááąá¸áá˝ááşá¸ááąá¸áá˝áą comment áážáŹááąá¸ááᏠáááşá¸ááŹááŤáááşá
source: www.habr.com
