αααααΊααΆαααααααΈααΈαααα’αααααααΆαααααααααΆααα’αααΈαααααααααα·ααΆα (
ααααβααααβαααβαααβααΆαβααΆαβααΏαβαααααβαααβα αΎαβααΆ ααΆαβααααΎαααΆαβαα·ααααααβαααβαααα»αβαααααααα αα·αβααΆαβααβααααΆαβααααααβα’αΆα
βαα½αβα’αΆααΈαααααβααααΎαβααβαααααβααααααα αααα»ααααααα αααααααααα·ααΆααααα»ααααα»ααα
ααααααΆαααΆααααααααΆααααα
αααΎα α αΎαα
ααα½αααααΆαααα αα·αααααΉαααα·ααΆαααα’αααααααΎααααΆαααα
αααα»ααααααα·ααΈαααα»αααΎαα‘αΎαα
αααααΆαααααα αααα»αα αα»αααΆααΆαααα»ααααααα±ααα’ααααα·ααΆααααααα½αααααΌαααααααΆααα
ααΆααααα
αααΎα ααΎααααΈαα·ααΆα αα·αααααααααΆααα
ααΆααΆααααααα
α
α·αααααααααΉαααααΌααα½αα ααΆααααααΆαααααααααααααα·ααΆααααααΆαααααα»αα αα»ααα·ααα½αααααΌαααΆααααΆααααααΆααα α αΎααααααααααααα½αα―αααααΌαααα’αΆα
αα»αα
α·αααααΆα αα·αααΆααααααααΆαα
α’ααααα·ααΆαα’αα·αα·αα
ααΆααα·ααΆαα’αα·αα·ααααΊααΆααααΆααααααααααα»αα αα»αααααΆαααα
ααΆααααα ααααα α¬αααααα·ααΈαααααααα½αααΆαααα SDK ααααΌαααΆα αα½ααααα
αΌααα
αααα»αααΌαααααΆαααΌαααααΆαααααα½αααααααΆ αα·αααααΎαααΎαααΆααααααααΉαααα·ααΆαααα ααΆαααΆαααααΆααα
α»αααΆαααααααα
αααααα·ααΈααΆααααααααα αα·ααααααααΆααα’ααααααααααΌαααΆααααα ααααΆαα·αααααΌαααΆαααααΎαααΆαααΌα
αααα’αααα
ααααΆααα αααααΆαααααααααααααααΆααααααΆαα½ααααα’αααααααΎαααΎαα α§ααΆα ααα αα
ααΎαααααααααα½α ααΆααΉααα·αααΆααααα½ααααα»αααΆαααααΎαααΆααα·α
αα
ααΆα MapReduce αα αααααΆααα·αααα α’αααααΉααα·αα’αΆα
ααααΎαααΆαααααΌααααα’αααααΆαααα αα»ααα·ααααα·αα½ααααααΉαααΆαα·ααααααααααααααΆ (αα½αα±ααα
αΆααα’αΆαααααα) αααααΆααααααΆααααα
ααΆααααααααααΆααα·ααΆαα’αα·αα·ααααΆα
αααΎααα
ααΎααΈααααΆα ααα»αααααα·αααΌααα·αααΆααα’ααααα·ααΆαααααΌαααααααα»αααΉαααΆααα·ααααααΆαα·αααΆαααααΆαααααΆαα½αααααααααααααααΆααααΆαααα·α
αα
ααΆαααΆααα’αα (αααααααααααααααααααΆααααααΆααααααΆααα’αααααααΎαα‘αΎαααααααααααααΆ)α αααα»αααααΆαααΆααααααα αααα»αα αα»αααααααααααα
α
α·ααααααααΎααααααααααα·ααΆαααααΆαααααα½ααααααα½αααααΆαα½αααΉαααΆαααααα αα·ααααααααΆαα
αΆαααΆα
αααΆααα’ααα
α’ααααα·ααΆααααΆαααΈααα
Server-side analytics ααΊααΆααααΆαααααα½ααααα’αΆα
ααΆααα±ααααααΎααααΆαααα
αααα»ααααα»αα αα»ααα½ααα
ααΎ servers αααααααα½α αα·α (ααΆααααααΆ) ααΆαα½αααΉααα·α
αα
αα·αααααααΉαααααααααααααα½αα αα
αααα»αααααΌααα ααααΉαααα·ααΆαααααααα’αααααααΎααααΆααααΆααα’ααααααΌαααΆααααααΆαα»ααα
ααΎαααΆαααΈαααααΆααααα»α αααα’αα»ααααΆαα±ααα’αααα’αα·ααααααααΆαααααααΌαααααΆααα·αααααααααα»αααααααααααΆ αα·αααααΎαααΎαααααΆααααααααααΆααααα½ααααα»αα α αΎααααααΈααΆα’ααααα
ααα
ααααααΎααΆααα·ααΆαα’αα·αα·ααααΆααΈααΈααΈαααααΆαααα·α
αα
ααΆααα½αα
ααα½αααααα ααΆααΉααα
ααα’αΆα
ααααΎαα
ααΆαα
ααΆααα·ααΆααααααααΆααααΆαααΈαααα’αΆα
ααααΌαααΆαααΆααα±ααααααΎααααΆααααΆαααΈααα·ααΈα ααΈαα½αα ααααΎαααΎαα§αααααααααΎααααΆαααααααααΎαα
αα αα½αα
ααα½α ααΆαααααααΆαααΆαα
ααΎαααΆαααΈαααααα’ααα αα·αα’αα·αααααααααα·ααααΆα’αΆααΈαααααα
αα
ΠΠΈΠ½ΡΡΡ
α’αααα’αΆα
ααααΌαααΆαααααααΌαα’αααΈαααα’αααα
ααααΆα
αααα
αααΎααααα·ααΆα α αΎαααΆαααΆαα’αααα’αα·ααααααααΆα
ααααα‘αα
ααΈααΈαα ααααααΆαααα SaaS (Amazon, Google, Azure) αααα½αα±ααααΆααααααΆαααΆααααααα½αα―αα ααΎαααΉααα·ααΆαα’αααΈ SaaS αααα’α·αααααααααααα αααα»ααααααααΈααΈα
αα
ΠΠΈΠ½ΡΡΡ
ααΆα’αΆα
ααΆαααααααααααΆααααα»αααα·ααΆαααααα ααα»ααααααΆαα½αααΉαααααΎααααα ααΆααΉααα
ααααααααα
ααΆααΉααα·αα’αΆα
ααααααααααααΆαααΆααααααααΆααα’ααααΆαααα
ααααααΆαααααΌαααΆααααααααΆαααααα»ααα
ααααΆααααα’ααααααααααααΆ
ααΆαα·ααααααααΉαααΆααΆαα’αααΈαα
ααΆααααα»αααααΆαααααα (ααΆαααα ααααΆαα·αααααΌαααΆα)
αααααααααΌαααΆααα·ααΆααααΆαααΈααα
ααααα·αααΎααΎαα ααααααΆααααΈααααΆαααΈααΆαααααΎααααΆααααΆααα·ααΆαα’αα·αα·αα αα·ααααααΎαααααααΎαααααΆαα ααΆααααΌαααΎαααααΌααα·αααΆααααααααΆααααααααααααααααααααααΈα ααΆααααααααααααα»αααΉαααααΆααα’αααααΆααα αΆα α ααΌαα’αααΈαααα’αααααααΌααα·α αΆαααΆ α ααα»α’αααΈααΆαααΆααα αΆαααΈαα½ααααααΌαααΆα αα·αα§αααααα’αααΈαααααααα’αααα’αΆα ααααΎα
1. ααΆαααα½ααα·αααααα
ααΌα
αα
αααα»αααααΈααααΆααα·ααΆαα’αα·αα·αα ααΆααααΌαα’ααααα·ααΆααααααααα»αα αα»αααααΎαααΎαααααααααααΉαααα·ααΆαααααααα½αααα
αααα·ααααΆααΆαααα’ααΆαα α αΎααααααΌαααΆαα
αααα»ααααααΈα ααΆααααααΆ ααααΉαααα·ααΆαααααΆαααααααΎαα‘αΎααααα»αααααΆααααΆααααΆαααα½α αααα α
ααΆ "ααααΌααααΉαααα·ααΆααα"α
αααααΆαααα αααααααΆαααααα·ααΈααΌαααααα (ααα ααααα) ααΆαα’αααααααΎααααΆααααααααΆ (α§ααααα) αα·ααααΆαααΈαααααΆα
αααΎαα ααΎααααΈαααααααααΉαααα·ααΆαααααΈα§ααααααα
αααΆαααΈαααααααα»ααααα·ααΆα αααααΆαααααααααΊα
αΆαααΆα
αα α’αΆαααααααΎααααΆαααααααα α’αΆα
ααΆααα½αααααΉαααα·ααΆααααααααααααΆααΆα
αααΎαα
αααααΎαααααΆα
αααααΆααα ααΎ Quora αααα»αααααΆα 2014 α’ααααααααΎα Apache Kafka ααΆααααααα α α·αααααΆααααααααααααα·ααΈαααααΆα Franz Kafka ααΈααααα "ααΆααΆαααααααααααααααΌαααΆαααααΎα±αααααααΎαα‘αΎααααααΆααααΆαααααα" α αΎααααααΆαααααΆαααααα‘αΆααααΆαααΆααααα Kafka α βWikipedia
αααα»αα§ααΆα αααααααααΎα ααΆαα’αααααα·ααα·αααααα αα·αα’αααααααΎααααΆαααα·ααααααααΆα
αααΎα (α§ααααα αα·ααααΆαααΈααα) α αΎα Kafka αα½αααααΆαααα½αααΆαα
ααααΆαα
αα·ααα
ααα α’αααααααΎααααΆααααΉαααααΌαααΆααα·αααααΆαααα’α·αααααααααααα
αααα»αααα αΆαααΆαααααα ααααα½αααααΉαααααΆαααΆαα»ααα·ααααΆα
ααααα α₯α‘αΌααααααΎαααΉααα·α
αΆαααΆααα’αααααα·ααα·αααααα (ααααΉαααα·ααΆααα) ααα»αααααα
Kafka ααααααααΌαααααααα·ααααα½α αα·αααΆαααΆα ααΆααΆααΆααααααΎααααα»αααΆαα’αΆαα±ααααΆααααα
αααΆααα’αααΈααΏαααααα
ααααααααααα (α§ααΆα ααα αα
αααα»α
(ααΌαααΆα
αααα»ααααααΆαα½αααααΆααα Kafka α’αα»ααααΆαα±ααα’αααα’αΆαααΆαααααα αα·αααααΎαααΆαααΌαααααΉαααα·ααΆααααα½ααα
αααα»αααααα»αααΌα
αα Kafka ααΊααΆα§αααααααααΆααααα½ααα½ααααααααΎααΆαααααααΆαααΆααααΆαααα’ααΆαα½αααΉααααααΌαααΆαααααααα»αααΎαα‘αΎα (α§ααΆα ααα ααΆαααΈααΆααααΌαα·ααΆαααααααααααΉαααα·ααΆααα)α
ααΆααααααΆαα½ααααααααΊαααααααααΆαα ααα»ααααα’αααΈαααΆαααααααα»αααααΆααα
αααααααΎααΆαααααααΆα (ααΌα
ααααα½ααααααααααααΎ)α αααα ααααΆααααΆαααααΆααααΆααα
ααααααΎαααααααΆαααΆααααα½ααα
αααα»αααα·αααααααααα αααααααααΆααααααααααααΌαααα’ααα±αα
ααααααα α»αα ααααααααΈααΎ Kafka ααΆααααααααααΆαααααααΈαα½ααααααΊ RabbitMQ α ααΎααα·αααΆαααααΎααΆαα
αααα»αααΆαααα·αααΆαα½ααααααΆααααΆααα·ααΆαααααΉαααα·ααΆααααα (ααααα·αααΎα’αααααΆααααα·ααααααααααα ααΌαααααΆααααΎαα’αααΈααΆαα
αααα»αααα·ααααα!) ααααααΆαααΆααααα ααΎαααΆαααααΎ AWS Kinesis α
αα»αααΉααααααα
ααα αΆααααααΆαα ααΎαααααΌααα·ααΆαα’αααΈαααααΆαααααααααα½αααααααααααααα - ααΆααααα»ααααααα ααα»αα
α ααααα·ααααααΆαααααΆαααααααααΌαααΆααα ααα»ααααααΆααΉαααΆαααααααααααααα·αααΎααΆαα’αααΈαα½ααα»α α αΎααα½αααααΉαααα·ααΆααααα
αααα»α Kafka ααααΌαααΆααααααα‘αΎααα·αα ααΆααααααΆαα»ααααααα ααα»αα
αα·ααααααΌαα±ααααΆααααααααααΆααααααα»αααααΆα αα·αααΆααααααααααααααα α’αααα’αΆα
αααααααΆαα
ααααααααΆαα½αααΆαααααΆααααααΉαααααΌα (ααΌααααΈαααα
ααΎααΆαααΉα)α
ααααΎαααΆαααααααΈαααααΉαααα·ααΆααα
αααααΆααβααΈβααΎαβααΆαβαααα
αβααααΉαααα·ααΆαααβααΆααβα’ααβα αΎαβααΆααβααΆβαααα»αβαα½αβαααβααααααβα αΎαβ ααΎαβααααβαα
βααα αΆαβααααΎαααΆαα αα
ααΈααααααα»αααΉαααααΆααα’αααα’αααΈαααααΎαααααΎαααΆαααΌαα
αααα»αααΈαα
αααααΎαααααΌαααΊααααΌαααΎα ββSpark Streaming αα
αααα»ααααααααα Apache α ααα·ααα Apache ααΆααα’ααααααα
ααΎ HDFS αααααΆααααααααα―αααΆααααααΆααα»ααααα·ααΆαααΆαα½αααΉαααΆαα
ααααα―αααΆαα Spark Streaming ααΊααΆα§αααααααΆααααα½αααααΎααααααααααααααΆαααααΆααα·αααααα αα·αααααΎααΆαααααααΆαααΆαααα’α ααααααΆαααΆααααα ααΆα’αΆα
αα·ααΆααααα»αααΆαααααΆαα
αααααΎααα½ααααααΊαααααΎααααααα·ααΈαααααααΆαααααΉαααα·ααΆαααααααΆαααααα½αααααα’αααα ααΎααααΈααααΎααΌα
αααα α’αααααααΌαααΆαα§ααΆα ααα ααΎααααΈααααααααααα·ααΈ Python αααααΎαααΆαα
αααα»α Docker α αΎαα
α»ααααααααΆαα½α Kafka α αα
ααααααααααααααα§ααααααααααααΆα docker ααααΎαααΆαααΉαα
αΆααααααΎαα ααΆαα½αααΉααα·ααΈααΆαααααααα α’αααααααΌααααααΆαααααα·ααΈα±ααααααΎαααΆαααααααααα
α
αΌααααααααΆααΎαααΆαααααΎαααΎααααααΎααα½ααααα»αα
αααααααααΎααααααΆααα·αααααΆααΆαααΎα αΎααααααα
ααααΎαααΆαααααααα½αα―αα α’αααααααΎαααΆααα½αααα
αΆααααααΎαααααα·αα·αααααΎααα»ααααΆααααα·αααααα ααααααααΆα αα·αααααΉαααα·ααΆααα "ααΌα
"α αααααΆαααα»ααααΆα ααΎαααΆααααααΆααααΎ
3. ααΌαααααΆααα·αααααα
ααα αΆαααΈααΈααΊαααααΆααααΉαααα·ααΆαααααααααΆα αα
αααααααΎααΆαααΆαα½ααααααααααα·ααΆααααααααααα½α
ααΆααααα
ααΎαααΉαααααΌαααα
αΌαααααΎαα½αααΆα±ααααΆαααΉαααΆαα ααΌα
ααααααΆααΆααΆαααααΆαααααα»αααΆαααααΎαααΎαααΌαααααΆααα·αααααααααααΆααααα½αα
ααααα·αααΎαα·ααααααααααα’αααα»ααααααααΆαααααα α’αααα’αΆα
ααααΎαααΎα
αααααΆαααα·ααααααααααα·αααΆααα
ααΆαααααααα α’αααα’αΆα
αα NoSQL ααΆα§ααΆα ααα
α’αααααα’αΆα
ααΎαα’αααΈαααααΆααααααΆααααααααα α§ααΆα αααα
4. ααΆααααααΌααααα»α
αααααΆααααααΆαα»αααααΉαααα·ααΆαααααΆααα’ααααααααα»ααααααααα ααΎαα
αααααααΌαααααααΆαααααΆαααααΆααα’ααααΈαααα»ααααααΆαααααα αα·αααααΎαα
αα
α»ααααααααΆαααΌαααααΆααα·ααααααα ααΆααα ααΎαα
ααααα½αααΆαααααΆααααααααααα αα·ααααααααααααΆαααααααα ααΆα§ααΆα ααα αααααΌααααααααααααΆαα’αααααααΎααααΆααααΈααααΉαααα·ααΆαααααΆααΆ αα·αααΆαααααα₯αα·ααΆααα ααααΉαααα·ααΆαααααααΌαααΆααααααΌααααα»α αααααΌα αα·ααααααΆαα»αααααααα (αααα»αααΆααΆαα’αααααααΎααααΆαα)α αααα»ααααααΆαα½αααααΆααα α’αααα’αΆα
αααααΎααααααααααα½α ααΎααααΈα±ααα’αααααα’αΆα
ααααΆααααααααα
α’ααααααααααααα½αα αααααΌαα’αααααααΎααααΆααααΈααααααααΆααααΆααααααααΉαααα·ααΆααααα½αα
αααααΆααααΈααα ααααα·αααΎααααΆααααΆαααα
αααα»ααααα»αααααΌαααΆαααααΆααα·ααΆαααααα·ααααααααα»ααααα αααααααααα·ααΆαααΆααααα
α’αΆα
ααααΆααααΆαα α’αααα’αΆα
αα Mixpanel αααααααα ααα»αααααααααΆαααΆααΆααααααααααααΆαα αα·ααααααααΉαααα·ααΆαααααααα’αααααααΎααααΆααααΆααα’ααααααΌαααΆαααααΎαα
ααΈααααα ααα»ααααααΆαααα’αααΈαααααααΌαααΆαααα»αααααα ααΎααααΈααααΎααΌα
ααααααΆα ααΎαααααΌααααααΎαα’ααααααααααααα½ααααααΉααααααααααΉαααα·ααΆααααα
αα½αα
ααα½α α¬α’αααΈαα½ααααααΎααααα½αα―αααΆααααααΌααααα»αααΈαα»ααα
ααΆααααααααααααΆααααα
APIs α¬αααα·ααΆααααΆαααΆαα·αααααααα
5. αααααααΆααα»α
α’αααααααΌαααααΆαααααααααΆααα»ααα
ααΉααααααααααααααΆααααααΎαα α§ααΆα αααααααα’αα½αααΊααααΆαααα
- α’αααααααΎααααΆαααααααΎααααα½α SQL α
- ααΆααΆαααααΎαααααΆααααα½αααΆααααααΆαα½αα
- ααΆαααααΎα 'ααΆαααΎαααΎαααααΈ' αααααΆααααΆ αα·αααα½αααΆαααααΆα αααααααααααα’αΆααααα’αααα’αΆα αααααΆαα»ααααααΆαααααα½αα’αααα
ααΆαααΎαααΎααα
αααα»αααααΆαααααααα»αααααΎαα
αα
α»ααααααααΆααααααααααααααααα· α’αααα’αΆα
ααααΌαααΆααααα αα·αααΆαααΆαααΆααααα½ααα·αα·αααααααα’αααα Redash ααΊαα·ααα·ααααααα ααααα·αααΎαααα
αααααααα½αα―α ααα»ααααααΌα
ααΆ SaaS ααΆααΉαααααΌαα
αααΆα 50 αα»ααααΆααααα»ααα½αααα
ααα ααααΈααααα·ααααΆα
αααααΆααααΈαααα
ααααα αΆαααΆααα’ααααΆαααΎ α’αααααΉααααααΎαααΆααα·ααΆααααΆαααΈαααααααα’αααα ααΌαα
αααΆαααΆ ααΆαα·αααΆααααααΌα
ααααΆααααααααΆααααΆααα·ααΆαα’αα·αα·ααααααα αααααα’αααΈαααΆααα’ααααααΌαααααααα
ααΆααααααααααααααα½αα―αα ααΌα
αααααα»αααΉααααααΎαααααααααααααΆαααααα½αααααα’ααα ααΆααΆαααααααααααααααααααΌαααΆααααααΆαααααααααααα·ααΆααααααααααααααΆαα½αααΉαααααΆααααα’αααααΆαααααααααα»αααΆααααα
αααα
α±ααααΆα
ααααα·αααΎα’αααααΆαααααΎααα·ααα·ααααΆ α αΎαααΆαααααΎαααΆααΆαα
αααΆααααααααα αα
ααααααααααΆαα αααα»αααΉααα·ααΆαα’αααΈαααααααααΎααααααααααΆαααααααααααααΆααα·ααΆααααααααΆααααΆαααΈαααα
α’ααα»ααααααΆααααΆαα’αΆα! αααα»αααΉαααΈαααΆααααα»αααΆααα½ααααα½ααα
αααα»αααα·αααααα
ααααα: www.habr.com