زه وړاندیز کوم چې تاسو د ایګور سټرایهر لخوا د 2017 راپور نقل ولولئ "کلک هاؤس - په ټابیکس کې د لید ګړندي او روښانه ډیټا تحلیل."
په Tabix پروژه کې د ClickHouse لپاره ویب انٹرفیس.
کلیدي ځانګړتیاوې:
- د ClickHouse سره مستقیم د براوزر څخه کار کوي، پرته له دې چې اضافي سافټویر نصب کړي؛
- د نحو روښانه کولو سره د پوښتنو مدیر؛
- د امرونو په اتوماتيک ډول بشپړول؛
- د پوښتنو اجرا کولو ګرافیکي تحلیل لپاره وسایل؛
- د غوره کولو لپاره د رنګ سکیمونه.
زه د SMI2 تخنیکي رییس یم. موږ د خبرونو تبادله خبرونو راټولونکي یو. موږ ډیری ډیټا ذخیره کوو چې موږ یې له خپلو شریکانو څخه ترلاسه کوو او په کلیک هاوس کې یې ثبت کوو - په هره ثانیه کې شاوخوا 30 غوښتنې.
دا معلومات دي لکه:
- په خبرونو کلیک کوي.
- خبرونه په مجموعه کې ښکاره کیږي.
- بینر زموږ په شبکه کې ښکاره کیږي.
- او موږ پیښې زموږ د خپل کاونټر څخه ثبت کوو ، کوم چې د Yandex.Metrica سره ورته دی. دا زموږ خپل مایکرو تحلیلونه دي.
موږ د کلک هاؤس څخه دمخه خورا سخت ژوند درلود. موږ ډیر ځوریدلي، هڅه یې کوله چې دا معلومات چیرته ذخیره کړو او یو څه یې تحلیل کړو.
د ClickHouse څخه مخکې ژوند - infiniDB
لومړی شی چې موږ درلود infiniDB و. هغه زموږ سره د 4 کلونو لپاره ژوند کاوه. موږ دا په سختۍ سره پیل کړه.
- دا د کلستر کولو یا شارډینګ ملاتړ نه کوي. هیڅ داسې سمارټ شیان د ډیفالټ له مخې له بکس څخه ندي راغلي.
- هغه د معلوماتو په پورته کولو کې ستونزه لري. یوازې یو ځانګړی کنسول افادیت چې کولی شي یوازې CSV فایلونه پورته کړي او یوازې په خورا ناڅرګنده طریقه.
- ډیټابیس یو اړخیز دی. تاسو کولی شئ لیکل یا ولولئ. مګر دا د دې امکان رامینځته کړی چې د ډیټا لوی مقدار پروسس کړي.
- او هغې هم یو په زړه پورې کرچ درلود. هره شپه سرور باید ریبوټ شي، که نه نو دا به کار ونکړي.
هغې زموږ لپاره د 2016 تر پایه پورې کار کاوه، کله چې موږ په بشپړ ډول کلیک هاوس ته لاړو.
د کلک هاؤس څخه مخکې ژوند - کیسندرا
څرنګه چې infiniDB واحد تار شوی و، موږ پریکړه وکړه چې موږ یو ډول څو څو اړخیز ډیټابیس ته اړتیا لرو چې موږ کولی شو په ورته وخت کې ډیری تارونه ولیکو.
موږ ډیر په زړه پوري شیان هڅه وکړه. بیا موږ پریکړه وکړه چې کاسندرا هڅه وکړو. هرڅه د کاسندرا سره عالي وو. په هره ثانیه کې په هره داوطلبۍ کې 10 غوښتنې. د لوستلو لپاره په کوم ځای کې 000 غوښتنې.
خو هغې هم خپلې ګټې درلودې. په میاشت کې یو ځل یا په هرو دوو میاشتو کې یو ځل هغې د ډیټابیس غیر همغږي تجربه کړه. او زه باید ویښ شوم او د کاسندرا د سمولو لپاره منډه کړم. سرورونه یو له بل سره بیا پیل شول. او هرڅه سم او ښکلي شول.
د کلیک هاوس څخه مخکې ژوند - ډرایډ
بیا موږ پوه شو چې موږ اړتیا لرو چې حتی نور معلومات ولیکئ. په 2016 کې موږ د Druid لیدل پیل کړل.
Druid د خلاصې سرچینې سافټویر دی چې په جاوا کې لیکل شوی. ډیر مشخص. او دا د کلک سټریم لپاره مناسب و ، کله چې موږ اړتیا لرو د پیښو یو ډول جریان زیرمه کړو او بیا یې راټول کړو یا تحلیلي راپورونه جوړ کړو.
ډرویډ 0.9.X نسخه درلوده.
ډیټابیس پخپله ځای پرځای کول خورا ستونزمن دي. دا د زیربنا پیچلتیا ده. د دې ځای په ځای کولو لپاره، دا اړینه وه چې ډیری اوسپنې نصب کړي. او د هارډویر هره ټوټه د خپل جلا رول لپاره مسؤل و.
په دې کې د معلوماتو د پورته کولو لپاره، دا اړینه وه چې یو ډول شیمانیزم وکاروئ. دلته د OpenSource پروژه ده - آرامۍ، چې زموږ څخه ډاټا په جریان کې له لاسه ورکوي. کله چې موږ پدې کې ډاټا بار کړه، دا یې له لاسه ورکړه.
مګر یو څه موږ یې پلي کول پیل کړل. موږ لکه د هیج هاګ په څیر چې مخدره توکي یې اخیستي مګر د کیکټس خوړلو ته یې دوام ورکړ، دا یې معرفي کړه. موږ شاوخوا یوه میاشت وخت نیولی چې د دې لپاره ټول زیربناوې چمتو کړو. دا دی، سرورونه ترتیب کړئ، رولونه تنظیم کړئ، او په بشپړ ډول اتوماتیک ګمارنه. دا، د کلستر د ناکامۍ په صورت کې، دویم کلستر به په اتوماتيک ډول ځای پرځای شي.
خو بیا یوه معجزه وشوه. زه په رخصتۍ وم او زما همکارانو ما ته یو لینک واستاوه ، کوم چې وايي چې Yandex پریکړه وکړه چې د ClickHouse خلاص کړي. زه وایم راځئ چې دا هڅه وکړو.
او په حقیقت کې په 2 ورځو کې موږ د ClickHouse ازموینې کلستر ځای په ځای کړ. موږ پدې کې د معلوماتو بارول پیل کړل. د infiniDB په پرتله، دا ابتدايي دی؛ د ډرایډ په پرتله، دا ابتدايي دی. د کاسندرا په پرتله، دا هم ابتدايي ده. ځکه چې که تاسو د پی ایچ پی څخه کاسندرا ته ډیټا بار کړئ ، نو دا لومړني ندي.
موږ څه ترلاسه کړل؟ په سرعت کې فعالیت. د معلوماتو ذخیره کولو کې فعالیت. دا، د ډیسک ډیر لږ ځای کارول کیږي. ClickHouse ګړندی دی ، دا د نورو محصولاتو په پرتله خورا ګړندی دی.
د لانچ په وخت کې، کله چې Yandex په OpenSource کې ClickHouse خپور کړ، یوازې د کنسول پیرودونکي شتون درلود. موږ په خپل شرکت SMI2 کې پریکړه وکړه چې هڅه وکړو د ویب لپاره اصلي پیرودونکي جوړ کړو، ترڅو موږ وکولی شو له براوزر څخه یوه پاڼه خلاص کړو، غوښتنه ولیکئ او پایله ترلاسه کړو، ځکه چې موږ ډیری غوښتنې لیکل پیل کړل. په کنسول کې لیکل ستونزمن دي. او موږ خپله لومړۍ نسخه جوړه کړه.
او په کوم ځای کې د تیر کال ژمي ته نږدې ، د کلیک هاوس سره کار کولو لپاره د دریمې ډلې وسیلې څرګندیدل پیل کړل. دا وسایل دي لکه:
- .
- .
- . (اوس )
- .
- .
زه به د دې وسیلو څخه ځینې وګورم، دا هغه دي چې ما ورسره کار کړی دی.
یو ښه وسیله، مګر د Druid لپاره. کله چې ډرایډ پلي کیده ، ما د سوپر سیټ ازموینه کوله. ما هغه خوښ کړ. د ډرایډ لپاره دا خورا ګړندی دی.
دا د ClickHouse لپاره مناسب نه دی. دا دی، دا مناسب دی، دا پیل کیږي، مګر یوازې د ابتدايي پوښتنو پروسس کولو لپاره چمتو دی لکه: د پیښې انتخاب، د پیښې لخوا ګروپ. دا د ډیر پیچلي کلیک هاوس ترکیب ملاتړ نه کوي.
راتلونکی وسیله اپاچی زپیلین دی. دا یو ښه او په زړه پوری شی دی. کار کوي. دا د نوټ بوکونو، ډشبورډونو ملاتړ کوي، او د متغیرونو ملاتړ کوي. زه پوهیږم چې په ClickHouse ټولنه کې یو څوک دا کاروي.
مګر د ClickHouse ترکیب لپاره هیڅ ملاتړ شتون نلري ، د بیلګې په توګه تاسو باید پوښتنې یا په کنسول یا بل چیرې ولیکئ. بیا، وګورئ چې دا ټول کار کوي. دا یوازې ناامنه ده. مګر دا د ډشبورډ ښه ملاتړ لري.
بله وسیله Redash.IO ده. Redash په انټرنیټ کې کوربه شوی دی. دا دی، د پخوانیو وسیلو برعکس، دا نصب ته اړتیا نلري. او دا یو ډشبورډ دی چې د مختلف ډیټا سرچینو څخه د معلوماتو راټولولو وړتیا لري. دا دی، تاسو کولی شئ د ClickHouse څخه، د MySQL څخه، د PostgreSQL څخه او نورو ډیټابیسونو څخه ډاونلوډ کړئ.
یوازې یوه میاشت دمخه (مارچ 2017) ، ملاتړ په ګرافانا کې څرګند شو. کله چې تاسو په ګرافانا کې راپورونه جوړ کړئ، د بیلګې په توګه، ستاسو د هارډویر یا ځینې میټریکونو په اړه، اوس تاسو کولی شئ ورته ګراف یا یو ډول پینل په مستقیم ډول د ClickHouse څخه ډاټا څخه جوړ کړئ. دا خورا اسانه دی، او موږ یې پخپله کاروو. دا تاسو ته اجازه درکوي بې نظمۍ ومومئ. دا دی ، که یو څه پیښ شي او یو څه هارډویر راټیټ شي یا فشار راوړي ، نو تاسو کولی شئ دلیل وګورئ که چیرې دا معلومات د کلیک هاوس ته رسیدلي وي.
ما په دې وسیلو یا کنسول کې لیکل خورا عجیب ولیدل. او ما پریکړه وکړه چې زموږ لومړی انٹرفیس ښه کړم. او ما د EventSQL، SeperSet، Zeppelin څخه نظر ترلاسه کړ.
تا څه غوښتل؟ ما غوښتل ګرافیک ترلاسه کړم، یو ښه مدیر، او د اشارو لغتونو لپاره ملاتړ پلي کړم. ځکه چې ClickHouse یو لوی ځانګړتیا لري - لغاتونه. مګر د لغتونو سره کار کول سخت دي، ځکه چې تاسو اړتیا لرئ د ذخیره شوي ارزښتونو بڼه په یاد ولرئ، د بیلګې په توګه دا یو شمیر یا تار، او داسې نور.
زموږ د لومړۍ نسخې له خپریدو څخه 3 میاشتې تیرې شوې. ما یوې خصوصي څانګې ته شاوخوا 330 ژمنې وکړې او دا د ټابیکس په توګه وګرځید.
د پخوانۍ نسخې برخلاف ، کوم چې د ClickHouse-Frontend په نوم یادیږي ، ما پریکړه وکړه چې دا په ساده نوم بدل کړم. او دا Tabix شو.
څه ښکاره شول؟
ګرافونه رسموي. د ClickHouse SQL ترکیب ملاتړ کوي. د دندو په اړه مشوره ورکوي او کولی شي ډیر په زړه پوري شیان ترسره کړي.
دا هغه څه دي چې د ټابیکس عمومي سکیم ورته ښکاري. ښي خوا ته یوه ونه ده. په مرکز کې د پوښتنې مدیر دی. او لاندې د دې غوښتنې پایله ده.
بیا به زه تاسو ته وښیم چې د پوښتنې مدیر څنګه کار کوي.
دلته اوتوماتیک په اتوماتيک ډول په میز کې کار کوي او د ساحې لپاره د اتوماتیک بشپړولو په اساس، لارښوونه کوي. او د دندو په اړه اشارې. که تاسو د ctrl enter فشار ورکړئ، غوښتنه به اجرا شي یا د غلطۍ سره ناکام شي. ترټولو ساده غوښتنه Tabix ته لیږل کیږي او پایله یې ترلاسه کیږي، د بیلګې په توګه تاسو کولی شئ په چټکۍ سره د ClickHouse سره کار وکړئ.
لغتونه، لکه څنګه چې ما مخکې وویل، یو خورا زړه پورې شی دی چې موږ یې ډیر کار کوو. او کوم چې موږ ته اجازه راکړه چې ډیری شیان ترسره کړو. راځئ چې ووایو موږ ټول ښارونه په لغتونو کې ذخیره کوو. موږ د ښار پیژندونکی او د ښار نوم، عرض البلد او عرض البلد ذخیره کوو. او په ډیټابیس کې موږ یوازې د ښار پیژندونکی ذخیره کوو. په دې اساس، موږ ډاټا په کلکه سره کمپرس کوو.
دا یو ساده شی ښکاري، مګر دا په کلک هاؤس کې په خورا زړه پورې طریقه کې مرسته کوي. د دې حقیقت له امله چې ClickHouse یوازې د نیست شوي یوځای کیدو ملاتړ کوي ، پوښتنه ښکته او پراخه وده کوي. او کله چې بریکٹ خلاص شي او یو څه اوږد بیان راشي ، نو یو څه ساده لکه څنګه چې د پوښتنې سقوط کول پخپله د پوښتنې سره کار کول اسانه کوي. ځکه چې کله پوښتنه د 200-300 کرښې اوږده او په عرض کې خورا لویه وي، نو دا خورا ګټوره ده چې د پوښتنې له مینځه یوسي او بیا یو ځای ومومئ یا په یو ډول یې ځایي کړئ.
د آبجیکٹ ونې، ملټيکوریز او ټبونه (ویډیو 13:46 )
بیا به زه تاسو ته د ونې او ټبونو په اړه وښیم. په ښي خوا کې یوه ونه ده؛ په سر کې تاسو کولی شئ څو ټبونه جوړ کړئ. ټبونه د کار ځای په څیر دي. تاسو کولی شئ څو ټبونه جوړ کړئ او هر یو په بل ډول نوم کړئ. دا د راپور جوړولو لپاره د مینی سیسټم په څیر دی.
ټبونه په اتوماتيک ډول خوندي شوي. که تاسو خپل براوزر بیا پیل کړئ یا ټابیکس بند کړئ یا خلاص کړئ ، دا ټول به خوندي شي.
هوټکی - مناسب (ویډیو 14:39 )
هټکیز شتون لري او ډیری یې شتون لري. ما دلته د مثال په توګه ځینې یې راخیستي دي. دا د ټبونو بدلول، د غوښتنې اجرا کول یا د څو غوښتنو اجرا کول دي.
زه به تاسو ته وښیم چې څنګه د پایلې سره کار وکړم. موږ غوښتنه لیږو. دلته زه ګناه، cos او tg رسموم. تاسو کولی شئ پایله روښانه کړئ، د بیلګې په توګه د کالم لپاره یوه ځانګړې نقشه رسم کړئ. تاسو کولی شئ مثبت یا منفي ارزښتونه روښانه کړئ. یا په ساده ډول د یو ځانګړي میز عنصر رنګ کړئ. دا مناسب دی کله چې میز خورا لوی وي او تاسو اړتیا لرئ د خپلو سترګو سره یو څه ګډوډي ومومئ. کله چې زه د بې نظمۍ په لټه کې وم، ما ځینې کرښې روښانه کړې، ځینې عناصر په شنه یا سور کې.
هلته ډیر په زړه پورې شیان شتون لري. د مثال په توګه، د ریډمین مارک ډاون کې کاپي کولو څرنګوالی. که تاسو اړتیا لرئ چې پایله چیرته کاپي کړئ، دا خورا اسانه دی. تاسو کولی شئ په ساده ډول یوه ساحه وټاکئ، "کاپي ته ریډماین" ووایاست او دا به د ریډماین مارک ډاون کې کاپي شي یا چیرته پوښتنه رامینځته کړي.
بل د پوښتنې اصلاح دی. ما یو ځل د "نیټې" ساحې مشخص کول هیر کړل. او زما غوښتنه په ClickHouse کې نه وه پروسس شوې، په ډیره چټکۍ سره، مګر په چټکۍ سره، د بیلګې په توګه له یوې ثانیې څخه لږ. کله چې ما ولیدل چې هغه څو کرښې تیرې کړې، زه ویریدم. موږ په یوه ورځ کې دې میز ته دومره قطارونه نه لیکو. ما د غوښتنې تحلیل پیل کړ او ولیدل چې ما په یو ځای کې نیټه له لاسه ورکړې وه. دا دی، ما هیر کړی چې اشاره وکړم چې زه د ټول میز لپاره ډاټا ته اړتیا نلرم، مګر د یوې ځانګړې مودې لپاره.
Tabix د "احصایې" ټب لري، کوم چې د لیږل شوي غوښتنو ټول تاریخ ذخیره کوي، د بیلګې په توګه، تاسو کولی شئ وګورئ چې د دې غوښتنې لخوا څومره لینونه لوستل شوي او څومره وخت یې په اجرا کولو کې اخیستی. دا د اصلاح کولو اجازه ورکوي.
تاسو کولی شئ د پوښتنې پایلې باندې یو محور میز جوړ کړئ. تاسو ClickHouse ته غوښتنه لیږلې او ځینې معلومات مو ترلاسه کړي. او بیا تاسو کولی شئ دا ډاټا د خپل موږک سره حرکت وکړئ او یو ډول پیوټ میز جوړ کړئ.
راتلونکی په زړه پوری شی د پلان جوړول دي. راځئ چې ووایو چې موږ لاندې غوښتنه لرو: د ګناه لپاره، د 0 څخه تر 299 پورې. او د دې د رسم کولو لپاره، تاسو اړتیا لرئ چې د "ډرا" ټب غوره کړئ او تاسو به د خپلې ګناه او cos سره ګراف ترلاسه کړئ.
تاسو کولی شئ دا په مختلفو محورونو وویشئ، د بیلګې په توګه تاسو کولی شئ دوه ګرافونه په یو وخت کې په څنګ کې رسم کړئ. یو کمانډ او دوهم کمانډ ولیکئ.
تاسو کولی شئ هسټوګرام رسم کړئ.
تاسو کولی شئ دا د ګرافونو میټرکس کې مات کړئ.
تاسو کولی شئ د تودوخې نقشه جوړه کړئ.
تاسو کولی شئ د تودوخې کیلنڈر جوړ کړئ. په هرصورت، دا یو خورا اسانه شی دی کله چې تاسو د یو کال په اوږدو کې بې نظمۍ تحلیل کولو ته اړتیا لرئ، د بیلګې په توګه، سپکونه یا څاڅکي ومومئ. د دې معلوماتو لید زما سره پدې کې مرسته وکړه.
بل د Treemap دی.
سانکیز یو په زړه پوری چارټ دی. هغه یا هم Streamgrahps یا دریاب دی. خو زه ورته سیند وایم. دا تاسو ته اجازه درکوي چې هر ډول بې نظمۍ وګورئ. دا ډیر آرام دی. زه د لټون لپاره د دې کارولو وړاندیز کوم.
راتلونکی په زړه پوری شی د متحرک نقشه رسمول دي. که تاسو په خپل ډیټابیس کې عرض البلد، عرض البلد ذخیره کړئ او ووایئ، یو منزل ذخیره کړئ، که تاسو، د بیلګې په توګه، لارۍ یا الوتکې الوتنې لرئ، نو تاسو کولی شئ د منزل لارې رسم کړئ. همدارنګه هلته تاسو کولی شئ د دې شیانو سرعت او اندازه تنظیم کړئ چیرې چې دوی الوتنه کوي.
مګر د دې نقشې ستونزه دا ده چې دا یوازې د نړۍ نقشه جوړوي، هیڅ تفصیل نلري.
وروسته ما د ګوګل نقشه اضافه کړه. که تاسو عرض البلد ، عرض البلد ذخیره کړئ ، نو تاسو کولی شئ پایله په ګوګل نقشه کې رسم کړئ ، مګر د الوتکې ملاتړ پرته.
موږ په Tabix کې د پایلو او پوښتنو سره د کار کولو اصلي دندو په اړه بحث کړی دی.
بل ستاسو د ClickHouse سرور تحلیل دی. دلته یو جلا "میتریک" ټب شتون لري، چیرې چې تاسو کولی شئ د هر کالم لپاره د ذخیره شوي ډاټا اندازه وګورئ. سکرین شاټ ښیې چې دا "ریفرر" ساحه شاوخوا 730 Gb اخلي. که موږ دا ساحه پریږدو، موږ به د هر یو 700 GB درې شارډونه خوندي کړو، د بیلګې په توګه شاوخوا 2 TB چې موږ ورته اړتیا نه لرو.
موږ د "request_id" ساحه هم لرو چې موږ یې په تار کې ذخیره کوو. مګر که موږ دا په عددي شکل کې ذخیره کول پیل کړو، دا ساحه به په پراخه کچه کمه شي.
دا ستاسو په کلستر کې د سرور ترتیب او د نوډونو لیست هم ښیې.
راتلونکی ټب میټریک دی. دوی د ClickHouse سره ریښتیني وخت ته ننوځي او په ساده ډول تاسو ته اجازه درکوي د سرور حالت تحلیل کړئ او پوه شئ چې څه پیښیږي. دا د بشپړ ګرافانا لپاره بدیل ندی. دا د چټک تحلیل لپاره اړین دی.
بل ټب پروسې دی. له دوی څخه تاسو کولی شئ پوه شئ چې په سرور کې څه پیښیږي. پوه شه چې هلته څه روان دي. ما یوه غوښتنه درلوده چې هر ځل د لوستلو 200 GB مصرفوي. ما دا ولیدل چې د دې انٹرفیس څخه مننه. ما هغه ونیول او هغه یې سم کړ. او دا د 30 GB په اړه وګرځید، د بیلګې په توګه په ځینو وختونو کې فعالیت.
له تاسو مننه! او دا په OpenSource کې دی
ما ختم کړ. او په لاره کې، دا OpenSource دی، دا وړیا دی او تاسو اړتیا نلرئ چې دا ډاونلوډ کړئ. دا په براوزر کې خلاص کړئ او هرڅه به کار وکړي.
پوښتنې
ایګور، بیا څه شی دی؟ تاسو به دا وسیله چیرته پراختیا ومومي؟
بیا، ډشبورډونه به ښکاره شي، د بیلګې په توګه، شاید ډشبورډونه به ښکاره شي. د نورو ډیټابیسونو سره یوځای کول. ما دا وکړل، مګر تر اوسه یې په OpenSource کې نه دی خپور کړی. دا MySQL او احتمالا PostgreSQL دی. دا به امکان ولري چې له ټابیکس څخه غوښتنې نه یوازې کلیک هاوس ته ، بلکه نورو وسیلو ته هم واستول شي.
څرګنده ده چې په دې برخه کې ډېر کار شوی دی. دا یو بشپړ بشپړ نظر وګرځید. دا په براوزر کې ترسره شوی، په ښکاره ډول، د دې لپاره چې په هر ډول محورونو کې کرچونه له منځه یوسي او په چټکۍ سره ټول شیان یوځای وغورځوي. ما اوریدلي چې تاسو روان یاست php کار کوي، نو تر ټولو اسانه لار دا ده چې دا په براوزر کې ټایپ کړئ او دا به هرچیرې کار وکړي. په دې اړه هیڅ پوښتنه نشته. پوښتنه دا ده. هلته واقعیا ډیر څه شوي دي. په دې اړه څومره کسانو کار کړی؟ او دا ټول څومره وخت نیسي؟ ځکه چې دودیز وسیلې معمولا دومره فعالیت نلري.
زموږ د ټیم څخه یو کس د اوړي څخه تر مني پورې کار کاوه. دا لومړۍ نسخه وه. بیا ما یوازې 330 ژمنې وکړې. هغه څه چې تاسو ګورئ، زما همکار او ما په نیمایي کې وکړل. په 3 میاشتو کې ، له لومړۍ نسخې څخه تر وروستي پورې ، ما ډیری یې یوازې ترسره کړل. مګر زه جاواسکریپټ ډیر ښه نه پوهیږم. دا زما یوازینی او، زه هیله لرم، زما وروستی جاوا سکرپٹ پروژه وه چې ما ورسره کار کاوه. ما ترلاسه کړ، ما ولیدل - اوه، وحشت. مګر ما واقعیا غوښتل محصول پای ته ورسوم او دا هغه څه دي.
د راپور لپاره ډیره مننه! دا یوه ښه وسیله ده. سره جدولاو ایا تاسو پرتله کوئ؟
له تاسو مننه. له همدې امله ما دا نوم Tabix کېښود، ځکه چې لومړی توری ورته دی.
ځکه چې تاسو سیالي کوئ؟
ډیره پانګه به وي، موږ به سیالي وکړو.
تاسو څنګه کولی شئ داخلي تحلیل کونکو ته د پلور وړاندیز وکړئ چې دا وسیله به په بشپړ ډول ځای په ځای کړي *ټبلیو*؟ دلیلونه به څه وي؟
په اصلي توګه د ClickHouse سره کار کوي. ما جدول هڅه وکړه، مګر تاسو نشئ کولی د لغتونو او ورته نورو لپاره ملاتړ ولیکئ. زه پوهیږم چې خلک څنګه د Tabix سره کار کوي. دوی یوه پوښتنه لیکي، CSV ته یې پورته کوي او BI ته یې اپلوډ کوي. او دوی لا دمخه هلته یو څه کوي. مګر زه سخت وخت لرم چې تصور وکړم چې دوی دا څنګه کوي، ځکه چې دا یو ګرافیکي وسیله ده. دا کولی شي 5 قطارونه پورته کړي، اعظمي حد 000 قطارونه، مګر نور نه، که نه نو براوزر به مقابله ونه کړي.
دا دی، د معلوماتو په مقدار کې ځینې جدي محدودیتونه شتون لري، سمه ده؟
هو. زه تصور نشم کولی چې تاسو غواړئ په خپل میز کې 10 قطارونه ستاسو د براوزر سکرین ته پورته کړئ. د څه لپاره؟
ایا دا پدې معنی ده چې دا د معلوماتو د ګړندي لیدو لپاره انٹرفیس دی؟ دا لږ وګرځوئ، دا یې وخورئ؟
هو، ژر تر ژره وګورئ چې دا څنګه کار کوي او یوازې د لنډیز ګراف جوړ کړئ. او بیا یې یو ځای ورکړئ. موږ خپل د راپور ورکولو سیسټم لرو، له کوم ځای څخه چې زه په ساده ډول دا غوښتنه لرم. زه په ټابیکس کې رسم کوم او زموږ راپور ورکولو ته یې لیږم.
او بله پوښتنه. د کوهورټ تحلیل؟
که کومه غوښتنه وي، موږ به یې اضافه کړو.
تاسو کله د هغې کارول پیل کړل؟ ClickHouse، تطبیق څومره وخت نیولی؟ ټک هاوس او راوړل د تولید حالت؟
لکه څنګه چې ما وویل، موږ په ډیر لنډ وخت کې د ازموینې کلستر پلي کړ. موږ دا په دوه ورځو کې ځای په ځای کړل. او موږ دا د څو نورو اونیو لپاره ازموینه وکړه. او موږ په 3 میاشتو کې تولید ته ورسیدو. مګر موږ خپل ETL درلود، د بیلګې په توګه د معلوماتو ثبتولو وسیله. او هغه په هر څه کې چې هغه یې کولی شي لیکلي. هغه کولی شي په MongoDB، Cassandra، MySQL کې ولیکي. دا آسانه وه چې هغه ته زده کړه ورکړي چې څنګه په کلیک هاوس کې لیکل کیږي. موږ د چټک پلي کولو لپاره چمتو شوي زیربنا درلوده. د 3 میاشتو دننه موږ د لومړۍ برخې ایستل پیل کړل. په 6 میاشتو کې موږ نور هرڅه په بشپړ ډول پریښودل. موږ یوازې یو کلیک هاوس پاتې یو.
ایګور، د راپور لپاره ډیره مننه. ما واقعیا د نقشو په کارولو سره د لارو جوړولو فعالیت خوښ کړ. ایا د Yandex.Maps او په ځانګړي توګه د دودیز Yandex.Maps سره د ادغام لپاره کوم پلان شتون لري؟
ما د ګوګل نقشې پرځای د مدغم کولو هڅه وکړه ، مګر ما په Yandex.Maps کې تیاره موضوع ونه موندله. ما تاسو ته یوه ټوټه ونه ویل. زه به د اضافه کولو لپاره بیرته راوګرځوم.
سلایډ - د ګوګل نقشه. دلته د "DRAW_GMAPS" کمانډ شتون لري، کوم چې نقشه رسموي. دلته د "DRAW_YMAPS" کمانډ شتون لري، د بیلګې په توګه دا کولی شي Yandex.Map رسم کړي. مګر په حقیقت کې، د دې کمانډ لاندې جاوا سکرپٹ شتون لري، د بیلګې په توګه هغه معلومات چې تاسو یې د ClickHouse څخه ترلاسه کوئ جاواسکریپټ ته لیږدول کیدی شي، کوم چې تاسو دلته لیکئ. او تاسو د محصول ساحه لرئ چیرې چې دا باید رسم شي. تاسو کولی شئ هر ګراف رسم کړئ، د بیلګې په توګه هر ګراف، نقشه، تاسو کولی شئ خپله برخه رسم کړئ. مخکې له دې، ما پخپله د ګرافونو د انځور کولو لپاره یو بل کتابتون درلود.
دا دی، ایا د نندارې فعالیت دودیز کولو لپاره وسیله شتون لري؟
کوم. تاسو کولی شئ دا نقطې واخلئ او بیا یې رنګ کړئ، دوی سور نه، مګر نیلي، شنه جوړوي.
د راپور لپاره مننه! تاسو یو سلایډ درلود چې د بدیل پوښتنې وسیلې یې وړاندې کړې ټک هاوس د ډشبورډونو او تحلیلي راپورونو جوړولو لپاره. زه هغه وخت پوهیږم چې تاسو ورسره کار پیل کړی ClickHouse، د دې وسیلو لپاره هیڅ اډیپټرونه ندي لیکل شوي. او زه حیران یم چې تاسو ولې پریکړه وکړه چې خپل وسیله جوړه کړئ، د دې پرځای چې د ځینې چمتو شوي وسیلې لپاره اډاپټر ولیکئ؟ زه فکر کوم چې د ازموینې مدیر ټیک کول ګړندي دي. ولې دې دومره ډېر کار کولو پرېکړه وکړه؟
دلته یو په زړه پوری ټکی دی - حقیقت دا دی چې زه تخنیکي رییس یم، نه د معلوماتو ساینس پوه. کله چې موږ د Druid پلي کول پیل کړل، زما د سړک نقشه شاوخوا 50٪ دندې درلودې - راځئ چې دا محاسبه کړو، یا راځئ چې دا محاسبه کړو، یا دا تحلیل کړو. او دا معلومه شوه چې موږ کلیک هاوس پلي کړ. او هغه په چټکۍ سره د هرڅه په جوړولو پیل وکړ، شمیرل، او په چټکۍ سره یې د سړک نقشه وتړله. او په هغه وخت کې زه پوهیدم چې زه د ډیټا ساینس او ډیټا لید کې پوهه نه لرم. Tabix د معلوماتو لید زده کولو لپاره زما د کور کار دی. زه په دې لټه کې وم چې څنګه زپیلین بشپړ کړم. زه د هغه د پروګرام کولو لپاره یو څه ناخوښه یم. ریډش ما ولیدل چې څنګه یې اضافه کړم، مګر یو نورمال مدیر زما لپاره کافي و. او سوپر سیټ هم په یوه ژبه لیکل شوی چې زه واقعیا نه خوښوم. او له همدې امله ما پریکړه وکړه چې سایکل چلوم، او دا هغه څه دي.
ایګور، ایا تاسو د پل غوښتنې منئ؟
هو.
د راپور لپاره ډیره مننه! او دوه پوښتنې. لومړی، تاسو په دې اړه په زړه پورې خبرې مه کوئ جاوا سکرپٹ. ایا تاسو په جاوا سکریپټ کې لیکلي یا دا یو ډول چوکاټ دی؟*
په خالي جاوا سکرپٹ کې غوره.
نو کوم چوکاټ؟
زاویه.
دا صفا ده. او دویمه پوښتنه. ایا تاسو فکر کړی؟ R и *ځلانده**?*
په پام کې نیول شوي. لوبه وکړه.
تاسو کولی شئ یوازې یو اډاپټر ولیکئ.
هغه دی. داسې ښکاري چې ټولنې دا جوړ کړی، مګر، لکه څنګه چې ما پخوانۍ پوښتنې ته ځواب ورکړ، ما غوښتل دا پخپله هڅه وکړم.
* نه، د لید په اړه، دا هم شتون لري.
تاسو ووایاست چې داسې یو شی شتون لري او دا به تاسو ته ګراف رسم کړي. ما د معلوماتو لید په اړه یو کتاب خلاص کړ. او ما فکر وکړ: "اجازه راکړئ هڅه وکړم چې دا ډاټا تصور کړم. زه به هغه ته ولیکم ترڅو هغه معلومات بیا جوړ کړي. او ما د ډیټا فیډ ټیکنالوژۍ ښه پوهیدل پیل کړل. او که ما یو چمتو شوی برخه اخیستې وای، نو ما به په شخصي توګه د دې کارولو څرنګوالی زده کړی وای، دا دی، لید. مګر هو، ما R خوښ کړ، مګر ما تر اوسه د "R for Dummies" کتاب نه دی لوستی.
ساپی!
ساده پوښتنه. ایا د سمدستي لاسلیک یا مهالویش اپلوډ کولو لپاره کومې لارې شتون لري؟
CSV یا Excel ته اپلوډ کیدی شي.
ډاټا نه، مګر یو چمتو شوی پلیټ، چمتو شوی ګراف؟ د مثال په توګه، د مالک د ښودلو لپاره.
دلته د "اپلوډ" تڼۍ شتون لري او یو تڼۍ شتون لري "په png کې ګراف پورته کړئ، په jpg کې".
ساپی!
PS مینی - د ټابیکس نصبولو لپاره لارښوونې
- کښته کول
- خلاص کړئ، لارښود کاپي کړئ
buildپه nginx root_path کې - nginx تنظیم کړئ
سرچینه: www.habr.com