ClickHouse – ვიზუალურად სწრაფი და ინტუიციური მონაცემთა ანალიზი Tabix-ში. იგორ სტრიჰარი

გირჩევთ, წაიკითხოთ იგორ სტრიჰარის 2017 წლის ანგარიშის ტრანსკრიპტი „ClickHouse - ვიზუალურად სწრაფი და მკაფიო მონაცემთა ანალიზი Tabix-ში“.

ვებ ინტერფეისი ClickHouse-ისთვის Tabix პროექტში.
ძირითადი მახასიათებლები:

• მუშაობს ClickHouse-თან პირდაპირ ბრაუზერიდან, დამატებითი პროგრამული უზრუნველყოფის დაყენების საჭიროების გარეშე;
• შეკითხვის რედაქტორი სინტაქსის ხაზგასმით;
• ბრძანებების ავტომატური დასრულება;
• ინსტრუმენტები შეკითხვის შესრულების გრაფიკული ანალიზისთვის;
• ფერის სქემები ასარჩევად.
  

ვარ SMI2-ის ტექნიკური დირექტორი. ჩვენ ვართ ახალი ამბების გაცვლის ახალი ამბების აგრეგატორი. ჩვენ ვინახავთ უამრავ მონაცემს, რომელსაც ვიღებთ ჩვენი პარტნიორებისგან და ვარეგისტრირებთ ClickHouse-ში - დაახლოებით 30 მოთხოვნა წამში.

ეს არის ისეთი მონაცემები, როგორიცაა:

• დააწკაპუნეთ სიახლეებზე.
• ახალი ამბები გამოჩნდება აგრეგატორში.
• ბანერი გამოჩნდება ჩვენს ქსელში.
• და ჩვენ ვარეგისტრირებთ მოვლენებს ჩვენივე მრიცხველიდან, რომელიც მსგავსია Yandex.Metrica-ს. ეს არის ჩვენი საკუთარი მიკრო ანალიტიკა.

ClickHouse-მდე ძალიან დაძაბული ცხოვრება გვქონდა. ჩვენ ბევრი ვიტანჯებოდით, ვცდილობდით სადმე შეგვენახა ეს მონაცემები და როგორმე გავაანალიზოთ.

ცხოვრება ClickHouse-მდე – infiniDB

პირველი რაც გვქონდა იყო infiniDB. ის ჩვენთან 4 წელი ცხოვრობდა. გაჭირვებით გავუშვით.

• მას არ უჭერს მხარს კლასტერირებას ან დაშლას. ნაგულისხმევად ასეთი ჭკვიანები არ გამოსულა ყუთიდან.
• მას უჭირს მონაცემების ჩატვირთვა. მხოლოდ კონკრეტული კონსოლის პროგრამა, რომელსაც შეეძლო მხოლოდ CSV ფაილების ჩატვირთვა და მხოლოდ ძალიან გაურკვეველი გზით.
• მონაცემთა ბაზა არის ერთნაკადიანი. შეგიძლია ან დაწერო ან წაიკითხო. მაგრამ ამან შესაძლებელი გახადა დიდი რაოდენობით მონაცემების დამუშავება.
• და მას ასევე ჰქონდა საინტერესო ყავარჯენი. ყოველ საღამოს სერვერის გადატვირთვა უწევდა, წინააღმდეგ შემთხვევაში არ იმუშავებდა.

ის ჩვენთან მუშაობდა 2016 წლის ბოლომდე, სანამ მთლიანად გადავედით ClickHouse-ზე.

ცხოვრება ClickHouse-მდე – კასანდრა

ვინაიდან infiniDB იყო ერთნაკადიანი, ჩვენ გადავწყვიტეთ, რომ გვჭირდებოდა ერთგვარი მრავალნაკადიანი მონაცემთა ბაზა, რომელშიც შეგვეძლო ერთდროულად ჩაწეროთ მრავალი თემა.

ბევრი საინტერესო რამ ვცადეთ. შემდეგ გადავწყვიტეთ, კასანდრა გაგვეცადა. კასანდრასთან ყველაფერი მშვენივრად იყო. 10 მოთხოვნა წამში თითო შეთავაზებაზე. 000 მოთხოვნა სადღაც წასაკითხად.

მაგრამ მას ასევე ჰქონდა საკუთარი ინტერესები. თვეში ერთხელ ან ორ თვეში ერთხელ იგი განიცდიდა მონაცემთა ბაზის დესინქრონიზაციას. და მე მომიწია გაღვიძება და გაქცევა კასანდრას გამოსასწორებლად. სერვერები სათითაოდ გადატვირთეს. და ყველაფერი გლუვი და ლამაზი გახდა.

ცხოვრება ClickHouse-მდე – დრუიდი

შემდეგ მივხვდით, რომ კიდევ უფრო მეტი მონაცემების დაწერა გვჭირდებოდა. 2016 წელს დავიწყეთ დრუიდის ყურება.

Druid არის ღია კოდის პროგრამა, რომელიც დაწერილია ჯავაში. ძალიან კონკრეტული. და ის შესაფერისი იყო clickstream-ისთვის, როცა გვჭირდება რაიმე სახის მოვლენების ნაკადის შენახვა და შემდეგ მათზე აგრეგაცია ან ანალიტიკური ანგარიშების გაკეთება.

დრუიდს ​​ჰქონდა ვერსია 0.9.X.

თავად მონაცემთა ბაზის განთავსება ძალიან რთულია. ეს არის ინფრასტრუქტურის სირთულე. მისი განლაგებისთვის საჭირო იყო ბევრი, ბევრი რკინის დაყენება. და თითოეული ტექნიკის ნაწილი პასუხისმგებელია თავის ცალკეულ როლზე.

მასში მონაცემების ჩასატვირთად საჭირო იყო რაიმე სახის შამანიზმის გამოყენება. არსებობს OpenSource პროექტი - Tranquility, რომელიც კარგავდა ჩვენგან მონაცემებს ნაკადში. როდესაც ჩვენ ჩავტვირთეთ მასში მონაცემები, მან დაკარგა.

მაგრამ რატომღაც დავიწყეთ მისი განხორციელება. ჩვენ, ზღარბების მსგავსად, რომლებიც იღებდნენ ნარკოტიკებს, მაგრამ განაგრძობდნენ კაქტუსის ჭამას, დავიწყეთ მისი დანერგვა. ამისთვის მთელი ინფრასტრუქტურის მომზადებას დაახლოებით ერთი თვე დაგვჭირდა. ანუ, შეუკვეთეთ სერვერები, დააკონფიგურირეთ როლები და სრულად ავტომატიზირებული განლაგება. ანუ კლასტერის უკმარისობის შემთხვევაში მეორე კლასტერი ავტომატურად განლაგდება.

მაგრამ შემდეგ მოხდა სასწაული. შვებულებაში ვიყავი და კოლეგებმა გამომიგზავნეს ბმული ჰაბრ, სადაც ნათქვამია, რომ Yandex-მა გადაწყვიტა გახსნა ClickHouse. მე ვამბობ, მოდი ვცადოთ.

და ფაქტიურად 2 დღეში ჩვენ განვათავსეთ ClickHouse სატესტო კლასტერი. ჩვენ დავიწყეთ მასში მონაცემების ჩატვირთვა. infiniDB-თან შედარებით ეს ელემენტარულია; დრუიდთან შედარებით ეს ელემენტარულია. კასანდრასთან შედარებით, ის ასევე ელემენტარულია. რადგან თუ თქვენ ჩატვირთავთ მონაცემებს PHP-დან Cassandra-ში, მაშინ ეს არ არის ელემენტარული.

რა მივიღეთ? შესრულება სიჩქარეში. შესრულება მონაცემთა შენახვაში. ანუ დისკზე გაცილებით ნაკლები ადგილია გამოყენებული. ClickHouse არის სწრაფი, ის ძალიან სწრაფია სხვა პროდუქტებთან შედარებით.

გაშვების დროს, როდესაც Yandex-მა გამოაქვეყნა ClickHouse OpenSource-ში, იყო მხოლოდ კონსოლის კლიენტი. ჩვენ ჩვენს კომპანია SMI2-ში გადავწყვიტეთ შეგვექმნა მშობლიური კლიენტი ინტერნეტისთვის, რათა გაგვეხსნა გვერდი ბრაუზერიდან, დავწეროთ მოთხოვნა და მივიღოთ შედეგი, რადგან დავიწყეთ ბევრი მოთხოვნის წერა. კონსოლში წერა რთულია. და ჩვენ გავაკეთეთ ჩვენი პირველი ვერსია.

და სადღაც გასული წლის ზამთართან ახლოს, დაიწყო მესამე მხარის ინსტრუმენტები ClickHouse-თან მუშაობისთვის. ეს არის ინსტრუმენტები, როგორიცაა:

• რედაშ.IO.
• აპაჩი ზეპელინი.
• სუპერსეტი Airbnb. (ახლა https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

მე გადავხედავ ამ ინსტრუმენტებს, ანუ მათ, რომლებთანაც მიმუშავია.

კარგი ინსტრუმენტია, მაგრამ დრუიდისთვის. როდესაც დრუიდი განხორციელდა, მე ვამოწმებდი SuperSet-ს. მე ის მომეწონა. დრუიდისთვის ის ძალიან სწრაფია.

ის არ არის შესაფერისი ClickHouse-ისთვის. ანუ ჯდება, იწყება, მაგრამ მზადაა მხოლოდ ელემენტარული მოთხოვნების დასამუშავებლად, როგორიცაა: SELECT event, GROUP BY მოვლენა. მას არ აქვს უფრო რთული ClickHouse სინტაქსის მხარდაჭერა.

შემდეგი ინსტრუმენტი არის Apache Zeppelin. ეს კარგი და საინტერესო რამეა. სამუშაოები. იგი მხარს უჭერს ნოუთბუქებს, დაფებს და მხარს უჭერს ცვლადებს. მე ვიცი, რომ ვინმე ClickHouse საზოგადოებაში იყენებს მას.

მაგრამ არ არსებობს ClickHouse სინტაქსის მხარდაჭერა, ანუ თქვენ მოგიწევთ მოთხოვნების დაწერა კონსოლში ან სადმე სხვაგან. შემდეგი, შეამოწმეთ, რომ ეს ყველაფერი მუშაობს. უბრალოდ მოუხერხებელია. მაგრამ მას აქვს კარგი დაფის მხარდაჭერა.

შემდეგი ინსტრუმენტი არის Redash.IO. რედაში განთავსებულია ინტერნეტში. ანუ, წინა ხელსაწყოებისგან განსხვავებით, მას არ სჭირდება ინსტალაცია. და ეს არის დაფა სხვადასხვა მონაცემთა წყაროებიდან მონაცემების კონსოლიდაციის შესაძლებლობით. ანუ შეგიძლიათ ჩამოტვირთოთ ClickHouse–დან, MySQL–დან, PostgreSQL–დან და სხვა მონაცემთა ბაზებიდან.

სულ რაღაც ერთი თვის წინ (2017 წლის მარტი) მხარდაჭერა გამოჩნდა გრაფანაში. როდესაც თქვენ ქმნით ანგარიშებს Grafana-ში, მაგალითად, თქვენი აპარატურის მდგომარეობის ან ზოგიერთი მეტრიკის შესახებ, ახლა თქვენ შეგიძლიათ შექმნათ იგივე გრაფიკი ან რაიმე სახის პანელი უშუალოდ ClickHouse-ის მონაცემებიდან. ეს ძალიან მოსახერხებელია და ჩვენ თვითონ ვიყენებთ მას. ეს საშუალებას გაძლევთ იპოვოთ ანომალიები. ანუ, თუ რამე მოხდა და ზოგიერთი აპარატურა დაეცემა ან დაიძაბება, მაშინ შეგიძლიათ გაეცნოთ მიზეზს, თუ მოახერხა ამ მონაცემებმა ClickHouse-ში მოხვედრა.

ამ ინსტრუმენტებში ან კონსოლში წერა ძალიან უხერხულად მიმაჩნია. და მე გადავწყვიტე გავაუმჯობესო ჩვენი პირველი ინტერფეისი. და მე მივიღე იდეა EventSQL, SeperSet, Zeppelin-ისგან.

Რა გინდოდა? მსურდა გრაფიკის, გაუმჯობესებული რედაქტორის მიღება და მინიშნებული ლექსიკონების მხარდაჭერა. რადგან ClickHouse-ს აქვს შესანიშნავი ფუნქცია - ლექსიკონები. მაგრამ ლექსიკონებთან მუშაობა რთულია, რადგან უნდა დაიმახსოვროთ შენახული მნიშვნელობების ფორმატი, ანუ რიცხვია თუ სტრიქონი და ა.შ. და რადგან ხშირად ვიყენებთ ლექსიკონებს სხვადასხვა ვარიაციებში, საკმაოდ რთული იყო მოთხოვნების დაწერა.

ჩვენი პირველი ვერსიის გამოშვებიდან 3 თვე გავიდა. 330-მდე ვალდებულება გავაკეთე კერძო ფილიალში და აღმოჩნდა ტაბიქსი.

წინა ვერსიისაგან განსხვავებით, რომელსაც ClickHouse-Frontend ერქვა, გადავწყვიტე დამერქვა მარტივი სახელი. და აღმოჩნდა ტაბიქსი.

რა გამოჩნდა?

ხატავს გრაფიკებს. მხარს უჭერს ClickHouse SQL სინტაქსს. აძლევს რჩევებს ფუნქციებზე და შეუძლია ბევრი საინტერესო რამის გაკეთება.

ასე გამოიყურება ზოგადი Tabix სქემა. მარცხნივ არის ხე. ცენტრში არის შეკითხვის რედაქტორი. და ქვემოთ მოცემულია ამ მოთხოვნის შედეგი.

შემდეგ მე გაჩვენებთ, თუ როგორ მუშაობს შეკითხვის რედაქტორი.

აქ ავტომატური დასრულება ავტომატურად მუშაობს მაგიდაზე და, შესაბამისად, მოითხოვს ველების ავტომატურ დასრულებას. და მინიშნებები ფუნქციებზე. თუ დააჭირეთ ctrl enter-ს, მოთხოვნა შესრულდება ან შეცდომით ვერ მოხერხდება. უმარტივესი მოთხოვნა იგზავნება Tabix-ზე და მიიღება შედეგი, ანუ შეგიძლიათ სწრაფად იმუშაოთ ClickHouse-თან.

ლექსიკონები, როგორც უკვე ვთქვი, არის ძალიან საინტერესო რამ, რომლებთანაც ბევრს ვმუშაობთ. და რამაც ბევრი რამის გაკეთების საშუალება მოგვცა. ვთქვათ, ჩვენ ვინახავთ ყველა ქალაქს ლექსიკონებში. ჩვენ ვინახავთ ქალაქის იდენტიფიკატორს და ქალაქის სახელს, მის გრძედსა და გრძედს. და მონაცემთა ბაზაში ჩვენ ვინახავთ მხოლოდ ქალაქის იდენტიფიკატორს. შესაბამისად, ჩვენ ძალიან ძლიერად ვაკუმშავთ მონაცემებს.

როგორც ჩანს, ეს მარტივი რამ არის, მაგრამ ის ეხმარება ClickHouse-ში ძალიან საინტერესო გზით. იმის გამო, რომ ClickHouse მხარს უჭერს მხოლოდ ჩადგმულ შეერთებებს, მოთხოვნა იზრდება ქვევით და საკმარისად ფართო. და როდესაც ფრჩხილი იხსნება და რაღაც გრძელი გამონათქვამი შემოდის, მაშინ რაღაც ისეთი მარტივი, როგორიც არის მოთხოვნის კოლაფსი, ამარტივებს თავად მოთხოვნასთან მუშაობას. იმის გამო, რომ როდესაც მოთხოვნა არის 200-300 სტრიქონის სიგრძე და ძალიან დიდი სიგანე, ძალიან სასარგებლოა მოთხოვნის კოლაფსი და შემდეგ ადგილის პოვნა ან როგორმე ლოკალიზება.

ობიექტის ხე, მრავლობითი შეკითხვები და ჩანართები (ვიდეო 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

შემდეგ მე გაჩვენებთ ხის და ჩანართების შესახებ. მარცხნივ არის ხე; ზემოდან შეგიძლიათ შექმნათ რამდენიმე ჩანართი. ჩანართები სამუშაო სივრცეს ჰგავს. თქვენ შეგიძლიათ შექმნათ რამდენიმე ჩანართი და დაასახელოთ თითოეული მათგანი განსხვავებულად. ეს ჰგავს მინი სისტემას ანგარიშის შესაქმნელად.

ჩანართები ავტომატურად შეინახება. თუ თქვენ გადატვირთავთ ბრაუზერს ან დახურავთ ან გახსნით Tabix-ს, ეს ყველაფერი შეინახება.

Hotkey - მოსახერხებელი (ვიდეო 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

არის ცხელი კლავიშები და საკმაოდ ბევრია. ზოგიერთი მათგანი აქ მოვიყვანე მაგალითის სახით. ეს არის ჩანართების გადართვა, მოთხოვნის შესრულება ან რამდენიმე მოთხოვნის შესრულება.

მე გაჩვენებთ, თუ როგორ უნდა იმუშაოთ შედეგზე. ჩვენ ვაგზავნით მოთხოვნას. აქ ვხატავ ცოდვას, კოს და ტგ. თქვენ შეგიძლიათ მონიშნოთ შედეგი, ანუ დახაზოთ ტიპიური რუკა სვეტისთვის. შეგიძლიათ ხაზგასმით აღვნიშნოთ დადებითი ან უარყოფითი მნიშვნელობები. ან უბრალოდ შეღებეთ მაგიდის კონკრეტული ელემენტი. ეს მოსახერხებელია, როდესაც მაგიდა უზარმაზარია და თქვენ უნდა იპოვოთ რაიმე ანომალია თქვენი თვალებით. როდესაც ანომალიებს ვეძებდი, ხაზს ვუსვამდი ზოგიერთ ხაზს, ზოგიერთ ელემენტს მწვანეში ან წითელში.

იქ ბევრი საინტერესო რამ არის. მაგალითად, როგორ დააკოპიროთ Redmine Markdown-ში. თუ შედეგის სადმე კოპირება გჭირდებათ, ეს ძალიან მოსახერხებელია. თქვენ შეგიძლიათ უბრალოდ აირჩიოთ ტერიტორია, თქვით „Copy to Redmine“ და ის დააკოპირებს Redmine Markdown-ში ან შექმნის Where მოთხოვნას.

შემდეგი არის შეკითხვის ოპტიმიზაცია. ერთხელ დამავიწყდა ველის "თარიღი" მითითება. და ჩემი მოთხოვნა ClickHouse-ში არ დამუშავდა ძალიან, ძალიან სწრაფად, მაგრამ სწრაფად, ანუ წამზე ნაკლები. როცა დავინახე, რამდენი ხაზი გავიდა, შემეშინდა. ჩვენ არ ვწერთ ამდენ რიგს ამ ცხრილზე დღეში. თხოვნის გაანალიზება დავიწყე და დავინახე, რომ პაემანი გამოვტოვე ერთ ადგილას. ანუ დამავიწყდა მეთქვა, რომ მონაცემები არ მჭირდება მთელი ცხრილისთვის, არამედ კონკრეტული პერიოდისთვის.

Tabix-ს აქვს ჩანართი „სტატისტიკა“, რომელიც ინახავს გაგზავნილი მოთხოვნების მთელ ისტორიას, ანუ იქ ნახავთ რამდენი ხაზი წაიკითხა ამ მოთხოვნამ და რამდენი დრო დასჭირდა შესრულებას. ეს ოპტიმიზაციის საშუალებას იძლევა.

თქვენ შეგიძლიათ შექმნათ კრებსითი ცხრილი შეკითხვის შედეგზე. თქვენ გაგზავნეთ მოთხოვნა ClickHouse-ში და მიიღეთ გარკვეული მონაცემები. და შემდეგ შეგიძლიათ გადაიტანოთ ეს მონაცემები თქვენი მაუსით და შექმნათ რაიმე სახის კრებსითი ცხრილი.

შემდეგი საინტერესო რამ არის შეთქმულება. დავუშვათ, გვაქვს შემდეგი მოთხოვნა: sin-ისთვის, cos 0-დან 299-მდე. მის დასახატად კი უნდა აირჩიოთ ჩანართი „Draw“ და მიიღებთ გრაფიკს თქვენი sin და cos.

თქვენ შეგიძლიათ დაყოთ ეს სხვადასხვა ღერძებად, ანუ შეგიძლიათ დახაზოთ ორი გრაფიკი ერთდროულად. დაწერეთ ერთი ბრძანება და მეორე ბრძანება.

შეგიძლიათ დახაზოთ ჰისტოგრამები.

თქვენ შეგიძლიათ დაშალოთ ეს გრაფიკების მატრიცაში.

თქვენ შეგიძლიათ შექმნათ სითბოს რუკა.

თქვენ შეგიძლიათ ააწყოთ თერმული კალენდარი. სხვათა შორის, ეს არის ძალიან მოსახერხებელი რამ, როდესაც თქვენ გჭირდებათ ანომალიების ანალიზი ერთი წლის განმავლობაში, ანუ იპოვოთ ან წვეთები ან წვეთები. მონაცემთა ეს ვიზუალიზაცია დამეხმარა ამაში.

შემდეგი არის Treemap.

Sankeys საინტერესო სქემაა. ის არის ან Streamgrahps ან River. მაგრამ მე მას მდინარეს ვეძახი. ის ასევე საშუალებას გაძლევთ მოძებნოთ ნებისმიერი ანომალია. ძალიან კომფორტულია. გირჩევთ გამოიყენოთ იგი საძიებლად.

შემდეგი საინტერესო რამ არის დინამიური რუკის დახატვა. თუ თქვენ ინახავთ გრძედს, განედის თქვენს მონაცემთა ბაზაში და, ვთქვათ, ინახავთ დანიშნულების ადგილს, თუ თქვენ, მაგალითად, გყავთ სატვირთო მანქანები ან თვითმფრინავები დაფრინავენ, მაშინ შეგიძლიათ დახაზოთ დანიშნულების ბილიკები. ასევე იქ შეგიძლიათ დააყენოთ ამ ობიექტების სიჩქარე და ზომა, რომლებშიც ისინი დაფრინავენ.

მაგრამ ამ რუქის პრობლემა ის არის, რომ ის მხოლოდ სამყაროს რუკას ასახავს, ​​დეტალები არ არის.

მოგვიანებით დავამატე გუგლის რუკა. თუ თქვენ ინახავთ გრძედს, განედის, მაშინ შეგიძლიათ შედეგი დახატოთ Google რუკაზე, მაგრამ თვითმფრინავის მხარდაჭერის გარეშე.

ჩვენ განვიხილეთ Tabix-ში შედეგებთან და შეკითხვებთან მუშაობის ძირითადი ფუნქციები.

შემდეგი არის თქვენი ClickHouse სერვერის ანალიზი. არის ცალკე ჩანართი „მეტრიკა“, სადაც შეგიძლიათ იხილოთ შენახული მონაცემების ზომა თითოეული სვეტისთვის. სკრინშოტი გვიჩვენებს, რომ ეს „მიმართვის“ ველი იკავებს დაახლოებით 730 გბ. თუ ამ ველს მივატოვებთ, დავზოგავთ სამ 700 გბ-იან ფრაგმენტს, ანუ დაახლოებით 2 ტბ, რომელიც არ გვჭირდება.

ჩვენ ასევე გვაქვს "request_id" ველი, რომელსაც ვინახავთ სტრიქონში. მაგრამ თუ დავიწყებთ მის შენახვას რიცხვითი ფორმით, ეს ველი საგრძნობლად შემცირდება.

ის ასევე აჩვენებს სერვერის კონფიგურაციას და კვანძების სიას თქვენს კლასტერში.

შემდეგი ჩანართი არის მეტრიკა. ისინი რეალურ დროში შედიან ClickHouse-თან და უბრალოდ საშუალებას გაძლევთ გაანალიზოთ სერვერის მდგომარეობა და გაიგოთ რა ხდება მას. ეს არ არის სრული Grafana-ს ჩანაცვლება. ეს აუცილებელია სწრაფი ანალიზისთვის.

შემდეგი ჩანართი არის პროცესები. მათგან შეგიძლიათ გაიგოთ რა ხდება სერვერზე. გაიგე რა ხდება იქ. მე მქონდა თხოვნა, რომელიც ყოველ ჯერზე 200 გბ კითხვას მოიხმარდა. ეს ვნახე ამ ინტერფეისის წყალობით. დავიჭირე და გამოვასწორე. და ეს იყო დაახლოებით 30 GB, ანუ შესრულება ზოგჯერ.

Გმადლობთ! და ის არის OpenSource-ში

Დავასრულე. სხვათა შორის, ეს არის OpenSource, ის უფასოა და თქვენ არც კი გჭირდებათ მისი ჩამოტვირთვა. გახსენით ბრაუზერში და ყველაფერი იმუშავებს.

კითხვები

იგორ, რა არის შემდეგი? სად შეიმუშავებთ ამ ხელსაწყოს?

შემდეგი, გამოჩნდება დაფები, ანუ, შესაძლოა, დაფები გამოჩნდეს. ინტეგრაცია სხვა მონაცემთა ბაზებთან. მე გავაკეთე ეს, მაგრამ ჯერ არ გამომიქვეყნებია OpenSource-ში. ეს არის MySQL და შესაძლოა PostgreSQL. ანუ ტაბიქსიდან მოთხოვნის გაგზავნა შესაძლებელი იქნება არა მხოლოდ ClickHouse-ზე, არამედ სხვა ინსტრუმენტებზეც.

აშკარაა, რომ დიდი სამუშაო გაკეთდა. საკმაოდ სრულყოფილი იდეა აღმოჩნდა. ეს გაკეთდა ბრაუზერში, როგორც ჩანს, იმისათვის, რომ ყველა სახის ღერძზე ყავარჯნები აღმოიფხვრა და ყველაფერი სწრაფად გადააგდო. გავიგე რომ ხარ php მუშაობს, ასე რომ უმარტივესი გზაა მისი აკრეფა ბრაუზერში და ყველგან იმუშავებს. ამაზე კითხვები არ არის. კითხვა არის ეს. იქ მართლაც ბევრი რამ გაკეთდა. რამდენი ადამიანი მუშაობდა ამაზე? და რამდენ ხანს გაგრძელდა ეს ყველაფერი? იმის გამო, რომ მორგებულ ხელსაწყოებს, როგორც წესი, არ აქვთ ამდენი ფუნქციონირება.

ჩვენი გუნდიდან ერთი ადამიანი მუშაობდა ზაფხულიდან შემოდგომამდე. ეს იყო პირველი ვერსია. მერე მარტო 330 ვალდებულება გავაკეთე. რასაც ხედავთ, მე და ჩემმა კოლეგამ ეს ნახევრად გავაკეთეთ. 3 თვეში, პირველივე ვერსიიდან ბოლომდე, ძირითადად მარტო გავაკეთე. მაგრამ Javascript კარგად არ ვიცი. ეს იყო ჩემი ერთადერთი და, იმედი მაქვს, ჩემი ბოლო Javascript პროექტი, ვისთანაც ვიმუშავე. მივიღე, ვუყურე - ოჰ, საშინელება. მაგრამ მე ძალიან მინდოდა პროდუქტის დასრულება და ასეც მოხდა.

დიდი მადლობა ანგარიშისთვის! ეს შესანიშნავი ინსტრუმენტია. თან ცხრილი შეადარე?

Გმადლობთ. ამიტომაც დავარქვი ტაბიქსი, რადგან პირველი ასოები იგივეა.

იმიტომ რომ ეჯიბრები?

ბევრი ინვესტიცია იქნება, შევეჯიბრებით.

როგორ შეგიძლიათ შესთავაზოთ გაყიდვა შიდა ანალიტიკოსებს, რომელსაც ეს ინსტრუმენტი მთლიანად შეცვლის *ტაბლო*? რა არგუმენტები იქნება?

მუშაობს ადგილობრივად ClickHouse-თან. Tableau ვცადე, მაგრამ ლექსიკონების და მსგავსების მხარდაჭერას იქ ვერ დაწერ. მე ვიცი, როგორ მუშაობს ხალხი Tabix-თან. ისინი წერენ შეკითხვას, ატვირთავენ CSV-ზე და ატვირთავენ BI-ზე. და იქ უკვე რაღაცას აკეთებენ. მაგრამ მე მიჭირს წარმოდგენა როგორ აკეთებენ ამას, რადგან ეს არის გრაფიკული ინსტრუმენტი. მას შეუძლია 5 სტრიქონის განტვირთვა, მაქსიმუმ 000 მწკრივი, მაგრამ მეტი არა, წინააღმდეგ შემთხვევაში ბრაუზერი ვერ გაუმკლავდება.

ანუ, არსებობს სერიოზული შეზღუდვები მონაცემთა რაოდენობაზე, არა?

დიახ. ვერ წარმომიდგენია, რომ გსურს 10 სტრიქონის ატვირთვა თქვენს ცხრილში ბრაუზერის ეკრანზე. Რისთვის?

ნიშნავს თუ არა ეს, რომ ეს არის ინტერფეისი მონაცემთა სწრაფად სანახავად? გადაატრიალეთ ცოტა, გადაატრიალეთ?

დიახ, სწრაფად ნახეთ როგორ მუშაობს და უბრალოდ შექმენით შემაჯამებელი გრაფიკი. და მერე მიეცი სადმე. ჩვენ გვაქვს საკუთარი ანგარიშგების სისტემა, საიდანაც მე უბრალოდ ვიღებ ამ მოთხოვნას. ტაბიქსში ვხატავ და ვუგზავნი ჩვენს რეპორტაჟს.

და კიდევ ერთი კითხვა. კოჰორტის ანალიზი?

თუ რაიმე მოთხოვნა იქნება, დავამატებთ.

როდის დაიწყეთ მისი გამოყენება? ClickHouse, რამდენი დრო დასჭირდა განხორციელებას? clickhouse და მოტანა წარმოების მდგომარეობა?

როგორც ვთქვი, ძალიან მოკლე დროში განვახორციელეთ სატესტო კლასტერი. ორ დღეში განვათავსეთ. და ჩვენ ვამოწმებდით კიდევ რამდენიმე კვირას. ჩვენ მივაღწიეთ წარმოებას 3 თვეში, მაგრამ ჩვენ გვქონდა საკუთარი ETL, ანუ მონაცემთა ჩაწერის ინსტრუმენტი. და მან დაწერა ყველაფერი, რაც შეეძლო. მას შეუძლია დაწეროს MongoDB, Cassandra, MySQL. ადვილი იყო მისთვის ClickHouse-ში წერის სწავლება. გვქონდა მზა ინფრასტრუქტურა სწრაფი განხორციელებისთვის. 3 თვეში დავიწყეთ პირველი კომპონენტის ამოგდება. 6 თვეში ჩვენ მთლიანად მივატოვეთ ყველაფერი. ჩვენ მხოლოდ ერთი ClickHouse გვაქვს დარჩენილი.

იგორ, დიდი მადლობა მოხსენებისთვის. ძალიან მომეწონა ბილიკების აგების ფუნქციონალობა რუკების გამოყენებით. არის თუ არა რაიმე გეგმები Yandex.Maps-თან და, კერძოდ, მორგებულ Yandex.Maps-თან ინტეგრაციისთვის?

გუგლის რუქის ნაცვლად ვცადე ინტეგრირება, მაგრამ Yandex.Maps-ზე მუქი თემა ვერ ვიპოვე. ერთი ცალი არ მითქვამს. დავამატებ უკან გადახვევას.

სლაიდი - Google რუკა. არის ბრძანება "DRAW_GMAPS", რომელიც ხაზავს რუკას. არის ბრძანება "DRAW_YMAPS", ანუ მას შეუძლია დახატოს Yandex.Map. სინამდვილეში, ამ ბრძანების ქვეშ არის Javascript, ანუ მონაცემები, რომელსაც მიიღებთ ClickHouse-დან, შეიძლება გადავიდეს Javascript-ზე, რომელსაც აქ წერთ. და თქვენ გაქვთ გამომავალი არე, სადაც ის უნდა იყოს დახატული. თქვენ შეგიძლიათ დახაზოთ ნებისმიერი გრაფიკი, ანუ ნებისმიერი გრაფიკი, რუკა, შეგიძლიათ დახაზოთ თქვენი საკუთარი კომპონენტი. მანამდე მე მქონდა სხვა ბიბლიოთეკა თავად გრაფიკების დახატვისთვის.

ანუ, არის თუ არა დისპლეის ფუნქციონირების მორგების ინსტრუმენტი?

ნებისმიერი. თქვენ შეგიძლიათ აიღოთ და გადააფეროთ ეს წერტილები, გახადოთ ისინი არა წითელი, არამედ ლურჯი, მწვანე.

გმადლობთ ანგარიშისთვის! თქვენ გქონდათ სლაიდი, რომელიც წარმოადგენდა შეკითხვის ალტერნატიულ ინსტრუმენტებს clickhouse დაფების და ანალიტიკური ანგარიშების აგებისთვის. მე მესმის, რომ იმ მომენტში, როდესაც დაიწყე მუშაობა ClickHouse, ამ ხელსაწყოებისთვის გადამყვანები არ დაწერილა. და მაინტერესებს, რატომ გადაწყვიტე საკუთარი ხელსაწყოს დამზადება, იმის ნაცვლად, რომ რაიმე მზა ხელსაწყოს ადაპტერი დაგეწერა? მე ვფიქრობ, რომ ტესტის რედაქტორის შესწორება სწრაფია. რატომ გადაწყვიტე ამდენი სამუშაოს გაკეთება?

აქ არის ერთი საინტერესო მომენტი - ფაქტია, რომ მე ტექნიკური დირექტორი ვარ და არა მონაცემთა მეცნიერი. იმ დროისთვის, როდესაც ჩვენ დავიწყეთ დრუიდის დანერგვა, ჩემს საგზაო რუკას ჰქონდა ამოცანების დაახლოებით 50% - მოდით გამოვთვალოთ ეს, ან გამოვთვალოთ ეს, ან გავაანალიზოთ. და აღმოჩნდა, რომ ჩვენ განვახორციელეთ ClickHouse. მან დაიწყო ყველაფრის სწრაფად აშენება, დათვლა და სწრაფად დახურა თავისი საგზაო რუკა. და იმ დროისთვის მივხვდი, რომ არ მქონდა ცოდნა მონაცემთა მეცნიერებაში და მონაცემთა ვიზუალიზაციაში. Tabix არის ჩემი საშინაო დავალება მონაცემთა ვიზუალიზაციის სწავლისთვის. ვუყურებდი როგორ შემევსებინა ზეპელინი. მე ოდნავ არ მომწონს მისი პროგრამირება. რედაშ ვნახე როგორ დავამატო, მაგრამ ნორმალური რედაქტორი საკმარისი იყო ჩემთვის. და SuperSet ასევე დაწერილია იმ ენაზე, რომელიც მე ნამდვილად არ მომწონს. ასე რომ, მე გადავწყვიტე ველოსიპედით და ეს არის ის, რაც მოხდა.

იგორ, ეთანხმებით Pull-ის მოთხოვნებს?

დიახ.

დიდი მადლობა ანგარიშისთვის! და ორი კითხვა. ჯერ ერთი, თქვენ არ ლაპარაკობთ ძალიან მაამებურად Javascript. შიშველი Javascript-ით დაწერე თუ ეს რაღაც ჩარჩოა?*

უკეთესი Javascript-ში.

მერე რა ჩარჩო?

კუთხოვანი.

Ნათელია. და მეორე კითხვა. განიხილე თუ არა R и *მბზინავი **?*

ჩათვალა. ითამაშა.

თქვენ ასევე შეგიძლიათ უბრალოდ დაწეროთ ადაპტერი.

Ის არის. როგორც ჩანს, საზოგადოებამ ეს მოახერხა, მაგრამ, როგორც მე ვუპასუხე წინა კითხვას, მე თვითონ მინდოდა მეცადა.

* არა, ვიზუალიზაციასთან დაკავშირებით, ის ასევე არსებობს.

თქვენ ამბობთ, რომ არსებობს ასეთი რამ და დაგიხატავთ გრაფიკს. გავხსენი წიგნი მონაცემთა ვიზუალიზაციის შესახებ. და გავიფიქრე: „ნება მომეცით ვცადო ამ მონაცემების ვიზუალიზაცია. მე მივწერ მას, რომ მან შეძლოს მონაცემების აღდგენა. ” და დავიწყე მონაცემთა მიწოდების ტექნოლოგიის უკეთ გააზრება. და მზა კომპონენტი რომ ავიღე, მე პირადად უარესად ვისწავლიდი მის გამოყენებას, ანუ ვიზუალიზაციას. მაგრამ დიახ, მე მომეწონა R, მაგრამ ჯერ არ წამიკითხავს წიგნი "R for Dummies".

დიდი მადლობა!

მარტივი კითხვა. არსებობს რაიმე გზა, რომ სწრაფად ატვირთოთ ნიშანი ან განრიგი?

შეიძლება აიტვირთოს CSV ან Excel-ში.

მონაცემები კი არა, მზა ფირფიტა, მზა გრაფიკი? მაგალითად, პატრონის დასანახად.

არის ღილაკი „ატვირთვა“ და არის ღილაკი „გრაფის ატვირთვა png-ში, jpg-ში“.

დიდი მადლობა!

PS მინი-ინსტრუქციები ტაბიქსის დაყენებისთვის

• Download უახლესი გამოშვება
• ამოალაგე, დააკოპირე დირექტორია build nginx root_path-ში
• nginx-ის კონფიგურაცია

წყარო: www.habr.com