ClickHouse - Tabix හි දෘශ්‍යමය වශයෙන් වේගවත් සහ අවබෝධාත්මක දත්ත විශ්ලේෂණය. ඊගෝර් ස්ට්රිහාර්

Igor Stryhar විසින් "ClickHouse - Tabix හි දෘශ්‍යමය වශයෙන් වේගවත් සහ පැහැදිලි දත්ත විශ්ලේෂණය" විසින් 2017 වාර්තාවේ පිටපත කියවීමට මම ඔබට යෝජනා කරමි.

Tabix ව්‍යාපෘතියේ ClickHouse සඳහා වෙබ් අතුරු මුහුණත.
ප්‍රධාන අංග:

• අතිරේක මෘදුකාංග ස්ථාපනය කිරීමකින් තොරව බ්‍රවුසරයෙන් කෙලින්ම ClickHouse සමඟ ක්‍රියා කරයි;
• සින්ටැක්ස් උද්දීපනය සහිත විමසුම් සංස්කාරකය;
• විධාන ස්වයං සම්පූර්ණ කිරීම;
• විමසුම් ක්රියාත්මක කිරීමේ චිත්රක විශ්ලේෂණය සඳහා මෙවලම්;
• තෝරා ගැනීමට වර්ණ පටිපාටි.
  

මම SMI2 හි තාක්ෂණික අධ්‍යක්ෂක. අපි ප්‍රවෘත්ති හුවමාරු ප්‍රවෘත්ති එකතුකරන්නෙක්. අපි අපගේ හවුල්කරුවන්ගෙන් ලැබෙන බොහෝ දත්ත ගබඩා කර ClickHouse හි ලියාපදිංචි කරමු - තත්පරයකට ඉල්ලීම් 30 ක් පමණ.

මෙය එවැනි දත්ත වේ:

• ප්‍රවෘත්ති මත ක්ලික් කිරීම්.
• සමූහකය තුළ පුවත් සංදර්ශන.
• අපගේ ජාලයේ බැනර් දර්ශණය වේ.
• තවද අපි Yandex.Metrica ට සමාන අපගේම කවුන්ටරයෙන් සිදුවීම් ලියාපදිංචි කරමු. මෙය අපගේම ක්ෂුද්‍ර විශ්ලේෂණයකි.

ClickHouse ට පෙර අපි ඉතා කාර්යබහුල ජීවිතයක් ගත කළෙමු. අපි බොහෝ දුක් වින්දා, මෙම දත්ත කොහේ හෝ ගබඩා කර එය කෙසේ හෝ විශ්ලේෂණය කිරීමට උත්සාහ කළෙමු.

ClickHouse පෙර ජීවිතය - infiniDB

අප සතුව තිබූ පළමු දෙය infiniDB ය. ඇය අවුරුදු 4 ක් අප සමඟ ජීවත් වූවාය. අපි එය දියත් කළේ අමාරුවෙන්.

• එය පොකුරු කිරීමට හෝ බෙදා හැරීමට සහය නොදක්වයි. පෙරනිමියෙන් එවැනි ස්මාර්ට් දේවල් කොටුවෙන් එළියට ආවේ නැත.
• ඇයට දත්ත පූරණය කිරීමේ අපහසුතාවයක් ඇත. CSV ගොනු පමණක් පූරණය කළ හැකි සහ ඉතා අපැහැදිලි ආකාරයකින් පමණක් විශේෂිත කොන්සෝල උපයෝගීතාවයක් පමණි.
• දත්ත සමුදාය තනි නූල් වේ. ඔබට ලිවීමට හෝ කියවීමට හැකිය. නමුත් එය විශාල දත්ත ප්‍රමාණයක් සැකසීමට හැකි විය.
• ඒ වගේම ඇයට රසවත් කිහිලිකරුවක් ද තිබුණා. සෑම රාත්රියකම සේවාදායකය නැවත ආරම්භ කිරීමට සිදු විය, එසේ නොමැති නම් එය ක්රියා නොකරනු ඇත.

අපි සම්පූර්ණයෙන්ම ClickHouse වෙත මාරු වූ 2016 අවසානය දක්වා ඇය අප වෙනුවෙන් වැඩ කළාය.

ClickHouse පෙර ජීවිතය - Cassandra

infiniDB තනි නූල් එකක් බැවින්, අපට එකවර බොහෝ නූල් ලිවිය හැකි බහු-නූල් දත්ත සමුදායක් අවශ්‍ය බව අපි තීරණය කළෙමු.

අපි රසවත් දේවල් ගොඩක් උත්සාහ කළා. ඊට පස්සේ අපි තීරණය කළා කැසැන්ඩ්‍රා අත්හදා බලන්න. කැසැන්ඩ්‍රා සමඟ සෑම දෙයක්ම විශිෂ්ටයි. ලංසුවකට තත්පරයකට ඉල්ලීම් 10ක්. කියවීම සඳහා කොහේ හරි ඉල්ලීම් 000 ක්.

නමුත් ඇයට ඇගේම අවශ්‍යතා ද තිබුණි. මසකට වරක් හෝ මාස දෙකකට වරක් ඇය දත්ත සමුදාය සමමුහුර්තකරණයකට මුහුණ දුන්නාය. ඒ වගේම මට ඇහැරිලා දුවන්න වුණා කැසැන්ඩ්‍රා හදන්න. සේවාදායකයන් එකින් එක නැවත ආරම්භ විය. තවද සෑම දෙයක්ම සුමට හා ලස්සන විය.

ClickHouse පෙර ජීවිතය - Druid

ඊට පස්සේ අපිට තේරුණා ඊටත් වඩා දත්ත ලියන්න ඕනේ කියලා. 2016 දී අපි Druid නැරඹීමට පටන් ගත්තෙමු.

Druid යනු ජාවා භාෂාවෙන් ලියන ලද විවෘත මෘදුකාංගයකි. ඉතා නිශ්චිත. අපට යම් ආකාරයක සිදුවීම් ප්‍රවාහයක් ගබඩා කර ඒවා මත එකතු කිරීම හෝ විශ්ලේෂණාත්මක වාර්තා සෑදීමට අවශ්‍ය වූ විට එය clickstream සඳහා සුදුසු විය.

Druid සතුව 0.9.X අනුවාදයක් තිබුණි.

දත්ත සමුදායම යෙදවීම ඉතා අපහසුය. යටිතල පහසුකම්වල සංකීර්ණත්වය මෙයයි. එය යෙදවීම සඳහා, එය ගොඩක්, යකඩ ගොඩක් ස්ථාපනය කිරීමට අවශ්ය විය. තවද සෑම දෘඪාංගයක්ම එහි වෙනම කාර්යභාරය සඳහා වගකිව යුතු විය.

එය තුළට දත්ත පැටවීම සඳහා, යම් ආකාරයක shamanism භාවිතා කිරීමට අවශ්ය විය. OpenSource ව්‍යාපෘතියක් ඇත - නිස්කලංකත්වය, එය ප්‍රවාහයක් තුළ අපෙන් දත්ත අහිමි විය. අපි එයට දත්ත පූරණය කළ විට එය නැති වී ගියේය.

ඒත් අපි කොහොම හරි ඒක ක්‍රියාත්මක කරන්න පටන් ගත්තා. මත්ද්‍රව්‍ය ගත්තත් දිගටම පතොක් කන හෙජ්ජෝග් වගේ අපි එය හඳුන්වා දෙන්න පටන් ගත්තා. ඒ සඳහා අවශ්‍ය සියලු යටිතල පහසුකම් සකස් කිරීමට අපට මාසයක් පමණ ගත විය. එනම්, සේවාදායක ඇණවුම් කිරීම, භූමිකාවන් වින්‍යාස කිරීම සහ යෙදවීම සම්පූර්ණයෙන්ම ස්වයංක්‍රීය කිරීම. එනම්, පොකුරු අසමත් වීමකදී, දෙවන පොකුර ස්වයංක්රීයව යොදවනු ලැබේ.

නමුත් පසුව ආශ්චර්යයක් සිදු විය. මම නිවාඩුවක් ගත කළ අතර මගේ සගයන් මට සබැඳියක් එවා ඇත habr, එය පවසන්නේ Yandex ClickHouse විවෘත කිරීමට තීරණය කළ බවයි. මම කියන්නේ අපි එය උත්සාහ කරමු.

වචනාර්ථයෙන් දින 2 කින් අපි ClickHouse පරීක්ෂණ පොකුරක් යෙදෙව්වා. අපි එයට දත්ත පැටවීමට පටන් ගත්තෙමු. infiniDB හා සසඳන විට, මෙය මූලික වේ; Druid හා සසඳන විට, මෙය මූලික වේ. කැසැන්ඩ්‍රා හා සසඳන විට එය ද ප්‍රාථමික ය. මොකද ඔබ PHP වලින් දත්ත Cassandra වෙත පටවන්නේ නම්, මෙය ප්‍රාථමික නොවේ.

අපට ලැබුණේ කුමක්ද? වේගයේ කාර්ය සාධනය. දත්ත ගබඩා කිරීමේ කාර්ය සාධනය. එනම්, තැටි ඉඩ ප්‍රමාණය අඩුවෙන් භාවිතා වේ. ClickHouse වේගවත් වේ, එය අනෙකුත් නිෂ්පාදන හා සසඳන විට ඉතා වේගවත් වේ.

දියත් කරන අවස්ථාවේදී, Yandex OpenSource හි ClickHouse ප්‍රකාශයට පත් කරන විට, කොන්සෝල සේවාලාභියෙකු පමණක් විය. අපි අපේ SMI2 සමාගමෙහි වෙබය සඳහා ස්වදේශීය සේවාදායකයකු සෑදීමට උත්සාහ කිරීමට තීරණය කළෙමු, එවිට අපට බ්‍රවුසරයකින් පිටුවක් විවෘත කිරීමට, ඉල්ලීමක් ලිවීමට සහ ප්‍රති result ලය ලබා ගැනීමට, අපි ඉල්ලීම් රාශියක් ලිවීමට පටන් ගත් බැවිනි. කොන්සෝලයේ ලිවීම දුෂ්කර ය. ඒ වගේම අපි අපේ පළමු අනුවාදය හැදුවා.

පසුගිය වසරේ ශීත සෘතුවට සමීපව, ClickHouse සමඟ වැඩ කිරීම සඳහා තෙවන පාර්ශවීය මෙවලම් දර්ශනය වීමට පටන් ගත්තේය. මේවා එවැනි මෙවලම් වේ:

• Redash.IO.
• Apache Zeppelin.
• Superset Airbnb. (දැන් https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

මම මෙම මෙවලම් කිහිපයක්, එනම් මා සමඟ වැඩ කර ඇති ඒවා දෙස බලමි.

හොඳ මෙවලමක්, නමුත් Druid සඳහා. Druid ක්‍රියාත්මක වන විට, මම SuperSet පරීක්ෂා කරමින් සිටියෙමි. මම ඔහුට කැමති වුණා. Druid සඳහා එය ඉතා වේගවත් වේ.

එය ClickHouse සඳහා සුදුසු නොවේ. එනම්, එය ගැලපේ, එය ආරම්භ වේ, නමුත් ප්‍රාථමික විමසුම් පමණක් සැකසීමට සූදානම් වේ: සිදුවීම SELECT, GROUP by event. එය වඩාත් සංකීර්ණ ClickHouse සින්ටැක්ස් සඳහා සහය නොදක්වයි.

ඊළඟ මෙවලම Apache Zeppelin වේ. මෙය හොඳ හා සිත්ගන්නා කරුණකි. කටයුතු. එය සටහන් පොත්, උපකරණ පුවරු සහ විචල්‍ය සඳහා සහය දක්වයි. ClickHouse ප්‍රජාවේ කෙනෙක් එය භාවිතා කරන බව මම දනිමි.

නමුත් ClickHouse වාක්‍ය ඛණ්ඩය සඳහා සහය නොදක්වයි, එනම් ඔබට විමසුම් කොන්සෝලයේ හෝ වෙනත් ස්ථානයක ලිවීමට සිදුවේ. ඊළඟට, එය සියල්ල ක්රියාත්මක වන බව පරීක්ෂා කරන්න. එය අපහසුතාවයක් පමණි. නමුත් හොඳ ඩෑෂ්බෝඩ් සපෝට් එකක් තියෙනවා.

ඊළඟ මෙවලම Redash.IO වේ. Redash අන්තර්ජාලයේ සත්කාරකත්වය දරයි. එනම්, පෙර මෙවලම් මෙන් නොව, එය ස්ථාපනය කිරීම අවශ්ය නොවේ. තවද මෙය විවිධ DataSources වෙතින් දත්ත ඒකාබද්ධ කිරීමේ හැකියාව ඇති උපකරණ පුවරුවකි. එනම්, ඔබට ClickHouse වෙතින්, MySQL වෙතින්, PostgreSQL වෙතින් සහ වෙනත් දත්ත සමුදායන්ගෙන් බාගත හැකිය.

යන්තම් මාසයකට පෙර (මාර්තු 2017), සහාය ග්‍රැෆානා හි දර්ශනය විය. ඔබ Grafana හි වාර්තා ගොඩනඟන විට, උදාහරණයක් ලෙස, ඔබේ දෘඪාංගයේ තත්ත්වය හෝ සමහර ප්‍රමිතික මත, දැන් ඔබට ClickHouse වෙතින් වන දත්ත වලින් එම ප්‍රස්ථාරය හෝ යම් ආකාරයක පැනලයක් සෑදිය හැක. මෙය ඉතා පහසු වන අතර, අපි එය අප විසින්ම භාවිතා කරමු. මෙය ඔබට විෂමතා සොයා ගැනීමට ඉඩ සලසයි. එනම්, යමක් සිදුවුවහොත් සහ සමහර දෘඪාංග වැටුණහොත් හෝ වෙහෙසට පත් වුවහොත්, මෙම දත්ත ClickHouse වෙත ඇතුළු වීමට ඔබට හේතුව සොයා බැලිය හැකිය.

මෙම මෙවලම්වල හෝ කොන්සෝලයේ ලිවීම මට ඉතා අපහසු විය. ඒ වගේම මම අපේ පළමු අතුරු මුහුණත වැඩිදියුණු කිරීමට තීරණය කළා. ඒවගේම මට අදහස ලැබුනේ EventSQL, SeperSet, Zeppelin වලින්.

ඔබට අවශ්ය වූයේ කුමක්ද? මට ග්‍රැෆික්ස්, වැඩිදියුණු කළ සංස්කාරකයක් ලබා ගැනීමට සහ ඉඟි ශබ්දකෝෂ සඳහා සහය ක්‍රියාත්මක කිරීමට අවශ්‍ය විය. මොකද ClickHouse සතුව විශිෂ්ට විශේෂාංගයක් ඇත - ශබ්දකෝෂ. නමුත් ශබ්ද කෝෂ සමඟ වැඩ කිරීම අපහසුය, මන්ද ඔබ ගබඩා කර ඇති අගයන්හි ආකෘතිය මතක තබා ගත යුතුය, එනම් එය අංකයක් හෝ තන්තුවක් යනාදිය සහ අපි බොහෝ විට ශබ්දකෝෂ ඒවායේ විවිධ වෙනස්කම් වලින් භාවිතා කරන බැවින්, විමසුම් ලිවීම තරමක් අපහසු විය.

අපගේ පළමු අනුවාදය නිකුත් කර මාස 3 ක් ගතවී ඇත. මම පෞද්ගලික ශාඛාවකට කැපවීම් 330 ක් පමණ කළ අතර එය ටැබික්ස් බවට පත් විය.

ClickHouse-Frontend ලෙස හැඳින්වූ පෙර අනුවාදය මෙන් නොව, එය සරල නමකට නැවත නම් කිරීමට මම තීරණය කළෙමි. එය ටැබික්ස් බවට පත් විය.

පෙනී සිටියේ කුමක්ද?

ප්‍රස්තාර අඳිනවා. ClickHouse SQL සින්ටැක්ස් සඳහා සහය දක්වයි. කාර්යයන් පිළිබඳ උපදෙස් ලබා දෙන අතර රසවත් දේවල් බොහොමයක් කළ හැකිය.

සාමාන්‍ය ටැබික්ස් යෝජනා ක්‍රමය පෙනෙන්නේ මෙයයි. වම් පසින් ගසකි. මධ්‍යයේ විමසුම් සංස්කාරකය ඇත. සහ මෙම ඉල්ලීමේ ප්‍රතිඵලය පහතින්.

මීළඟට විමසුම් සංස්කාරකය ක්‍රියා කරන ආකාරය මම ඔබට පෙන්වන්නම්.

මෙහිදී ස්වයංක්‍රීය සම්පුර්ණ කිරීම ස්වයංක්‍රීයව මේසය මත ක්‍රියා කරන අතර ඒ අනුව ක්ෂේත්‍ර සඳහා ස්වයංක්‍රීය සම්පුර්ණ කිරීම විමසයි. සහ කාර්යයන් පිළිබඳ ඉඟි. ඔබ ctrl enter එබුවහොත්, ඉල්ලීම ක්‍රියාත්මක වේ හෝ දෝෂයක් සමඟ අසාර්ථක වනු ඇත. සරලම ඉල්ලීම Tabix වෙත යවනු ලබන අතර ප්රතිඵලය ලබා ගනී, එනම් ඔබට ඉක්මනින් ClickHouse සමඟ වැඩ කළ හැකිය.

ශබ්ද කෝෂ, මම දැනටමත් පවසා ඇති පරිදි, අපි බොහෝ වැඩ කරන ඉතා සිත්ගන්නා කරුණකි. ඒ වගේම අපිට ගොඩක් දේවල් කරන්න ඉඩ දුන්නා. අපි කියමු අපි සියලුම නගර ශබ්ද කෝෂවල ගබඩා කරමු. අපි නගර හඳුනාගැනීම සහ නගරයේ නම, එහි අක්ෂාංශ සහ දේශාංශ ගබඩා කරමු. දත්ත සමුදායේ අපි ගබඩා කරන්නේ නගර හඳුනාගැනීම පමණි. ඒ අනුව, අපි ඉතා දැඩි ලෙස දත්ත සම්පීඩනය කරමු.

මෙය සරල දෙයක් බව පෙනේ, නමුත් එය ඉතා රසවත් ආකාරයකින් ClickHouse සඳහා උපකාරී වේ. ක්ලික්හවුස් කැදලි සම්බන්ධ කිරීම් සඳහා පමණක් සහය දක්වන නිසා, විමසුම පහළට සහ ප්‍රමාණවත් තරම් පුළුල් වේ. තවද වරහන විවෘත වන විට සහ දිගු ප්‍රකාශනයක් පැමිණෙන විට, විමසුම බිඳ දැමීම වැනි සරල දෙයක් විමසුම සමඟම වැඩ කිරීම පහසු කරයි. මක්නිසාද විමසුම පේළි 200-300 ක් දිග සහ පළලින් ඉතා විශාල වන විට, විමසුම බිඳ දැමීම සහ පසුව යම් ස්ථානයක් සොයා ගැනීම හෝ එය දේශීයකරණය කිරීම ඉතා ප්‍රයෝජනවත් වේ.

වස්තු ගස, බහු විමසුම් සහ ටැබ් (වීඩියෝ 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ඊළඟට මම ඔබට ගස සහ ටැබ් ගැන පෙන්වන්නම්. වම් පසින් ගසක් ඇත; ඉහළින් ඔබට ටැබ් කිහිපයක් සෑදිය හැකිය. ටැබ් වැඩබිම වගේ. ඔබට ටැබ් කිහිපයක් සෑදිය හැකි අතර එකකට වෙනස් ලෙස නම් කළ හැකිය. ඒක හරියට වාර්තාවක් හදන්න මිනි සිස්ටම් එකක් වගේ.

ටැබ් ස්වයංක්‍රීයව සුරැකේ. ඔබ ඔබේ බ්‍රව්සරය නැවත ආරම්භ කළහොත් හෝ Tabix වසා දැමීම හෝ විවෘත කළහොත්, මේ සියල්ල සුරැකෙනු ඇත.

Hotkey - පහසු (වීඩියෝ 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

හොට්කීස් ඇති අතර ඒවායින් බොහොමයක් තිබේ. මම ඒවායින් සමහරක් මෙහි උදාහරණයක් ලෙස උපුටා ගත්තෙමි. මෙය ටැබ් මාරු කිරීම, ඉල්ලීමක් ක්‍රියාත්මක කිරීම හෝ ඉල්ලීම් කිහිපයක් ක්‍රියාත්මක කිරීමයි.

ප්රතිඵලය සමඟ වැඩ කරන්නේ කෙසේදැයි මම ඔබට පෙන්වන්නම්. අපි ඉල්ලීමක් එවන්නෙමු. ඔන්න මම sin, cos සහ tg අඳිනවා. ඔබට ප්රතිඵලය උද්දීපනය කළ හැකිය, එනම් තීරුවක් සඳහා සාමාන්ය සිතියමක් අඳින්න. ඔබට ධනාත්මක හෝ සෘණ අගයන් ඉස්මතු කළ හැකිය. නැතහොත් නිශ්චිත වගු අංගයක් වර්ණවත් කරන්න. මේසය විශාල වන විට මෙය පහසු වන අතර ඔබේ ඇස් සමඟ යම් විෂමතාවයක් සොයා ගැනීමට අවශ්ය වේ. මම විෂමතා සොයන විට, මම සමහර රේඛා, සමහර මූලද්‍රව්‍ය කොළ හෝ රතු පැහැයෙන් ඉස්මතු කළෙමි.

එහි රසවත් කරුණු රාශියක් ඇත. උදාහරණයක් ලෙස, Redmine Markdown වෙත පිටපත් කරන්නේ කෙසේද. ඔබට ප්රතිඵලය කොතැනක හෝ පිටපත් කිරීමට අවශ්ය නම්, මෙය ඉතා පහසු වේ. ඔබට ප්‍රදේශයක් තෝරාගත හැක, "Redmine වෙත පිටපත් කරන්න" යැයි පවසන්න, එය Redmine Markdown වෙත පිටපත් කරනු ඇත, නැතහොත් Where query එකක් සාදනු ඇත.

ඊළඟට විමසුම් ප්‍රශස්තකරණය. මට වරක් "දිනය" ක්ෂේත්රය සඳහන් කිරීමට අමතක විය. ක්ලික්හවුස් හි මගේ ඉල්ලීම ඉතා ඉක්මනින් ක්‍රියාවට නංවා නැත, නමුත් ඉක්මනින්, එනම් තත්පරයකට වඩා අඩු කාලයක්. ඔහු රේඛා කීයක් හරහා දිව්වාදැයි දුටු විට මම බියට පත් විය. අපි මෙම වගුවට දිනකට පේළි ගණනක් ලියන්නේ නැත. මම ඉල්ලීම විශ්ලේෂණය කිරීමට පටන් ගත් අතර මට එක් ස්ථානයක දිනයක් මග හැරී ඇති බව දුටුවෙමි. එනම්, මට සම්පූර්ණ වගුව සඳහා දත්ත අවශ්‍ය නොවන නමුත් නිශ්චිත කාල පරිච්ඡේදයක් සඳහා බව දැක්වීමට මට අමතක විය.

Tabix සතුව "සංඛ්‍යාන" ටැබයක් ඇත, එය යවන ලද ඉල්ලීම්වල සම්පූර්ණ ඉතිහාසය ගබඩා කරයි, එනම් මෙම ඉල්ලීම මඟින් පේළි කීයක් කියවා ඇත්ද සහ එය ක්‍රියාත්මක කිරීමට කොපමණ කාලයක් ගත වූවාද යන්න ඔබට දැක ගත හැකිය. මෙය ප්‍රශස්තකරණයට ඉඩ සලසයි.

ඔබට විමසුම් ප්‍රතිඵලය මත විවර්තන වගුවක් සෑදිය හැක. ඔබ ClickHouse වෙත ඉල්ලීමක් යවා දත්ත කිහිපයක් ලැබී ඇත. එවිට ඔබට මෙම දත්ත ඔබේ මූසිකයෙන් ගෙන ගොස් යම් ආකාරයක විවර්තන වගුවක් සෑදිය හැක.

ඊළඟ සිත්ගන්නා කරුණ වන්නේ කුමන්ත්රණයයි. අපට පහත ඉල්ලීම ඇති බව කියමු: sin සඳහා, cos 0 සිට 299 දක්වා. එය ඇඳීමට, ඔබ "Draw" ටැබය තෝරාගත යුතු අතර, ඔබට ඔබේ sin සහ cos සමඟ ප්‍රස්ථාරයක් ලැබෙනු ඇත.

ඔබට මෙය විවිධ අක්ෂවලට බෙදිය හැකිය, එනම් ඔබට එකවර ප්‍රස්ථාර දෙකක් එක පැත්තකින් අඳින්න පුළුවන්. එක් විධානයක් සහ දෙවන විධානයක් ලියන්න.

ඔබට හිස්ටෝග්‍රෑම් අඳින්න පුළුවන්.

ඔබට මෙය ප්‍රස්ථාර අනුකෘතියකට බෙදිය හැක.

ඔබට තාප සිතියමක් සෑදිය හැකිය.

ඔබට තාප දින දර්ශනයක් ගොඩනගා ගත හැකිය. මාර්ගය වන විට, ඔබට වසරක් පුරා විෂමතා විශ්ලේෂණය කිරීමට අවශ්ය වන විට මෙය ඉතා පහසු දෙයක් වේ, එනම්, කරල් හෝ බිංදු සොයා ගන්න. මෙම දත්ත දෘශ්‍යකරණය මට මේ සඳහා උපකාරී විය.

ඊළඟ එක Treemap.

Sankeys යනු සිත්ගන්නා වගුවකි. ඔහු එක්කෝ Streamgrahps හෝ ගඟ. ඒත් මම ඒකට කියන්නේ ගංගා කියලා. ඕනෑම විෂමතා සොයා බැලීමට ද එය ඔබට ඉඩ සලසයි. එය ඉතා සුවපහසුයි. සෙවීම සඳහා එය භාවිතා කිරීමට මම නිර්දේශ කරමි.

ඊළඟ සිත්ගන්නා කරුණ නම් ගතික සිතියමක් ඇඳීමයි. ඔබ ඔබේ දත්ත ගබඩාවේ අක්ෂාංශ, දේශාංශ ගබඩා කරන්නේ නම් සහ ගමනාන්තයක් ගබඩා කරන්නේ නම්, ඔබට, උදාහරණයක් ලෙස, ට්‍රක් රථ හෝ ගුවන් යානා පියාසර කරන්නේ නම්, ඔබට ගමනාන්ත මාර්ග අඳින්න පුළුවන්. එහිදී ඔබට මෙම වස්තූන් පියාසර කරන වේගය සහ ප්‍රමාණය සැකසිය හැකිය.

නමුත් මේ සිතියමේ තියෙන ප්‍රශ්නය තමයි මේකෙන් අඳින්නේ ලෝක සිතියමක් විතරයි, කිසිම විස්තරයක් නැහැ.

පසුව මම ගූගල් සිතියම එකතු කළා. ඔබ අක්ෂාංශ, දේශාංශ ගබඩා කරන්නේ නම්, එවිට ඔබට Google සිතියම මත ප්රතිඵලය ඇඳිය ​​හැකිය, නමුත් ගුවන් යානා සහාය නොමැතිව.

Tabix හි ප්රතිඵල සහ විමසුම් සමඟ වැඩ කිරීමේ ප්රධාන කාර්යයන් අපි සාකච්ඡා කර ඇත.

ඊළඟ එක ඔබේ ClickHouse සේවාදායකයේ විශ්ලේෂණයකි. වෙනම "මිතික" ටැබයක් ඇත, එක් එක් තීරුව සඳහා ගබඩා කර ඇති දත්තවල ප්රමාණය ඔබට දැක ගත හැකිය. තිර පිටපත පෙන්නුම් කරන්නේ මෙම "යොමු කරන්නා" ක්ෂේත්රය 730 Gb පමණ වන බවයි. අපි මෙම ක්ෂේත්‍රය අත්හැරියහොත්, අපි 700 GB බැගින් කැබලි තුනක්, එනම් අපට අවශ්‍ය නොවන TB 2 ක් පමණ ඉතිරි කරමු.

අපි තන්තුවක ගබඩා කරන "request_id" ක්ෂේත්‍රයක් ද ඇත. නමුත් අපි එය සංඛ්‍යාත්මක ස්වරූපයෙන් ගබඩා කිරීමට පටන් ගත්තොත්, මෙම ක්ෂේත්‍රය විශාල ලෙස හැකිලෙනු ඇත.

එය සේවාදායක වින්‍යාසය සහ ඔබේ පොකුරේ ඇති නෝඩ් ලැයිස්තුවක් ද පෙන්වයි.

මීළඟ ටැබය ප්‍රමිතික වේ. ඔවුන් ClickHouse සමඟ තත්‍ය කාලීනව සම්බන්ධ වන අතර සේවාදායකයේ තත්ත්වය විශ්ලේෂණය කිරීමට සහ එයට සිදුවන්නේ කුමක්ද යන්න තේරුම් ගැනීමට ඔබට ඉඩ සලසයි. මෙය සම්පූර්ණ ග්‍රැෆානා සඳහා ආදේශකයක් නොවේ. ඉක්මන් විශ්ලේෂණය සඳහා මෙය අවශ්ය වේ.

ඊළඟ ටැබය ක්‍රියාවලි වේ. ඔවුන්ගෙන් ඔබට සේවාදායකයේ සිදුවන්නේ කුමක්ද යන්න තේරුම් ගත හැකිය. එහි සිදුවන්නේ කුමක්ද යන්න තේරුම් ගන්න. සෑම අවස්ථාවකදීම 200 GB කියවීමක් පරිභෝජනය කරන ඉල්ලීමක් මට තිබුණි. මම මේක දැක්කේ මේ interface එකට පින්සිද්ධ වෙන්න. මම ඔහුව අල්ලා නිවැරදි කළෙමි. එය 30 GB පමණ විය, එනම් සමහර අවස්ථාවලදී කාර්ය සාධනයක්.

ඔයාට ස්තූතියි! තවද මෙය OpenSource හි ඇත

මම අවසානයි. මාර්ගය වන විට, එය OpenSource වේ, එය නොමිලේ වන අතර ඔබට එය බාගත කිරීමට පවා අවශ්ය නොවේ. එය බ්‍රව්සරයක විවෘත කරන්න, එවිට සියල්ල ක්‍රියාත්මක වනු ඇත.

ඔබගේ ප්රශ්න

ඊගෝර්, ඊළඟට කුමක් ද? ඔබ මෙම මෙවලම සංවර්ධනය කරන්නේ කොතැනින්ද?

ඊළඟට, උපකරණ පුවරු දිස්වනු ඇත, එනම්, සමහර විට උපකරණ පුවරු දිස්වනු ඇත. වෙනත් දත්ත සමුදායන් සමඟ ඒකාබද්ධ වීම. මම මෙය කළ නමුත් එය තවමත් OpenSource හි ප්‍රකාශයට පත් කර නැත. මෙය MySQL සහ සමහර විට PostgreSQL වේ. එනම්, Tabix වෙතින් ClickHouse වෙත පමණක් නොව අනෙකුත් මෙවලම් වෙතද ඉල්ලීම් යැවීමට හැකි වනු ඇත.

විශාල වැඩ කොටසක් කර ඇති බව පැහැදිලිය. එය තරමක් සම්පූර්ණ අදහසක් බවට පත් විය. මෙය බ්‍රවුසරයේ සිදු කර ඇති අතර, පෙනෙන විදිහට, සියලු වර්ගවල අක්ෂවල අත්වාරු ඉවත් කර ඉක්මනින් මුළු දේම එකට විසි කිරීම සඳහා ය. මට ආරංචි වුනා ඔයා ඉන්නවා කියලා php වැඩ කරන්න, එබැවින් පහසුම ක්රමය වන්නේ බ්රවුසරයේ එය ටයිප් කිරීමයි, එය සෑම තැනකම වැඩ කරනු ඇත. මේ ගැන ප්‍රශ්න නැහැ. ප්‍රශ්නය මෙයයි. ඇත්තටම එතන ගොඩක් දේවල් කරලා තියෙනවා. කී දෙනෙක් මේකේ වැඩ කළාද? සහ ඒ සියල්ලට කොපමණ කාලයක් ගත වූවාද? අභිරුචි මෙවලම් සාමාන්‍යයෙන් එතරම් ක්‍රියාකාරීත්වයක් නොමැති නිසා.

අපේ කණ්ඩායමේ එක් පුද්ගලයෙක් ගිම්හානයේ සිට සරත් සෘතුවේ සිට වැඩ කළා. මෙය පළමු අනුවාදය විය. ඊට පස්සේ මම තනියම කැපවීම් 330ක් කළා. ඔබ දකින දේ, මගේ සගයා සහ මම එය අඩකින් කළා. මාස 3 කින්, පළමු අනුවාදයේ සිට අවසාන අනුවාදය දක්වා, මම බොහෝ විට එය තනිවම කළෙමි. හැබැයි මම Javascript හරියට දන්නේ නැහැ. මෙය මා සමඟ වැඩ කළ මගේ එකම සහ, මගේ අවසන් ජාවාස්ක්‍රිප්ට් ව්‍යාපෘතියයි. මට තේරුණා, මම බැලුවා - ඔහ්, භීෂණය. නමුත් මට ඇත්තටම නිෂ්පාදනය අවසන් කිරීමට අවශ්‍ය වූ අතර මෙය සිදු විය.

වාර්තාවට බොහොම ස්තුතියි! මෙය විශිෂ්ට මෙවලමකි. සමග වගුව ඔබ සංසන්දනය කර තිබේද?

ඔයාට ස්තූතියි. ඒකයි මම ඒකට Tabix කියලා නම දැම්මේ, මුල් අකුරු එකම නිසා.

ඔබ තරඟ කරන නිසාද?

විශාල ආයෝජනයක් සිදුවනු ඇත, අපි තරඟ කරන්නෙමු.

මෙම මෙවලම සම්පූර්ණයෙන්ම ප්‍රතිස්ථාපනය කරන අභ්‍යන්තර විශ්ලේෂකයින්ට විකිණීමට ඔබට ඉදිරිපත් වන්නේ කෙසේද? *වගුව*? තර්ක මොනවා වේවිද?

ClickHouse සමඟ දේශීයව ක්‍රියා කරයි. මම Tableau උත්සාහ කළා, නමුත් ඔබට ශබ්දකෝෂ සඳහා සහය ලිවිය නොහැක. ටැබික්ස් එක්ක මිනිස්සු වැඩ කරන හැටි මම දන්නවා. ඔවුන් විමසුමක් ලියා එය CSV වෙත උඩුගත කර එය BI වෙත උඩුගත කරයි. ඔවුන් දැනටමත් එහි යමක් කරමින් සිටී. නමුත් ඔවුන් මෙය කරන්නේ කෙසේදැයි මට සිතා ගැනීමට අපහසුය, මන්ද එය චිත්‍රක මෙවලමකි. එයට පේළි 5ක්, උපරිම වශයෙන් පේළි 000ක් බෑමට හැකිය, නමුත් තවත් නැත, එසේ නොමැතිනම් බ්‍රව්සරය එයට මුහුණ නොදේ.

එනම් දත්ත ප්‍රමාණය සම්බන්ධයෙන් බරපතල සීමාවන් කිහිපයක් තිබෙනවා නේද?

ඔව්. ඔබට ඔබේ මේසය තුළට පේළි 10ක් ඔබේ බ්‍රවුසර තිරයට උඩුගත කිරීමට අවශ්‍ය වේ යැයි මට සිතාගත නොහැක. කුමක් සඳහා ද?

මෙයින් අදහස් කරන්නේ මෙය ඉක්මනින් දත්ත බැලීම සඳහා අතුරු මුහුණතක් බව ද? ටිකක් කරකවන්න, කරකවන්න?

ඔව්, එය ක්‍රියා කරන ආකාරය ඉක්මනින් බලා සාරාංශ ප්‍රස්තාරයක් සාදන්න. ඊට පස්සේ කොහේ හරි දෙන්න. අපට අපගේම වාර්තාකරණ පද්ධතියක් ඇත, මම මෙම ඉල්ලීම සරලව භාරගන්නෙමි. මම Tabix චිත්‍ර අඳිනවා අපේ වාර්තාකරණයට යවනවා.

සහ තවත් ප්රශ්නයක්. සමෝධානික විශ්ලේෂණය?

කිසියම් ඉල්ලීමක් ඇත්නම්, අපි එය එකතු කරන්නෙමු.

ඔබ එය භාවිතා කිරීමට පටන් ගත්තේ කවදාද? ClickHouse, ක්රියාත්මක කිරීමට කොපමණ කාලයක් ගත විය? නිවස ක්ලික් කරන්න සහ ගෙන ඒම නිෂ්පාදන තත්ත්වය?

මම කිව්වා වගේ අපි ඉතා කෙටි කාලයක් තුළ පරීක්ෂණ පර්ෂදයක් ක්‍රියාත්මක කළා. අපි එය දින දෙකකින් යෙදෙව්වා. අපි තවත් සති කිහිපයක් සඳහා එය පරීක්ෂා කළා. ඒ වගේම අපි මාස 3කින් නිෂ්පාදනය කරා.ඒත් අපිට අපේම ETL, එනම් දත්ත පටිගත කිරීමේ මෙවලමක් තිබුණා. ඒ වගේම ඔහු හැකි සෑම දෙයක්ම ලිව්වා. එයාට MongoDB, Cassandra, MySQL වලින් ලියන්න පුළුවන්. ClickHouse හි ලියන ආකාරය ඔහුට ඉගැන්වීම පහසු විය. කඩිනම් ක්‍රියාත්මක කිරීම සඳහා අපට සූදානම් කළ යටිතල පහසුකම් තිබුණා. මාස 3 ක් ඇතුළත අපි පළමු සංරචකය ඉවතට විසි කිරීමට පටන් ගත්තා. මාස 6 කින් අපි අනෙක් සියල්ල සම්පූර්ණයෙන්ම අත්හැරියා. අපට ඉතිරිව ඇත්තේ එක් ClickHouse එකක් පමණි.

ඊගෝර්, වාර්තාවට බොහොම ස්තුතියි. සිතියම් භාවිතයෙන් මාර්ග ගොඩනැගීමේ ක්‍රියාකාරිත්වයට මම ඇත්තෙන්ම කැමතියි. Yandex.Maps සහ විශේෂයෙන්ම අභිරුචි Yandex.Maps සමඟ ඒකාබද්ධ වීමට සැලසුම් තිබේද?

මම Google සිතියම වෙනුවට ඒකාබද්ධ කිරීමට උත්සාහ කළ නමුත්, Yandex.Maps හි අඳුරු තේමාවක් මට හමු නොවීය. මම ඔයාට එක කෑල්ලක් කිව්වේ නැහැ. මම එකතු කරන්න රිවයින්ඩ් කරන්නම්.

ස්ලයිඩය - ගූගල් සිතියම. සිතියමක් අඳින "DRAW_GMAPS" විධානයක් ඇත. "DRAW_YMAPS" විධානයක් ඇත, එනම් එය Yandex.Map ඇඳිය ​​හැකිය. නමුත් ඇත්ත වශයෙන්ම, මෙම විධානය යටතේ Javascript ඇත, එනම් ClickHouse වෙතින් ඔබට ලැබෙන දත්ත ඔබ මෙහි ලියන Javascript වෙත මාරු කළ හැකිය. තවද ඔබට එය ඇද ගත යුතු ප්‍රතිදාන ප්‍රදේශයක් ඇත. ඔබට ඕනෑම ප්‍රස්ථාරයක්, එනම් ඕනෑම ප්‍රස්ථාරයක්, සිතියමක් අඳින්න පුළුවන්, ඔබට ඔබේම සංරචකයක් ඇඳිය ​​හැකිය. මීට පෙර, ප්‍රස්ථාර ඇඳීම සඳහා මට තවත් පුස්තකාලයක් තිබුණි.

එනම්, සංදර්ශක ක්‍රියාකාරිත්වය අභිරුචිකරණය කිරීම සඳහා මෙවලමක් තිබේද?

ඕනෑම. ඔබට මෙම තිත් ගෙන නැවත වර්ණ ගැන්වීමෙන් ඒවා රතු නොව නිල්, කොළ බවට පත් කළ හැකිය.

වාර්තාවට ස්තූතියි! ඔබට විකල්ප විමසුම් මෙවලම් ඉදිරිපත් කරන ලද විනිවිදකයක් තිබුණි නිවස ක්ලික් කරන්න උපකරණ පුවරු සහ විශ්ලේෂණ වාර්තා ගොඩනැගීම සඳහා. මට ඒක තේරුනේ ඔයා වැඩ කරන්න පටන් ගත්ත මොහොතේ ClickHouse, මෙම මෙවලම් සඳහා කිසිදු ඇඩප්ටරයක් ​​ලියා නොමැත. සමහර සූදානම් කළ මෙවලමක් සඳහා ඇඩැප්ටරයක් ​​ලිවීම වෙනුවට ඔබ ඔබේම මෙවලමක් සෑදීමට තීරණය කළේ මන්දැයි මම කල්පනා කරමි? මම හිතන්නේ පරීක්ෂණ සංස්කාරකය tweaking ඉක්මන් වේ. ඔබ මෙතරම් වැඩ කිරීමට තීරණය කළේ ඇයි?

මෙහි සිත්ගන්නා කරුණක් තිබේ - කාරණය නම් මම තාක්ෂණික අධ්‍යක්ෂවරයෙක් මිස දත්ත විද්‍යාඥයෙක් නොවේ. අපි Druid ක්‍රියාත්මක කිරීම ආරම්භ කරන විට, මගේ මාර්ග සිතියමේ කාර්යයන් වලින් 50% ක් පමණ තිබුණි - අපි මෙය ගණනය කරමු, නැතහොත් මෙය ගණනය කරමු, නැතහොත් මෙය විශ්ලේෂණය කරමු. අපි ClickHouse ක්‍රියාත්මක කළ බව පෙනී ගියේය. ඔහු ඉක්මනින් සියල්ල ගොඩනඟා, ගණන් කිරීමට සහ ඉක්මනින් ඔහුගේ මාර්ග සිතියම වසා දැමීමට පටන් ගත්තේය. ඒ වෙද්දි මට තේරුණා මට Data Science සහ Data Visualization ගැන දැනුමක් නැති බව. Tabix යනු දත්ත දෘශ්‍යකරණය ඉගෙනීම සඳහා මගේ ගෙදර වැඩ වර්ගයකි. මම සෙප්පලින් සම්පූර්ණ කරන්නේ කෙසේදැයි සොයා බැලුවෙමි. එයාගේ programming වලට මගේ පොඩි අකමැත්තක් තියෙනවා. Redash මම ඒක add කරන හැටි බැලුවා, ඒත් මට සාමාන්‍ය editor එකක් හොඳටම ඇති. ඒ වගේම SuperSet ලියලා තියෙන්නේ මම ඇත්තටම කැමති නැති භාෂාවකින්. ඉතින් මම බයිසිකල් පැදවීමට තීරණය කළෙමි, මෙය සිදු විය.

ඊගෝර්, ඔබ පුල් ඉල්ලීම් පිළිගන්නවාද?

ඔව්.

වාර්තාවට බොහොම ස්තුතියි! සහ ප්රශ්න දෙකක්. පළමුව, ඔබ ඉතා ප්රශංසනීය ලෙස කතා නොකරයි Javascript. ඔබ ලියා ඇත්තේ හිස් ජාවාස්ක්‍රිප්ට් වලින්ද නැතහොත් එය යම් ආකාරයක රාමුවක් ද?*

හිස් ජාවාස්ක්‍රිප්ට් වලින් වඩා හොඳයි.

ඉතින් කුමන රාමුවද?

කෝණික.

එය පැහැදිලියි. සහ දෙවන ප්රශ්නය. ඔබ සලකා බැලුවද R и *දිලිසෙන **?*

සලකා බැලුවා. සෙල්ලම් කළා.

ඔබට ඇඩප්ටරයක් ​​ලිවිය හැකිය.

ඔහු. ප්‍රජාව එය සෑදූ බව පෙනේ, නමුත්, මම පෙර ප්‍රශ්නයට පිළිතුරු දුන් පරිදි, මට එය මා විසින්ම උත්සාහ කිරීමට අවශ්‍ය විය.

*නැත, දෘශ්‍යකරණය සම්බන්ධයෙන්, එය ද තිබේ.

ඔබ පවසන්නේ එවැනි දෙයක් ඇති බවත් එය ඔබට ප්‍රස්ථාරයක් අඳින බවත්ය. මම දත්ත දෘශ්‍යකරණය පිළිබඳ පොතක් විවෘත කළෙමි. මම හිතුවා: “මට මෙම දත්ත දෘශ්‍යමාන කිරීමට උත්සාහ කිරීමට ඉඩ දෙන්න. ඔහුට දත්ත නැවත ගොඩනඟා ගැනීමට හැකි වන පරිදි මම ඔහුට ලියන්නෙමි. ඒ වගේම මම දත්ත පෝෂක තාක්ෂණය හොඳින් තේරුම් ගන්න පටන් ගත්තා. මම සූදානම් කළ සංරචකයක් ගත්තා නම්, මම පෞද්ගලිකව එය භාවිතා කරන්නේ කෙසේදැයි නරක අතට හැරෙනු ඇත, එනම් දෘශ්‍යකරණය. නමුත් ඔව්, මම R ට කැමතියි, නමුත් මම තවමත් "R for Dummies" පොත කියවා නැත.

ස්තුතියි!

සරල ප්රශ්නය. ලකුණක් හෝ කාලසටහනක් ඉක්මනින් උඩුගත කිරීමට ක්‍රම තිබේද?

CSV හෝ Excel වෙත උඩුගත කළ හැක.

දත්ත නොවේ, නමුත් සූදානම් කළ තහඩුවක්, සූදානම් කළ ප්රස්ථාරයක්? උදාහරණයක් ලෙස, ලොක්කා පෙන්වීමට.

“උඩුගත කරන්න” බොත්තමක් ඇති අතර “png හි ප්‍රස්තාරය උඩුගත කරන්න, jpg තුළ” බොත්තමක් ඇත.

ස්තුතියි!

PS Mini-tabix ස්ථාපනය කිරීම සඳහා උපදෙස්

• බාගත කරන්න නවතම නිකුතුව
• අසුරන්න, නාමාවලිය පිටපත් කරන්න build nginx root_path හි
• nginx වින්‍යාස කරන්න

මූලාශ්රය: www.habr.com