ELK, Big Query અને TimescaleDB માટે રિપ્લેસમેન્ટ તરીકે ક્લિકહાઉસનો ઉપયોગ કરવો

ક્લિકહાઉસ યાન્ડેક્ષ દ્વારા બનાવેલ ઓનલાઈન એનાલિટીકલ ક્વેરી પ્રોસેસિંગ (OLAP) માટે ઓપન સોર્સ કોલમર ડેટાબેઝ મેનેજમેન્ટ સિસ્ટમ છે. તેનો ઉપયોગ Yandex, CloudFlare, VK.com, Badoo અને વિશ્વભરની અન્ય સેવાઓ દ્વારા ખરેખર મોટી માત્રામાં ડેટા (સેકન્ડ દીઠ હજારો પંક્તિઓ અથવા ડિસ્ક પર સંગ્રહિત ડેટાની પેટાબાઇટ્સ) સંગ્રહ કરવા માટે થાય છે.

સામાન્ય, "સ્ટ્રિંગ" DBMS માં, જેનાં ઉદાહરણો MySQL, Postgres, MS SQL સર્વર છે, ડેટા આ ક્રમમાં સંગ્રહિત થાય છે:

આ કિસ્સામાં, એક પંક્તિથી સંબંધિત મૂલ્યો ભૌતિક રીતે નજીકમાં સંગ્રહિત થાય છે. કૉલમર DBMSs માં, વિવિધ કૉલમના મૂલ્યો અલગથી સંગ્રહિત થાય છે, અને એક કૉલમમાંથી ડેટા એકસાથે સંગ્રહિત થાય છે:

સ્તંભાકાર DBMS ના ઉદાહરણો વર્ટીકા, પેરાકલ (એક્ટિયન મેટ્રિક્સ, એમેઝોન રેડશિફ્ટ), સાયબેઝ IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, kb+ Druid, છે.

કંપની મેલ ફોરવર્ડર છે ક્વિન્ટ્રી મેં રિપોર્ટિંગ માટે 2018 માં ક્લિકહાઉસનો ઉપયોગ કરવાનું શરૂ કર્યું અને તેની સરળતા, માપનીયતા, SQL સપોર્ટ અને ઝડપથી ખૂબ પ્રભાવિત થયો. આ DBMS ની ઝડપ જાદુ પર છે.

સરળ

એક આદેશ સાથે ઉબુન્ટુ પર ક્લિકહાઉસ ઇન્સ્ટોલ કરે છે. જો તમે SQL જાણો છો, તો તમે તમારી જરૂરિયાતો માટે તરત જ ક્લિકહાઉસનો ઉપયોગ કરવાનું શરૂ કરી શકો છો. જો કે, આનો અર્થ એ નથી કે તમે MySQL માં "ક્રિએટ ટેબલ બતાવો" અને ક્લિકહાઉસમાં SQL કોપી-પેસ્ટ કરી શકો છો.

MySQL ની તુલનામાં, આ DBMS માં કોષ્ટક સ્કીમા વ્યાખ્યાઓમાં મહત્વપૂર્ણ ડેટા પ્રકાર તફાવતો છે, તેથી તમારે ટેબલ સ્કીમા વ્યાખ્યાઓ બદલવા અને આરામદાયક થવા માટે ટેબલ એન્જિન શીખવા માટે હજુ થોડો સમય જોઈએ છે.

ક્લિકહાઉસ કોઈપણ વધારાના સોફ્ટવેર વિના સરસ કામ કરે છે, પરંતુ જો તમે પ્રતિકૃતિનો ઉપયોગ કરવા માંગતા હો, તો તમારે ZooKeeper ઇન્સ્ટોલ કરવું પડશે. ક્વેરી પર્ફોર્મન્સ એનાલિસિસ ઉત્તમ પરિણામો દર્શાવે છે - સિસ્ટમ કોષ્ટકો બધી માહિતી ધરાવે છે, અને તમામ ડેટા જૂના અને કંટાળાજનક SQL નો ઉપયોગ કરીને પુનઃપ્રાપ્ત કરી શકાય છે.

ઉત્પાદકતા

• બેન્ચમાર્ક રૂપરેખાંકન સર્વર પર ક્લિકહાઉસ વિરુદ્ધ વર્ટીકા અને MySQL સરખામણીઓ: બે સોકેટ્સ Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB રેમ; md RAID-5 8 6TB SATA HDD, ext4 પર.
• બેન્ચમાર્ક એમેઝોન રેડશિફ્ટ ક્લાઉડ સ્ટોરેજ સાથે ક્લિકહાઉસની સરખામણી.
• બ્લોગ અવતરણો ક્લિકહાઉસ પ્રદર્શન વિશે ક્લાઉડફ્લેર:

ક્લિકહાઉસ ડેટાબેઝની ડિઝાઇન ખૂબ જ સરળ છે - ક્લસ્ટરમાંના તમામ નોડ્સ સમાન કાર્યક્ષમતા ધરાવે છે અને સંકલન માટે માત્ર ઝૂકીપરનો ઉપયોગ કરે છે. અમે કેટલાક નોડ્સનું એક નાનું ક્લસ્ટર બનાવ્યું અને પરીક્ષણ કર્યું, જે દરમિયાન અમને જાણવા મળ્યું કે સિસ્ટમમાં ખૂબ પ્રભાવશાળી પ્રદર્શન છે, જે વિશ્લેષણાત્મક DBMS બેન્ચમાર્કમાં દાવો કરાયેલા ફાયદાઓને અનુરૂપ છે. અમે ક્લિકહાઉસ પાછળના ખ્યાલને નજીકથી જોવાનું નક્કી કર્યું. સંશોધનમાં પ્રથમ અવરોધ સાધનોની અછત અને ક્લિકહાઉસનો નાનો સમુદાય હતો, તેથી અમે આ DBMS કેવી રીતે કાર્ય કરે છે તે સમજવા માટે તેની ડિઝાઇનમાં તપાસ કરી.

ક્લિકહાઉસ કાફકા પાસેથી સીધો ડેટા પ્રાપ્ત કરવાનું સમર્થન કરતું નથી, કારણ કે તે માત્ર એક ડેટાબેઝ છે, તેથી અમે ગોમાં અમારી પોતાની એડેપ્ટર સેવા લખી છે. તે કાફ્કાના કેપન પ્રોટો એન્કોડેડ સંદેશાઓ વાંચે છે, તેમને TSV માં રૂપાંતરિત કરે છે, અને HTTP ઈન્ટરફેસ દ્વારા બેચમાં ક્લિકહાઉસમાં દાખલ કરે છે. કાર્યક્ષમતામાં સુધારો કરવા માટે અમે અમારા પોતાના ક્લિકહાઉસ ઇન્ટરફેસ સાથે ગો લાઇબ્રેરીનો ઉપયોગ કરવા માટે પછીથી આ સેવાને ફરીથી લખી. પેકેટો પ્રાપ્ત કરવાના પ્રદર્શનનું મૂલ્યાંકન કરતી વખતે, અમે એક મહત્વપૂર્ણ વસ્તુ શોધી કાઢી - તે બહાર આવ્યું કે ક્લિકહાઉસ માટે આ પ્રદર્શન પેકેટના કદ પર ભારપૂર્વક આધાર રાખે છે, એટલે કે, તે જ સમયે દાખલ કરેલ પંક્તિઓની સંખ્યા. આવું શા માટે થાય છે તે સમજવા માટે, અમે ક્લિકહાઉસ ડેટા કેવી રીતે સંગ્રહિત કરે છે તેનો અભ્યાસ કર્યો.

મુખ્ય એન્જીન, અથવા તેના બદલે, ડેટા સ્ટોર કરવા માટે ક્લિકહાઉસ દ્વારા ઉપયોગમાં લેવાતા ટેબલ એન્જીનોનો એક પરિવાર, મર્જટ્રી છે. આ એન્જિન વૈચારિક રીતે Google BigTable અથવા Apache Cassandra માં ઉપયોગમાં લેવાતા LSM અલ્ગોરિધમ જેવું જ છે, પરંતુ મધ્યવર્તી મેમરી ટેબલ બનાવવાનું ટાળે છે અને ડેટાને સીધો ડિસ્ક પર લખે છે. આ તેને ઉત્તમ લેખન થ્રુપુટ આપે છે, કારણ કે દરેક દાખલ કરેલ પેકેટ ફક્ત "પ્રાથમિક કી" પ્રાથમિક કી દ્વારા સૉર્ટ કરવામાં આવે છે, સંકુચિત થાય છે, અને સેગમેન્ટ બનાવવા માટે ડિસ્ક પર લખવામાં આવે છે.

મેમરી ટેબલની ગેરહાજરી અથવા ડેટાની "તાજગી" ના કોઈપણ ખ્યાલનો અર્થ એ પણ છે કે તે ફક્ત ઉમેરી શકાય છે, સિસ્ટમ બદલવા અથવા કાઢી નાખવાને સમર્થન આપતી નથી. આજની તારીખે, ડેટાને કાઢી નાખવાનો એકમાત્ર રસ્તો કેલેન્ડર મહિના દ્વારા તેને કાઢી નાખવાનો છે, કારણ કે સેગમેન્ટ્સ ક્યારેય મહિનાની સીમાને ઓળંગતા નથી. ક્લિકહાઉસ ટીમ આ સુવિધાને કસ્ટમાઇઝ કરવા માટે સક્રિયપણે કામ કરી રહી છે. બીજી બાજુ, તે લેખન અને વિલીનીકરણ વિભાગોને વિવાદ-મુક્ત બનાવે છે, તેથી I/O અથવા કોરો સંતૃપ્ત થાય ત્યાં સુધી સમાંતર દાખલની સંખ્યા સાથે રેખીય રીતે થ્રુપુટ સ્કેલ મેળવો.
જો કે, આ સંજોગોનો અર્થ એવો પણ થાય છે કે સિસ્ટમ નાના પેકેટો માટે યોગ્ય નથી, તેથી કાફકા સેવાઓ અને ઇન્સર્ટર્સનો ઉપયોગ બફરિંગ માટે થાય છે. આગળ, પૃષ્ઠભૂમિમાં ક્લિકહાઉસ સતત સેગમેન્ટ્સને મર્જ કરવાનું ચાલુ રાખે છે, જેથી માહિતીના ઘણા નાના ટુકડાઓ જોડવામાં આવશે અને વધુ વખત રેકોર્ડ કરવામાં આવશે, આમ રેકોર્ડિંગની તીવ્રતામાં વધારો થશે. જો કે, જ્યાં સુધી મર્જ ચાલુ રહેશે ત્યાં સુધી ઘણા બધા અસંબંધિત ભાગો ઇન્સર્ટ્સના આક્રમક થ્રોટલિંગનું કારણ બનશે. અમને જાણવા મળ્યું છે કે રીઅલ-ટાઇમ ડેટા ઇન્જેશન અને ઇન્જેશન કામગીરી વચ્ચે શ્રેષ્ઠ સમાધાન એ છે કે ટેબલમાં પ્રતિ સેકન્ડે મર્યાદિત સંખ્યામાં ઇન્સર્ટ સ્વીકારવું.

ટેબલ રીડ પરફોર્મન્સની ચાવી એ ડિસ્ક પરના ડેટાનું ઇન્ડેક્સીંગ અને સ્થાન છે. પ્રક્રિયા ગમે તેટલી ઝડપી હોય, જ્યારે એન્જિનને ડિસ્કમાંથી ટેરાબાઈટ ડેટા સ્કેન કરવાની જરૂર પડે છે અને તેમાંથી માત્ર એક અંશનો ઉપયોગ કરવાની જરૂર પડે છે, તે સમય લેશે. ક્લિકહાઉસ એ કૉલમ સ્ટોર છે, તેથી દરેક સેગમેન્ટમાં દરેક પંક્તિ માટે સૉર્ટ કરેલ મૂલ્યો સાથે દરેક કૉલમ (કૉલમ) માટે ફાઇલ હોય છે. આમ, ક્વેરીમાં હાજર ન હોય તેવા સમગ્ર કૉલમ્સને પહેલા છોડી શકાય છે, અને પછી બહુવિધ કોષોને વેક્ટરાઇઝ્ડ એક્ઝેક્યુશન સાથે સમાંતર રીતે પ્રક્રિયા કરી શકાય છે. સંપૂર્ણ સ્કેન ટાળવા માટે, દરેક સેગમેન્ટમાં નાની ઇન્ડેક્સ ફાઇલ હોય છે.

આપેલ છે કે તમામ કૉલમ "પ્રાથમિક કી" દ્વારા સૉર્ટ કરવામાં આવે છે, ઇન્ડેક્સ ફાઇલમાં માત્ર દરેક Nth પંક્તિના લેબલ્સ (કેપ્ચર કરેલ પંક્તિઓ) હોય છે, જેથી તે ખૂબ મોટા કોષ્ટકો માટે પણ મેમરીમાં રાખવામાં સક્ષમ હોય. ઉદાહરણ તરીકે, તમે ડિફોલ્ટ સેટિંગ્સને "દરેક 8192મી પંક્તિને ચિહ્નિત કરો" પર સેટ કરી શકો છો, પછી 1 ટ્રિલિયન સાથેના કોષ્ટકનું "નજીવું" અનુક્રમણિકા. મેમરીમાં સરળતાથી ફિટ થતી રેખાઓ માત્ર 122 અક્ષરો લેશે.

સિસ્ટમ વિકાસ

ક્લિકહાઉસના વિકાસ અને સુધારણા પર શોધી શકાય છે ગીથબ રેપો અને ખાતરી કરો કે "વૃદ્ધિ" ની પ્રક્રિયા પ્રભાવશાળી ગતિએ થઈ રહી છે.

લોકપ્રિયતા

એવું લાગે છે કે ક્લિકહાઉસની લોકપ્રિયતા ઝડપથી વધી રહી છે, ખાસ કરીને રશિયન બોલતા સમુદાયમાં. ગયા વર્ષની હાઇ લોડ 2018 કોન્ફરન્સ (મોસ્કો, નવેમ્બર 8-9, 2018) એ દર્શાવ્યું હતું કે vk.com અને Badoo જેવા રાક્ષસો ક્લિકહાઉસનો ઉપયોગ કરે છે, જે એકસાથે હજારો સર્વરમાંથી ડેટા (ઉદાહરણ તરીકે, લોગ) દાખલ કરે છે. 40 મિનિટના વીડિયોમાં વીકોન્ટાક્ટે ટીમના યુરી નાસરેટડિનોવ તે કેવી રીતે થાય છે તે વિશે વાત કરે છે. સામગ્રી સાથે કામ કરવાની સગવડતા માટે ટૂંક સમયમાં અમે ટ્રાન્સક્રિપ્ટ હેબર પર પોસ્ટ કરીશું.

એપ્લિકેશન્સ

સંશોધન કરવામાં થોડો સમય વિતાવ્યા પછી, મને લાગે છે કે એવા ક્ષેત્રો છે જ્યાં ક્લિકહાઉસ ઉપયોગી થઈ શકે છે અથવા અન્ય પરંપરાગત અને લોકપ્રિય ઉકેલો જેમ કે MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot અને અન્ય વધુ પરંપરાગત અને લોકપ્રિય ઉકેલોને સંપૂર્ણપણે બદલી શકે છે. ડ્રુડ. ઉપરોક્ત DBMS ને અપગ્રેડ કરવા અથવા સંપૂર્ણપણે બદલવા માટે ClickHouse નો ઉપયોગ કરવાની વિગતો નીચે મુજબ છે.

MySQL અને PostgreSQL ને વિસ્તારી રહ્યું છે

તાજેતરમાં, અમે ન્યૂઝલેટર પ્લેટફોર્મ માટે MySQL ને ClickHouse સાથે આંશિક રીતે બદલ્યું છે મૌટિક ન્યૂઝલેટર. સમસ્યા એ હતી કે MySQL એ અયોગ્ય ડિઝાઇનને લીધે મોકલેલ દરેક ઈમેઈલ અને તે ઈમેલની દરેક લિંકને base64 હેશ વડે લોગ કરી, એક વિશાળ MySQL ટેબલ (email_stats) બનાવ્યું. સેવાના સબ્સ્ક્રાઇબર્સને માત્ર 10 મિલિયન ઇમેઇલ્સ મોકલ્યા પછી, આ ટેબલે 150 GB ફાઇલ જગ્યા પર કબજો કર્યો, અને MySQL એ સરળ પ્રશ્નો પર "મૂર્ખ" કરવાનું શરૂ કર્યું. ફાઇલ સ્પેસ સમસ્યાને ઠીક કરવા માટે, અમે InnoDB ટેબલ કમ્પ્રેશનનો સફળતાપૂર્વક ઉપયોગ કર્યો, જેણે તેને 4 ના પરિબળથી ઘટાડ્યું. જો કે, માત્ર ઇતિહાસ વાંચવા ખાતર MySQL માં 20-30 મિલિયનથી વધુ ઈમેઈલ સંગ્રહિત કરવાનો હજુ કોઈ અર્થ નથી, કારણ કે કોઈપણ સરળ ક્વેરી કે જે કોઈ કારણસર સ્વેપ અને ભારે I/O માં પરિણમે સંપૂર્ણ સ્કેન કરવું પડે છે. ઓવરહેડ, જેના વિશે અમને નિયમિતપણે Zabbix ચેતવણીઓ પ્રાપ્ત થઈ છે.

ક્લિકહાઉસ બે કમ્પ્રેશન અલ્ગોરિધમનો ઉપયોગ કરે છે જે ડેટાની માત્રાને લગભગ ઘટાડે છે 3-4 વખત, પરંતુ આ ચોક્કસ કિસ્સામાં, ડેટા ખાસ કરીને "સંકુચિત" હતો.

ELK રિપ્લેસમેન્ટ

મારા પોતાના અનુભવના આધારે, ELK સ્ટેક (ElasticSearch, Logstash અને Kibana, આ ચોક્કસ કિસ્સામાં ElasticSearch) ને લોગ સ્ટોર કરવા માટે જરૂરી કરતાં વધુ સંસાધનોની જરૂર પડે છે. જો તમને સારી પૂર્ણ-ટેક્સ્ટ લોગ સર્ચ જોઈતી હોય તો ઈલાસ્ટીક સર્ચ એ એક સરસ એન્જીન છે (જેની તમને ખરેખર જરૂર છે એવું મને નથી લાગતું), પરંતુ હું આશ્ચર્ય પામી રહ્યો છું કે શા માટે તે ડી ફેક્ટો સ્ટાન્ડર્ડ લોગીંગ એન્જિન બની ગયું છે. તેનું ઇન્જેશન પર્ફોર્મન્સ, Logstash સાથે મળીને, અમને એકદમ હળવા વર્કલોડ પર પણ સમસ્યાઓ આપી અને વધુ ને વધુ RAM અને ડિસ્ક જગ્યા ઉમેરવાની જરૂર છે. ડેટાબેઝ તરીકે, ક્લિકહાઉસ નીચેના કારણોસર સ્થિતિસ્થાપક શોધ કરતાં વધુ સારું છે:

• SQL બોલી આધાર;
• સંગ્રહિત ડેટાના કમ્પ્રેશનની શ્રેષ્ઠ ડિગ્રી;
• સંપૂર્ણ ટેક્સ્ટ શોધને બદલે રેજેક્સ શોધ માટે સપોર્ટ;
• સુધારેલ ક્વેરી શેડ્યુલિંગ અને બહેતર એકંદર પ્રદર્શન.

હાલમાં, ક્લિકહાઉસની ELK સાથે સરખામણી કરતી વખતે સૌથી મોટી સમસ્યા ઊભી થાય છે તે લોગ અપલોડ કરવા માટેના ઉકેલોનો અભાવ તેમજ આ વિષય પરના દસ્તાવેજો અને ટ્યુટોરિયલ્સની અછત છે. તે જ સમયે, દરેક વપરાશકર્તા ડિજિટલ ઓશન મેન્યુઅલનો ઉપયોગ કરીને ELK સેટ કરી શકે છે, જે આવી તકનીકોના ઝડપી અમલીકરણ માટે ખૂબ જ મહત્વપૂર્ણ છે. અહીં ડેટાબેઝ એન્જિન છે, પરંતુ ક્લિકહાઉસ માટે હજી સુધી કોઈ ફાઇલબીટ નથી. હા એ જ અસ્ખલિત અને લોગ સાથે કામ કરવા માટેની સિસ્ટમ લોગ હાઉસ, ત્યાં એક સાધન છે પૂંછડી પર ક્લિક કરો ક્લિકહાઉસમાં લોગ ફાઈલ ડેટા દાખલ કરવા માટે, પરંતુ આ બધું વધુ સમય લે છે. જો કે, ક્લિકહાઉસ હજી પણ તેની સરળતાને કારણે માર્ગ તરફ દોરી જાય છે, તેથી નવા નિશાળીયા પણ તેને સરળતાથી ઇન્સ્ટોલ કરી શકે છે અને માત્ર 10 મિનિટમાં સંપૂર્ણ કાર્યાત્મક ઉપયોગ શરૂ કરી શકે છે.

ઓછામાં ઓછા ઉકેલોને પ્રાધાન્ય આપતા, મેં કાફકાનો ઉપયોગ ટાળવાનો પ્રયાસ કરતી વખતે ક્લિકહાઉસ સાથે ફ્લુએન્ટબિટ, ખૂબ જ ઓછી મેમરી લોગ અપલોડ ટૂલનો ઉપયોગ કરવાનો પ્રયાસ કર્યો. જો કે, નાની અસંગતતાઓને સંબોધિત કરવાની જરૂર છે, જેમ કે તારીખ ફોર્મેટ સમસ્યાઓતે પહેલાં તે પ્રોક્સી લેયર વિના કરી શકાય જે ડેટાને FluentBit થી ClickHouse માં રૂપાંતરિત કરે છે.

કિબાનાના વિકલ્પ તરીકે, તમે ક્લિકહાઉસનો ઉપયોગ બેકએન્ડ તરીકે કરી શકો છો ગ્રાફના. જ્યાં સુધી હું સમજું છું, ખાસ કરીને Grafana ના જૂના સંસ્કરણો સાથે, મોટી સંખ્યામાં ડેટા પોઈન્ટ્સ રેન્ડર કરતી વખતે આ પ્રદર્શન સમસ્યાઓનું કારણ બની શકે છે. ક્વિન્ટ્રીમાં, અમે હજી સુધી આનો પ્રયાસ કર્યો નથી, પરંતુ ટેલિગ્રામમાં ક્લિકહાઉસ સપોર્ટ ચેનલ પર આ અંગેની ફરિયાદો સમયાંતરે દેખાય છે.

ગૂગલ બિગ ક્વેરી અને એમેઝોન રેડશિફ્ટનું રિપ્લેસમેન્ટ (મોટી કંપનીઓ માટે ઉકેલ)

BigQuery માટેનો આદર્શ ઉપયોગ એ JSON ડેટાનો 1TB લોડ કરવાનો અને તેના પર વિશ્લેષણાત્મક ક્વેરી ચલાવવાનો છે. બિગ ક્વેરી એ એક ઉત્તમ ઉત્પાદન છે જેની માપનીયતા વધારે પડતી અંદાજ કરવી મુશ્કેલ છે. આ આંતરિક ક્લસ્ટર પર ચાલતા ClickHouse કરતાં વધુ જટિલ સોફ્ટવેર છે, પરંતુ ક્લાયન્ટના દૃષ્ટિકોણથી, તે ClickHouse સાથે ઘણું સામ્ય ધરાવે છે. એકવાર તમે દરેક SELECT માટે ચૂકવણી કરવાનું શરૂ કરો પછી BigQuery ઝડપથી "કિંમતમાં વધારો" કરી શકે છે, તેથી તે તેના તમામ ગુણદોષ સાથે વાસ્તવિક SaaS ઉકેલ છે.

જ્યારે તમે ઘણી બધી કોમ્પ્યુટેશનલી મોંઘી ક્વેરીઝ ચલાવો છો ત્યારે ક્લિકહાઉસ એ શ્રેષ્ઠ પસંદગી છે. તમે દરરોજ જેટલી વધુ SELECT ક્વેરીઝ ચલાવો છો, તે Big Query ને ClickHouse સાથે બદલવામાં વધુ પોઈન્ટ બનાવે છે, કારણ કે આવા રિપ્લેસમેન્ટ તમારા હજારો ડોલર બચાવશે જ્યારે તે ઘણા ટેરાબાઈટ ડેટાની પ્રક્રિયા કરવામાં આવે છે. આ સંગ્રહિત ડેટા પર લાગુ પડતું નથી, જે બિગ ક્વેરી પર પ્રક્રિયા કરવા માટે એકદમ સસ્તું છે.

અલ્ટિનિટીના સહ-સ્થાપક એલેક્ઝાન્ડર ઝૈત્સેવના એક લેખમાં "ક્લિકહાઉસમાં ખસેડવું" આવા DBMS સ્થળાંતરના ફાયદા વિશે વાત કરે છે.

ટાઇમસ્કેલડીબી રિપ્લેસમેન્ટ

TimescaleDB એ PostgreSQL એક્સ્ટેંશન છે જે નિયમિત ડેટાબેઝમાં ટાઈમસીરીઝ સાથે કામ કરવાનું ઑપ્ટિમાઇઝ કરે છે (https://docs.timescale.com/v1.0/introduction, https://habr.com/ru/company/zabbix/blog/458530/).

જો કે ClickHouse સમય શ્રેણીના માળખામાં ગંભીર પ્રતિસ્પર્ધી નથી, પરંતુ સ્તંભાકાર માળખું અને વેક્ટર ક્વેરી એક્ઝિક્યુશનની દ્રષ્ટિએ, તે વિશ્લેષણાત્મક પ્રશ્નોની પ્રક્રિયા કરવાના મોટાભાગના કિસ્સાઓમાં TimescaleDB કરતા વધુ ઝડપી છે. તે જ સમયે, ક્લિકહાઉસ પેકેટ ડેટા પ્રાપ્ત કરવાનું પ્રદર્શન લગભગ 3 ગણું વધારે છે, વધુમાં, તે 20 ગણી ઓછી ડિસ્ક જગ્યા વાપરે છે, જે ઐતિહાસિક ડેટાના મોટા જથ્થાની પ્રક્રિયા કરવા માટે ખરેખર મહત્વપૂર્ણ છે: 
https://www.altinity.com/blog/ClickHouse-for-time-series.

ClickHouse થી વિપરીત, TimescaleDB માં અમુક ડિસ્ક જગ્યા બચાવવાનો એકમાત્ર રસ્તો ZFS અથવા સમાન ફાઇલ સિસ્ટમનો ઉપયોગ કરવાનો છે.

ક્લિકહાઉસના આગામી અપડેટ્સ ડેલ્ટા કમ્પ્રેશનને રજૂ કરશે, જે તેને સમય શ્રેણીના ડેટાને પ્રોસેસ કરવા અને સ્ટોર કરવા માટે વધુ યોગ્ય બનાવશે. ટાઈમસ્કેલડીબી નીચેના કેસોમાં એકદમ ક્લિકહાઉસ કરતાં વધુ સારી પસંદગી હોઈ શકે છે:

• ખૂબ ઓછી RAM (<3 GB) સાથેના નાના સ્થાપનો;
• મોટી સંખ્યામાં નાના INSERTs કે જેને તમે મોટા ટુકડાઓમાં બફર કરવા માંગતા નથી;
• વધુ સારી સુસંગતતા, એકરૂપતા અને ACID જરૂરિયાતો;
• પોસ્ટજીઆઈએસ સપોર્ટ;
• વર્તમાન PostgreSQL કોષ્ટકો સાથે મર્જ કરો, કારણ કે Timescale DB અનિવાર્યપણે PostgreSQL છે.

Hadoop અને MapReduce સિસ્ટમો સાથે સ્પર્ધા

Hadoop અને અન્ય MapReduce પ્રોડક્ટ્સ ઘણી જટિલ ગણતરીઓ કરી શકે છે, પરંતુ તેઓ મોટા પ્રમાણમાં લેટન્સી પર ચાલે છે. ClickHouse ટેરાબાઈટ ડેટાની પ્રક્રિયા કરીને અને લગભગ તરત જ પરિણામો ઉત્પન્ન કરીને આ સમસ્યાને ઠીક કરે છે. આમ, ક્લિકહાઉસ ઝડપી, અરસપરસ વિશ્લેષણાત્મક સંશોધન કરવા માટે વધુ કાર્યક્ષમ છે, જે ડેટા વૈજ્ઞાનિકો માટે રસ ધરાવતું હોવું જોઈએ.

પિનોટ અને ડ્રુડ સાથે સ્પર્ધા

ક્લિકહાઉસના સૌથી નજીકના સ્પર્ધકો સ્તંભાકાર, રેખીય રીતે માપી શકાય તેવા ઓપન સોર્સ ઉત્પાદનો પિનોટ અને ડ્રુડ છે. આ પ્રણાલીઓની તુલના કરતી એક ઉત્તમ નોકરી લેખમાં પ્રકાશિત કરવામાં આવી છે રોમાના લેવેન્ટોવા ફેબ્રુઆરી 1, 2018

આ લેખને અપડેટ કરવાની જરૂર છે - તે કહે છે કે ક્લિકહાઉસ અપડેટ અને ડિલીટ કામગીરીને સપોર્ટ કરતું નથી, જે નવીનતમ સંસ્કરણોના સંબંધમાં સંપૂર્ણ રીતે સાચું નથી.

અમારી પાસે આ DBMSs સાથે વધુ અનુભવ નથી, પરંતુ મને ડ્રુડ અને પિનોટ ચલાવવા માટે જરૂરી છે તે અંતર્ગત ઈન્ફ્રાસ્ટ્રક્ચરની જટિલતા ગમતી નથી - તે બધી બાજુઓથી જાવા દ્વારા ઘેરાયેલા "મૂવિંગ પાર્ટ્સ" નો સંપૂર્ણ સમૂહ છે.

ડ્રુડ અને પિનોટ એ અપાચે ઇન્ક્યુબેટર પ્રોજેક્ટ છે, જે અપાચે દ્વારા તેમના ગિટહબ પ્રોજેક્ટ પૃષ્ઠો પર વિગતવાર આવરી લેવામાં આવ્યા છે. પિનોટ ઑક્ટોબર 2018 માં ઇન્ક્યુબેટરમાં દેખાયો, અને ડ્રુડનો જન્મ 8 મહિના પહેલા - ફેબ્રુઆરીમાં થયો હતો.

AFS કેવી રીતે કાર્ય કરે છે તે વિશેની માહિતીનો અભાવ મારા માટે કેટલાક અને કદાચ મૂર્ખ પ્રશ્નો ઉભા કરે છે. મને આશ્ચર્ય થાય છે કે શું પિનોટના લેખકોએ નોંધ્યું છે કે અપાચે ફાઉન્ડેશન ડ્રુડ પ્રત્યે વધુ નિકાલ કરે છે, અને શું હરીફ પ્રત્યેના આવા વલણથી ઈર્ષ્યાની લાગણી થઈ? શું ડ્રુડનો વિકાસ ધીમો પડી જશે અને પિનોટના વિકાસને વેગ મળશે જો ભૂતપૂર્વને ટેકો આપતા પ્રાયોજકો અચાનક બાદમાં રસ લેશે?

ક્લિકહાઉસના ગેરફાયદા

અપરિપક્વતા: દેખીતી રીતે, આ હજી પણ કંટાળાજનક તકનીક નથી, પરંતુ કોઈ પણ સંજોગોમાં, અન્ય સ્તંભાકાર DBMS માં આવું કંઈ જોવા મળતું નથી.

નાના ઇન્સર્ટ્સ ઉચ્ચ ઝડપે સારું પ્રદર્શન કરતા નથી: ઇન્સર્ટ્સને મોટા ભાગોમાં વિભાજિત કરવું આવશ્યક છે કારણ કે દરેક પંક્તિમાં કૉલમની સંખ્યાના પ્રમાણમાં નાના ઇન્સર્ટ્સનું પ્રદર્શન ઘટતું જાય છે. આ રીતે ક્લિકહાઉસ ડિસ્ક પર ડેટા સ્ટોર કરે છે - દરેક કૉલમનો અર્થ 1 ફાઇલ અથવા વધુ છે, તેથી 1 કૉલમ ધરાવતી 100 પંક્તિ દાખલ કરવા માટે, તમારે ઓછામાં ઓછી 100 ફાઇલો ખોલવાની અને લખવાની જરૂર છે. આથી જ ઇન્સર્ટ બફરિંગ માટે મધ્યસ્થીની જરૂર પડે છે (જ્યાં સુધી ક્લાયન્ટ પોતે બફરિંગ પ્રદાન કરતું નથી) - સામાન્ય રીતે કાફકા અથવા અમુક પ્રકારની કતાર સિસ્ટમ. તમે પછીથી MergeTree કોષ્ટકોમાં ડેટાના મોટા ભાગની નકલ કરવા માટે બફર ટેબલ એન્જિનનો ઉપયોગ પણ કરી શકો છો.

ટેબલ જોડાઓ સર્વર રેમ દ્વારા મર્યાદિત છે, પરંતુ ઓછામાં ઓછા તે ત્યાં છે! ઉદાહરણ તરીકે, ડ્રુડ અને પિનોટ પાસે આવા જોડાણો બિલકુલ નથી, કારણ કે તેઓ વિતરિત પ્રણાલીઓમાં સીધા અમલમાં મૂકવા મુશ્કેલ છે જે નોડ્સ વચ્ચે ડેટાના મોટા હિસ્સાને ખસેડવાનું સમર્થન કરતું નથી.

તારણો

આગામી વર્ષોમાં, અમે ક્વિન્ટ્રીમાં ક્લિકહાઉસનો વ્યાપક ઉપયોગ કરવાની યોજના બનાવીએ છીએ, કારણ કે આ DBMS કામગીરીનું ઉત્તમ સંતુલન, ઓછી ઓવરહેડ, માપનીયતા અને સરળતા પ્રદાન કરે છે. મને ખાતરી છે કે એકવાર ક્લિકહાઉસ સમુદાય નાના અને મધ્યમ સ્થાપનોમાં તેનો ઉપયોગ કરવાની વધુ રીતો સાથે આવે તે પછી તે ઝડપથી ફેલાઈ જશે.

કેટલીક જાહેરાતો 🙂

અમારી સાથે રહેવા બદલ આભાર. શું તમને અમારા લેખો ગમે છે? વધુ રસપ્રદ સામગ્રી જોવા માંગો છો? ઓર્ડર આપીને અથવા મિત્રોને ભલામણ કરીને અમને ટેકો આપો, $4.99 થી વિકાસકર્તાઓ માટે ક્લાઉડ VPS, એન્ટ્રી-લેવલ સર્વર્સનું એક અનન્ય એનાલોગ, જેની શોધ અમારા દ્વારા તમારા માટે કરવામાં આવી છે: VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps વિશેનું સંપૂર્ણ સત્ય $19 થી અથવા સર્વર કેવી રીતે શેર કરવું? (RAID1 અને RAID10 સાથે ઉપલબ્ધ, 24 કોરો સુધી અને 40GB DDR4 સુધી).

એમ્સ્ટરડેમમાં ઇક્વિનિક્સ ટાયર IV ડેટા સેન્ટરમાં ડેલ R730xd 2 ગણું સસ્તું? માત્ર અહીં 2 x ઇન્ટેલ ટેટ્રાડેકા-કોર Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ટીવી $199 થી નેધરલેન્ડમાં! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 થી! વિશે વાંચો ઇન્ફ્રાસ્ટ્રક્ચર કોર્પોરેશન કેવી રીતે બનાવવું. ડેલ R730xd E5-2650 v4 સર્વર્સના ઉપયોગ સાથેનો વર્ગ એક પેની માટે 9000 યુરોના મૂલ્યના છે?

સોર્સ: www.habr.com