በእውነተኛ አፕሊኬሽኖች ውስጥ ClickHouseን የመጠቀም ጽንሰ-ሀሳብ እና ልምምድ። አሌክሳንደር ዛይሴቭ (2018)

ምንም እንኳን አሁን በሁሉም ቦታ ማለት ይቻላል ብዙ ውሂብ ቢኖርም ፣ የትንታኔ የውሂብ ጎታዎች አሁንም በጣም ያልተለመዱ ናቸው። በደንብ የማይታወቁ እና እንዲያውም ውጤታማ በሆነ መንገድ ሊጠቀሙባቸው የማይችሉ ናቸው. ብዙዎች ለሌሎች ሁኔታዎች የተነደፉትን፣ ከNoSQL ጋር በመታገል ወይም ለንግድ መፍትሔዎች ትርፍ ክፍያ በሚከፍሉት MySQL ወይም PostgreSQL “ቁልቋል መብላት” ቀጥለዋል። ClickHouse ጨዋታ ቀያሪ ነው እና ወደ የትንታኔ ዲቢኤምኤስ አለም የመግባት እንቅፋትን በእጅጉ ይቀንሳል።

ሪፖርቱ የBackEnd Conf 2018 ነው እና በድምጽ ማጉያው ፈቃድ ታትሟል።

እኔ ማን ነኝ እና ለምን ስለ ClickHouse እያወራው ነው? እኔ በLifeStreet ውስጥ የዴቨሎፕመንት ዳይሬክተር ነኝ፣ እሱም ClickHouseን ይጠቀማል። እኔም የአልቲኒቲ መስራች ነኝ። ይህ ClickHouseን የሚያስተዋውቅ እና Yandex ክሊክ ሃውስን የበለጠ ስኬታማ ለማድረግ የሚረዳ የ Yandex አጋር ነው። እኔም ስለ ClickHouse እውቀት ለማካፈል ዝግጁ ነኝ።

እና እኔ ደግሞ የፔትያ ዛይሴቭ ወንድም አይደለሁም። ስለዚህ ጉዳይ ብዙ ጊዜ እጠይቃለሁ። አይደለም ወንድማማቾች አይደለንም።

ያንን ClickHouse "ሁሉም ሰው ያውቃል"

• በጣም ፈጣን,
• በጣም ምቹ ፣
• በ Yandex ውስጥ ጥቅም ላይ ይውላል.

በየትኞቹ ኩባንያዎች እና እንዴት ጥቅም ላይ እንደሚውል በትንሹ ይታወቃል.

ከ Yandex በተጨማሪ ለምን ፣ የት እና እንዴት ClickHouse ጥቅም ላይ እንደሚውል እነግርዎታለሁ።

በተለያዩ ኩባንያዎች ውስጥ ClickHouseን በመጠቀም ልዩ ችግሮች እንዴት እንደሚፈቱ እነግርዎታለሁ።

ClickHouseን ከተለያዩ አቅጣጫዎች የሚያሳዩ ሦስት ምሳሌዎችን መርጫለሁ። አስደሳች ይሆናል ብዬ አስባለሁ.

የመጀመሪያው ጥያቄ፡- "ለምን ClickHouse ያስፈልገናል?" ጥያቄው በጣም ግልጽ የሆነ ይመስላል, ግን ለእሱ ከአንድ በላይ መልሶች አሉ.

• የመጀመሪያው መልስ በአፈፃፀም ምክንያቶች ነው. ClickHouse በጣም ፈጣን ነው። በ ClickHouse ላይ ትንታኔም በጣም ፈጣን ነው። ብዙውን ጊዜ ሌላ ነገር በጣም በዝግታ ወይም በጣም ደካማ በሚሰራበት ቦታ መጠቀም ይቻላል.
• ሁለተኛው መልስ ወጪ ነው. እና በመጀመሪያ ደረጃ, የመጠን ዋጋ. ለምሳሌ ቬርቲካ በጣም ጥሩ የመረጃ ቋት ነው። ብዙ ቴራባይት ውሂብ ከሌልዎት በጣም ጥሩ ይሰራል። ነገር ግን ስለ በመቶዎች የሚቆጠሩ ቴራባይት ወይም ፔታባይት ስንነጋገር የፈቃድ እና የድጋፍ ዋጋ በጣም ከፍተኛ መጠን ያለው ነው. እና ውድ ነው። እና ClickHouse ነፃ ነው።
• ሦስተኛው መልስ የሥራ ማስኬጃ ወጪ ነው። ይህ ትንሽ ለየት ያለ አቀራረብ ነው. RedShift በጣም ጥሩ አናሎግ ነው። በ RedShift በፍጥነት ውሳኔ ማድረግ ይችላሉ። እሱ በጥሩ ሁኔታ ይሰራል ፣ ግን በተመሳሳይ ጊዜ ፣ ​​​​በየሰዓቱ ፣ በየቀኑ እና በየወሩ ለአማዞን ብዙ ይከፍላሉ ፣ ምክንያቱም በጣም ውድ አገልግሎት ነው። Google BigQuery እንዲሁ። ማንም ሰው ተጠቅሞበት ከሆነ ብዙ ጥያቄዎችን እዚያ ማሄድ እና በድንገት በመቶዎች ለሚቆጠሩ ዶላሮች ደረሰኝ መቀበል እንደሚችሉ ያውቃል።

ClickHouse እነዚህ ችግሮች የሉትም።

ClickHouse የት ጥቅም ላይ ይውላል? ከ Yandex በተጨማሪ, ClickHouse በተለያዩ ንግዶች እና ኩባንያዎች ስብስብ ውስጥ ጥቅም ላይ ይውላል.

• በመጀመሪያ ደረጃ, ይህ የድር መተግበሪያ ትንታኔ ነው, ማለትም ይህ ከ Yandex የመጣ የአጠቃቀም ጉዳይ ነው.
• ብዙ የAdTech ኩባንያዎች ClickHouseን ይጠቀማሉ።
• ከተለያዩ ምንጮች የተግባር ምዝግብ ማስታወሻዎችን መተንተን የሚያስፈልጋቸው በርካታ ኩባንያዎች.
• የደህንነት ምዝግብ ማስታወሻዎችን ለመቆጣጠር ብዙ ኩባንያዎች ClickHouseን ይጠቀማሉ። ወደ ClickHouse ይሰቅሏቸዋል፣ ሪፖርቶችን ያዘጋጃሉ እና የሚፈልጉትን ውጤት ያገኛሉ።
• ኩባንያዎች በፋይናንሺያል ትንተና ሊጠቀሙበት ጀምረዋል፣ ማለትም ቀስ በቀስ ትላልቅ ንግዶች ወደ ClickHouse እየመጡ ነው።
• CloudFlare ማንም ሰው ClickHouseን የሚከተል ከሆነ፣ ምናልባት የዚህን ኩባንያ ስም ሰምተው ይሆናል። ይህ ከማህበረሰቡ ከፍተኛ አስተዋፅዖ ካደረጉት አንዱ ነው። እና በጣም ከባድ የሆነ የ ClickHouse ጭነት አላቸው። ለምሳሌ, ለ ClickHouse የካፍካ ሞተርን ሠርተዋል.
• የቴሌኮሙኒኬሽን ኩባንያዎች መጠቀም ጀምረዋል። በርከት ያሉ ኩባንያዎች በፅንሰ-ሃሳብ ላይ ወይም ቀድሞውኑ በማምረት ላይ እያሉ ClickHouseን ይጠቀማሉ።
• አንድ ኩባንያ የምርት ሂደቶችን ለመቆጣጠር ClickHouseን ይጠቀማል። ማይክሮሰርኮችን ይፈትሻሉ ፣ ብዙ መለኪያዎችን ይፃፉ ፣ ወደ 2 ገደማ ባህሪዎች አሉ። እና ከዚያም ጥቅሉ ጥሩ ወይም መጥፎ መሆኑን ይመረምራሉ.
• የብሎክቼይን ትንታኔ። Bloxy.info የሚባል የሩሲያ ኩባንያ አለ። ይህ የ Ethereum አውታረ መረብ ትንተና ነው. ይህንንም በ ClickHouse ላይ አድርገዋል።

ከዚህም በላይ መጠኑ ምንም አይደለም. አንድ ትንሽ አገልጋይ የሚጠቀሙ ብዙ ኩባንያዎች አሉ። ችግሮቻቸውንም እንዲፈቱ ይፈቅድላቸዋል። እና ብዙ ኩባንያዎች ብዙ አገልጋዮችን ወይም በደርዘን የሚቆጠሩ አገልጋዮችን በብዛት ይጠቀማሉ።

እና መዝገቦቹን ከተመለከቱ, እንግዲህ:

• Yandex: 500+ አገልጋዮች, እዚያ በቀን 25 ቢሊዮን መዝገቦችን ያከማቻሉ.
• LifeStreet: 60 አገልጋዮች, በግምት 75 ቢሊዮን ሪከርዶች በቀን. ከ Yandex ያነሰ አገልጋዮች እና ብዙ መዝገቦች አሉ።
• CloudFlare: 36 አገልጋዮች, በቀን 200 ቢሊዮን መዝገቦችን ያከማቻሉ. ያነሱ አገልጋዮች አሏቸው እና የበለጠ ውሂብ ያከማቻሉ።
• ብሉምበርግ፡- 102 አገልጋዮች፣ በቀን ወደ ትሪሊዮን የሚጠጉ መዝገቦች። መዝገብ ያዥ።

በጂኦግራፊ, ይህ ደግሞ በጣም ብዙ ነው. ይህ ካርታ ClickHouse በአለም ላይ ጥቅም ላይ የሚውልበትን የሙቀት ካርታ ያሳያል። እዚህ ሩሲያ፣ ቻይና እና አሜሪካ ጎልተው ይታያሉ። ጥቂት የአውሮፓ አገሮች አሉ። እና 4 ስብስቦችን መለየት ይቻላል.

ይህ የንጽጽር ትንተና ነው, ፍጹም ቁጥሮች መፈለግ አያስፈልግም. ይህ በአልቲኒቲ ድረ-ገጽ ላይ የእንግሊዝኛ ቋንቋ ቁሳቁሶችን የሚያነቡ ጎብኚዎች ትንታኔ ነው, ምክንያቱም እዚያ ምንም የሩሲያ ቋንቋ ተናጋሪዎች የሉም. እና ሩሲያ, ዩክሬን, ቤላሩስ, ማለትም ሩሲያኛ ተናጋሪው የማህበረሰብ ክፍል በጣም ብዙ ተጠቃሚዎች ናቸው. ከዚያም አሜሪካ እና ካናዳ ይመጣሉ. ቻይና በጣም እየያዘች ነው። ከስድስት ወራት በፊት ቻይና የለም ማለት ይቻላል፤ አሁን ቻይና አውሮፓን ተረክባ ማደጉን ቀጥላለች። የድሮው አውሮፓም ወደ ኋላ የቀረ አይደለም፣ እና በ ClickHouse አጠቃቀም ላይ ያለው መሪ፣ በሚያስገርም ሁኔታ በቂ ፈረንሳይ ነው።

ለምንድነው ይህን ሁሉ የምናገረው? ClickHouse ለትልቅ መረጃ ትንተና መደበኛ መፍትሄ እየሆነ እንደመጣ እና በብዙ ቦታዎች ላይ ጥቅም ላይ እንደዋለ ለማሳየት። ከተጠቀሙበት, በትክክለኛው አዝማሚያ ላይ ነዎት. እስካሁን ካልተጠቀሙበት, ብቻዎን እንደሚቀሩ መፍራት የለብዎትም እና ማንም አይረዳዎትም, ምክንያቱም ብዙዎቹ ቀድሞውኑ ይህን እያደረጉ ነው.

እነዚህ በበርካታ ኩባንያዎች ውስጥ የ ClickHouse ትክክለኛ አጠቃቀም ምሳሌዎች ናቸው።

• የመጀመሪያው ምሳሌ የማስታወቂያ አውታር ነው፡ ከቬርቲካ ወደ ClickHouse ፍልሰት። እና ከቬርቲካ የቀየሩ ወይም በመቀየር ሂደት ላይ ያሉ በርካታ ኩባንያዎችን አውቃለሁ።
• ሁለተኛው ምሳሌ በ ClickHouse ላይ የግብይት ማከማቻ ነው። ይህ በፀረ-ፓተርን ላይ የተገነባ ምሳሌ ነው. በገንቢዎች ምክር መሠረት በ ClickHouse ውስጥ መደረግ የማይኖርበት ሁሉም ነገር እዚህ ይከናወናል። እና በተመሳሳይ ጊዜ በጣም ውጤታማ ከመሆኑ የተነሳ ይሰራል. እና ከተለመደው የግብይት መፍትሄ በጣም በተሻለ ሁኔታ ይሰራል.
• ሦስተኛው ምሳሌ በ ClickHouse ላይ በኮምፒዩተር ተሰራጭቷል። ClickHouse እንዴት ወደ Hadoop ስነ-ምህዳር ሊዋሃድ እንደሚችል ጥያቄ ነበር። አንድ ኩባንያ ከካርታ ጋር ተመሳሳይ የሆነ ነገር በክሊክ ሃውስ ላይ ያለውን ኮንቴይነር እንዴት እንደሚቀንስ፣ የውሂብ አካባቢን መከታተል እና የመሳሰሉትን በጣም ቀላል ያልሆነን ስራ ለማስላት እንዴት እንደሰራ የሚያሳይ ምሳሌ አሳይሻለሁ።

• LifeStreet ከማስታወቂያ አውታረ መረብ ጋር የተያያዙ ሁሉንም ቴክኖሎጂዎች ያለው የማስታወቂያ ቴክ ኩባንያ ነው።
• እሷ በማስታወቂያ ማመቻቸት እና በፕሮግራም ጨረታ ላይ ተሰማርታለች።
• ብዙ መረጃዎች፡ በቀን ወደ 10 ቢሊዮን የሚሆኑ ክስተቶች። በተጨማሪም ፣ ክስተቶች ወደ ብዙ ንዑስ-ክስተቶች ሊከፋፈሉ ይችላሉ ።
• የዚህ ውሂብ ብዙ ደንበኞች አሉ, እና እነዚህ ሰዎች ብቻ አይደሉም, ብዙዎቹ በፕሮግራም ጨረታ ላይ የሚሳተፉ የተለያዩ ስልተ ቀመሮች ናቸው.

ኩባንያው ረጅም እና እሾህ መንገድ መጥቷል. እና በHighLoad ላይ ስለ እሱ ተናገርኩኝ. በመጀመሪያ፣ LifeStreet ከ MySQL (በአጭር ጊዜ በ Oracle ማቆሚያ) ወደ ቬርቲካ ፈለሰ። እና ስለ እሱ ታሪክ ማግኘት ይችላሉ።

እና ሁሉም ነገር በጣም ጥሩ ነበር, ነገር ግን ውሂቡ እያደገ እና ቬርቲካ ውድ እንደሆነ በፍጥነት ግልጽ ሆነ. ስለዚህ, የተለያዩ አማራጮች ፈልገዋል. አንዳንዶቹ እዚህ ተዘርዝረዋል. እና በእውነቱ፣ ከ13 እስከ 16 ባለው በገበያ ላይ የሚገኙትን እና በተግባራዊነት በግምት ተስማሚ የሆኑትን የፅንሰ-ሀሳብ ማረጋገጫ ወይም አንዳንድ ጊዜ የአፈፃፀም ሙከራ አድርገናል። እና ስለ አንዳንዶቹ በሃይሎድ ላይም ተናግሬአለሁ።

ስራው መጀመሪያ ከቬርቲካ መሰደድ ነበር, ምክንያቱም መረጃው እያደገ ነበር. እና ለብዙ ዓመታት በከፍተኛ ሁኔታ አደጉ። ከዚያም ወደ መደርደሪያው ሄዱ, ግን አሁንም. እና ይህንን እድገት መተንበይ ፣ አንዳንድ ዓይነት ትንታኔዎች መደረግ ያለባቸው የውሂብ መጠን የንግድ መስፈርቶች ፣ ብዙም ሳይቆይ ስለ petabytes ማውራት እንደሚሆን ግልፅ ነበር። እና ለፔታባይት መክፈል ቀድሞውኑ በጣም ውድ ነው, ስለዚህ የት መሄድ እንዳለብን አማራጭ እየፈለግን ነበር.

የት መሄድ? እና ለረጅም ጊዜ የት መሄድ እንዳለበት ሙሉ በሙሉ ግልጽ አልነበረም, ምክንያቱም በአንድ በኩል የንግድ የውሂብ ጎታዎች አሉ, እነሱ በደንብ የሚሰሩ ይመስላሉ. አንዳንዶቹ ከሞላ ጎደል ልክ እንደ ቬርቲካ ይሠራሉ፣ አንዳንዶቹ ደግሞ የከፋ። ነገር ግን ሁሉም ውድ ናቸው, ምንም ርካሽ ወይም የተሻለ ሊገኝ አይችልም.

በሌላ በኩል, ክፍት ምንጭ መፍትሄዎች አሉ, ከእነዚህ ውስጥ በጣም ብዙ አይደሉም, ማለትም ለትንታኔዎች በአንድ በኩል ሊቆጠሩ ይችላሉ. እና ነፃ ወይም ርካሽ ናቸው, ግን ቀስ ብለው ይሠራሉ. እና ብዙውን ጊዜ አስፈላጊ እና ጠቃሚ ተግባራት ይጎድላቸዋል.

እና በንግድ ዳታቤዝ ውስጥ ያሉትን መልካም ነገሮች እና በክፍት ምንጭ ውስጥ ያሉትን ሁሉንም ነፃ ነገሮች የሚያዋህድ ምንም ነገር አልነበረም።

Yandex እንደ አስማተኛ ጥንቸል ከባርኔጣ ላይ በድንገት ክሊክ ሃውስን እስካወጣ ድረስ ምንም ነገር አልተፈጠረም። እናም ይህ ያልተጠበቀ ውሳኔ ነበር፤ ሰዎች አሁንም “ለምን?” የሚለውን ጥያቄ ይጠይቃሉ፣ ግን ቢሆንም።

እና ወዲያውኑ በ 2016 የበጋ ወቅት, ClickHouse ምን እንደሆነ ማየት ጀመርን. እና አንዳንድ ጊዜ ከቬርቲካ የበለጠ ፈጣን ሊሆን እንደሚችል ታወቀ። በተለያዩ ጥያቄዎች ላይ የተለያዩ ሁኔታዎችን ሞክረናል። እና መጠይቁ አንድ ጠረጴዛ ብቻ ከተጠቀመ፣ ማለትም ያለ ምንም መቀላቀል፣ ከዚያ ClickHouse ከVertica በእጥፍ ፈጥኗል።

በጣም ሰነፍ አልነበርኩም እና በሌላ ቀን ተጨማሪ የ Yandex ሙከራዎችን ተመለከትኩ። እዚያም ተመሳሳይ ነው: ClickHouse ከ Vertica በእጥፍ ይበልጣል, ስለዚህ ብዙ ጊዜ ስለ እሱ ይነጋገራሉ.

ነገር ግን ጥያቄዎቹ መቀላቀልን ከያዙ ሁሉም ነገር በጣም ግልፅ አይደለም ። እና ClickHouse ከVertica በእጥፍ ቀርፋፋ ሊሆን ይችላል። እና ጥያቄውን ትንሽ ካረሙ እና እንደገና ከፃፉ ፣ ከዚያ እነሱ በግምት እኩል ይሆናሉ። መጥፎ አይደለም. እና ነፃ ነው።

እና የፈተናውን ውጤት ከተቀበለ በኋላ እና ከተለያዩ አቅጣጫዎች ከተመለከቱት, LifeStreet ወደ ClickHouse ሄደ.

ይህ 16 ኛ አመት ነው, አስታውሳችኋለሁ. አልቅሰው ራሳቸውን በመርፌ የገቡ አይጦች ግን ቁልቋልን መብላት እንደቀጠሉበት ቀልድ ነበር። እና ይህ በዝርዝር ተብራርቷል, ስለዚህ ጉዳይ ቪዲዮ አለ, ወዘተ.

ስለዚህ, ስለዚህ ጉዳይ በዝርዝር አልናገርም, ስለ ውጤቶቹ እና ስለዚያ ያልተናገርኳቸው ጥቂት አስደሳች ነገሮች ብቻ እናገራለሁ.

ውጤቶቹ የሚከተሉት ናቸው፡-

• ስኬታማ ፍልሰት እና ስርዓቱ ከአንድ አመት በላይ በማምረት ላይ ነው.
• ምርታማነት እና ተለዋዋጭነት ጨምሯል. በቀን ለአጭር ጊዜ ብቻ ማከማቸት ከምንችለው 10 ቢሊዮን መዛግብት፣ ላይፍስትሬት አሁን በቀን 75 ቢሊዮን መዝገቦችን ያከማቻል እና ለ3 ወራት ወይም ከዚያ በላይ ማድረግ ይችላል። ከፍተኛው ላይ ከተቆጠሩ, ይህ በሰከንድ እስከ አንድ ሚሊዮን ክስተቶች ይከማቻል. በየቀኑ ከአንድ ሚሊዮን በላይ የSQL መጠይቆች ወደዚህ ስርዓት ይላካሉ፣ በተለይም ከተለያዩ ሮቦቶች።
• ምንም እንኳን ClickHouse ከVertica ይልቅ ብዙ አገልጋዮችን መጠቀም ቢጀምርም ቁጠባዎች በሃርድዌር ላይ ተደርገዋል ፣ ምክንያቱም ቨርቲካ በጣም ውድ የሆኑ የኤስኤስኤስ ዲስኮች ይጠቀም ነበር። ClickHouse SATA ተጠቅሟል። እና ለምን? ምክንያቱም በ Vertica ውስጥ ማስገባት የተመሳሰለ ነው። እና ማመሳሰል ዲስኮች በጣም እንዳይዘገዩ እና እንዲሁም አውታረ መረቡ ከመጠን በላይ እንዳይዘገይ ይጠይቃል ፣ ማለትም ፣ ውድ የሆነ ኦፕሬሽን። እና በ ClickHouse ማስገቢያ ውስጥ አልተመሳሰልም። በተጨማሪም ፣ ሁሉንም ነገር በአገር ውስጥ ሁል ጊዜ መጻፍ ይችላሉ ፣ ለዚህ ​​ምንም ተጨማሪ ወጪዎች የሉም ፣ ስለሆነም በጣም ፈጣን በሆኑ ዲስኮች ላይ እንኳን ሳይቀር ውሂብ ወደ ClickHouse ከ Vertika በበለጠ ፍጥነት ሊገባ ይችላል። ማንበብም ተመሳሳይ ነው። በ SATA ላይ ማንበብ, በ RAID ውስጥ ከሆኑ, ሁሉም ነገር በፍጥነት በቂ ነው.
• በፍቃድ ያልተገደበ፣ ማለትም በ3 አገልጋዮች ውስጥ 60 ፔታባይት ዳታ (20 አገልጋዮች አንድ ቅጂ ናቸው) እና 6 ትሪሊዮን ሪከርዶች በመረጃዎች እና ድምር። Vertica እንደዚህ አይነት ነገር መግዛት አልቻለችም.

አሁን በዚህ ምሳሌ ውስጥ ወደ ተግባራዊ ነገሮች እየሄድኩ ነው።

• የመጀመሪያው ውጤታማ ዘዴ ነው. ብዙ በእቅዱ ላይ የተመሰረተ ነው.
• ሁለተኛው ውጤታማ SQL በማመንጨት ላይ ነው.

የተለመደ የOLAP መጠይቅ ተመርጧል። አንዳንድ አምዶች በቡድን ሆነው፣ አንዳንድ አምዶች ወደ ድምር ተግባራት ይሄዳሉ። እንደ ኩብ ቁራጭ ሊታሰብ የሚችልበት ቦታ አለ። መላው ቡድን እንደ ትንበያ ተደርጎ ሊወሰድ ይችላል። ለዚህም ነው መልቲቫሪያት ዳታ ትንተና የሚባለው።

እና ብዙውን ጊዜ ይህ በከዋክብት ንድፍ መልክ ተቀርጿል, የዚህ እውነታ ማዕከላዊ እውነታ እና በጎኖቹ ላይ, በጨረራዎች ላይ ባህሪያት ሲኖሩ.

እና ከአካላዊ ንድፍ እይታ አንጻር, በጠረጴዛው ላይ እንዴት እንደሚገጥም, ብዙውን ጊዜ የተለመደው ውክልና ይሠራሉ. መደበኛ ማድረግ ይችላሉ፣ ነገር ግን በዲስክ ላይ ውድ ነው እና በጥያቄዎች ላይ በጣም ውጤታማ አይደለም። ስለዚህ, ብዙውን ጊዜ መደበኛ እይታን ማለትም የእውነታ ሠንጠረዥ እና ብዙ, ብዙ የልኬት ጠረጴዛዎችን ያደርጋሉ.

ግን ይህ በ ClickHouse ውስጥ በደንብ አይሰራም። ሁለት ምክንያቶች አሉ፡-

• የመጀመሪያው ClickHouse በጣም ጥሩ መቀላቀል ስለሌለው ማለትም መቀላቀሎች አሉ ነገርግን መጥፎ ናቸው። እስካሁን ድረስ መጥፎዎች ናቸው.
• ሁለተኛው ሠንጠረዦቹ ያልተዘመኑ ናቸው. ብዙውን ጊዜ በኮከብ ዲያግራም ዙሪያ ባሉት በእነዚህ ምልክቶች ውስጥ አንድ ነገር መለወጥ አለበት። ለምሳሌ, የደንበኛ ስም, የኩባንያ ስም, ወዘተ. እና አይሰራም.

እና በ ClickHouse ውስጥ ከዚህ መውጫ መንገድ አለ። ሁለት እንኳን:

• የመጀመሪያው የመዝገበ ቃላት አጠቃቀም ነው። ውጫዊ መዝገበ-ቃላት 99% ችግሩን በኮከብ እቅድ ፣ በዝማኔዎች እና በመሳሰሉት ለመፍታት የሚረዳው ነው።
• ሁለተኛው የድርድር አጠቃቀም ነው። ድርድሮች መጋጠሚያዎችን እና ከመደበኛነት ጋር የተያያዙ ችግሮችን ለማስወገድ ይረዳሉ.

• መቀላቀል አያስፈልግም።
• ሊዘመን የሚችል። ከማርች 2018 ጀምሮ፣ መዝገበ-ቃላትን በከፊል ለማዘመን ሰነድ የሌለው እድል ታይቷል (ይህን በሰነዱ ውስጥ አያገኙም) ፣ ማለትም የተቀየሩት ግቤቶች። በተግባር, ልክ እንደ ጠረጴዛ ነው.
• ሁል ጊዜ በማህደረ ትውስታ ውስጥ ፣ ስለዚህ ከመዝገበ-ቃላቱ ጋር ይቀላቀላል ፣ በዲስክ ላይ ካለው ጠረጴዛ ይልቅ በፍጥነት ይቀላቀላል እና በመሸጎጫው ውስጥ ያለው እውነታ አይደለም ፣ ምናልባት ላይሆን ይችላል።

• መቀላቀልም አያስፈልግዎትም።
• ይህ የታመቀ 1 ለብዙ ውክልና ነው።
• እና በእኔ አስተያየት, ድርድሮች የተሰሩት ለጂኮች ነው. እነዚህ ላምዳ ተግባራት እና ነገሮች ናቸው.

ይህ ለቃላት አይደለም. ይህ በጣም ቀላል እና በሚያምር ሁኔታ ብዙ ነገሮችን እንዲያደርጉ የሚያስችልዎ በጣም ኃይለኛ ተግባር ነው።

ድርድሮችን ለመፍታት የሚያግዙ የተለመዱ ምሳሌዎች። እነዚህ ምሳሌዎች ቀላል እና ግልጽ ናቸው፡-

• በመለያዎች ይፈልጉ። እዚያ ሃሽታጎች ካሉ እና አንዳንድ ልጥፎችን በሃሽታግ ማግኘት ከፈለጉ።
• በቁልፍ-እሴት ጥንዶች ይፈልጉ። ትርጉም ያላቸው አንዳንድ ባህሪያትም አሉ።
• ወደ ሌላ ነገር ለመተርጎም የሚያስፈልጓቸውን የቁልፍ ዝርዝሮች በማከማቸት ላይ።

እነዚህ ሁሉ ችግሮች ያለ ድርድሮች ሊፈቱ ይችላሉ. መለያዎች በተወሰነ መስመር ላይ ሊቀመጡ እና በመደበኛ አገላለጽ ወይም በተለየ ሠንጠረዥ ውስጥ ሊመረጡ ይችላሉ ፣ ግን ከዚያ መቀላቀል አለብዎት።

ነገር ግን በ ClickHouse ውስጥ ምንም ነገር ማድረግ አያስፈልግዎትም፣ ለሃሽታጎች የሕብረቁምፊ ድርድርን ብቻ ይግለጹ ወይም ለቁልፍ-ዋጋ ሥርዓቶች ጎጆ መዋቅር ይፍጠሩ።

የጎጆ መዋቅር ምርጥ ስም ላይሆን ይችላል። እነዚህ በስም ውስጥ የጋራ ክፍል ያላቸው እና አንዳንድ ተዛማጅ ባህሪያት ያላቸው ሁለት ድርድሮች ናቸው.

እና በመለያ መፈለግ በጣም ቀላል ነው። ተግባር አለ። hasድርድር አንድ ኤለመንት እንደያዘ የሚያረጋግጥ። ሁሉም ሰው፣ ከጉባኤያችን ጋር የሚዛመዱ ሁሉንም ግቤቶች አግኝተናል።

በ subid መፈለግ ትንሽ የተወሳሰበ ነው። በመጀመሪያ የቁልፉን መረጃ ጠቋሚ መፈለግ አለብን, እና ከዚያ በዚህ ኢንዴክስ ኤለመንቱን ወስደን ይህ ዋጋ የሚያስፈልገን መሆኑን ያረጋግጡ. ግን በጣም ቀላል እና የታመቀ።

ለመጻፍ የምትፈልገው መደበኛ አገላለጽ፣ ሁሉንም በአንድ መስመር ካጠራቀምከው፣ በመጀመሪያ፣ ደብዛዛ ይሆናል። እና፣ በሁለተኛ ደረጃ፣ ከሁለት ድርድሮች የበለጠ ረጅም ጊዜ ሰርቷል።

ሌላ ምሳሌ። መታወቂያዎችን የምታከማችበት ድርድር አለህ። እና እነሱን ወደ ስሞች መተርጎም ይችላሉ. ተግባር arrayMap. ይህ የተለመደ ላምዳ ተግባር ነው። የላምዳ መግለጫዎችን እዚያ ታልፋላችሁ። እና የእያንዳንዱን መታወቂያ ስም ዋጋ ከመዝገበ-ቃላቱ ውስጥ አውጥታለች።

በተመሳሳይ መንገድ ፍለጋ ማድረግ ይችላሉ. ተሳቢ ተግባር ተላልፏል፣ ይህም ንጥረ ነገሮቹ ምን እንደሚዛመዱ ያረጋግጣል።

እነዚህ ነገሮች ወረዳውን በእጅጉ ያቃልላሉ እና ብዙ ችግሮችን ይፈታሉ.

ግን ቀጣዩ ችግር ያጋጠመኝ እና ልጠቅስ የምፈልገው ቀልጣፋ መጠይቆች ነው።

• ClickHouse የጥያቄ እቅድ አውጪ የለውም። በፍፁም አይደለም.
• ግን አሁንም ውስብስብ ጥያቄዎችን ማቀድ ያስፈልጋል. በየትኞቹ ሁኔታዎች?
• ጥያቄው ብዙ መጋጠሚያዎች ካሉት በንዑስ ምርጫዎች ውስጥ ይጠቀለላሉ። እና የተከናወኑበት ቅደም ተከተል አስፈላጊ ነው.
• እና በሁለተኛ ደረጃ, ጥያቄው ከተሰራጨ. ምክንያቱም በተከፋፈለ መጠይቅ ውስጥ የውስጣዊው ንኡስ ተመራጮች በተከፋፈለ መልኩ ብቻ ነው የሚፈጸመው፣ እና ሁሉም ነገር እርስዎ ላገናኙት እና እዚያ ለሚሰሩት አገልጋይ ይላካሉ። ስለዚህ፣ ከብዙ መጋጠሚያዎች ጋር መጠይቆችን ካሰራጩ፣ ከዚያ ትዕዛዝ መምረጥ ያስፈልግዎታል።

እና ቀላል በሆኑ ጉዳዮች ላይ እንኳን, አንዳንድ ጊዜ የጊዜ ሰሌዳውን ስራ መስራት እና መጠይቆችን ትንሽ እንደገና መፃፍ ያስፈልግዎታል.

አንድ ምሳሌ እዚህ አለ። በግራ በኩል ከፍተኛ 5 አገሮችን የሚያሳይ መጠይቅ አለ። እና በ 2,5 ሰከንድ ውስጥ ይሰራል, እንደማስበው. እና በቀኝ በኩል ተመሳሳይ ጥያቄ ነው, ነገር ግን በትንሹ እንደገና ተጽፏል. በሕብረቁምፊ ከመመደብ ይልቅ በቁልፍ (int) መቧደን ጀመርን። እና ፈጣን ነው። እና ከዚያ መዝገበ ቃላትን ከውጤቱ ጋር አገናኘን. ከ 2,5 ሰከንድ ይልቅ, ጥያቄው 1,5 ሰከንድ ይወስዳል. ይሄ ጥሩ ነው.

ማጣሪያዎችን እንደገና መጻፍ ጋር ተመሳሳይ ምሳሌ። ለሩሲያ የቀረበ ጥያቄ እዚህ አለ. ለ 5 ሰከንዶች ይሰራል. እንደገና ስንጽፈው ሕብረቁምፊን ሳይሆን ቁጥሮችን ከሩሲያ ጋር በሚዛመዱ አንዳንድ የእነዚያ ቁልፎች ስብስብ ጋር በማነፃፀር እንደገና ከፃፍነው በጣም ፈጣን ይሆናል።

ብዙ እንደዚህ ያሉ ዘዴዎች አሉ። እና አስቀድመው በፍጥነት እየሮጡ ናቸው ብለው የሚያስቧቸውን ጥያቄዎችን በከፍተኛ ሁኔታ እንዲያፋጥኑ ያስችሉዎታል ወይም በተቃራኒው በዝግታ እየሮጡ ናቸው። እንዲያውም በፍጥነት ሊሠሩ ይችላሉ.

• ከፍተኛው ስራ በተከፋፈለ ሁነታ.
• በ ints እንዳደረግኩት በትንሹ ዓይነቶች መደርደር።
• መቀላቀሎች ወይም መዝገበ-ቃላት ካሉ ፣ ከዚያ እነሱን ለመጨረሻ ጊዜ ቢያደርጉት ይሻላል ፣ ቀድሞውንም ውሂቡ ቢያንስ በከፊል ተቧድኖ እያለ ፣ ከዚያ የመቀላቀል ኦፕሬሽኑ ወይም መዝገበ-ቃላቱን መጥራት ያነሰ ጊዜ ይባላል እና ፈጣን ይሆናል።
• ማጣሪያዎችን በመተካት ላይ.

እኔ ያሳየኋቸውን ብቻ ሳይሆን ሌሎች ቴክኒኮችም አሉ። እና ሁሉም አንዳንድ ጊዜ የጥያቄዎችን አፈፃፀም በከፍተኛ ሁኔታ እንዲያፋጥኑ ያስችሉዎታል።

ወደ ቀጣዩ ምሳሌ እንሂድ። ኩባንያ X ከዩኤስኤ. ምን እየሰራች ነው?

አንድ ተግባር ነበር፡-

• የማስታወቂያ ግብይቶችን ከመስመር ውጭ ማገናኘት።
• የተለያዩ አስገዳጅ ሞዴሎችን ማስመሰል.

ሁኔታው ምንድን ነው?

አንድ ተራ ጎብኚ ድረ-ገጹን ይጎበኛል፣ ለምሳሌ በወር 20 ጊዜ ከተለያዩ ማስታወቂያዎች፣ ወይም አንዳንድ ጊዜ ያለ ምንም ማስታወቂያ ይመጣል፣ ምክንያቱም ይህን ጣቢያ ስለሚያስታውሰው። አንዳንድ ምርቶችን ይመለከታል, በቅርጫት ውስጥ ያስቀምጧቸዋል, ከቅርጫቱ ውስጥ ያስወጣቸዋል. እና, በመጨረሻ, አንድ ነገር ይገዛል.

ምክንያታዊ ጥያቄዎች፡ "አስፈላጊ ከሆነ ለማስታወቂያ መክፈል ያለበት ማነው?" እና “ምን ማስታወቂያ፣ ካለ፣ በእሱ ላይ ተጽዕኖ አሳደረበት?” ማለትም፣ ለምንድነው የገዛው እና ከዚህ ሰው ጋር የሚመሳሰሉ ሰዎችም መግዛታቸውን እንዴት ማረጋገጥ እንደሚቻል?

ይህንን ችግር ለመፍታት በድረ-ገጹ ላይ የሚከሰቱትን ክስተቶች በትክክለኛው መንገድ ማገናኘት ያስፈልግዎታል, ማለትም, በሆነ መንገድ በመካከላቸው ግንኙነት ይፍጠሩ. ከዚያም ለመተንተን ወደ DWH ይዛወራሉ. እና በዚህ ትንታኔ ላይ በመመስረት, የትኛውን ማስታወቂያ ለማሳየት ማን ሞዴሎችን ይገንቡ.

የማስታወቂያ ግብይት በማስታወቂያ በመታየት የሚጀምሩ ተዛማጅ የተጠቃሚ ክንውኖች ስብስብ ነው፣ከዚያ የሆነ ነገር ይከሰታል፣ከዚያም ምናልባት ግዢ እና ከዚያም በግዢ ውስጥ ግዢዎች ሊኖሩ ይችላሉ። ለምሳሌ ይህ የሞባይል አፕሊኬሽን ወይም የሞባይል ጨዋታ ከሆነ አብዛኛው ጊዜ አፕሊኬሽኑን መጫን ነፃ ነው ነገር ግን ሌላ ነገር እዚያ ከተሰራ ገንዘብ ሊፈልግ ይችላል። እና አንድ ሰው በመተግበሪያው ውስጥ ባወጣው መጠን የበለጠ ዋጋ ያለው ነው። ግን ለዚህ ሁሉንም ነገር ማገናኘት ያስፈልግዎታል.

ብዙ አስገዳጅ ሞዴሎች አሉ.

በጣም ታዋቂዎቹ የሚከተሉት ናቸው-

• የመጨረሻው መስተጋብር፣ መስተጋብር ወይ ጠቅታ ወይም እንድምታ የሆነበት።
• የመጀመሪያ መስተጋብር, ማለትም አንድን ሰው ወደ ጣቢያው ያመጣው የመጀመሪያው ነገር.
• መስመራዊ ጥምረት - ለሁሉም እኩል ድርሻ።
• መመናመን።
• እናም ይቀጥላል.

እና ሁሉም ነገር መጀመሪያ ላይ እንዴት ነበር የሚሰራው? Runtime እና ካሳንድራ ነበሩ። ካሳንድራ እንደ ግብይት ማከማቻ ያገለግል ነበር፣ ማለትም ሁሉም ተዛማጅ ግብይቶች በውስጡ ተከማችተዋል። እና አንዳንድ ክስተት በ Runtime ውስጥ ሲከሰት ለምሳሌ የገጽ ማሳያ ወይም ሌላ ነገር ለካሳንድራ እንደዚህ ያለ ሰው አለ ወይም አይኑር ጥያቄ ይቀርባል። ከዚያም ከእሱ ጋር የተያያዙ ግብይቶች ተቀበሉ. ማሰሪያውም ተፈጸመ።

እና እድለኛ ከሆኑ ጥያቄው የግብይት መታወቂያ ስላለው ይህ ቀላል ነው። ግን አብዛኛውን ጊዜ ምንም ዕድል የለዎትም. ስለዚህ, የመጨረሻውን ግብይት ወይም ግብይቱን በመጨረሻ ጠቅታ, ወዘተ ማግኘት አስፈላጊ ነበር.

እና ማያያዣው በመጨረሻው ጠቅታ ላይ እስኪሆን ድረስ ሁሉም ነገር በጥሩ ሁኔታ ሠርቷል። ምክንያቱም ለአንድ ወር መስኮት ካዘጋጁ በቀን 10 ሚሊዮን ጠቅታዎች በወር 300 ሚሊዮን አሉ ማለት ነው። እና በካዛንድራ ውስጥ በፍጥነት ለመስራት ሁሉም ነገር በማስታወሻ ውስጥ መሆን አለበት ፣ ምክንያቱም Runtime በፍጥነት ምላሽ ለመስጠት ስለሚፈለግ ፣ በግምት ከ10-15 አገልጋዮች ያስፈልጋሉ።

እና ግብይቱን ከማሳያው ጋር ማገናኘት ሲፈልጉ ወዲያው በጣም አስደሳች ሆኖ አልተገኘም። እና ለምን? 30 እጥፍ ተጨማሪ ክስተቶችን ማከማቸት እንደሚያስፈልግ ማየት ይቻላል. እና, በዚህ መሰረት, 30 እጥፍ ተጨማሪ አገልጋዮች ያስፈልግዎታል. እና ይህ አንዳንድ ዓይነት የስነ ፈለክ ተመራማሪዎች እንደሆኑ ተገለጠ። ማገናኛን ለመስራት እስከ 500 የሚደርሱ አገልጋዮችን ማቆየት ምንም እንኳን በ Runtime ውስጥ በጣም ጥቂት አገልጋዮች ቢኖሩም፣ አንዳንድ የተሳሳተ አሃዝ ነው። እና ምን ማድረግ እንዳለባቸው ማሰብ ጀመሩ.

እና ወደ ClickHouse ሄድን. ይህንን በ ClickHouse ላይ እንዴት ማድረግ እንደሚቻል? በቅድመ-እይታ, ይህ የፀረ-ፓተርን ስብስብ ይመስላል.

• ግብይቱ እያደገ ነው፣ ብዙ እና ተጨማሪ ክስተቶችን ከእሱ ጋር እያያያዝን ነው፣ ማለትም ተለዋዋጭ ነው፣ እና ClickHouse ከሚለዋወጡ ነገሮች ጋር በደንብ አይሰራም።
• አንድ ጎብኚ ወደ እኛ ሲመጣ፣ የግብይቱን ግብይቶች በቁልፍ፣ በጉብኝት መታወቂያው ሰርስሮ ማውጣት አለብን። ይህ የነጥብ መጠይቅ ነው፣ ClickHouse ይህን አያደርግም። ብዙውን ጊዜ ClickHouse ትልቅ…ስካን አለው፣ ግን እዚህ ብዙ መዝገቦችን ማግኘት አለብን። እንዲሁም ፀረ-ንድፍ.
• በተጨማሪም, ግብይቱ በ json ውስጥ ነበር, ነገር ግን እንደገና ለመጻፍ አልፈለጉም, ስለዚህ jsonን ያልተዋቀረ ማከማቸት ፈለጉ, አስፈላጊ ከሆነ, ከእሱ ውስጥ የሆነ ነገር ይጎትቱ. እና ይህ ደግሞ ፀረ-ንድፍ ነው.

ማለትም የፀረ-ፓተርን ስብስብ።

ሆኖም ግን በጣም ጥሩ የሚሰራ ስርዓት መፍጠር ችለናል።

ምን ተደረገ? ClickHouse ታየ፣ ወደ መዝገቦች የተከፋፈሉ ምዝግብ ማስታወሻዎች ተጣሉ። ከ ClickHouse ምዝግብ ማስታወሻዎችን የተቀበለ አገልግሎት የተሰጠው አገልግሎት ታየ። ከዚያ በኋላ፣ ለእያንዳንዱ መግቢያ በጉብኝት መታወቂያ፣ ገና ያልተሰሩ ግብይቶችን እና እንዲሁም ቅጽበተ-ፎቶዎችን፣ ማለትም ቀደም ሲል የተገናኙ ግብይቶች ማለትም የቀድሞ ስራ ውጤት ደርሰኛል። አስቀድሜ አመክንዮ አውጥቻለሁ፣ ትክክለኛውን ግብይት መርጫለሁ እና አዲስ ክስተቶችን አገናኘሁ። በድጋሚ አስገብቶታል። ምዝግብ ማስታወሻው ወደ ClickHouse ተመልሷል፣ ማለትም የማያቋርጥ ዑደት ስርዓት ነው። እና በተጨማሪ፣ እዚያ ለመተንተን ወደ DWH ሄጄ ነበር።

በዚህ ቅጽ ላይ በደንብ አልሰራም። እና ለ ClickHouse ቀላል ለማድረግ፣ የጉብኝት መታወቂያ ጥያቄ በቀረበ ጊዜ፣ እነዚህን ጥያቄዎች ከ1-000 የጉብኝት መታወቂያዎች ብሎኮች ሰብስበው ለ2-000 ሰዎች ሁሉንም ግብይቶች አውጥተዋል። እና ከዚያ ሁሉም ነገር ሠርቷል.

በ ClickHouse ውስጥ ከተመለከቱ፣ ይህንን ሁሉ የሚያገለግሉ 3 ዋና ጠረጴዛዎች ብቻ አሉ።

ምዝግብ ማስታወሻዎች የሚሰቀሉበት የመጀመሪያው ሠንጠረዥ እና ምዝግብ ማስታወሻዎቹ ምንም ሂደት ሳይኖራቸው የተጫኑ ናቸው።

ሁለተኛ ጠረጴዛ. በተጨባጭ እይታ, ገና ያልተገለጹ ክስተቶች, ማለትም, ተያያዥነት የሌላቸው, ከእነዚህ ምዝግብ ማስታወሻዎች ውስጥ ተወስደዋል. እና በተጨባጭ እይታ፣ ቅጽበታዊ ገጽ እይታ ለመገንባት ግብይቶች ከእነዚህ ምዝግብ ማስታወሻዎች ተጎትተዋል። ያም ማለት፣ የግብይቱ የመጨረሻ የተከማቸ ሁኔታ በልዩ ቁስ እይታ፣ ቅጽበታዊ እይታ ተፈጥሯል።

እዚህ ጽሑፉ በ SQL ውስጥ ተጽፏል. በእሱ ውስጥ በበርካታ አስፈላጊ ነገሮች ላይ አስተያየት መስጠት እፈልጋለሁ.

የመጀመሪያው አስፈላጊ ነገር በ ClickHouse ውስጥ ዓምዶችን እና መስኮችን ከ json የማውጣት ችሎታ ነው። ማለትም፣ ClickHouse ከ json ጋር ለመስራት አንዳንድ ዘዴዎች አሉት። በጣም በጣም ጥንታዊ ናቸው.

visitParamExtractInt ባህሪያትን ከ json እንዲያወጡ ይፈቅድልዎታል፣ ማለትም የመጀመሪያው ምት ተቀስቅሷል። እና በዚህ መንገድ የግብይት መታወቂያውን ማውጣት ወይም መታወቂያ መጎብኘት ይችላሉ። በዚህ ጊዜ.

በሁለተኛ ደረጃ፣ ተንኮለኛ ቁሳዊ የሆነ መስክ እዚህ ጥቅም ላይ ይውላል። ምን ማለት ነው? ይህ ማለት ወደ ጠረጴዛው ውስጥ ማስገባት አይችሉም, ማለትም አልገባም, ሲሰላ እና ሲገባ ይከማቻል. በሚያስገቡበት ጊዜ, ClickHouse ለእርስዎ ስራ ይሰራል. እና በኋላ የሚያስፈልግዎ ነገር ከ json ነቅቷል.

በዚህ ሁኔታ, ቁሳዊ እይታ ለጥሬ ሕብረቁምፊዎች ነው. እና የመጀመሪያው ጠረጴዛ ከሞላ ጎደል ጥሬ ምዝግብ ማስታወሻዎች ጋር ጥቅም ላይ ይውላል. እና ምን ያደርጋል? በመጀመሪያ ደረጃ, መደርደርን ይለውጣል, ማለትም, ምደባው አሁን በጉብኝት መታወቂያ ይከናወናል, ምክንያቱም የእሱን ግብይት ለአንድ የተወሰነ ሰው በፍጥነት ማውጣት አለብን.

ሁለተኛው አስፈላጊ ነገር index_granularity ነው. MergeTreeን ካዩት፣ አብዛኛው ጊዜ ነባሪው ዋጋ 8 index_granularity ነው። ምንድን ነው? ይህ የመረጃ ጠቋሚው sparsity መለኪያ ነው። በ ClickHouse ውስጥ፣ መረጃ ጠቋሚው ትንሽ ነው፣ እያንዳንዱን መዝገብ በጭራሽ አይጠቁም። ይህንን በየ 192 ያደርገዋል.እና ብዙ መረጃዎችን ማስላት ሲያስፈልግ ይህ ጥሩ ነው, ነገር ግን ትንሽ ማስላት ሲያስፈልግ መጥፎ ነው, ምክንያቱም ብዙ ትርፍ አለ. እና የኢንዴክስ ጥራጥሬን ከቀነስን, ከዚያም ከመጠን በላይ እንቀንሳለን. ወደ አንድ መቀነስ አይችሉም, ምክንያቱም በቂ ማህደረ ትውስታ ላይኖር ይችላል. መረጃ ጠቋሚው ሁልጊዜ በማህደረ ትውስታ ውስጥ ይከማቻል.

እና ቅጽበተ-ፎቶው አንዳንድ ሌሎች አስደሳች የ ClickHouse ተግባራትን ይጠቀማል።

መጀመሪያ AggregatingMergeTree ነው። እና AggregatingMergeTree argMax ያከማቻል፣ ማለትም ይህ ከመጨረሻው የጊዜ ማህተም ጋር የሚዛመድ የግብይት ሁኔታ ነው። ለዚህ ጎብኚ ሁልጊዜ አዲስ ግብይቶች ይፈጠራሉ። እና በዚህ ግብይት በመጨረሻው ሁኔታ፣ አንድ ክስተት ጨምረናል እና አዲስ ግዛት ነበረን። እንደገና ClickHouseን መታው። እና በዚህ ተጨባጭ እይታ በ argMax በኩል ሁል ጊዜ የአሁኑን ሁኔታ ማግኘት እንችላለን።

• ማሰር ከ Runtime "ያልተገናኘ" ነው።
• በወር እስከ 3 ቢሊዮን የሚደርሱ ግብይቶች ተከማችተው ይከናወናሉ። ይህ ከካሳንድራ የበለጠ መጠን ያለው ቅደም ተከተል ነው, ማለትም, በተለመደው የግብይት ስርዓት.
• የ2x5 ClickHouse አገልጋዮች ስብስብ። 5 አገልጋዮች እና እያንዳንዱ አገልጋይ ቅጂ አለው። ጠቅ ላይ የተመሰረተ ባህሪን ለመስራት ይህ በካሳንድራ ውስጥ ከነበረው ያነሰ ቢሆንም እዚህ ላይ ግን ግንዛቤ አለን። ማለትም የአገልጋዮቹን ቁጥር በ30 ጊዜ ከመጨመር ይልቅ ቀንሰዋል።

እና የመጨረሻው ምሳሌ የፋይናንሺያል ኩባንያ Y ነው, እሱም በአክሲዮን ዋጋዎች ላይ የተደረጉ ለውጦችን ተያያዥነት ተንትኗል.

እና ተግባሩ ይህ ነበር-

• ወደ 5 የሚጠጉ አክሲዮኖች አሉ።
• በየ100 ሚሊሰከንድ ጥቅሶች ይታወቃሉ።
• መረጃው ከ 10 ዓመታት በላይ ተከማችቷል. በግልጽ ለማየት እንደሚቻለው, ለአንዳንድ ኩባንያዎች የበለጠ ነው, ለአንዳንዶቹ ደግሞ ያነሰ ነው.
• በጠቅላላው ወደ 100 ቢሊዮን ረድፎች አሉ.

እና የለውጦችን ትስስር ማስላት አስፈላጊ ነበር.

እዚህ ሁለት አክሲዮኖች እና ጥቅሶቻቸው አሉ። አንዱ ወደ ላይ እና ሌላው ወደ ላይ ከወጣ, ይህ አዎንታዊ ትስስር ነው, ማለትም አንዱ ወደ ላይ እና ሌላው ወደ ላይ ይወጣል. አንዱ ወደ ላይ ቢወጣ, በግራፉ መጨረሻ ላይ, እና ሌላኛው ወደ ታች ሲወርድ, ይህ አሉታዊ ግንኙነት ነው, ማለትም አንዱ ወደ ላይ ሲወጣ, ሌላኛው ደግሞ ይወርዳል.

እነዚህን የጋራ ለውጦች በመተንተን አንድ ሰው በፋይናንሺያል ገበያ ላይ ትንበያዎችን ማድረግ ይችላል.

ግን ተግባሩ ከባድ ነው። ለዚህ ምን እየተደረገ ነው? ጊዜ፣ አክሲዮን እና ዋጋ የያዙ 100 ቢሊዮን መዝገቦች አሉን። ከዋጋው ስልተ ቀመር ልዩነት በመጀመሪያ 100 ቢሊዮን እጥፍ ማስላት አለብን። RunningDifference በ ClickHouse ውስጥ በሁለት መስመሮች መካከል ያለውን ልዩነት በቅደም ተከተል የሚያሰላ ተግባር ነው።

እና ከዚያ በኋላ ግንኙነቱን ማስላት ያስፈልገናል, እና ቁርኝቱ ለእያንዳንዱ ጥንድ ማስላት አለበት. ለ 5 አክሲዮኖች, ጥንዶቹ 000 ሚሊዮን ናቸው. እና ይሄ በጣም ብዙ ነው, ማለትም 12,5 ጊዜ ይህንን የግንኙነት ተግባር ማስላት ያስፈልግዎታል.

እና ማንም የረሳው ከሆነ፣ ͞x እና ͞y ቼኮች ናቸው። ናሙና መጠበቅ. ያም ማለት ሥሮቹን እና ድምርን ብቻ ሳይሆን በእነዚህ ድምሮች ውስጥ ያሉ ሌሎች ድምሮችንም ማስላት ያስፈልግዎታል. ብዙ እና ብዙ ስሌቶች 12,5 ሚሊዮን ጊዜዎች መደረግ አለባቸው, እና በሰዓት መመደብ አለባቸው. እና እኛ ደግሞ ብዙ ሰዓታት አሉን። እና በ 60 ሰከንድ ውስጥ ማድረግ አለብዎት. ቀልድ ነው.

ክሊክሃውስ ከመድረሱ በፊት ሁሉም በጣም እና በጣም በዝግታ ስለሰሩ በሆነ መንገድ ማድረግ ነበረብን።

ይህንን በሃዱፕ፣ በስፓርክ፣ በግሪንፕለም ላይ ለማስላት ሞክረዋል። እና ይህ ሁሉ በጣም ቀርፋፋ ወይም ውድ ነበር። ያም ማለት በሆነ መንገድ ማስላት ይቻል ነበር, ግን ከዚያ ውድ ነበር.

እና ከዚያ ClickHouse መጣ እና ሁሉም ነገር በጣም የተሻለ ሆነ።

በመረጃ አካባቢ ላይ ችግር እንዳለብን ላስታውስህ፣ ስለዚህ ትስስሮች አካባቢያዊ ሊሆኑ አይችሉም። የተወሰነ ዳታ ወደ አንድ አገልጋይ ፣አንዳንዱን ወደ ሌላ እና ማስላት አንችልም ፣ ሁሉንም ውሂብ በየቦታው ሊኖረን ይገባል።

ምን አደረጉ? መጀመሪያ ላይ መረጃው የተተረጎመ ነው. እያንዳንዱ አገልጋይ ለተወሰነ የአክሲዮን ስብስብ የዋጋ መረጃን ያከማቻል። እና አይገናኙም። ስለዚህ ፣ LogReturn በትይዩ እና በተናጥል ማስላት ይቻላል ፣ ይህ ሁሉ የሚከናወነው በትይዩ እና በተሰራጨ ነው።

ከዚያም ገላጭነትን ሳናጠፋ ይህን ውሂብ ለመቀነስ ወሰንን. ድርድሮችን በመጠቀም ይቀንሱ፣ ማለትም ለእያንዳንዱ ክፍለ ጊዜ የአክሲዮን ድርድር እና የዋጋ ድርድር ያድርጉ። ስለዚህ በጣም ያነሰ የውሂብ ቦታ ይወስዳል. እና ከእነሱ ጋር ለመስራት በተወሰነ ደረጃ ምቹ ናቸው። እነዚህ ከሞላ ጎደል ትይዩ ኦፕሬሽኖች ናቸው፣ ማለትም በከፊል በትይዩ እንቆጥራለን ከዚያም ወደ አገልጋዩ እንጽፋለን።

ይህ ከዚያ ሊደገም ይችላል. "r" የሚለው ፊደል ይህን ውሂብ ደጋግመናል ማለት ነው. ማለትም በሶስቱም አገልጋዮች ላይ አንድ አይነት ዳታ አለን - እነዚህ ድርድሮች ናቸው።

እና ከዚያ ልዩ ስክሪፕት በመጠቀም ከዚህ የ 12,5 ሚሊዮን ማዛመጃዎች ስብስብ መቁጠር የሚያስፈልጋቸው ጥቅሎችን ማዘጋጀት ይችላሉ. ማለትም 2 ተግባራት ከ500 ጥንድ ቁርኝቶች ጋር። እና ይህ ተግባር በአንድ የተወሰነ የ ClickHouse አገልጋይ ላይ መቆጠር አለበት. እሱ ሁሉንም ውሂብ አለው ምክንያቱም ውሂቡ ተመሳሳይ ስለሆነ እና እሱ በቅደም ተከተል ማስላት ይችላል።

እንደገና ምን እንደሚመስል እነሆ። በመጀመሪያ, ሁሉም መረጃዎች በሚከተለው መዋቅር ውስጥ አሉን: ጊዜ, ማጋራቶች, ዋጋ. ከዚያም LogReturnን አስልተናል፣ ማለትም የተመሳሳይ መዋቅር ውሂብ፣ በዋጋ ምትክ ብቻ logReturn አለን ። ከዚያ እንደገና ተስተካክለዋል፣ ማለትም ጊዜ እና የቡድን አራራይ በማስተዋወቂያዎች እና የዋጋ ዝርዝሮች አግኝተናል። ተደግሟል። እና ከዚያ በኋላ፣ ብዙ ስራዎችን ፈጥረው እንዲቆጥራቸው ወደ ClickHouse መግቧቸዋል። እና ይሰራል።

በፅንሰ-ሃሳቡ ማረጋገጫ, ተግባሩ ንዑስ ተግባር ነበር, ማለትም ያነሰ ውሂብ ወስደዋል. እና በሶስት አገልጋዮች ላይ ብቻ.

እነዚህ የመጀመሪያዎቹ ሁለት ደረጃዎች፡ Log_returnን በማስላት እና በድርድር መጠቅለል እያንዳንዳቸው አንድ ሰዓት ያህል ወስደዋል።

እና ግንኙነቱን ማስላት 50 ሰአታት ያህል ይወስዳል። ግን 50 ሰአታት በቂ አይደለም, ምክንያቱም ቀደም ሲል ለሳምንታት ይሠራባቸው ነበር. ትልቅ ስኬት ነበር። እና ከተቆጠሩ, በዚህ ክላስተር ላይ ሁሉም ነገር በሰከንድ 70 ጊዜ ተቆጥሯል.

ነገር ግን በጣም አስፈላጊው ነገር ይህ ስርዓት ምንም አይነት ማነቆዎች የሉትም ማለትም በመስመራዊ ደረጃ የሚለካ መሆኑ ነው። እና ፈትሸው. በተሳካ ሁኔታ እንዲመዘን ተደርጓል።

• ትክክለኛው እቅድ የስኬት ግማሽ ነው. እና ትክክለኛው እቅድ ሁሉንም አስፈላጊ የ ClickHouse ቴክኖሎጂዎችን መጠቀም ነው.
• ማጠቃለያ/ማሰባሰብ ሜጌትሬስ የግዛት ቅጽበታዊ ገጽ እይታን እንደ ልዩ ጉዳይ ለመደመር ወይም ለመቁጠር የሚያስችልዎ ቴክኖሎጂዎች ናቸው። እና ይህ ብዙ ነገሮችን በእጅጉ ያቃልላል።
• ቁሳዊ እይታዎች የአንድ-ኢንዴክስ ውስንነት ላይ እንድትደርሱ ያስችሉሃል። ምናልባት ይህንን በግልፅ አልተናገርኩም ፣ ግን ምዝግብ ማስታወሻዎቹን ስንጭን ፣ ጥሬ ምዝግብ ማስታወሻዎቹ አንድ ኢንዴክስ ባለው ሠንጠረዥ ውስጥ ነበሩ ፣ እና በባህሪው ምዝግብ ማስታወሻዎቹ በሰንጠረዡ ውስጥ ነበሩ ፣ ማለትም ተመሳሳይ ውሂብ ፣ ተጣርቶ ብቻ ነው ፣ ግን ኢንዴክስ ነበር ። ሙሉ በሙሉ ለሌሎች. እሱ ተመሳሳይ ውሂብ ይመስላል ፣ ግን የተለየ መደርደር። እና ቁሳዊ እይታዎች ከፈለጉ ይህንን የ ClickHouse ገደብ እንዲያልፉ ያስችልዎታል።
• ለነጥብ መጠይቆች የመረጃ ጠቋሚ ቅንጣትን ይቀንሱ።
• እና መረጃን በዘዴ ያሰራጩ፣ በተቻለ መጠን በአገልጋዩ ውስጥ ያለውን ውሂብ አካባቢያዊ ለማድረግ ይሞክሩ። እና ጥያቄዎች በተቻለ መጠን የትርጉም መጠቀማቸውን ለማረጋገጥ ይሞክሩ።

እና ይህን አጭር ንግግር ለማጠቃለል፣ አሁን ClickHouse ሁለቱንም የንግድ ዳታቤዝ እና የክፍት ምንጭ የውሂብ ጎታዎችን ማለትም በተለይም ለትንታኔ አጥብቆ ይይዛል ማለት እንችላለን። እሱ ወደዚህ የመሬት ገጽታ በትክክል ይስማማል። እና የበለጠ፣ ሌሎችን ማፈናቀል ቀስ በቀስ እየጀመረ ነው፣ ምክንያቱም ClickHouse እዚያ ሲኖር፣ InfiniDB አያስፈልግዎትም። መደበኛ የSQL ድጋፍ ከሰጡ አቀባዊ በቅርቡ ላያስፈልግ ይችላል። ተጠቀምበት!

-ለሪፖርቱ እናመሰግናለን! በጣም አስገራሚ! ከ Apache Phoenix ጋር ምንም ንጽጽሮች ነበሩ?

- አይ፣ ማንም ሲወዳደር ሰምቼ አላውቅም። እኛ እና Yandex ሁሉንም የ ClickHouse ንፅፅር ከተለያዩ የውሂብ ጎታዎች ጋር ለመከታተል እንሞክራለን። ምክንያቱም በድንገት አንድ ነገር ከ ClickHouse ፈጣን ሆኖ ከተገኘ ሌሻ ሚሎቪዶቭ በሌሊት መተኛት ስለማይችል በፍጥነት ማፋጠን ይጀምራል። ስለ እንደዚህ ዓይነት ንጽጽር አልሰማሁም.

• (አሌክሲ ሚሎቪዶቭ) Apache Phoenix በ Hbase ላይ የተመሠረተ የ SQL ሞተር ነው። Hbase በዋነኝነት የተነደፈው ለቁልፍ-እሴት ዓይነት የሥራ ሁኔታ ነው። እዚያ፣ እያንዳንዱ መስመር የዘፈቀደ ስም ያላቸው የአምዶች የዘፈቀደ ቁጥር ሊኖረው ይችላል። ይህ እንደ Hbase እና Cassandra ባሉ ስርዓቶች ላይ ሊባል ይችላል. እና በትክክል ለእነሱ የማይሰራ ከባድ የትንታኔ መጠይቆች ነው። ወይም በ ClickHouse ምንም አይነት ልምድ ከሌለዎት ጥሩ ይሰራሉ ​​ብለው ሊያስቡ ይችላሉ።

• Спасибо

  • እንደምን አረፈድክ እኔ በዚህ ርዕስ ላይ በጣም ፍላጎት አለኝ ፣ ምክንያቱም የትንታኔ ንዑስ ስርዓት አለኝ። ነገር ግን ClickHouseን ስመለከት ClickHouse ለክስተት ትንተና በጣም ተስማሚ ነው፣ ሊለዋወጥ የሚችል ነው የሚል ስሜት ይሰማኛል። እና ብዙ የንግድ ስራ መረጃዎችን ከብዙ ትላልቅ ጠረጴዛዎች ጋር መተንተን ካስፈለገኝ ClickHouse እኔ እስከገባኝ ድረስ ለእኔ በጣም ተስማሚ አይደለም? በተለይም ከተቀየሩ. ይህ ትክክል ነው ወይንስ ይህንን ሊያስተባብሉ የሚችሉ ምሳሌዎች አሉ?

  • ይህ ትክክል ነው። እና ይህ ስለ አብዛኛዎቹ ልዩ የትንታኔ የውሂብ ጎታዎች እውነት ነው። ተለዋዋጭ የሆኑ አንድ ወይም ብዙ ትላልቅ ጠረጴዛዎች መኖራቸውን እና ብዙ ትንንሾችን ቀስ ብለው ስለሚቀይሩ ተስተካክለዋል. ማለትም፣ ClickHouse ልክ እንደ Oracle አይደለም፣ ሁሉንም ነገር ማስቀመጥ እና አንዳንድ በጣም ውስብስብ ጥያቄዎችን መገንባት ይችላሉ። ClickHouseን ውጤታማ በሆነ መንገድ ለመጠቀም፣ በ ClickHouse ውስጥ በደንብ በሚሰራ መንገድ እቅዱን መገንባት ያስፈልግዎታል። ያም ማለት ከመጠን በላይ መደበኛነትን ያስወግዱ, መዝገበ ቃላትን ይጠቀሙ, ያነሱ ረጅም ግንኙነቶችን ለማድረግ ይሞክሩ. እና እቅዱ በዚህ መንገድ ከተገነባ ፣ ከዚያ ተመሳሳይ የንግድ ችግሮች ከባህላዊ የግንኙነት ዳታቤዝ የበለጠ በብቃት በ ClickHouse ላይ መፍታት ይችላሉ።

ለሪፖርቱ እናመሰግናለን! ስለ የቅርብ ጊዜ የፋይናንስ ጉዳይ ጥያቄ አለኝ። ትንታኔ ነበራቸው። እንዴት ወደ ላይ እና ወደ ታች እንደሚወጡ ማወዳደር አስፈላጊ ነበር. እና ስርዓቱን ለዚህ ትንታኔ በተለይ እንደገነቡ ተረድቻለሁ? ነገ ከሆነ, እንበል, በዚህ ውሂብ ላይ ሌላ ሪፖርት ያስፈልጋቸዋል, ስዕሉን እንደገና መገንባት እና ውሂቡን መጫን አለባቸው? ማለትም፣ ጥያቄውን ለመቀበል አንዳንድ ቅድመ ሂደቶችን ያደርጋሉ?

በእርግጥ ይህ ClickHouseን ለአንድ የተለየ ተግባር እየተጠቀመ ነው። በሃዱፕ ውስጥ በባህላዊ መንገድ ሊፈታ ይችላል። ለሃዱፕ ይህ ተስማሚ ተግባር ነው። በሃዱፕ ላይ ግን በጣም ቀርፋፋ ነው። እና ግቤ ClickHouse አብዛኛውን ጊዜ ሙሉ ለሙሉ በተለያየ መንገድ የሚፈቱ ችግሮችን መፍታት እንደሚችል ማሳየት ነው፣ ግን በተመሳሳይ ጊዜ የበለጠ በብቃት እንዲሰሩት ነው። ይህ ለአንድ የተወሰነ ተግባር የተዘጋጀ ነው። በተወሰነ ደረጃ ተመሳሳይ የሆነ ችግር ካለ, በተመሳሳይ መንገድ ሊፈታ እንደሚችል ግልጽ ነው.

ግልጽ ነው። ለማስኬድ 50 ሰአታት እንደፈጀ ተናግረሃል። ውሂቡን ሲጭኑ ወይም ውጤቱን ሲቀበሉ ገና ከመጀመሪያው ጀምሮ ነው?

አዎ አዎ.

እሺ በጣም አመሰግናለሁ።

ይህ በ3 የአገልጋይ ክላስተር ላይ ነው።

ሰላምታ! ለሪፖርቱ እናመሰግናለን! ሁሉም ነገር በጣም አስደሳች ነው. ስለ ተግባራዊነት ትንሽ እየጠየቅኩ አይደለም፣ ነገር ግን ClickHouseን ከመረጋጋት እይታ አንጻር ስለመጠቀም ነው። ያም ማለት ምንም አይነት ችግር አጋጥሞህ ነበር እና እነሱን መመለስ ነበረብህ? ClickHouse እንዴት ነው የሚያሳየው? እና የእርስዎ ቅጂ እንዲሁ ተሰናክሏል? ለምሳሌ፣ ClickHouse ከገደቡ በላይ ሄዶ ሲወድቅ ችግር አጋጥሞናል።

እርግጥ ነው, ምንም ተስማሚ ስርዓቶች የሉም. እና ClickHouse እንዲሁ ችግሮች አሉት። ግን ስለ Yandex.Metrica ለረጅም ጊዜ እንደማይሰራ ሰምተሃል? ምናልባት አይደለም. ከ2012-2013 በ ClickHouse ላይ በአስተማማኝ ሁኔታ እየሰራ ነው። ስለ ልምዴም እንዲሁ ማለት እችላለሁ። ፍጹም ውድቀቶች አጋጥሞን አያውቅም። አንዳንድ ከፊል ነገሮች ሊከሰቱ ይችላሉ፣ ነገር ግን ንግዱን በቁም ነገር ለመንካት ወሳኝ አልነበሩም። ይህ ከዚህ በፊት ሆኖ አያውቅም። ClickHouse በጣም አስተማማኝ ነው እና በዘፈቀደ አይወድቅም። ስለ እሱ መጨነቅ አያስፈልግዎትም። ጥሬ ነገር አይደለም። ይህ በብዙ ኩባንያዎች ተረጋግጧል.

ሀሎ! ስለ ዳታ ፕላኑ ወዲያውኑ በጥንቃቄ ማሰብ እንዳለብዎት ተናግረሃል። ይህ ቢከሰትስ? የእኔ ውሂብ ወደ ውስጥ እና ወደ ውጭ እየፈሰሰ ነው። ስድስት ወራት አለፉ, እና እንደዚህ መኖር እንደማልችል ተረድቻለሁ, ውሂቡን እንደገና መጫን እና አንድ ነገር ማድረግ አለብኝ.

ይህ በእርግጥ በእርስዎ ስርዓት ላይ የተመሰረተ ነው. ያለማቋረጥ ለማለት ብዙ መንገዶች አሉ። ለምሳሌ፣ በተለየ ሁኔታ ካርታ ሊሰራ የሚችል ከሆነ የተለየ የውሂብ መዋቅር መፍጠር የምትችልበት ቁሳዊ እይታ መፍጠር ትችላለህ። ማለትም ClickHouseን በመጠቀም ካርታ መስራትን የሚፈቅድ ከሆነ፣ ማለትም አንዳንድ ነገሮችን ማውጣት፣ ዋናውን ቁልፍ መቀየር፣ ክፍልፍልን መቀየር፣ ከዚያም Materialized View መስራት ይችላሉ። እዚያ አሮጌው ውሂብዎ እንደገና ይጻፋል, አዲሶቹ በራስ-ሰር ይጻፋሉ. እና ከዚያ ወደ Materialized View ብቻ ይቀይሩ፣ ከዚያ መዝገቡን ይቀይሩ እና የድሮውን ጠረጴዛ ይገድሉት። ይህ በአጠቃላይ የማያቋርጥ መንገድ ነው.

እናመሰግናለን.

ምንጭ: hab.com