Thanos - Prometheus ដែលអាចធ្វើមាត្រដ្ឋានបាន។

ការបកប្រែអត្ថបទត្រូវបានរៀបចំជាពិសេសសម្រាប់សិស្សនៃវគ្គសិក្សា "ការអនុវត្ត និងឧបករណ៍ DevOps".

Fabian Reinartz ជាអ្នកបង្កើតកម្មវិធី Go fanatic និងជាអ្នកដោះស្រាយបញ្ហា។ គាត់ក៏ជាអ្នកថែទាំ Prometheus និងជាសហស្ថាបនិកនៃឧបករណ៍ Kubernetes SIG ផងដែរ។ កាលពីមុនគាត់គឺជាវិស្វករផលិតកម្មនៅ SoundCloud ហើយបានដឹកនាំក្រុមត្រួតពិនិត្យនៅ CoreOS ។ បច្ចុប្បន្នធ្វើការនៅ Google ។

Bartek Plotka - Infrastructure Engineer at Improbable។ គាត់ចាប់អារម្មណ៍នឹងបច្ចេកវិទ្យាថ្មី និងបញ្ហានៃប្រព័ន្ធចែកចាយ។ គាត់មានបទពិសោធន៍សរសេរកម្មវិធីកម្រិតទាបនៅ Intel បទពិសោធន៍អ្នករួមចំណែកនៅ Mesos និងបទពិសោធន៍ផលិតកម្ម SRE លំដាប់ពិភពលោកនៅ Improbable ។ ឧទ្ទិសដល់ការកែលម្អពិភពលោកនៃសេវាកម្មមីក្រូ។ ស្នេហាបីរបស់គាត់គឺ Golang ប្រភពបើកចំហ និងបាល់ទះ។

ដោយក្រឡេកមើលផលិតផលដ៏ល្បីរបស់យើង SpatialOS អ្នកអាចទាយបានថា Improbable ត្រូវការហេដ្ឋារចនាសម្ព័ន្ធពពកដែលមានថាមពលខ្លាំង និងជាសកលជាមួយនឹងចង្កោម Kubernetes រាប់សិប។ យើងជាអ្នកដំបូងគេដែលប្រើប្រព័ន្ធត្រួតពិនិត្យ Prometheus. Prometheus មានសមត្ថភាពតាមដានរាប់លានម៉ែត្រក្នុងពេលវេលាជាក់ស្តែង និងភ្ជាប់មកជាមួយភាសាសំណួរដ៏មានឥទ្ធិពលដែលអនុញ្ញាតឱ្យអ្នកទាញយកព័ត៌មានដែលអ្នកត្រូវការ។

ភាពសាមញ្ញនិងភាពជឿជាក់នៃ Prometheus គឺជាគុណសម្បត្តិចម្បងរបស់វា។ ទោះយ៉ាងណាក៏ដោយ នៅពេលដែលយើងឆ្លងកាត់មាត្រដ្ឋានជាក់លាក់មួយ យើងបានជួបប្រទះនូវគុណវិបត្តិជាច្រើន។ ដើម្បីដោះស្រាយបញ្ហាទាំងនេះយើងបានបង្កើត ថាន់ គឺជាគម្រោងប្រភពបើកចំហដែលបង្កើតឡើងដោយ Improbable ដើម្បីបំប្លែងចង្កោម Prometheus ដែលមានស្រាប់ទៅជាប្រព័ន្ធត្រួតពិនិត្យតែមួយជាមួយនឹងការផ្ទុកទិន្នន័យប្រវត្តិសាស្ត្រគ្មានដែនកំណត់។ Thanos មាននៅលើ Github នៅទីនេះ.

ទទួលបានព័ត៌មានថ្មីៗពី Improbable ។

គោលដៅរបស់យើងជាមួយ Thanos

ក្នុងកម្រិតជាក់លាក់មួយ បញ្ហាកើតឡើងដែលហួសពីសមត្ថភាពរបស់ vanilla Prometheus ។ តើធ្វើដូចម្តេចដើម្បីទុក petabytes នៃទិន្នន័យប្រវត្តិសាស្រ្តប្រកបដោយភាពជឿជាក់ និងសន្សំសំចៃ? តើ​វា​អាច​ធ្វើ​ទៅ​បាន​ដោយ​មិន​ចុះ​សម្រុង​នឹង​ពេល​វេលា​ឆ្លើយ​តប​ទេ? តើវាអាចទៅរួចទេក្នុងការចូលប្រើរង្វាស់ទាំងអស់ដែលមាននៅលើម៉ាស៊ីនមេ Prometheus ផ្សេងៗគ្នាជាមួយនឹងសំណើ API តែមួយ? តើមានវិធីណាមួយដើម្បីបញ្ចូលគ្នានូវទិន្នន័យចម្លងដែលប្រមូលបានដោយប្រើ Prometheus HA ដែរឬទេ?

ដើម្បីដោះស្រាយបញ្ហាទាំងនេះ យើងបានបង្កើត Thanos ។ ផ្នែកខាងក្រោមពិពណ៌នាអំពីរបៀបដែលយើងចូលទៅជិតបញ្ហាទាំងនេះ និងពន្យល់ពីគោលដៅរបស់យើង។

ការសាកសួរទិន្នន័យពីវត្ថុ Prometheus ច្រើន (សំណួរសកល)

Prometheus ផ្តល់នូវវិធីសាស្រ្តមុខងារមួយក្នុងការ sharding ។ សូម្បីតែម៉ាស៊ីនមេ Prometheus តែមួយផ្តល់នូវទំហំគ្រប់គ្រាន់ដល់អ្នកប្រើប្រាស់ដោយឥតគិតថ្លៃពីភាពស្មុគស្មាញនៃការកាត់ផ្តេកនៅក្នុងករណីប្រើប្រាស់ស្ទើរតែទាំងអស់។

ខណៈពេលដែលនេះគឺជាគំរូនៃការដាក់ពង្រាយដ៏អស្ចារ្យ ជាញឹកញាប់វាចាំបាច់ដើម្បីចូលប្រើទិន្នន័យនៅលើម៉ាស៊ីនមេ Prometheus ផ្សេងៗគ្នាតាមរយៈ API ឬ UI តែមួយ - ទិដ្ឋភាពសកល។ ជាការពិតណាស់ វាអាចបង្ហាញសំណួរជាច្រើននៅក្នុងបន្ទះ Grafana មួយ ប៉ុន្តែសំណួរនីមួយៗអាចត្រូវបានប្រតិបត្តិតែលើម៉ាស៊ីនមេ Prometheus មួយប៉ុណ្ណោះ។ ម៉្យាងវិញទៀត ជាមួយ Thanos អ្នកអាចសាកសួរ និងប្រមូលទិន្នន័យពីម៉ាស៊ីនមេ Prometheus ជាច្រើន ដោយសារពួកវាអាចចូលប្រើបានពីចំណុចបញ្ចប់តែមួយ។

ពីមុន ដើម្បីទទួលបានទិដ្ឋភាពជាសកលនៅក្នុង Improbable យើងបានរៀបចំវត្ថុ Prometheus របស់យើងទៅជាពហុកម្រិត សហព័ន្ធឋានានុក្រម. នេះមានន័យថាបង្កើតម៉ាស៊ីនមេ Prometheus meta ដែលប្រមូលម៉ែត្រមួយចំនួនពីម៉ាស៊ីនមេស្លឹកនីមួយៗ។

វិធីសាស្រ្តនេះបានបង្ហាញពីបញ្ហា។ នេះបណ្តាលឱ្យមានការកំណត់រចនាសម្ព័ន្ធស្មុគ្រស្មាញជាងមុន ការបន្ថែមចំណុចសក្តានុពលបន្ថែមនៃការបរាជ័យ និងការអនុវត្តច្បាប់ស្មុគស្មាញ ដើម្បីធានាថាចំណុចបញ្ចប់សហព័ន្ធទទួលបានតែទិន្នន័យដែលវាត្រូវការប៉ុណ្ណោះ។ លើសពីនេះ សហព័ន្ធប្រភេទនេះមិនអនុញ្ញាតឱ្យអ្នកទទួលបានទិដ្ឋភាពសកលពិតទេ ព្រោះមិនមែនទិន្នន័យទាំងអស់អាចរកបានពីសំណើ API តែមួយទេ។

ទាក់ទងយ៉ាងជិតស្និទ្ធទៅនឹងនេះគឺជាទិដ្ឋភាពបង្រួបបង្រួមនៃទិន្នន័យដែលប្រមូលបាននៅលើម៉ាស៊ីនមេ Prometheus ដែលអាចរកបានខ្ពស់ (HA) ។ គំរូ HA របស់ Prometheus ប្រមូលទិន្នន័យដោយឯករាជ្យពីរដង ដែលវាសាមញ្ញណាស់ វាមិនងាយស្រួលជាងនេះទេ។ ទោះជាយ៉ាងណាក៏ដោយ ការប្រើប្រាស់ទិដ្ឋភាពរួមបញ្ចូលគ្នា និងស្ទួននៃស្ទ្រីមទាំងពីរនឹងមានភាពងាយស្រួលជាង។

ជាការពិតណាស់ វាមានតម្រូវការសម្រាប់ម៉ាស៊ីនមេ Prometheus ដែលមានកម្រិតខ្ពស់។ នៅ Improbable យើងធ្វើការត្រួតពិនិត្យទិន្នន័យពីមួយនាទីទៅមួយនាទីយ៉ាងពិតប្រាកដ ប៉ុន្តែការមាន Prometheus instance មួយក្នុងមួយចង្កោមគឺជាចំណុចតែមួយនៃការបរាជ័យ។ កំហុសក្នុងការកំណត់រចនាសម្ព័ន្ធណាមួយ ឬការបរាជ័យផ្នែករឹងអាចនាំឱ្យបាត់បង់ទិន្នន័យសំខាន់ៗ។ សូម្បីតែការដាក់ពង្រាយសាមញ្ញអាចបណ្តាលឱ្យមានការរំខានតិចតួចនៅក្នុងការប្រមូលម៉ែត្រ ពីព្រោះការចាប់ផ្តើមឡើងវិញអាចមានរយៈពេលវែងជាងចន្លោះពេលការចោល។

ការផ្ទុកទិន្នន័យប្រវត្តិសាស្ត្រដែលអាចទុកចិត្តបាន។

ការ​ផ្ទុក​ម៉ែត្រ​ដែល​មាន​តម្លៃ​ថោក លឿន និង​រយៈ​ពេល​វែង​គឺ​ជា​ក្តី​សុបិន​របស់​យើង (ចែករំលែក​ដោយ​អ្នក​ប្រើ Prometheus ភាគ​ច្រើន)។ នៅក្នុង Improbable យើងត្រូវបានគេបង្ខំឱ្យកំណត់រចនាសម្ព័ន្ធរយៈពេលរក្សាទុកម៉ែត្រទៅប្រាំបួនថ្ងៃ (សម្រាប់ Prometheus 1.8) ។ នេះ​បន្ថែម​កម្រិត​ច្បាស់​ថា​យើង​អាច​មើល​ទៅ​ក្រោយ​ឆ្ងាយ​ប៉ុណ្ណា។

Prometheus 2.0 បានប្រសើរឡើងក្នុងរឿងនេះ ចាប់តាំងពីចំនួននៃស៊េរីពេលវេលាលែងប៉ះពាល់ដល់ដំណើរការទាំងមូលរបស់ម៉ាស៊ីនមេ (សូមមើល។ KubeCon សុន្ទរកថាអំពី Prometheus 2) ទោះយ៉ាងណាក៏ដោយ Prometheus រក្សាទុកទិន្នន័យនៅលើថាសមូលដ្ឋាន។ ទោះបីជាការបង្ហាប់ទិន្នន័យដែលមានប្រសិទ្ធភាពខ្ពស់អាចកាត់បន្ថយការប្រើប្រាស់ SSD ក្នុងតំបន់បានយ៉ាងសំខាន់ក៏ដោយ ក៏នៅតែមានដែនកំណត់ចំពោះចំនួនទិន្នន័យប្រវត្តិសាស្ត្រដែលអាចត្រូវបានរក្សាទុក។

លើសពីនេះ នៅ Improbable យើងយកចិត្តទុកដាក់លើភាពជឿជាក់ ភាពសាមញ្ញ និងតម្លៃ។ ថាសក្នុងស្រុកធំគឺពិបាកក្នុងការដំណើរការ និងបម្រុងទុក។ ពួកគេចំណាយកាន់តែច្រើន និងត្រូវការឧបករណ៍បម្រុងទុកបន្ថែមទៀត ដែលបណ្តាលឱ្យមានភាពស្មុគស្មាញដែលមិនចាំបាច់។

ការចុះគំរូ

នៅពេលដែលយើងចាប់ផ្តើមធ្វើការជាមួយទិន្នន័យប្រវត្តិសាស្រ្ត យើងបានដឹងថាមានការលំបាកជាមូលដ្ឋានជាមួយ big-O ដែលធ្វើឱ្យសំណួរយឺត និងយឺត នៅពេលដែលយើងធ្វើការជាមួយទិន្នន័យជាច្រើនសប្តាហ៍ ខែ និងឆ្នាំ។

ដំណោះស្រាយស្តង់ដារចំពោះបញ្ហានេះនឹងមាន ការ​ចុះ​គំរូ (downsampling) - កាត់បន្ថយប្រេកង់គំរូសញ្ញា។ ជាមួយនឹងការកាត់បន្ថយគំរូ យើងអាច "កាត់បន្ថយ" ទៅចន្លោះពេលវេលាធំជាង និងរក្សាចំនួនគំរូដូចគ្នា ដោយរក្សាសំណួរឆ្លើយតប។

ការកាត់បន្ថយគំរូទិន្នន័យចាស់គឺជាតម្រូវការជៀសមិនរួចនៃដំណោះស្រាយការផ្ទុករយៈពេលវែងណាមួយ ហើយលើសពីវិសាលភាពនៃ vanilla Prometheus ។

គោលដៅបន្ថែម

គោលដៅដើមមួយនៃគម្រោង Thanos គឺការរួមបញ្ចូលយ៉ាងរលូនជាមួយនឹងការដំឡើង Prometheus ដែលមានស្រាប់ណាមួយ។ គោលដៅទីពីរគឺភាពងាយស្រួលនៃប្រតិបត្តិការដោយមានឧបសគ្គតិចតួចបំផុតក្នុងការចូល។ ភាពអាស្រ័យណាមួយគួរតែត្រូវបានពេញចិត្តយ៉ាងងាយស្រួលសម្រាប់ទាំងអ្នកប្រើប្រាស់តូច និងធំ ដែលមានន័យថាតម្លៃមូលដ្ឋានទាបផងដែរ។

ស្ថាបត្យកម្ម Thanos

បន្ទាប់ពីបានរាយបញ្ជីគោលដៅរបស់យើងនៅក្នុងផ្នែកមុន សូមធ្វើការឆ្លងកាត់ពួកវា ហើយមើលពីរបៀបដែល Thanos ដោះស្រាយបញ្ហាទាំងនេះ។

ទិដ្ឋភាពសកល

ដើម្បីទទួលបានទិដ្ឋភាពសកលនៅលើកំពូលនៃវត្ថុ Prometheus ដែលមានស្រាប់ យើងត្រូវភ្ជាប់ចំណុចបញ្ចូលសំណើតែមួយទៅកាន់ម៉ាស៊ីនមេទាំងអស់។ នេះគឺជាអ្វីដែលសមាសធាតុ Thanos ធ្វើ។ Sidecar. វាត្រូវបានដាក់ពង្រាយនៅជាប់នឹងម៉ាស៊ីនមេ Prometheus នីមួយៗ ហើយដើរតួជាប្រូកស៊ី បម្រើទិន្នន័យ Prometheus ក្នុងតំបន់តាមរយៈ gRPC Store API ដែលអនុញ្ញាតឱ្យទាញយកទិន្នន័យស៊េរីពេលវេលាដោយស្លាក និងជួរពេលវេលា។

នៅផ្នែកម្ខាងទៀតគឺសមាសភាគ Querier ដែលគ្មានរដ្ឋដែលធ្វើមាត្រដ្ឋានចេញ ដែលធ្វើលើសពីការឆ្លើយសំណួរ PromQL តាមរយៈស្តង់ដារ Prometheus HTTP API ។ Querier, Sidecar និងសមាសធាតុ Thanos ផ្សេងទៀតទំនាក់ទំនងតាមរយៈ ពិធីការនិយាយដើម.

1. Querier នៅពេលទទួលបានសំណើមួយ ភ្ជាប់ទៅម៉ាស៊ីនមេ Store API ដែលត្រូវគ្នា នោះគឺទៅកាន់ Sidecars របស់យើង ហើយទទួលបានទិន្នន័យស៊េរីពេលវេលាពីម៉ាស៊ីនមេ Prometheus ដែលត្រូវគ្នា។
2. បន្ទាប់ពីនោះ វារួមបញ្ចូលគ្នានូវការឆ្លើយតប និងដំណើរការសំណួរ PromQL នៅលើពួកវា។ Querier អាចបញ្ចូលទាំងទិន្នន័យមិនជាប់គ្នា និងទិន្នន័យស្ទួនពីម៉ាស៊ីនមេ Prometheus HA។

វាដោះស្រាយផ្នែកសំខាន់នៃល្បែងផ្គុំរូបរបស់យើង - រួមបញ្ចូលគ្នានូវទិន្នន័យពីម៉ាស៊ីនមេ Prometheus ដាច់ដោយឡែកទៅជាទិដ្ឋភាពតែមួយ។ តាមពិត Thanos អាចប្រើបានសម្រាប់តែមុខងារនេះប៉ុណ្ណោះ។ មិនចាំបាច់មានការផ្លាស់ប្តូរទៅលើម៉ាស៊ីនមេ Prometheus ដែលមានស្រាប់ទេ!

អាយុកាលធ្នើគ្មានដែនកំណត់!

ទោះជាយ៉ាងណាក៏ដោយ មិនយូរមិនឆាប់ យើងនឹងចង់រក្សាទុកទិន្នន័យលើសពីពេលវេលារក្សាទុក Prometheus ធម្មតា។ យើងជ្រើសរើសកន្លែងផ្ទុកវត្ថុដើម្បីរក្សាទុកទិន្នន័យប្រវត្តិសាស្ត្រ។ វាអាចប្រើបានយ៉ាងទូលំទូលាយនៅក្នុងពពកណាមួយ ក៏ដូចជាមជ្ឈមណ្ឌលទិន្នន័យក្នុងបរិវេណ ហើយមានតម្លៃមានប្រសិទ្ធភាពខ្ពស់។ លើសពីនេះ ស្ទើរតែគ្រប់កន្លែងផ្ទុកវត្ថុគឺអាចរកបានតាមរយៈ S3 API ដ៏ល្បី។

Prometheus សរសេរទិន្នន័យពី RAM ទៅថាសប្រហែលរៀងរាល់ពីរម៉ោងម្តង។ ប្លុកទិន្នន័យដែលបានរក្សាទុកមានទិន្នន័យទាំងអស់សម្រាប់រយៈពេលកំណត់មួយ ហើយមិនអាចផ្លាស់ប្តូរបាន។ នេះងាយស្រួលណាស់ព្រោះ Thanos Sidecar អាចមើលបានយ៉ាងសាមញ្ញនៅលើថតទិន្នន័យ Prometheus ហើយនៅពេលដែលប្លុកថ្មីមានស្រាប់ ផ្ទុកពួកវាទៅក្នុងធុងផ្ទុកវត្ថុ។

ការផ្ទុកចូលទៅក្នុងកន្លែងផ្ទុកវត្ថុភ្លាមៗបន្ទាប់ពីសរសេរទៅថាសក៏អនុញ្ញាតឱ្យអ្នករក្សាភាពសាមញ្ញនៃ scraper (Prometheus និង Thanos Sidecar) ។ ដែលសម្រួលដល់ការគាំទ្រ ការចំណាយ និងការរចនាប្រព័ន្ធ។

ដូចដែលអ្នកអាចឃើញការបម្រុងទុកទិន្នន័យគឺសាមញ្ញណាស់។ ប៉ុន្តែចុះយ៉ាងណាចំពោះការសាកសួរទិន្នន័យនៅក្នុងកន្លែងផ្ទុកវត្ថុ?

សមាសធាតុ Thanos Store ដើរតួជាប្រូកស៊ីដើម្បីទាញយកទិន្នន័យពីកន្លែងផ្ទុកវត្ថុ។ ដូច Thanos Sidecar វាចូលរួមក្នុងក្រុមនិយាយដើម និងអនុវត្ត Store API ។ វិធីនេះ Querier ដែលមានស្រាប់អាចចាត់ទុកវាដូចជា Sidecar ជាប្រភពទិន្នន័យស៊េរីពេលវេលាផ្សេងទៀត - មិនត្រូវការការកំណត់ពិសេសទេ។

ប្លុកទិន្នន័យស៊េរីពេលវេលាមានឯកសារធំៗជាច្រើន។ ការ​ផ្ទុក​ពួកវា​តាម​តម្រូវការ​នឹង​មិន​មាន​ប្រសិទ្ធភាព​ទេ ហើយ​ការ​ដាក់​ឃ្លាំង​សម្ងាត់​ពួកវា​ក្នុង​មូលដ្ឋាន​នឹង​ត្រូវការ​ទំហំ​អង្គចងចាំ​និង​ទំហំ​ថាស​ច្រើន។

ផ្ទុយទៅវិញ Store Gateway ដឹងពីរបៀបដោះស្រាយទម្រង់ផ្ទុក Prometheus ។ សូមអរគុណចំពោះកម្មវិធីកំណត់ពេលសំណួរឆ្លាតវៃ និងរក្សាទុកតែផ្នែកលិបិក្រមចាំបាច់នៃប្លុកប៉ុណ្ណោះ វាអាចកាត់បន្ថយសំណួរស្មុគស្មាញដល់ចំនួនអប្បបរមានៃសំណើ HTTP សម្រាប់វត្ថុផ្ទុកឯកសារ។ នៅក្នុងវិធីនេះ អ្នកអាចកាត់បន្ថយចំនួនសំណើដោយការបញ្ជាទិញពី XNUMX ទៅ XNUMX នៃទំហំ និងសម្រេចបាននូវពេលវេលាឆ្លើយតបដែលជាទូទៅពិបាកក្នុងការបែងចែកពីសំណើទៅទិន្នន័យនៅលើ SSD មូលដ្ឋាន។

ដូចដែលបានបង្ហាញនៅក្នុងដ្យាក្រាមខាងលើ Thanos Querier កាត់បន្ថយការចំណាយយ៉ាងខ្លាំងក្នុងមួយសំណួរនៃទិន្នន័យផ្ទុកវត្ថុដោយប្រើប្រាស់ទម្រង់ផ្ទុក Prometheus និងដាក់ទិន្នន័យដែលពាក់ព័ន្ធដោយចំហៀង។ ដោយប្រើវិធីសាស្រ្តនេះ យើងអាចបញ្ចូលគ្នានូវសំណើតែមួយជាច្រើនទៅក្នុងចំនួនអប្បបរមានៃប្រតិបត្តិការភាគច្រើន។

ការបង្រួមនិងការកាត់បន្ថយគំរូ

នៅពេលដែលប្លុកថ្មីនៃទិន្នន័យស៊េរីពេលវេលាត្រូវបានផ្ទុកដោយជោគជ័យទៅក្នុងកន្លែងផ្ទុកវត្ថុ យើងចាត់ទុកវាជាទិន្នន័យ "ប្រវត្តិសាស្រ្ត" ដែលអាចរកបានភ្លាមៗតាមរយៈ Store Gateway ។

ទោះយ៉ាងណាក៏ដោយ បន្ទាប់ពីពេលខ្លះ ប្លុកពីប្រភពមួយ (Prometheus with Sidecar) កកកុញ ហើយលែងប្រើសក្តានុពលនៃការធ្វើលិបិក្រមពេញលេញទៀតហើយ។ ដើម្បីដោះស្រាយបញ្ហានេះ យើងបានណែនាំសមាសធាតុមួយទៀតហៅថា Compactor ។ វាគ្រាន់តែអនុវត្តម៉ាស៊ីនបង្រួមមូលដ្ឋានរបស់ Prometheus ទៅនឹងទិន្នន័យប្រវត្តិសាស្ត្រនៅក្នុងការផ្ទុកវត្ថុ ហើយអាចដំណើរការជាការងារបណ្តុំតាមកាលកំណត់ដ៏សាមញ្ញមួយ។

សូមអរគុណដល់ការបង្ហាប់ប្រកបដោយប្រសិទ្ធភាព ការសាកសួរទំហំផ្ទុកក្នុងរយៈពេលយូរមិនបង្កបញ្ហាទាក់ទងនឹងទំហំទិន្នន័យនោះទេ។ ទោះជាយ៉ាងណាក៏ដោយ ការចំណាយសក្តានុពលនៃការពន្លាកញ្ចប់តម្លៃមួយពាន់លាន ហើយដំណើរការពួកវាតាមរយៈដំណើរការសំណួរនឹងជៀសមិនរួចនៅក្នុងការកើនឡើងយ៉ាងខ្លាំងនៃពេលវេលាប្រតិបត្តិសំណួរ។ ម៉្យាងវិញទៀត ដោយសារមានចំណុចទិន្នន័យរាប់រយក្នុងមួយភីកសែលនៅលើអេក្រង់ វាមិនអាចសូម្បីតែមើលឃើញទិន្នន័យក្នុងកម្រិតភាពច្បាស់ពេញលេញ។ ដូច្នេះ ការចុះគំរូមិនត្រឹមតែអាចធ្វើទៅបានប៉ុណ្ណោះទេ ប៉ុន្តែក៏នឹងមិននាំឱ្យបាត់បង់ភាពត្រឹមត្រូវគួរឱ្យកត់សម្គាល់ដែរ។

ដើម្បីកាត់បន្ថយគំរូទិន្នន័យ Compactor បន្តប្រមូលផ្តុំទិន្នន័យនៅកម្រិត XNUMX នាទី និងមួយម៉ោង។ សម្រាប់កំណាត់ឆៅនីមួយៗដែលបានអ៊ិនកូដដោយប្រើការបង្ហាប់ TSDB XOR ប្រភេទផ្សេងគ្នានៃទិន្នន័យសរុបត្រូវបានរក្សាទុក ដូចជាអប្បបរមា អតិបរមា ឬផលបូកសម្រាប់ប្លុកមួយ។ នេះអនុញ្ញាតឱ្យ Querier ជ្រើសរើសដោយស្វ័យប្រវត្តិនូវចំនួនសរុបដែលសមរម្យសម្រាប់សំណួរ PromQL ដែលបានផ្តល់ឱ្យ។

គ្មានការកំណត់រចនាសម្ព័ន្ធពិសេសណាមួយដែលតម្រូវឱ្យអ្នកប្រើប្រាស់ប្រើប្រាស់ទិន្នន័យភាពជាក់លាក់ដែលបានកាត់បន្ថយនោះទេ។ Querier ប្តូរដោយស្វ័យប្រវត្តិរវាងគុណភាពបង្ហាញផ្សេងគ្នា និងទិន្នន័យឆៅ នៅពេលដែលអ្នកប្រើប្រាស់ពង្រីក និងបង្រួម។ ប្រសិនបើចង់បាន អ្នកប្រើប្រាស់អាចគ្រប់គ្រងវាដោយផ្ទាល់តាមរយៈប៉ារ៉ាម៉ែត្រ "ជំហាន" នៅក្នុងសំណើ។

ដោយសារតម្លៃនៃការរក្សាទុកមួយជីកាបៃគឺទាប តាមលំនាំដើម Thanos រក្សាទុកទិន្នន័យឆៅ ទិន្នន័យគុណភាពបង្ហាញរយៈពេលប្រាំនាទី និងមួយម៉ោង។ មិនចាំបាច់លុបទិន្នន័យដើមទេ។

ច្បាប់ថត

សូម្បីតែជាមួយ Thanos ក៏ដោយ ច្បាប់ថតគឺជាផ្នែកសំខាន់មួយនៃការត្រួតពិនិត្យ។ ពួកគេកាត់បន្ថយភាពស្មុគស្មាញ ភាពយឺតយ៉ាវ និងតម្លៃនៃសំណួរ។ ពួកគេក៏មានភាពងាយស្រួលសម្រាប់អ្នកប្រើប្រាស់ក្នុងការទទួលបានទិន្នន័យសរុបដោយម៉ែត្រ។ Thanos គឺផ្អែកលើករណី vanilla Prometheus ដូច្នេះវាអាចទទួលយកបានយ៉ាងល្អឥតខ្ចោះក្នុងការរក្សាទុកច្បាប់ថតសំឡេង និងច្បាប់ជូនដំណឹងនៅលើម៉ាស៊ីនមេ Prometheus ដែលមានស្រាប់។ ទោះយ៉ាងណាក៏ដោយ ក្នុងករណីខ្លះវាអាចមិនគ្រប់គ្រាន់ទេ៖

• ការដាស់តឿន និងច្បាប់ជាសកល (ឧទាហរណ៍ ការដាស់តឿននៅពេលដែលសេវាមួយមិនដំណើរការលើក្រុមច្រើនជាងពីរក្នុងចំណោមបី)។
• ច្បាប់សម្រាប់ទិន្នន័យនៅខាងក្រៅកន្លែងផ្ទុកក្នុងតំបន់។
• បំណងប្រាថ្នាដើម្បីរក្សាទុកច្បាប់ និងការជូនដំណឹងទាំងអស់នៅកន្លែងតែមួយ។

សម្រាប់ករណីទាំងអស់នេះ Thanos រួមបញ្ចូលនូវសមាសធាតុដាច់ដោយឡែកមួយហៅថា Ruler ដែលគណនាក្បួន និងការជូនដំណឹងតាមរយៈ Thanos Queries។ តាមរយៈការផ្តល់ StoreAPI ដ៏ល្បីល្បាញ ថ្នាំងសំណួរអាចចូលប្រើម៉ែត្រដែលបានគណនាថ្មីៗ។ ក្រោយមកពួកគេក៏ត្រូវបានរក្សាទុកនៅក្នុងកន្លែងផ្ទុកវត្ថុ និងធ្វើឱ្យមានតាមរយៈ Store Gateway ។

អំណាចរបស់ Thanos

Thanos គឺអាចបត់បែនបានគ្រប់គ្រាន់ក្នុងការប្ដូរតាមបំណងដើម្បីបំពេញតម្រូវការរបស់អ្នក។ វាមានប្រយោជន៍ជាពិសេសនៅពេលធ្វើចំណាកស្រុកពី Prometheus ធម្មតា។ ចូរយើងសង្ខេបឡើងវិញនូវអ្វីដែលយើងបានរៀនអំពីសមាសធាតុ Thanos ជាមួយនឹងឧទាហរណ៍ខ្លីៗ។ នេះជារបៀបយកវ៉ានីឡា Prometheus របស់អ្នកចូលទៅក្នុងពិភពនៃ "ការផ្ទុកម៉ែត្រគ្មានដែនកំណត់"៖

1. បន្ថែម Thanos Sidecar ទៅម៉ាស៊ីនមេ Prometheus របស់អ្នក - ឧទាហរណ៍ ធុង sidecar នៅក្នុង Kubernetes pod ។
2. ដាក់ពង្រាយការចម្លង Thanos Querier ជាច្រើន ដើម្បីអាចមើលទិន្នន័យបាន។ នៅដំណាក់កាលនេះវាងាយស្រួលក្នុងការរៀបចំការនិយាយដើមគ្នារវាង Scraper និង Querier ។ ដើម្បីពិនិត្យមើលអន្តរកម្មនៃសមាសធាតុ សូមប្រើម៉ែត្រ 'thanos_cluster_members' ។

គ្រាន់តែជំហានទាំងពីរនេះគឺគ្រប់គ្រាន់ដើម្បីផ្តល់នូវទិដ្ឋភាពជាសាកល និងការដកទិន្នន័យមិនស៊ីសង្វាក់ពីការចម្លងពី Prometheus HA ដ៏មានសក្តានុពល! គ្រាន់តែភ្ជាប់ផ្ទាំងគ្រប់គ្រងរបស់អ្នកទៅចំណុចបញ្ចប់ Querier HTTP ឬប្រើ Thanos UI ដោយផ្ទាល់។

ទោះជាយ៉ាងណាក៏ដោយ ប្រសិនបើអ្នកត្រូវការការបម្រុងទុកម៉ែត្រ និងការផ្ទុករយៈពេលវែង អ្នកនឹងត្រូវបំពេញជំហានបីបន្ថែមទៀត៖

1. បង្កើតធុង AWS S3 ឬ GCS ។ កំណត់រចនាសម្ព័ន្ធ Sidecar ដើម្បីចម្លងទិន្នន័យទៅធុងទឹកទាំងនេះ។ ការផ្ទុកទិន្នន័យក្នុងស្រុកឥឡូវនេះអាចត្រូវបានបង្រួមអប្បបរមា។
2. ដាក់ពង្រាយ Store Gateway ហើយភ្ជាប់វាទៅក្រុមនិយាយដើមដែលមានស្រាប់របស់អ្នក។ ឥឡូវនេះអ្នកអាចសួរទិន្នន័យដែលបានបម្រុងទុក!
3. ដាក់ពង្រាយ Compactor ដើម្បីបង្កើនប្រសិទ្ធភាពនៃសំណួរក្នុងរយៈពេលយូរដោយប្រើការបង្រួម និងការធ្លាក់ចុះគំរូ។

ចង់​ដឹង​កាន់​តែ​ច្បាស់ កុំ​ស្ទាក់​ស្ទើរ​ទៅ​មើល​នៅ​ហាង​យើង​ខ្ញុំ kubernetes បង្ហាញឧទាហរណ៍ и ការចាប់ផ្តើម!

ក្នុងរយៈពេលត្រឹមតែប្រាំជំហាន យើងបានប្រែក្លាយ Prometheus ទៅជាប្រព័ន្ធត្រួតពិនិត្យដែលអាចទុកចិត្តបានជាមួយនឹងទិដ្ឋភាពជាសកល ពេលវេលាផ្ទុកគ្មានដែនកំណត់ និងលទ្ធភាពដែលអាចរកបានខ្ពស់នៃម៉ែត្រ។

ទាញសំណើ៖ យើងត្រូវការអ្នក!

ថាន់ គឺជាគម្រោងប្រភពបើកចំហតាំងពីដើមដំបូងមក។ ការរួមបញ្ចូលយ៉ាងរលូនជាមួយ Prometheus និងសមត្ថភាពក្នុងការប្រើប្រាស់តែផ្នែកមួយនៃ Thanos ធ្វើឱ្យវាក្លាយជាជម្រើសដ៏ល្អសម្រាប់ធ្វើមាត្រដ្ឋានប្រព័ន្ធត្រួតពិនិត្យរបស់អ្នកដោយមិនចាំបាច់ប្រឹងប្រែង។

យើងស្វាគមន៍ជានិច្ចចំពោះសំណើរ និងបញ្ហារបស់ GitHub ។ ក្នុងពេលនេះ សូមទាក់ទងមកយើងខ្ញុំតាមរយៈ Github Issues ឬ slack Improbable-eng #thanosប្រសិនបើអ្នកមានសំណួរ ឬមតិកែលម្អ ឬចង់ចែករំលែកបទពិសោធន៍របស់អ្នកក្នុងការប្រើប្រាស់វា! ប្រសិនបើអ្នកចូលចិត្តអ្វីដែលយើងធ្វើនៅ Improbable សូមកុំស្ទាក់ស្ទើរក្នុងការទាក់ទងមកយើង - យើងតែងតែមានកន្លែងទំនេរ!

ស្វែងយល់បន្ថែមអំពីវគ្គសិក្សា។

ប្រភព: www.habr.com