សួស្តី​អ្នក​ទាំងអស់គ្នា! នៅក្នុងរបស់គាត់។ អត្ថបទចុងក្រោយ ខ្ញុំបានសរសេរអំពីការរៀបចំប្រព័ន្ធត្រួតពិនិត្យម៉ូឌុលសម្រាប់ស្ថាបត្យកម្មមីក្រូសេវាកម្ម។ គ្មានអ្វីស្ថិតស្ថេរទេ គម្រោងរបស់យើងកំពុងរីកចម្រើនឥតឈប់ឈរ ហើយចំនួននៃការវាស់វែងដែលត្រូវបានរក្សាទុក។ របៀបដែលយើងរៀបចំការផ្លាស់ប្តូរពី Graphite+Whisper ទៅ Graphite+ClickHouse ក្រោមលក្ខខណ្ឌផ្ទុកខ្ពស់ សូមអានអំពីការរំពឹងទុកពីវា និងលទ្ធផលនៃការធ្វើចំណាកស្រុកក្រោមការកាត់។

មុនពេលខ្ញុំប្រាប់អ្នកពីរបៀបដែលយើងរៀបចំការផ្លាស់ប្តូរពីការរក្សាទុកម៉ែត្រនៅក្នុង Graphite+Whisper ទៅ Graphite+ClickHouse ខ្ញុំចង់ផ្តល់ព័ត៌មានអំពីហេតុផលសម្រាប់ការសម្រេចចិត្តបែបនេះ និងអំពីគុណវិបត្តិនៃ Whisper ដែលយើងរស់នៅជាមួយរយៈពេលយូរ។

បញ្ហាក្រាហ្វិច + ខ្សឹប

1. ការផ្ទុកខ្ពស់នៅលើប្រព័ន្ធរងឌីស

នៅពេលនៃការផ្លាស់ប្តូរ ប្រហែល 1.5 លានម៉ែត្រកំពុងមកដល់យើងក្នុងមួយនាទី។ ជាមួយនឹងលំហូរបែបនេះ ការប្រើប្រាស់ថាសនៅលើម៉ាស៊ីនមេគឺ ~30% ។ ជាទូទៅ នេះពិតជាអាចទទួលយកបាន - អ្វីគ្រប់យ៉ាងដំណើរការប្រកបដោយស្ថិរភាព ត្រូវបានសរសេរយ៉ាងឆាប់រហ័ស អានយ៉ាងឆាប់រហ័ស... រហូតដល់ក្រុមអភិវឌ្ឍន៍មួយបានបញ្ចេញមុខងារថ្មី ហើយចាប់ផ្តើមបញ្ជូនពួកយើង 10 លានម៉ែត្រក្នុងមួយនាទី។ នោះហើយជាពេលដែលប្រព័ន្ធរងរបស់ឌីសរឹតបន្តឹង ហើយយើងឃើញការប្រើប្រាស់ 100%។ បញ្ហា​ត្រូវ​បាន​ដោះ​ស្រាយ​យ៉ាង​ឆាប់​រហ័ស ប៉ុន្តែ​នៅ​សល់​មួយ​ចំនួន​ទៀត។

2. កង្វះនៃការចម្លងនិងភាពជាប់លាប់

ភាគច្រើនដូចជាអ្នកគ្រប់គ្នាដែលប្រើ/ប្រើ Graphite+Whisper យើងបានចាក់ចរន្តដូចគ្នានៃម៉ែត្រទៅលើម៉ាស៊ីនមេ Graphite ជាច្រើនក្នុងពេលតែមួយ ដើម្បីបង្កើតការអត់ឱនចំពោះកំហុស។ ហើយ​មិន​មាន​បញ្ហា​ពិសេស​អ្វី​ជាមួយ​នឹង​វា​ទេ - រហូត​ដល់​ពេល​ដែល​ម៉ាស៊ីន​បម្រើ​មួយ​បាន​គាំង​ដោយ​ហេតុផល​មួយ​ចំនួន។ ពេលខ្លះយើងបានគ្រប់គ្រងដើម្បីយកម៉ាស៊ីនមេដែលធ្លាក់ចុះយ៉ាងឆាប់រហ័សគ្រប់គ្រាន់ ហើយកាបូន-c-relay បានគ្រប់គ្រងដើម្បីផ្ទុកម៉ែត្រពីឃ្លាំងសម្ងាត់របស់វាទៅក្នុងវា ប៉ុន្តែពេលខ្លះមិនបាន។ ហើយបន្ទាប់មកមានរន្ធមួយនៅក្នុងម៉ែត្រដែលយើងបានបំពេញដោយ rsync ។ នីតិវិធីគឺវែងណាស់។ ព្រះគុណសង្គ្រោះតែមួយគត់គឺថារឿងនេះកើតឡើងកម្រណាស់។ យើង​ក៏​បាន​យក​បណ្តុំ​ម៉ែត្រ​ចៃដន្យ​ជា​ទៀងទាត់ ហើយ​ប្រៀបធៀប​ពួកវា​ជាមួយ​នឹង​ប្រភេទ​ផ្សេងទៀត​នៅលើ​ថ្នាំង​ជិតខាង​នៃ​ចង្កោម។ នៅក្នុងប្រហែល 5% នៃករណី តម្លៃជាច្រើនមានភាពខុសប្លែកគ្នា ដែលយើងមិនសប្បាយចិត្តខ្លាំងណាស់។

3. ស្នាមជើងធំ

ដោយសារយើងសរសេរជា Graphite មិនត្រឹមតែហេដ្ឋារចនាសម្ព័ន្ធប៉ុណ្ណោះទេ ថែមទាំងម៉ែត្រធុរកិច្ច (ហើយឥឡូវនេះក៏ជាម៉ែត្រពី Kubernetes) ជាញឹកញាប់យើងទទួលបានស្ថានភាពមួយដែលម៉ែត្រមានត្រឹមតែតម្លៃមួយចំនួនប៉ុណ្ណោះ ហើយឯកសារ .wsp ត្រូវបានបង្កើតឡើងដោយគិតគូរពីការរក្សាទុកទាំងអស់ រយៈពេល និងយកទំហំទំនេរដែលបានបែងចែកជាមុន ដែលសម្រាប់ពួកយើងគឺ ~2MB ។ បញ្ហានេះកាន់តែធ្ងន់ធ្ងរឡើងដោយការពិតដែលថាឯកសារស្រដៀងគ្នាជាច្រើនលេចឡើងតាមពេលវេលា ហើយនៅពេលបង្កើតរបាយការណ៍លើពួកវា ការអានចំណុចទទេត្រូវការពេលវេលា និងធនធានច្រើន។

ខ្ញុំចង់កត់សម្គាល់ភ្លាមៗថាបញ្ហាដែលបានពិពណ៌នាខាងលើអាចត្រូវបានដោះស្រាយដោយប្រើវិធីសាស្រ្តផ្សេងៗនិងកម្រិតនៃប្រសិទ្ធភាពខុសៗគ្នាប៉ុន្តែទិន្នន័យកាន់តែច្រើនដែលអ្នកចាប់ផ្តើមទទួលវាកាន់តែអាក្រក់ទៅ ៗ ។

មានទាំងអស់ខាងលើ (យកទៅក្នុងគណនីមុន។ អត្ថបទ) ក៏ដូចជាការកើនឡើងជាបន្តបន្ទាប់នៃចំនួនម៉ែត្រដែលទទួលបាន បំណងប្រាថ្នាដើម្បីផ្ទេរម៉ែត្រទាំងអស់ទៅចន្លោះពេលផ្ទុក 30 វិនាទី។ (រហូតដល់ 10 វិនាទីបើចាំបាច់) យើងបានសម្រេចចិត្តសាកល្បង Graphite+ClickHouse ជាជម្រើសដ៏ល្អសម្រាប់ Whisper ។

Graphite+ClickHouse។ ការរំពឹងទុក

ដោយបានទៅទស្សនាការប្រជុំជាច្រើនរបស់បុរសពី Yandex ដោយបានអាន អត្ថបទពីរបីអំពី Habreដោយបានឆ្លងកាត់ឯកសារ និងបានរកឃើញសមាសធាតុល្អសម្រាប់ភ្ជាប់ ClickHouse នៅក្រោម Graphite យើងបានសម្រេចចិត្តចាត់វិធានការ!

ខ្ញុំចង់ទទួលបានដូចខាងក្រោម៖

• កាត់បន្ថយការប្រើប្រាស់ប្រព័ន្ធរងរបស់ថាសពី 30% ទៅ 5%;
• កាត់បន្ថយទំហំផ្ទុកពី 1TB ទៅ 100GB;
• អាចទទួលបាន 100 លានម៉ែត្រក្នុងមួយនាទីចូលទៅក្នុងម៉ាស៊ីនមេ។
• ការចម្លងទិន្នន័យ និងការអត់ឱនកំហុសចេញពីប្រអប់;
• កុំអង្គុយលើគម្រោងនេះរយៈពេលមួយឆ្នាំ ហើយធ្វើការផ្លាស់ប្តូរក្នុងរយៈពេលដ៏សមរម្យមួយ។
• ប្តូរដោយគ្មានពេលទំនេរ។

មហិច្ឆតាណាស់មែនទេ?

Graphite+ClickHouse។ សមាសធាតុ

ដើម្បីទទួលបានទិន្នន័យតាមរយៈពិធីការ Graphite និងកត់ត្រាវាជាបន្តបន្ទាប់នៅក្នុង ClickHouse ខ្ញុំបានជ្រើសរើស carbon-clickhouse (ហ្គោលាំង) ។

ការចេញផ្សាយចុងក្រោយបំផុតរបស់ ClickHouse កំណែស្ថិរភាព 1.1.54253 ត្រូវបានជ្រើសរើសជាមូលដ្ឋានទិន្នន័យសម្រាប់រក្សាទុកស៊េរីពេលវេលា។ មានបញ្ហានៅពេលធ្វើការជាមួយវា៖ ភ្នំនៃកំហុសបានចាក់ចូលទៅក្នុងកំណត់ហេតុហើយវាមិនច្បាស់ថាត្រូវធ្វើអ្វីជាមួយពួកគេ។ ក្នុងការពិភាក្សាជាមួយ រ៉ូម៉ាំង Lomonosov (អ្នកនិពន្ធនៃ carbon-clickhouse, graphite-clickhouse និងជាច្រើនទៀត) ចាស់ជាងនេះត្រូវបានជ្រើសរើស ចេញផ្សាយ 1.1.54236. កំហុសបានបាត់ - អ្វីគ្រប់យ៉ាងចាប់ផ្តើមដំណើរការដោយបន្ទុះ។

បានជ្រើសរើសដើម្បីអានទិន្នន័យពី ClickHouse graphite-slickhouse (ហ្គោលាំង) ។ ជា API សម្រាប់ Graphite − កាបូណាពី (ហ្គោលាំង) ។ ClickHouse ត្រូវបានប្រើដើម្បីរៀបចំការចម្លងរវាងតារាង អ្នក​ថែរក្សា​សួនសត្វ. សម្រាប់​ការ​កំណត់​ផ្លូវ​ម៉ែត្រ យើង​បាន​ចាក​ចេញ​ពី​ទី​ស្រឡាញ់​របស់​យើង carbon-c-relay (គ) (សូមមើលអត្ថបទមុន).

Graphite+ClickHouse។ រចនាសម្ព័ន្ធតារាង

“graphite” គឺជាមូលដ្ឋានទិន្នន័យដែលយើងបង្កើតសម្រាប់ត្រួតពិនិត្យតារាង។

“graphite.metrics” - តារាងជាមួយម៉ាស៊ីន ReplicatedReplacingMergeTree (ចម្លង ការជំនួស MergeTree) តារាងនេះរក្សាទុកឈ្មោះម៉ែត្រ និងផ្លូវទៅកាន់ពួកគេ។

CREATE TABLE graphite.metrics ( Date Date, Level UInt32, Path String, Deleted UInt8, Version UInt32 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.metrics', ‘r1’, Date, (Level, Path), 8192, Version);

“graphite.data” - តារាងជាមួយម៉ាស៊ីន ReplicatedGraphiteMergeTree (ចម្លង GraphiteMergeTree) តារាងនេះរក្សាទុកតម្លៃម៉ែត្រ។

CREATE TABLE graphite.data ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/replicator/graphite.data', 'r1', Date, (Path, Time), 8192, 'graphite_rollup')

“graphite.date_metrics” គឺជាតារាងបំពេញតាមលក្ខខណ្ឌជាមួយនឹងម៉ាស៊ីន ReplicatedReplacingMergeTree។ តារាងនេះកត់ត្រាឈ្មោះរបស់ម៉ែត្រទាំងអស់ដែលត្រូវបានជួបប្រទះក្នុងអំឡុងពេលថ្ងៃ។ ហេតុផលសម្រាប់ការបង្កើតរបស់វាត្រូវបានពិពណ៌នានៅក្នុងផ្នែក "បញ្ហា" នៅចុងបញ្ចប់នៃអត្ថបទនេះ។

CREATE MATERIALIZED VIEW graphite.date_metrics ( Path String,  Level UInt32,  Date Date) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.date_metrics', 'r1', Date, (Level, Path, Date), 8192) AS SELECT toUInt32(length(splitByChar('.', Path))) AS Level, Date, Path FROM graphite.data

“graphite.data_stat” - តារាងបំពេញតាមលក្ខខណ្ឌ ជាមួយនឹងម៉ាស៊ីន ReplicatedAggregatingMergeTree (ចម្លង ការរួមបញ្ចូលមែកធាង) តារាងនេះកត់ត្រាចំនួនរង្វាស់ចូល ដែលបំបែកទៅជា 4 កម្រិតសំបុក។

CREATE MATERIALIZED VIEW graphite.data_stat ( Date Date,  Prefix String,  Timestamp UInt32,  Count AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/replicator/graphite.data_stat', 'r1', Date, (Timestamp, Prefix), 8192) AS SELECT toStartOfMonth(now()) AS Date, replaceRegexpOne(Path, '^([^.]+.[^.]+.[^.]+).*$', '1') AS Prefix, toUInt32(toStartOfMinute(toDateTime(Timestamp))) AS Timestamp, countState() AS Count FROM graphite.data  GROUP BY Timestamp, Prefix

Graphite+ClickHouse។ ដ្យាក្រាមអន្តរកម្មនៃសមាសធាតុ

Graphite+ClickHouse។ ការផ្ទេរទិន្នន័យ

ដូចដែលយើងចងចាំពីការរំពឹងទុកពីគម្រោងនេះ ការផ្លាស់ប្តូរទៅ ClickHouse គួរតែមិនមានពេលទំនេរទេ ដូច្នេះហើយ យើងត្រូវប្តូរប្រព័ន្ធត្រួតពិនិត្យទាំងមូលរបស់យើងទៅកន្លែងផ្ទុកថ្មីប្រកបដោយតម្លាភាពតាមដែលអាចធ្វើទៅបានសម្រាប់អ្នកប្រើប្រាស់របស់យើង។
នេះជារបៀបដែលយើងបានធ្វើវា។

• ច្បាប់មួយត្រូវបានបន្ថែមទៅ carbon-c-relay ដើម្បីផ្ញើការស្ទ្រីមបន្ថែមនៃម៉ែត្រទៅ carbon-clickhouse នៃ servers មួយក្នុងចំណោម servers ដែលចូលរួមក្នុងការចម្លងតារាង ClickHouse ។

• យើងបានសរសេរស្គ្រីបតូចមួយនៅក្នុង python ដែលដោយប្រើបណ្ណាល័យខ្សឹបខ្សៀវ អានឯកសារ .wsp ទាំងអស់ពីកន្លែងផ្ទុករបស់យើង ហើយផ្ញើទិន្នន័យនេះទៅកាន់ carbon-clickhouse ដែលបានពិពណ៌នាខាងលើក្នុង 24 ខ្សែ។ ចំនួន​តម្លៃ​ម៉ែត្រ​ដែល​បាន​ទទួល​យក​នៅ​ក្នុង carbon-clickhouse បាន​ឈាន​ដល់ 125 លាន​ក្នុង​មួយ​នាទី ហើយ ClickHouse មិន​បាន​បែក​ញើស​ទេ។

• យើងបានបង្កើត DataSource ដាច់ដោយឡែកមួយនៅក្នុង Grafana ដើម្បីបំបាត់កំហុសមុខងារដែលប្រើនៅក្នុងផ្ទាំងគ្រប់គ្រងដែលមានស្រាប់។ យើងបានកំណត់បញ្ជីមុខងារដែលយើងបានប្រើ ប៉ុន្តែវាមិនត្រូវបានអនុវត្តនៅក្នុង carbonapi ទេ។ យើងបានបន្ថែមមុខងារទាំងនេះ ហើយបានផ្ញើ PRs ទៅអ្នកនិពន្ធនៃ carbonapi (សូមអរគុណជាពិសេសចំពោះពួកគេ) ។

• ដើម្បីប្តូរការផ្ទុកការអាននៅក្នុងការកំណត់តុល្យភាព យើងបានផ្លាស់ប្តូរចំណុចបញ្ចប់ពី graphite-api (ចំណុចប្រទាក់ API សម្រាប់ Graphite+Whisper) ទៅ carbonapi ។

Graphite+ClickHouse។ លទ្ធផល

• កាត់បន្ថយការប្រើប្រាស់ប្រព័ន្ធរងរបស់ថាសពី 30% ទៅ 1%;

  

• កាត់បន្ថយទំហំផ្ទុកពី 1 TB ទៅ 300 GB;
• យើង​មាន​សមត្ថភាព​ទទួល​បាន 125 លាន​ម៉ែត្រ​ក្នុង​មួយ​នាទី​ទៅ​ក្នុង​ម៉ាស៊ីន​មេ (កំពូល​នៅ​ពេល​ធ្វើ​ចំណាក​ស្រុក);
• ផ្ទេរម៉ែត្រទាំងអស់ទៅចន្លោះពេលផ្ទុកសាមសិបវិនាទី;
• បានទទួលការចម្លងទិន្នន័យ និងការអត់ឱនកំហុស;
• ប្តូរដោយគ្មានពេលទំនេរ;
• វាត្រូវចំណាយពេលប្រហែល 7 សប្តាហ៍ដើម្បីបញ្ចប់អ្វីៗទាំងអស់។

Graphite+ClickHouse។ បញ្ហា

ក្នុង​ករណី​របស់​យើង​មាន​បញ្ហា​ខ្លះ។ នេះគឺជាអ្វីដែលយើងជួបប្រទះបន្ទាប់ពីការផ្លាស់ប្តូរ។

1. ClickHouse មិនតែងតែអានការកំណត់ឡើងវិញភ្លាមៗទេ ជួនកាលវាត្រូវចាប់ផ្តើមឡើងវិញ។ ជាឧទាហរណ៍ ក្នុងករណីមានការពិពណ៌នាអំពីក្រុមអ្នកថែសួនសត្វនៅក្នុងការកំណត់រចនាសម្ព័ន្ធ ClickHouse វាមិនត្រូវបានប្រើរហូតដល់ម៉ាស៊ីនមេ clickhouse ត្រូវបានចាប់ផ្តើមឡើងវិញ។
2. សំណើ ClickHouse ធំមិនបានឆ្លងកាត់ទេ ដូច្នេះនៅក្នុង graphite-clickhouse ខ្សែភ្ជាប់ ClickHouse របស់យើងមើលទៅដូចនេះ៖

   url = "http://localhost:8123/?max_query_size=268435456&max_ast_elements=1000000"

3. ClickHouse ជាញឹកញាប់បញ្ចេញកំណែថ្មីនៃការចេញផ្សាយដែលមានស្ថេរភាព ពួកគេអាចមានការភ្ញាក់ផ្អើល៖ សូមប្រយ័ត្ន។
4. ធុងដែលបង្កើតដោយថាមវន្តនៅក្នុង kubernetes ផ្ញើរង្វាស់មួយចំនួនធំជាមួយនឹងអាយុកាលខ្លី និងចៃដន្យ។ មិនមានចំណុចច្រើនទេសម្រាប់ម៉ែត្របែបនេះ ហើយមិនមានបញ្ហាជាមួយលំហទេ។ ប៉ុន្តែនៅពេលបង្កើតសំណួរ ClickHouse យកចំនួនដ៏ធំនៃម៉ែត្រដូចគ្នាទាំងនេះពីតារាង 'ម៉ែត្រ' ។ ក្នុង 90% នៃករណីមិនមានទិន្នន័យនៅលើពួកវាលើសពីបង្អួច (24 ម៉ោង) ។ ប៉ុន្តែពេលវេលាត្រូវបានចំណាយលើការស្វែងរកទិន្នន័យនេះនៅក្នុងតារាង 'ទិន្នន័យ' ហើយនៅទីបំផុតនឹងឈានដល់ការអស់ពេល។ ដើម្បីដោះស្រាយបញ្ហានេះ យើងបានចាប់ផ្តើមរក្សាទិដ្ឋភាពដាច់ដោយឡែកជាមួយនឹងព័ត៌មានអំពីម៉ែត្រដែលត្រូវបានជួបប្រទះនៅពេលថ្ងៃ។ ដូច្នេះនៅពេលបង្កើតរបាយការណ៍ (ក្រាហ្វ) សម្រាប់កុងតឺន័រដែលបង្កើតដោយថាមវន្ត យើងសួរតែរង្វាស់ទាំងនោះដែលត្រូវបានជួបប្រទះនៅក្នុងបង្អួចដែលបានផ្តល់ឱ្យ ហើយមិនមែនពេញមួយពេលនោះទេ ដែលបង្កើនល្បឿនយ៉ាងសំខាន់ក្នុងការសាងសង់របាយការណ៍លើពួកវា។ ចំពោះដំណោះស្រាយដែលបានពិពណ៌នាខាងលើខ្ញុំបានប្រមូល graphite-clickhouse (fork)ដែលរួមបញ្ចូលការអនុវត្តការងារជាមួយតារាង date_metrics ។

Graphite+ClickHouse។ ស្លាក

ជាមួយនឹងកំណែ 1.1.0 Graphite បានក្លាយជាផ្លូវការ ស្លាកគាំទ្រ. ហើយយើងកំពុងគិតយ៉ាងសកម្មអំពីអ្វី និងរបៀបធ្វើ ដើម្បីគាំទ្រគំនិតផ្តួចផ្តើមនេះនៅក្នុង graphite+ clickhouse stack

Graphite+ClickHouse។ ឧបករណ៍ចាប់សញ្ញាមិនប្រក្រតី

ដោយផ្អែកលើហេដ្ឋារចនាសម្ព័ន្ធដែលបានពិពណ៌នាខាងលើ យើងបានអនុវត្តគំរូដើមនៃឧបករណ៍រាវរកភាពមិនប្រក្រតីហើយវាដំណើរការ! ប៉ុន្តែបន្ថែមអំពីគាត់នៅក្នុងអត្ថបទបន្ទាប់។

Subscribe ចុចសញ្ញាព្រួញឡើងលើ រីករាយ!

ប្រភព: www.habr.com