Loki - ការប្រមូលកំណត់ហេតុដោយប្រើវិធីសាស្រ្ត Prometheus

សូមជំរាបសួរអ្នកស្រុក Khabrovsk! នៅមុនថ្ងៃចាប់ផ្តើមនៃការចុះឈ្មោះថ្មីសម្រាប់វគ្គសិក្សា "ការអនុវត្ត និងឧបករណ៍ DevOps" យើងបានរៀបចំការបកប្រែនៃសម្ភារៈគួរឱ្យចាប់អារម្មណ៍សម្រាប់អ្នក។

អត្ថបទ​នេះ​គឺ​ជា​ការ​ណែនាំ​ខ្លី​មួយ​ចំពោះ Loki ។ គម្រោង Loki គាំទ្រដោយ Grafana ហើយ​មាន​គោល​បំណង​ទៅ​លើ​ការ​ប្រមូល​កំណត់​ហេតុ​កណ្តាល (ពី​ម៉ាស៊ីន​មេ ឬ​កុងតឺន័រ)។

ការបំផុសគំនិតសំខាន់សម្រាប់ Loki គឺ Prometheus ជាមួយនឹងគំនិតនៃការអនុវត្តវិធីសាស្រ្តរបស់គាត់ក្នុងការគ្រប់គ្រងកំណត់ហេតុ៖

• ប្រើស្លាកដើម្បីរក្សាទុកទិន្នន័យ
• ការប្រើប្រាស់ធនធានតិចតួច

យើងនឹងត្រលប់ទៅរបៀបដែល Prometheus ដំណើរការ និងផ្តល់ឧទាហរណ៍មួយចំនួននៃការប្រើប្រាស់របស់វានៅក្នុងបរិបទរបស់ Kubernetes ។

ពាក្យពីរបីអំពី Prometheus

ដើម្បីយល់ច្បាស់អំពីរបៀបដែល Loki ដំណើរការ វាជារឿងសំខាន់ក្នុងការដើរថយក្រោយ ហើយចងចាំបន្តិចអំពី Prometheus ។

លក្ខណៈពិសេសប្លែកមួយនៃ Prometheus គឺការទាញយកម៉ែត្រពីចំណុចប្រមូល (តាមរយៈអ្នកនាំចេញ) ហើយរក្សាទុកវានៅក្នុង TSDB (Time Series Data Base) ជាមួយនឹងការបន្ថែមទិន្នន័យមេតាក្នុងទម្រង់ជាស្លាក។

ហេតុអ្វីចាំបាច់ណាស់

ថ្មីៗនេះ Prometheus បានក្លាយជាស្តង់ដារជាក់ស្តែងនៅក្នុងពិភពនៃកុងតឺន័រ និង Kubernetes៖ ការដំឡើងរបស់វាគឺសាមញ្ញណាស់ ហើយចង្កោម Kubernetes ភ្ជាប់មកជាមួយចំណុចបញ្ចប់ដើមសម្រាប់ Prometheus ។ Prometheus ក៏អាចទាញយកម៉ែត្រពីកម្មវិធីដែលបានដាក់ពង្រាយក្នុងកុងតឺន័រ ខណៈពេលដែលរក្សាទុកស្លាកជាក់លាក់។ ដូច្នេះការត្រួតពិនិត្យកម្មវិធីគឺមានភាពងាយស្រួលក្នុងការអនុវត្ត។

ជាអកុសល វានៅតែមិនមានដំណោះស្រាយ turnkey សម្រាប់ការគ្រប់គ្រងកំណត់ហេតុ ហើយអ្នកត្រូវតែស្វែងរកដំណោះស្រាយសម្រាប់ខ្លួនអ្នក៖

• សេវាកម្មពពកដែលបានគ្រប់គ្រងសម្រាប់ការធ្វើកំណត់ហេតុកណ្តាល (AWS, Azure ឬ Google)
• សេវាកម្មត្រួតពិនិត្យ "ការត្រួតពិនិត្យជាសេវាកម្ម" (ឧទាហរណ៍ Datadog)
• បង្កើតសេវាកម្មប្រមូលកំណត់ហេតុផ្ទាល់ខ្លួនរបស់អ្នក។

សម្រាប់ជម្រើសទីបី ខ្ញុំបានប្រើ Elasticsearch ជាប្រពៃណី ទោះបីជាការពិតដែលថាខ្ញុំមិនតែងតែរីករាយជាមួយវា (ជាពិសេសភាពធ្ងន់ និងភាពស្មុគស្មាញនៃការកំណត់របស់វា)។

Loki ត្រូវបានរចនាឡើងដើម្បីសម្រួលដល់ការអនុវត្តដោយយោងតាមគោលការណ៍ដូចខាងក្រោមៈ

• ចាប់ផ្តើមសាមញ្ញ
• ប្រើប្រាស់ធនធានតិចតួច
• ធ្វើការដោយឯករាជ្យដោយគ្មានការថែទាំពិសេសណាមួយឡើយ។
• បម្រើជាការបន្ថែមទៅ Prometheus ដើម្បីជួយក្នុងការស៊ើបអង្កេតកំហុស

ទោះជាយ៉ាងណាក៏ដោយ ភាពសាមញ្ញនេះកើតឡើងដោយការចំណាយនៃការសម្របសម្រួលមួយចំនួន។ មួយក្នុងចំណោមពួកគេគឺមិនត្រូវធ្វើលិបិក្រមមាតិកា។ ដូច្នេះ ការស្វែងរកអត្ថបទមិនមានប្រសិទ្ធភាពខ្លាំង ឬសម្បូរបែប ហើយមិនអនុញ្ញាតឱ្យមានស្ថិតិលើខ្លឹមសារនៃអត្ថបទនោះទេ។ ប៉ុន្តែដោយសារតែ Loki ចង់ក្លាយជាសមមូលនៃ grep និងការបំពេញបន្ថែមរបស់ Prometheus នេះមិនមែនជាគុណវិបត្តិទេ។

ការស៊ើបអង្កេតឧប្បត្តិហេតុ

ដើម្បីយល់កាន់តែច្បាស់ថាហេតុអ្វីបានជា Loki មិនត្រូវការការធ្វើលិបិក្រម សូមត្រលប់ទៅវិធីសាស្ត្រស៊ើបអង្កេតឧប្បត្តិហេតុដែលអ្នកអភិវឌ្ឍន៍ Loki បានប្រើ៖

1 ការជូនដំណឹង → 2 Dashboard → 3 Adhoc Query → 4 Log Aggregation → 5 Distributed Tracing → 6 Fix!
(1 ការព្រមាន → 2 Dashboard → 3 Adhoc Query → 4 Log Aggregation → 5 Distributed Tracing → 6 Fixing!)

គំនិតនេះគឺថាយើងទទួលបានការជូនដំណឹងប្រភេទមួយចំនួន (Slack Notification, SMS, etc.) ហើយបន្ទាប់ពីនោះ៖

• មើលផ្ទាំងគ្រប់គ្រង Grafana
• សូមក្រឡេកមើលម៉ែត្រសេវាកម្ម (ឧទាហរណ៍នៅក្នុង Prometheus)
• មើល​ធាតុ​កំណត់​ហេតុ (ឧទាហរណ៍​ក្នុង Elasticsearch)
• ប្រហែលជាមើលដានដែលបានចែកចាយ (Jaeger, Zipkin ។ល។)
• ហើយចុងក្រោយដោះស្រាយបញ្ហាដើម។

នៅទីនេះក្នុងករណី Grafana + Prometheus + Elasticsearch + Zipkin stack អ្នកនឹងត្រូវប្រើឧបករណ៍បួនផ្សេងគ្នា។ ដើម្បីកាត់បន្ថយពេលវេលា វាពិតជាល្អណាស់ដែលអាចអនុវត្តជំហានទាំងអស់នេះដោយប្រើឧបករណ៍មួយ៖ Grafana ។ វាគួរឱ្យកត់សម្គាល់ថាវិធីសាស្រ្តនៃការស្រាវជ្រាវនេះត្រូវបានអនុវត្តនៅក្នុង Grafana ចាប់តាំងពីកំណែ 6 ។ ដូច្នេះវាអាចចូលប្រើទិន្នន័យ Prometheus ដោយផ្ទាល់ពី Grafana ។

អេក្រង់ Explorer បានបំបែករវាង Prometheus និង Loki

ពីអេក្រង់នេះ អ្នកអាចមើលកំណត់ហេតុ Loki ទាក់ទងនឹងម៉ែត្រ Prometheus ដោយប្រើគំនិតបំបែកអេក្រង់។ ចាប់តាំងពីកំណែ 6.5, Grafana អនុញ្ញាតឱ្យអ្នកញែកលេខសម្គាល់ដាននៅក្នុងធាតុកំណត់ហេតុ Loki ដើម្បីធ្វើតាមតំណភ្ជាប់ទៅកាន់ឧបករណ៍តាមដានដែលបានចែកចាយដែលអ្នកចូលចិត្ត (Jaeger) ។

ការធ្វើតេស្ត Loki ក្នុងស្រុក

មធ្យោបាយងាយស្រួលបំផុតដើម្បីសាកល្បង Loki ក្នុងស្រុកគឺប្រើ docker-compose ។ ឯកសារ docker-compose មានទីតាំងនៅក្នុងឃ្លាំង Loki ។ អ្នកអាចទទួលបានឃ្លាំងដោយប្រើពាក្យបញ្ជាខាងក្រោម git:

$ git clone https://github.com/grafana/loki.git

បន្ទាប់មកអ្នកត្រូវចូលទៅកាន់ថតផលិតកម្ម៖

$ cd production

បន្ទាប់ពីនេះ អ្នកអាចទទួលបានកំណែចុងក្រោយបំផុតនៃរូបភាព Docker៖

$ docker-compose pull

ទីបំផុត ជង់ Loki ត្រូវបានចាប់ផ្តើមជាមួយនឹងពាក្យបញ្ជាដូចខាងក្រោម:

$ docker-compose up

ស្ថាបត្យកម្ម Loki

នេះគឺជាដ្យាក្រាមតូចមួយដែលមានស្ថាបត្យកម្ម Loki៖

គោលការណ៍ស្ថាបត្យកម្ម Loki

ម៉ាស៊ីនភ្ញៀវគេហទំព័រដំណើរការកម្មវិធីនៅលើម៉ាស៊ីនមេ Promtail ប្រមូលកំណត់ហេតុហើយផ្ញើវាទៅ Loki ម៉ាស៊ីនភ្ញៀវគេហទំព័រក៏ផ្ញើទិន្នន័យមេតាទៅ Loki ផងដែរ។ Loki ប្រមូលផ្តុំអ្វីៗគ្រប់យ៉ាង ហើយបញ្ជូនវាទៅ Grafana ។
Loki ត្រូវបានបើកដំណើរការ។ ដើម្បីមើលសមាសធាតុដែលមាន សូមដំណើរការពាក្យបញ្ជាខាងក្រោម៖

$ docker ps

ក្នុងករណី Docker ដែលបានដំឡើងថ្មីៗ ពាក្យបញ្ជាគួរតែត្រឡប់លទ្ធផលដូចខាងក្រោម៖

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

យើងឃើញសមាសធាតុដូចខាងក្រោមៈ

• Promtail៖ ភ្នាក់ងារ​ទទួល​ខុស​ត្រូវ​សម្រាប់​ការ​កំណត់​កណ្តាល
• Grafana: ឧបករណ៍ផ្ទាំងគ្រប់គ្រងដ៏ល្បីល្បាញ
• Loki: ដេមិនកណ្តាលទិន្នន័យ

ជាផ្នែកនៃហេដ្ឋារចនាសម្ព័ន្ធបុរាណ (ឧទាហរណ៍ ផ្អែកលើម៉ាស៊ីននិម្មិត) ភ្នាក់ងារ Promtail ត្រូវតែដាក់ឱ្យប្រើប្រាស់នៅលើម៉ាស៊ីននីមួយៗ។ Grafana និង Loki អាចត្រូវបានដំឡើងនៅលើម៉ាស៊ីនតែមួយ។

ការដាក់ឱ្យប្រើប្រាស់ទៅកាន់ Kubernetes

ការដំឡើងសមាសធាតុ Loki នៅលើ Kubernetes នឹងមានដូចខាងក្រោម៖

• daemonSet សម្រាប់ដាក់ពង្រាយភ្នាក់ងារ Promtail នៅលើម៉ាស៊ីននីមួយៗនៅក្នុង server cluster
• ការដាក់ពង្រាយ Loki
• ហើយចុងក្រោយគឺការដាក់ពង្រាយ Grafana ។

សំណាងល្អ Loki អាចប្រើបានជាកញ្ចប់ Helm ដែលធ្វើឱ្យវាងាយស្រួលក្នុងការដាក់ពង្រាយ។

ការដំឡើងតាមរយៈ Heml

អ្នកគួរតែដំឡើង Heml រួចហើយ។ វាអាចត្រូវបានទាញយកពីឃ្លាំង GitHub របស់គម្រោង។ វាត្រូវបានដំឡើងដោយការពន្លាប័ណ្ណសារដែលត្រូវគ្នានឹងស្ថាបត្យកម្មរបស់អ្នក ហើយបន្ថែមមួកទៅ $PATH.

ចំណាំ: កំណែ 3.0.0 នៃ Helm ត្រូវបានចេញផ្សាយនាពេលថ្មីៗនេះ។ ដោយសារតែមានការកែប្រែជាច្រើនចំពោះវា អ្នកអានត្រូវបានណែនាំឱ្យរង់ចាំបន្តិចមុននឹងប្រើប្រាស់វា។.

ការបន្ថែមប្រភពសម្រាប់ Helm

ជំហានដំបូងគឺត្រូវបន្ថែមឃ្លាំង "loki" ដោយប្រើពាក្យបញ្ជាខាងក្រោម៖

$ helm add loki https://grafana.github.io/loki/charts

បន្ទាប់ពីនេះ អ្នកអាចស្វែងរកកញ្ចប់ដែលមានឈ្មោះ “loki”៖

$ helm search loki

លទ្ធផល:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

កញ្ចប់ទាំងនេះមានមុខងារដូចខាងក្រោមៈ

• កញ្ចប់ loki/loki ផ្គូផ្គងម៉ាស៊ីនមេ Loki ប៉ុណ្ណោះ។
• កញ្ចប់ loki/fluent-bit អនុញ្ញាតឱ្យអ្នកដាក់ពង្រាយ DaemonSet ដោយប្រើ fluent-bin ដើម្បីប្រមូលកំណត់ហេតុជំនួសឱ្យ Promtail
• កញ្ចប់ loki/promtail មានភ្នាក់ងារប្រមូលឯកសារកំណត់ហេតុ
• កញ្ចប់ loki/loki-ជង់អនុញ្ញាតឱ្យអ្នកដាក់ Loki ភ្លាមៗជាមួយ Promtail ។

ការដំឡើង Loki

ដើម្បីដាក់ពង្រាយ Loki ទៅ Kubernetes សូមដំណើរការពាក្យបញ្ជាខាងក្រោមនៅក្នុង "ការត្រួតពិនិត្យ" namespace៖

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

ដើម្បីរក្សាទុកក្នុងថាស សូមបន្ថែមប៉ារ៉ាម៉ែត្រ --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

ចំណាំ: ប្រសិនបើអ្នកចង់ដាក់ពង្រាយ Grafana ក្នុងពេលតែមួយ បន្ទាប់មកបន្ថែមប៉ារ៉ាម៉ែត្រ --set grafana.enabled = true

នៅពេលអ្នកដំណើរការពាក្យបញ្ជានេះ អ្នកគួរតែទទួលបានលទ្ធផលដូចខាងក្រោម៖

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

ក្រឡេកមើលស្ថានភាពនៃផតនៅក្នុងកន្លែងឈ្មោះ "ការត្រួតពិនិត្យ" យើងអាចឃើញថាអ្វីៗទាំងអស់ត្រូវបានដាក់ពង្រាយ៖

$ kubectl -n monitoring get pods -l release=loki

លទ្ធផល:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

ផតទាំងអស់កំពុងដំណើរការ។ ឥឡូវនេះដល់ពេលធ្វើតេស្តហើយ!

ភ្ជាប់ទៅ Grafana

ដើម្បីភ្ជាប់ទៅ Grafana នៅក្រោម Kubernetes អ្នកត្រូវបើកផ្លូវរូងក្រោមដីទៅកាន់ផតរបស់វា។ ខាងក្រោមនេះគឺជាពាក្យបញ្ជាដើម្បីបើកច្រក 3000 សម្រាប់ផត Grafana៖

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

ចំណុចសំខាន់មួយទៀតគឺតម្រូវការដើម្បីសង្គ្រោះពាក្យសម្ងាត់អ្នកគ្រប់គ្រង Grafana ។ ពាក្យសម្ងាត់ត្រូវបានរក្សាទុកជាសម្ងាត់ loki-grafana នៅក្នុងវាល .data.admin-user ក្នុងទម្រង់ base64 ។

ដើម្បីស្តារវាឡើងវិញ អ្នកត្រូវដំណើរការពាក្យបញ្ជាខាងក្រោម៖

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

ប្រើពាក្យសម្ងាត់នេះដោយភ្ជាប់ជាមួយគណនីអ្នកគ្រប់គ្រងលំនាំដើម (អ្នកគ្រប់គ្រង)។

ការកំណត់ប្រភពទិន្នន័យ Loki នៅក្នុង Grafana

ជាដំបូង ត្រូវប្រាកដថា ប្រភពទិន្នន័យ Loki ត្រូវបានបង្កើតឡើង (ការកំណត់រចនាសម្ព័ន្ធ/ប្រភពទិន្នន័យ)។
នេះគឺជាឧទាហរណ៍:

ឧទាហរណ៍នៃការដំឡើងប្រភពទិន្នន័យសម្រាប់ Loki

ដោយចុចលើ "សាកល្បង" អ្នកអាចពិនិត្យមើលការតភ្ជាប់ជាមួយ Loki ។

ស្នើសុំ Loki

ឥឡូវនេះសូមចូលទៅកាន់ Grafana ទៅផ្នែក "រុករក" ។ នៅពេលទទួលកំណត់ហេតុពីកុងតឺន័រ Loki បន្ថែមទិន្នន័យមេតាពី Kubernetes ។ ដូច្នេះវាក្លាយជាអាចធ្វើទៅបានដើម្បីមើលកំណត់ហេតុនៃធុងជាក់លាក់មួយ។

ឧទាហរណ៍ ដើម្បី​ជ្រើស​កំណត់ហេតុ​កុងតឺន័រ promtail អ្នក​អាច​ប្រើ​សំណួរ​ខាងក្រោម៖ {container_name = "promtail"}.
នៅទីនេះក៏ចងចាំផងដែរដើម្បីជ្រើសរើសប្រភពទិន្នន័យ Loki ។

សំណួរនេះនឹងត្រឡប់សកម្មភាពកុងតឺន័រដូចតទៅ៖

លទ្ធផលសំណួរនៅក្នុង Grafana

បន្ថែមទៅផ្ទាំងគ្រប់គ្រង

ដោយចាប់ផ្តើមជាមួយ Grafana 6.4 អ្នកអាចដាក់ព័ត៌មានកំណត់ហេតុដោយផ្ទាល់នៅលើផ្ទាំងគ្រប់គ្រង។ បន្ទាប់ពីនេះ អ្នកប្រើប្រាស់នឹងអាចប្តូរយ៉ាងឆាប់រហ័សរវាងចំនួនសំណើនៅលើគេហទំព័រ និងដានកម្មវិធីរបស់គាត់។

ខាងក្រោមនេះជាឧទាហរណ៍នៃផ្ទាំងគ្រប់គ្រងដែលអនុវត្តអន្តរកម្មនេះ៖

ផ្ទាំងគ្រប់គ្រងគំរូជាមួយម៉ែត្រ Prometheus និងកំណត់ហេតុ Loki

អនាគតរបស់ Loki

ខ្ញុំបានចាប់ផ្តើមប្រើ Loki ត្រឡប់មកវិញនៅក្នុងខែឧសភា / ខែមិថុនាជាមួយនឹងកំណែ 0.1 ។ សព្វថ្ងៃនេះកំណែ 1 និងសូម្បីតែ 1.1 និង 1.2 ត្រូវបានចេញផ្សាយរួចហើយ។

វាត្រូវតែត្រូវបានទទួលស្គាល់ថាកំណែ 0.1 មិនមានស្ថេរភាពគ្រប់គ្រាន់ទេ។ ប៉ុន្តែ 0.3 បានបង្ហាញសញ្ញាពិតនៃភាពចាស់ទុំរួចហើយ ហើយកំណែបន្តបន្ទាប់ (0.4 បន្ទាប់មក 1.0) បានត្រឹមតែពង្រឹងចំណាប់អារម្មណ៍នេះប៉ុណ្ណោះ។

បន្ទាប់ពី 1.0.0 គ្មាននរណាម្នាក់អាចមានលេសមិនប្រើឧបករណ៍ដ៏អស្ចារ្យនេះទេ។

ការកែលម្អបន្ថែមទៀតមិនគួរនិយាយអំពី Loki ទេ ប៉ុន្តែជាការរួមបញ្ចូលរបស់វាជាមួយនឹង Grafana ដ៏ល្អឥតខ្ចោះ។ តាមពិត Grafana 6.4 មានការរួមបញ្ចូលដ៏ល្អជាមួយផ្ទាំងគ្រប់គ្រងរួចហើយ។

Grafana 6.5 ដែលត្រូវបានចេញផ្សាយនាពេលថ្មីៗនេះ ធ្វើអោយប្រសើរឡើងបន្ថែមទៀតនូវការរួមបញ្ចូលនេះដោយការទទួលស្គាល់មាតិកាកំណត់ហេតុដោយស្វ័យប្រវត្តិនៅក្នុងទម្រង់ JSON ។

វីដេអូខាងក្រោមបង្ហាញពីឧទាហរណ៍តូចមួយនៃយន្តការនេះ៖

ការប្រើខ្សែ Loki លាតត្រដាងនៅក្នុង Grafana

ឧទាហរណ៍វាអាចប្រើវាល JSON មួយសម្រាប់៖

• តំណភ្ជាប់ទៅឧបករណ៍ខាងក្រៅ
• ត្រងមាតិកាកំណត់ហេតុ

ឧទាហរណ៍ អ្នកអាចចុចលើ traceId ដើម្បីចូលទៅកាន់ Zipkin ឬ Jaeger។

ដូចធម្មតា យើងទន្ទឹងរង់ចាំមតិយោបល់របស់អ្នក ហើយអញ្ជើញអ្នកមក បើកសិក្ខាសាលាដែលជាកន្លែងដែលយើងនឹងនិយាយអំពីរបៀបដែលឧស្សាហកម្ម DevOps បានអភិវឌ្ឍក្នុងកំឡុងឆ្នាំ 2019 និងពិភាក្សាអំពីផ្លូវអភិវឌ្ឍន៍ដែលអាចកើតមានសម្រាប់ឆ្នាំ 2020។

ប្រភព: www.habr.com