September ini, Broadcom (dahulunya CA) mengeluarkan versi baharu 20.2 bagi penyelesaian DX Operations Intelligence (DX OI)nya. Produk ini diletakkan di pasaran sebagai sistem pemantauan payung. Sistem ini dapat menerima dan menggabungkan data daripada sistem pemantauan pelbagai domain (rangkaian, infrastruktur, aplikasi, pangkalan data) kedua-dua CA dan pengeluar pihak ketiga, termasuk penyelesaian sumber terbuka (Zabbix, Prometheus dan lain-lain).

Fungsi utama DX OI ialah penciptaan model perkhidmatan sumber (RSM) lengkap berdasarkan item konfigurasi (CU) yang mengisi pangkalan data inventori apabila disepadukan dengan sistem pihak ketiga. DX OI melaksanakan fungsi Pembelajaran Mesin dan Kecerdasan Buatan (ML dan AI) ke atas data yang memasuki platform, yang membolehkan anda menilai / meramalkan kebarangkalian kegagalan CI tertentu dan tahap kesan kegagalan pada perkhidmatan perniagaan berdasarkan CI tertentu. Di samping itu, DX OI ialah satu titik pengumpulan acara pemantauan dan, oleh itu, penyepaduan dengan sistem Meja Perkhidmatan, yang merupakan kelebihan yang tidak dapat dipertikaikan menggunakan sistem di pusat pemantauan bersatu mengikut anjakan tugas organisasi. Dalam artikel ini, kami akan memberitahu anda lebih lanjut tentang kefungsian sistem dan menunjukkan antara muka pengguna dan pentadbir.

Senibina Penyelesaian DX OI

Platform DX mempunyai seni bina perkhidmatan mikro, dipasang dan dijalankan di bawah Kubernetes atau OpenShift. Rajah berikut menunjukkan komponen penyelesaian yang boleh digunakan sebagai alat pemantauan bebas atau boleh digantikan dengan sistem pemantauan sedia ada dengan fungsi yang serupa (terdapat contoh sistem sedemikian dalam rajah) dan kemudian disambungkan ke payung DX OI. Dalam rajah di bawah:

• Memantau aplikasi mudah alih dalam DX App Experience Analytics;
• Pemantauan prestasi aplikasi dalam DX APM;
• Pemantauan infrastruktur dalam Pengurus Infrastruktur DX;
• Memantau peranti rangkaian dalam Pengurus NetOps DX.

Komponen DX berjalan di bawah kawalan gugusan dan skala Kubernetes dengan hanya melancarkan POD baharu. Di bawah ialah gambarajah penyelesaian aras tinggi.

Pentadbiran, penskalaan dan pengemaskinian platform DX dilakukan dalam konsol pentadbiran. Daripada konsol tunggal, anda boleh mengurus seni bina berbilang penyewa yang boleh merangkumi berbilang perusahaan atau berbilang unit perniagaan dalam syarikat. Dalam model ini, setiap perusahaan boleh dikonfigurasikan secara individu sebagai penyewa dengan set konfigurasinya sendiri.

Konsol Pentadbiran ialah operasi berasaskan web dan alat pengurusan sistem yang menyediakan pentadbir antara muka yang konsisten dan bersatu untuk melaksanakan tugas pengurusan kluster pemantauan.

Penyewa baharu untuk unit perniagaan atau perusahaan dalam syarikat digunakan dalam beberapa minit. Ini memberi kelebihan jika anda ingin mempunyai sistem pemantauan bersatu, tetapi pada peringkat platform (dan bukan hak akses) untuk membezakan objek pemantauan antara jabatan.

Model perkhidmatan sumber dan pemantauan perkhidmatan perniagaan

DX OI mempunyai mekanisme terbina dalam untuk mencipta perkhidmatan dan membangunkan PCM klasik dengan tugas logik pengaruh dan pemberat antara komponen perkhidmatan. Terdapat juga mekanisme untuk mengeksport PCM daripada CMDB luaran. Rajah di bawah menunjukkan editor PCM terbina dalam (perhatikan berat pautan).

DX OI menyediakan gambaran holistik penunjuk prestasi utama perniagaan atau perkhidmatan IT dengan terperinci, termasuk ketersediaan perkhidmatan dan ramalan risiko kegagalan. Alat ini juga boleh memberikan cerapan tentang kesan isu prestasi atau perubahan dalam reka bentuk komponen IT (aplikasi atau infrastruktur) pada perkhidmatan perniagaan. Rajah di bawah menunjukkan papan pemuka interaktif yang memaparkan status semua perkhidmatan.

Mari lihat butiran menggunakan perkhidmatan Perbankan Digital sebagai contoh. Dengan mengklik pada nama perkhidmatan, kami pergi ke PCM terperinci perkhidmatan. Kami melihat bahawa status perkhidmatan Perbankan Digital bergantung pada keadaan infrastruktur dan subperkhidmatan transaksi dengan berat yang berbeza. Bekerja dengan pemberat dan memaparkannya ialah faedah yang menyeronokkan DX OI.

Topologi ialah elemen penting dalam pemantauan loji operasi, membolehkan pengendali dan jurutera menganalisis hubungan antara komponen, mencari punca dan kesan.

DX OI Topology Viewer ialah perkhidmatan yang menggunakan data topologi yang datang daripada sistem pemantauan domain yang mengumpul data terus daripada objek pemantauan. Alat ini direka bentuk untuk mencari berbilang lapisan stor topologi dan memaparkan peta perhubungan khusus konteks. Untuk menyiasat masalah, anda boleh pergi ke subperkhidmatan Perbankan Backend yang bermasalah dan lihat topologi dan komponen yang bermasalah. Anda juga boleh menganalisis mesej penggera dan metrik prestasi untuk setiap komponen.

Apabila menganalisis komponen transaksi Pembayaran (urus niaga pengguna), kami boleh menjejaki nilai KPI perniagaan, yang turut diambil kira semasa mengira ketersediaan dan status kesihatan perkhidmatan. Contoh KPI perniagaan diberikan di bawah:

Analitis Acara

Pengurangan hingar algoritma akibat pengelompokan kemalangan

Salah satu ciri utama DX OI dalam pemprosesan acara ialah pengelompokan. Enjin berfungsi pada semua makluman yang masuk ke dalam sistem untuk mengenal pasti corak berdasarkan konteks yang berbeza dan mengumpulkannya bersama-sama. Kelompok ini adalah pembelajaran kendiri dan tidak perlu dikonfigurasikan secara manual.

Oleh itu, pengelompokan membolehkan pengguna menggabungkan dan mengumpulkan sejumlah besar peristiwa dan menganalisis hanya peristiwa yang mempunyai konteks yang sama. Contohnya, satu set peristiwa yang mewakili insiden yang menjejaskan pengendalian aplikasi atau pusat data. Situasi dicipta menggunakan algoritma pengelompokan berasaskan pembelajaran mesin yang menggunakan korelasi temporal, hubungan topologi dan pemprosesan bahasa ibunda untuk analisis. Angka di bawah menunjukkan contoh visualisasi kumpulan kluster mesej, yang dipanggil Penggera Situasi dan Garis Masa Bukti, memaparkan parameter utama kumpulan dan proses mengurangkan bilangan peristiwa hingar.

Analisis masalah akar dan korelasi kemalangan

Dalam persekitaran hibrid hari ini, transaksi pengguna boleh menjejaskan berbilang sistem yang digunakan secara dinamik. Akibatnya, berbilang makluman mungkin dijana daripada sistem yang berbeza tetapi berkaitan dengan masalah atau kejadian yang sama. DX OI menggunakan mekanisme proprietari untuk menyekat makluman berlebihan dan pendua serta mengaitkan makluman berkaitan untuk pengesanan isu kritikal yang lebih baik dan penyelesaian yang lebih pantas.

Mari kita lihat contoh apabila sistem menerima banyak mesej penggera untuk objek berbeza (OU) yang mendasari satu perkhidmatan. Sekiranya berlaku kesan ke atas ketersediaan dan prestasi perkhidmatan, sistem akan menjana penggera perkhidmatan (Penggera Perkhidmatan), menunjukkan dan menetapkan punca yang berkemungkinan (KE bermasalah dan mesej penggera untuk KE), yang menyumbang kepada penurunan prestasi atau kegagalan perkhidmatan. Rajah di bawah menunjukkan visualisasi situasi kecemasan untuk perkhidmatan Webex.

DX OI membolehkan anda bekerja dengan acara melalui tindakan intuitif dalam antara muka web sistem. Pengguna boleh menetapkan acara secara manual kepada pekerja yang bertanggungjawab untuk menyelesaikan masalah, menetapkan semula/mengakui makluman, membuat tiket atau menghantar pemberitahuan e-mel dan menjalankan skrip automatik untuk menyelesaikan kecemasan (Aliran Kerja Pemulihan, lebih lanjut mengenainya kemudian). Dengan cara ini, DX OI membenarkan pengendali atas panggilan untuk memfokus pada mesej penggera akar dan juga membantu memperkemas proses pengisihan mesej ke dalam tatasusunan berkelompok.

Algoritma mesin untuk memproses metrik dan menganalisis data prestasi

Pembelajaran mesin membolehkan anda menjejak, mengagregat dan memvisualisasikan penunjuk prestasi utama untuk sebarang tempoh masa tertentu, yang memberi pengguna faedah berikut:

• Pengesanan kesesakan dan anomali prestasi;
• Perbandingan beberapa penunjuk untuk peranti, antara muka atau rangkaian yang sama;
• Perbandingan penunjuk yang sama di beberapa tapak;
• Perbandingan pelbagai penunjuk untuk satu dan beberapa objek;
• Perbandingan metrik berbilang dimensi merentas berbilang objek.

Untuk menganalisis metrik yang memasuki sistem, DX OI menggunakan fungsi analitik mesin menggunakan algoritma matematik, yang membantu mengurangkan masa apabila menetapkan ambang statik dan menjana amaran apabila anomali berlaku.

Hasil daripada menggunakan algoritma matematik ialah pembinaan apa yang dipanggil taburan kebarangkalian nilai metrik (Jarang, Berkemungkinan, Pusat, Min, Sebenar). Angka di atas dan di bawah menunjukkan taburan kebarangkalian.

Dua graf di atas menunjukkan data berikut:

• Data sebenar. Data sebenar dipaparkan pada graf sebagai garis hitam pepejal (tiada penggera) atau garis pepejal berwarna (keadaan penggera). Garisan dikira berdasarkan data sebenar untuk metrik. Dengan membandingkan data sebenar dan median, anda boleh melihat variasi dalam metrik dengan cepat. Apabila peristiwa berlaku, garis hitam bertukar kepada garis pepejal berwarna yang sepadan dengan kekritisan peristiwa dan memaparkan ikon dengan kekritisan sepadan di atas graf. Contohnya, merah untuk anomali kritikal, oren untuk anomali besar dan kuning untuk anomali kecil.
• Nilai min penunjuk. Nilai min atau median untuk penunjuk ditunjukkan dalam carta sebagai garis kelabu. Purata dipaparkan apabila data sejarah tidak mencukupi.
• Nilai median penunjuk (Nilai pusat). Garis median ialah pertengahan julat dan ditunjukkan sebagai garis putus-putus hijau. Zon yang paling hampir dengan garisan ini adalah yang paling hampir dengan nilai biasa penunjuk.
• Nilai Bersama. Data zon keseluruhan menjejaki garis tengah terdekat atau biasa untuk metrik anda dan muncul sebagai bar hijau gelap. Pengiraan analitikal meletakkan zon keseluruhan pada satu persentil di atas atau di bawah normal.
• Data kebarangkalian. Data zon kebarangkalian ditunjukkan sebagai bar hijau pada graf. Sistem meletakkan zon kebarangkalian pada dua persentil di atas atau di bawah normal.
• Data jarang berlaku. Data zon jarang ditunjukkan pada graf sebagai bar hijau muda. Sistem ini meletakkan kawasan dengan nilai metrik jarang pada tiga persentil di atas atau di bawah norma dan menandakan kelakuan penunjuk di luar julat normal, manakala sistem menjana apa yang dipanggil Amaran Anomali.

Anomali ialah ukuran atau peristiwa yang tidak konsisten dengan prestasi normal sesuatu metrik. Pengesanan anomali untuk mengenal pasti masalah dan memahami arah aliran dalam infrastruktur dan aplikasi ialah ciri utama DX OI. Pengesanan anomali membolehkan anda mengecam kelakuan luar biasa (contohnya, pelayan yang bertindak balas lebih perlahan daripada biasa atau aktiviti rangkaian luar biasa yang disebabkan oleh penggodaman) dan bertindak balas dengan sewajarnya (menimbulkan insiden, menjalankan skrip Pemulihan automatik).

Pengesanan Anomali DX OI menyediakan faedah berikut:

• Tidak perlu menetapkan ambang. DX OI akan mengumpul data secara bebas dan mengenal pasti anomali.
• DX OI merangkumi lebih daripada sepuluh kecerdasan buatan dan algoritma pembelajaran mesin, termasuk EWMA (Exponentially-Weighted—Moving-Average) dan KDE (Kernel Density Estimation). Algoritma ini membolehkan analisis punca cepat dan ramalan nilai metrik masa hadapan.

Analisis ramalan dan pemberitahuan kemungkinan kegagalan

Predictive Insights ialah ciri yang menggunakan kuasa pembelajaran mesin untuk mengenal pasti corak dan arah aliran. Berdasarkan arah aliran ini, sistem meramalkan peristiwa yang mungkin berlaku pada masa hadapan. Mesej ini menunjukkan keperluan untuk mengambil tindakan sebelum nilai metrik menyimpang daripada nilai normal dan memberi kesan kepada perkhidmatan perniagaan yang kritikal. Cerapan Ramalan digambarkan dalam rajah di bawah.

Dan ini ialah visualisasi amaran ramalan untuk metrik tertentu.

Meramalkan beban kuasa pengkomputeran dengan fungsi menentukan senario beban

Perancangan kapasiti Analitis Kapasiti membantu anda mengurus sumber IT anda, memastikan sumber bersaiz betul untuk memenuhi keperluan perniagaan semasa dan masa hadapan. Anda akan dapat mengoptimumkan produktiviti dan kecekapan sumber sedia ada, merancang dan mewajarkan sebarang pelaburan kewangan.

Ciri Analitis Kapasiti dalam DX OI menyediakan faedah berikut:

• Kapasiti ramalan semasa musim puncak;
• Menentukan masa apabila sumber tambahan diperlukan untuk memastikan fungsi perkhidmatan yang berkualiti tinggi;
• Membeli sumber tambahan hanya apabila perlu;
• Pengurusan infrastruktur dan rangkaian yang berkesan;
• Menghapuskan kos tenaga yang tidak perlu dengan mengenal pasti sumber yang kurang digunakan;
• Melaksanakan penilaian beban sumber sekiranya berlaku peningkatan yang dirancang dalam permintaan untuk perkhidmatan atau sumber.

Halaman Capacity Analytics DX OI (gambar di bawah) mempunyai widget berikut:

• Status Kapasiti Sumber;
• Kumpulan/Perkhidmatan yang Dipantau;
• Pengguna Kapasiti Tertinggi.

Halaman utama Capacity Analytics menunjukkan komponen sumber yang digunakan secara berlebihan dan kehabisan kapasiti. Halaman ini membantu pentadbir platform mencari sumber yang terlalu digunakan dan membantu mereka mengubah saiz dan mengoptimumkan sumber. Status sumber boleh dianalisis berdasarkan kod warna dan makna yang sepadan. Sumber dikelaskan berdasarkan tahap kesesakan pada halaman status kapasiti sumber. Anda boleh mengklik pada setiap warna untuk melihat senarai komponen yang termasuk dalam kategori yang dipilih. Seterusnya, peta haba akan dipaparkan dengan semua objek dan ramalan selama 12 bulan, yang membolehkan anda mengenal pasti sumber yang hampir habis.

Untuk setiap metrik dalam Analitis Kapasiti, anda boleh menentukan penapis yang DX Operational Intelligence gunakan untuk membuat ramalan (rajah di bawah).

Penapis berikut tersedia:

• Sukatan. Metrik yang akan digunakan untuk ramalan.
• Berdasarkan. Memilih jumlah data sejarah yang akan digunakan untuk membuat ramalan untuk masa hadapan. Medan ini digunakan untuk membandingkan dan menganalisis arah aliran sepanjang bulan lalu, arah aliran sepanjang 3 bulan lalu, arah aliran sepanjang tahun, dsb.
• Pertumbuhan. Kadar pertumbuhan beban kerja yang dijangkakan yang anda mahu gunakan untuk memodelkan ramalan kuasa anda. Data ini boleh digunakan untuk meramalkan pertumbuhan melebihi unjuran. Sebagai contoh, penggunaan sumber dijangka meningkat sebanyak 40 peratus lagi berikutan pembukaan pejabat baharu.

Analisis log

Ciri analisis log DX OI menyediakan:

• pengumpulan dan pengagregatan log daripada sumber yang berbeza (termasuk yang diperoleh melalui kaedah ejen dan bukan ejen);
• penghuraian dan penormalan data;
• analisis untuk pematuhan syarat yang ditetapkan dan penjanaan peristiwa;
• korelasi peristiwa berdasarkan log, termasuk peristiwa yang diperoleh hasil daripada pemantauan infrastruktur IT;
• visualisasi data berdasarkan analisis dalam Papan Pemuka DX;
• kesimpulan tentang ketersediaan perkhidmatan berdasarkan analisis data daripada log.

Pengumpulan log menggunakan kaedah tanpa agen dilakukan oleh sistem untuk log Peristiwa Windows dan Syslog. Log teks dikumpul menggunakan kaedah ejen.

Fungsi penyelesaian kecemasan automatik (Pemulihan)

Tindakan automatik untuk membetulkan situasi kecemasan (Aliran Kerja Pemulihan) membolehkan anda menyelesaikan masalah yang menyebabkan penjanaan acara dalam DX OI. Contohnya, isu penggunaan CPU menjana mesej penggera, Aliran Kerja Pemulihan menyelesaikan isu dengan memulakan semula pelayan tempat isu itu berlaku. Penyepaduan antara DX OI dan sistem automasi membolehkan anda menjalankan proses pemulihan daripada konsol acara dalam DX Operational Intelligence dan memantaunya dalam konsol automasi.

Setelah disepadukan dengan sistem automasi, anda boleh mencetuskan tindakan automatik untuk membetulkan sebarang situasi penggera dalam konsol DX OI daripada konteks mesej penggera. Anda boleh melihat tindakan yang disyorkan bersama-sama dengan maklumat tentang peratusan keyakinan (kemungkinan untuk menyelesaikan situasi dengan mengambil tindakan).

Pada mulanya, apabila tiada statistik tentang hasil Aliran Kerja Pemulihan, enjin pengesyoran mencadangkan pilihan yang berpotensi berdasarkan carian kata kunci, kemudian hasil pembelajaran mesin digunakan dan enjin mula mengesyorkan teknik pemulihan berdasarkan heuristik. Sebaik sahaja anda mula menilai hasil petua yang anda terima, ketepatan pengesyoran anda akan bertambah baik.

Contoh maklum balas daripada pengguna: pengguna memilih sama ada dia suka atau tidak suka tindakan yang dicadangkan dan sistem mengambil kira pilihan ini apabila membuat pengesyoran lanjut. Suka/tidak suka:

Tindakan pembetulan yang disyorkan untuk penggera tertentu adalah berdasarkan gabungan maklum balas yang menentukan sama ada tindakan itu boleh diterima. DX OI didatangkan dengan penyepaduan luar biasa dengan Automasi Automatik.

Integrasi DX OI dengan sistem pihak ketiga

Kami tidak akan membincangkan secara terperinci mengenai penyepaduan data daripada produk pemantauan asli Broadcom (DX NetOps, Pengurusan Infrastruktur DX, Pengurusan Prestasi Aplikasi DX). Sebaliknya, mari kita lihat cara data daripada sistem pihak ketiga pihak ketiga disepadukan dan lihat contoh penyepaduan dengan salah satu sistem yang paling popular - Zabbix.

Untuk penyepaduan dengan sistem pihak ketiga, komponen DX Gateway digunakan. DX Gateway terdiri daripada 3 komponen - On-Prem Gateway, RESTmon dan Log Collector (Logstash). Anda boleh memasang kesemua 3 komponen atau hanya yang anda perlukan dengan menukar fail konfigurasi umum semasa memasang DX Gateway. Rajah di bawah menunjukkan seni bina DX Gateway.

Mari kita lihat tujuan komponen DX Gateway secara berasingan.

Gerbang di Prem. Ini ialah antara muka yang mengumpul penggera daripada platform DX dan menghantar peristiwa penggera kepada sistem pihak ketiga. On-Prem Gateway bertindak sebagai peninjau yang secara berkala mengumpul data acara daripada DX OI menggunakan API permintaan HTTPS, kemudian menghantar makluman kepada pelayan pihak ketiga yang disepadukan dengan platform DX menggunakan webhooks.

Pengumpul Log DX menerima syslog daripada peranti rangkaian atau pelayan dan memuat naiknya ke OI. DX Log Collector membolehkan anda memisahkan perisian yang menjana mesej, sistem yang menyimpannya dan perisian yang melaporkan dan menganalisisnya. Setiap mesej ditandakan dengan kod entiti yang menunjukkan jenis perisian yang menjana mesej dan menetapkan tahap keterukan. Anda boleh melihat semua ini kemudian dalam Papan Pemuka DX.

DX RESTmon disepadukan dengan produk/perkhidmatan pihak ketiga melalui REST API dan menghantar data kepada OI. Rajah di bawah menunjukkan gambar rajah berfungsi DX RESTmon menggunakan contoh penyepaduan dengan sistem pemantauan Solarwinds dan SCOM.

Ciri utama DX RESTmon:

• Sambung ke mana-mana sumber data pihak ketiga untuk menerima data:
  • PULL: menyambung dan mendapatkan semula data daripada API REST awam;
  • PUSH: aliran data ke RESTmon melalui REST.
• Sokongan untuk format JSON dan XML;
• Mengambil metrik, makluman, kumpulan, topologi, inventori dan log;
• Penyambung sedia untuk pelbagai alat/teknologi; ia juga mungkin untuk membangunkan penyambung kepada mana-mana sumber dengan API terbuka (senarai penyambung berkotak adalah dalam rajah di bawah);
• Sokongan untuk pengesahan asas (lalai) apabila mengakses antara muka Swagger dan API;
• Sokongan HTTPS (secara lalai) untuk semua mesej masuk dan keluar;
• Sokongan untuk proksi masuk dan keluar;
• Keupayaan penghuraian teks yang berkuasa untuk log yang diterima melalui REST;
• Penghuraian tersuai dengan RESTmon untuk penghuraian dan visualisasi log yang cekap;
• Sokongan untuk mengekstrak maklumat kumpulan peranti daripada aplikasi pemantauan dan memuatkan ke dalam OI untuk analisis dan visualisasi;
• Sokongan untuk padanan ungkapan biasa. Ini boleh digunakan untuk menghuraikan dan memadankan mesej log yang diterima melalui REST, dan untuk menjana atau menutup acara berdasarkan syarat ungkapan biasa tertentu.

Sekarang mari kita lihat proses menyediakan penyepaduan DX OI dengan Zabbix melalui DX RESTmon. Penyepaduan berkotak mengambil data berikut daripada Zabbix:

• data inventori;
• topologi;
• Masalah;
• metrik.

Memandangkan penyambung untuk Zabbix tersedia di luar kotak, semua yang anda perlu lakukan untuk menyediakan penyepaduan ialah mengemas kini profil anda dengan alamat IP dan akaun API pelayan Zabbix, dan kemudian muat naik profil melalui antara muka web Swagger. Contoh dalam dua gambar berikut.

Selepas menyediakan penyepaduan, fungsi analisis DX OI yang diterangkan di atas akan tersedia untuk data yang datang daripada Zabbix, iaitu: Analitis Penggera, Analitis Prestasi, Cerapan Ramalan, Analitis Perkhidmatan dan Pemulihan. Rajah di bawah menunjukkan contoh menganalisis metrik prestasi untuk objek yang disepadukan daripada Zabbix.

Kesimpulan

DX OI ialah alat analitik moden yang akan memberikan kecekapan operasi yang ketara kepada jabatan IT, membolehkan keputusan yang lebih pantas dan lebih tepat dibuat untuk meningkatkan kualiti IT dan perkhidmatan perniagaan melalui analisis kontekstual merentas domain. Bagi pemilik aplikasi dan unit perniagaan, DX OI akan mengira penunjuk ketersediaan dan kualiti perkhidmatan bukan sahaja dalam konteks penunjuk IT teknologi, tetapi juga KPI perniagaan yang diekstrak daripada statistik transaksi pada pengguna akhir.

Jika anda ingin mengetahui lebih lanjut tentang penyelesaian ini, sila serahkan permintaan untuk demo atau perintis dengan cara yang sesuai untuk anda di laman web kami.

Sumber: www.habr.com