Saatos ningali pandangan sadaya solusi Huawei Enterprise modéren anu dibere dina 2020, urang teraskeun kana carita anu langkung difokuskeun sareng detil ngeunaan ideu sareng produk individu anu tiasa janten dasar pikeun transformasi digital boh perusahaan ageung sareng lembaga pamaréntah. Dinten ieu kami ngobrol ngeunaan konsép sareng téknologi anu diusulkeun Huawei pikeun ngawangun pusat data.
Dina jaman dunya anu nyambung, panyimpen data sareng tantangan ngolah peryogi pendekatan énggal dina sadaya tahapan daur hirup pusat data. Aranjeunna sakaligus kedah janten langkung saderhana sareng langkung pinter pikeun ngarengsekeun peranna salaku unsur sentral dina infrastruktur ékonomi digital global.
Dina 2018, umat manusa nyimpen 33 zettabytes inpormasi, tapi ku 2025 volume totalna kedah ningkat langkung ti lima kali. Tilu puluh taun pangalaman dina ngembangkeun infrastruktur ICT geus diwenangkeun Huawei jadi well-disiapkeun pikeun tumuwuhna "tsunami data" sarta nawarkeun mitra sarta konsumén konsép puseur data calakan, kaasup sagala tahapan pangwangunan, operasi sarta perawatan. Unsur konsép ieu dihijikeun dina ngaran umum HiDC.
Digitalize eta
Aya guyonan seger anu ngambang di Internét: saha anu paling gancangan transformasi digital perusahaan anjeun - CEO, CTO, dewan direksi? Epidemi viruscorona! Ngan nu puguh teu ngalaksanakeun webinars, teu nulis artikel, teu ngabejaan urang kumaha jeung naon nu kudu. Tapi ieu sadayana tindakan réaktif. Sababaraha disiapkeun sateuacanna.
Henteu demi bragging - alesan obyektif, urang bakal make parusahaan urang salaku conto, nu transformasi digital dimimitian dina skala badag sababaraha taun ka pengker. Ayeuna, urang tiasa nransferkeun ampir sadaya karyawan urang damel ti bumi tanpa kaleungitan efisiensi. Carita ngeunaan rumah sakit anu diwangun di kota Wuhan dina sapuluh dinten mangrupikeun indikasi. Aya, transformasi digital manifested sorangan dina kanyataan yén sakabéh sistem IT anu deployed dina tilu poé. Jadi transformasi digital lain ngeunaan "iraha" jeung "naha", tapi ngeunaan "kumaha".
pendekatan arsitéktur tinimbang ngembangkeun spontan
Naon masalah utama anu disanghareupan ku urang nalika urang mimiti ngawangun sistem anu tangtu? Dugi ka ayeuna, sadaya palanggan urang damel dina modeu ngagabungkeun tugas bisnis sareng jasa aplikasi sareng solusi IT. Hésé pisan pikeun kéngingkeun ideu umum ngeunaan fungsi komplek sapertos kitu upami didamel ngan ukur ku nambihan sababaraha blok. Sareng pikeun ngawangun sistem salaku organisme tunggal, pendekatan arsitéktur munggaran diperyogikeun. Ieu naon we embodied dina idéologi solusi HiDC urang.
Nilai maksimum sareng biaya minimum
Sakabéh struktur HiDC diwangun ku dua keureut utama. Anu kahiji nyaéta anu biasa anjeun tingali ti Huawei - infrastruktur klasik. Unsur-unsur keureutan kadua paling gampang digabungkeun jeung istilah "data calakan".
Naha ieu diperlukeun? Kiwari, loba pausahaan ngumpulkeun jumlah kolosal informasi, mindeng sumebar atawa diaksés ngaliwatan rupa-rupa "gaskets". Sumuhun, nyandak sahenteuna database biasa. Tanya administrator database anjeun kumaha database ieu pas babarengan jeung kumaha ngagunakeun informasi ti aranjeunna dina sistem BI keur nyieun kaputusan bisnis. Ahéng, basis data mindeng pisan leupas disambungkeun ka silih tur fungsina salaku misah "pulo". Ku alatan éta, mimiti sagala, urang mikir ngeunaan naon pendekatan arsitéktur bisa ngaleungitkeun masalah ieu.
Prinsip Desain Arsitéktur HiDC
Hayu urang nempo prinsip dasar desain HiDC. Ieu utamana bakal mangpaat teu spesialis dina widang nu mana wae nu tangtu, tapi pikeun solusi arsiték anu bisa nyandak dina sakabéh panorama.
Anu paling umum nyaéta blok jaringan konvergen sareng blok manajemén data. Sareng ieu mangrupikeun konsép anu jarang dipikirkeun ku arsiték solusi: manajemén daur hirup data. Tina pangkalan data klasik, éta parantos hijrah ka seueur sistem anu sanés, kalebet komputasi awan sareng ujung.
Komputasi tepi janten langkung umum. Conto anu paling jelas ngeunaan panggunaanana nyaéta mobil kalayan autopilot, anu disarankeun pikeun ngontrol tina platform tunggal. Salaku tambahan, aya tren ka arah téknologi "héjo" - langkung éfisién énergi, nyababkeun karusakan minimal pikeun lingkungan. Anjeun tiasa ngahontal duanana ku ngalih ka sumber daya intelektual (langkung seueur ngeunaan aranjeunna engké).
Hadé pisan pikeun ngagaduhan genep blok struktur HiDC anu aya dina pembuangan urang. Leres, para nasabah sering damel di lingkungan anu tos didamel sateuacana. Sanajan kitu, ngagunakeun malah hiji blok ti diagram di luhur bisa ngahasilkeun buah. Sareng upami anjeun nambihan kadua, katilu, sareng saterasna, pangaruh sinergis bakal mimiti muncul. Kombinasi jaringan sareng panyimpenan anu disebarkeun nyalira bakal ngahasilkeun kinerja anu langkung luhur sareng latency anu langkung handap. Pendekatan block ngamungkinkeun urang pikeun ngamekarkeun teu chaotically, sakumaha mindeng kajadian di industri, tapi ngagunakeun pendekatan arsitéktur terpadu. Nya, kabuka blok sorangan nyayogikeun kabébasan dina milih solusi anu optimal.
Waktos jaringan konvergen
Anyar-anyar ieu, di pasar global sareng Rusia, kami beuki ngamajukeun konsép jaringan konvergen. Ayeuna, konsumén urang ngagunakeun solusi konvergen dumasar kana RoCEv2 (RDMA over Converged Ethernet v2) pikeun ngawangun sistem panyimpen anu didefinisikeun ku parangkat lunak. Kauntungan utama tina pendekatan ieu nyaéta kabuka sareng henteuna kabutuhan pikeun nyiptakeun sajumlah jaringan anu teu katangtu.
Naha ieu henteu dilakukeun sateuacanna? Émut yén standar Ethernet dikembangkeun dina 1969. Langkung ti satengah abad, éta parantos ngumpulkeun seueur masalah, tapi Huawei parantos diajar pikeun ngabéréskeunana. Ayeuna, berkat sababaraha léngkah tambahan, urang tiasa nganggo Ethernet pikeun aplikasi kritis-misi, solusi beban tinggi, jsb.
Ti DCN ka DCI
Tren penting salajengna nyaéta pangaruh sinergis tina palaksanaan DCI (Data Center Interconnect). Di Rusia, teu sapertos Cina, hal anu sami ngan ukur tiasa dipendakan sareng operator telekomunikasi. Nalika konsumén nganggap solusi jaringan pikeun pusat data, aranjeunna biasana henteu nengetan integrasi jero jaringan optik sareng solusi IP klasik dina hiji titik ayana. Aranjeunna nganggo solusi akrab anu dianggo dina lapisan IP, anu cekap pikeun aranjeunna.
Naon DCI pikeun lajeng? Bayangkeun yén administrator titik DWDM sareng administrator jaringan sacara mandiri. Di sawatara titik, hiji kagagalan dina salah sahiji aranjeunna serius bisa ngurangan resiliency Anjeun. Tur upami urang ngagunakeun prinsip sinergi, IP routing dilaksanakeun nyokot kana akun naon anu lumangsung dina jaringan optik. Pamakéan layanan calakan misalna nyata ngaronjatkeun jumlah nines dina tingkat kasadiaan sakabéh sistem.
Kauntungannana serius sejen tina DCI urang téh margin kinerja badag na. Ku nyimpulkeun kamampuan rentang C sareng L, anjeun tiasa nampi sakitar 220 lambdas. Cadangan sapertos kitu sigana moal gancang béak sanajan ku palanggan perusahaan ageung, nunjukkeun yén solusi ayeuna kami ngamungkinkeun dugi ka 400 Gbit / s dikirimkeun ngaliwatan unggal lambda. Ka hareupna, éta bakal tiasa ngahontal 800 Gbit / s dina alat anu sami.
genah tambahan disadiakeun ku manageability sakabéh nu kami nyadiakeun ngaliwatan interfaces kabuka klasik. NETCONF henteu ngan ukur ngatur saklar, tapi ogé alat multiplex optik, anu ngamungkinkeun anjeun ngahontal konvergénsi dina sagala tingkatan sareng nganggap sistem salaku sumber intelektual, sanés "sakumpulan kotak".
Edge computing beuki penting
Loba jalma geus uninga ngeunaan Edge Computing. Sareng anu aub dina méga sareng pusat data klasik kedah émut yén kami nembé ningali peralihan anu serius nuju komputasi tepi.
Naon anu nyababkeun ieu? Hayu urang nempo model deployment umum. Kiwari aya loba omongan ngeunaan "kota pinter", "imah pinter", jsb Konsep ieu ngamungkinkeun pamekar pikeun nyieun nilai tambah jeung ningkatkeun harga harta. A "imah pinter" ngaidentipikasi nyicingan na, ngidinan anjeunna asup jeung kaluar, sarta nyadiakeun anjeunna kalayan layanan tangtu. Numutkeun statistik, jasa sapertos nambahkeun ngeunaan 10-15% kana harga apartemen jeung, sacara umum, bisa spur ngembangkeun model bisnis anyar. Ogé, éta parantos nyarios ngeunaan konsép autopilot. Moal lami deui, pamekaran téknologi 5G sareng Wi-Fi 6 bakal nyayogikeun latency anu rendah pisan pikeun mindahkeun data antara imah pinter, mobil, sareng pusat data utama anu ngalaksanakeun komputasi tepi. Ieu ngandung harti yén éta bakal tiasa ngalakukeun jumlah anu langkung ageung tina operasi anu aya hubunganana sareng ngolah data anu serius. Pikeun ngabéréskeun masalah sapertos kitu, khususna, anjeun tiasa nganggo prosesor saraf anu parantos disayogikeun ka Rusia.
Janji trend ngan outlined nyaeta undeniable. Hayu urang bayangkeun, contona, sistem manajemén angkutan kota anu cerdas anu sanggup ngagentos lampu lalu lintas, ngatur beban lalu lintas di jalan khusus, atanapi bahkan nyandak ukuran anu cekap nalika kaayaan darurat.
Ayeuna hayu urang balikkeun sumber daya anu kami nyayogikeun palaksanaan konsép HiDC.
Ngitung
Nalika urang kedah nerapkeun sistem komputasi standar, prosesor sareng arsitektur x86, tangtosna, dianggo di jerona. Tapi pas kabutuhan kustomisasi timbul, éta waktuna pikeun mikir ngeunaan solusi anu langkung beragam.
Salaku conto, prosesor ARM, kusabab jumlah inti anu ageung, saé pikeun aplikasi anu paralel pisan. Multithreading méré gain kinerja ngeunaan 30%.
Nalika latency low kritis, field programmable logic integrated circuits (FPGAs) datang ka forefront.
Prosesor saraf utamina diperyogikeun nalika ngarengsekeun masalah pembelajaran mesin. Upami pikeun palaksanaan khusus urang peryogi 16 rak sareng masing-masing 8 server, dieusi ku prosesor saraf, maka solusi tingkat anu sami dumasar kana arsitektur x86 ngabutuhkeun (!) Kira-kira 128 rak. Sakumaha anjeun tiasa tingali, rupa-rupa jenis itungan ngajadikeun perlu taliti milih platform hardware.
Panyimpenan data
Pikeun taun kadua ayeuna, Huawei parantos nyauran mitra, konsumén, sareng kolega industri pikeun ngawangun sistem panyimpen data saluyu sareng prinsip Flash Only. Sarta lolobana konsumén urang ngagunakeun drive spindle mékanis ukur dina solusi heubeul atawa pikeun data arsip jarang dipaké.
Sistem flash ogé ngembang. Sistem Mémori Kelas Panyimpenan (SCM) sapertos Intel Optane muncul di pasar. Pabrikan Cina sareng Jepang nunjukkeun kamajuan anu pikaresepeun. Ayeuna, SCM langkung unggul tibatan sadaya solusi anu sanés dina hal kelas ngolah. Sajauh ieu, ngan biaya anu luhur henteu ngamungkinkeun aranjeunna dianggo dimana-mana.
Dina waktos anu sami, urang tingali yén kualitas sistem panyimpen kedah ningkat henteu ngan ukur dina backend konvensional, tapi ogé dina frontend. Ayeuna, sacara de facto, dina palaksanaan anyar kami, sakumaha aturan, nawiskeun sareng nganggo mékanisme aksés mémori langsung dina Ethernet, tapi urang ningali paménta palanggan sareng ku kituna, nuju akhir taun, urang bakal mimiti nganggo NVMe leuwih lawon langkung sering. Leuwih ti éta, tungtung-to-tungtung, dina urutan nyadiakeun arsitéktur umum, nu, tangtosna, kudu kinerja tinggi na tahan ka gagal controller.
Sistem panyimpen OceanStor Dorado mangrupikeun salah sahiji produk unggulan kami. Tés internal nunjukkeun yén éta nyayogikeun kinerja 20 juta IOPS, ngajaga fungsionalitas nalika tujuh tina dalapan pangendali gagal.
Naha jadi loba kakuatan? Hayu urang tingali kaayaan ayeuna. Pikeun sababaraha bulan ayeuna, warga Cina parantos nyéépkeun waktos langkung seueur di bumi kusabab lockdown. Lalu lintas Internét dina waktos ayeuna ningkat rata-rata 30%, sareng di sababaraha propinsi malah dua kali. Konsumsi rupa-rupa layanan jaringan geus ngaronjat. Sarta di sawatara titik, bank sarua mimiti ngalaman beban tambahan serius, nu sistem gudang maranéhanana éta teu siap.
Éta jelas yén henteu sadayana peryogi 20 juta IOPS ayeuna. Tapi naon anu bakal kajadian isukan? Sistem calakan kami ngamaksimalkeun poténsi pinuh ku prosesor saraf pikeun mastikeun kakompakan lalu lintas, deduplikasi, optimasi sareng pamulihan data gancang.
Jaringan rujukan
2020, sakumaha anu kami nyarios dina tulisan sateuacana, bakal janten taun jaringan inti pikeun urang. Seueur palanggan, khususna panyadia ladenan aplikasi (ASP) sareng bank, parantos mikirkeun kumaha aplikasina bakal dianggo sacara khusus dina hal komunikasi sareng antara pusat data. Ieu dimana jaringan tulang tonggong anyar datang ka bantuan urang. Salaku conto, hayu urang nyandak bank Cina panggedéna anu parantos ngalih ka sistem tulang tonggong saderhana anu henteu nganggo belasan protokol anu béda pikeun komunikasi antara pusat data, tapi, sacara rélatif, sababaraha - OSPF sareng SRv6. Sumawona, organisasi nampi set jasa anu sami.
sumberdaya intelektual
Kumaha ngagunakeun data? Nepi ka ayeuna, aya sistem fragmented tina database hétérogén: Microsoft SQL, MySQL, Oracle, jsb Pikeun digawekeun ku aranjeunna, solusi tina widang data badag dipaké, sanggup ngagabungkeun data ieu, nyandak eta, gawé bareng eta. Sadaya ieu nyiptakeun beban sumber daya anu luhur.
Dina waktos anu sami, teu aya mékanisme pikeun ngalaksanakeun operasi sareng data nalika aya kajadian. Solusina nyaéta ngembangkeun prinsip manajemén daur hirup data (DLM).
Sarerea geus uninga ngeunaan danau data. Kalayan transisi tina manajemén data ka pamaréntahan data, "danau digital" mimiti gancang janten langkung pinter. Kaasup hatur nuhun kana solusi Huawei. Dina bahan di handap urang pasti bakal ngobrol ngeunaan sakabéh tumpukan téknologi software kami dipaké. Ayeuna penting pikeun dicatet yén éta mangrupikeun panggunaan manajemén siklus hirup data pinter anu ngamungkinkeun urang nyederhanakeun panggunaan jaringan sareng server urang, ogé diajar ngawangun arsitéktur tungtung-ka-tungtung pikeun langkung ngartos prinsip gawé bareng data. .
Infrastruktur rékayasa puseur data
Urang bakal nyebarkeun bahan misah dedicated ka infrastruktur rékayasa, tapi dina konteks topik dinten ieu kami hoyong nyebut eta parobahan nu patali jeung konsép HiDC.
Pikeun waktos anu lami, panggunaan batré litium dina sistem kakuatan darurat sareng cadangan (ESP) pusat data dilarang kusabab bahaya seuneu anu luhur. Sagala karuksakan mékanis atawa palanggaran integritas batréna bisa ngakibatkeun seuneu sarta konsékuansi unpredictable. Dina hal ieu, PSA ieu dilengkepan accu asam leungit, nu miboga dénsitas muatan husus low sarta massa badag.
Sistem kakuatan darurat sareng cadangan anyar Huawei nganggo batré litium iron fosfat (LFP) anu aman sareng manajemén proaktif anu cerdas. Kalayan kapasitas anu sami, aranjeunna ngeusian volume tilu kali kirang dibandingkeun batré asam. Daur hirup maranéhanana nyaéta 10-15 taun, anu, antara séjén, ngurangan beungbeurat maranéhna nyieun dina lingkungan. Sistem kontrol dipaténkeun dina ékosistem SmartLi ngamungkinkeun pamakéan sistem hibrid diwangun ku arrays batré tipe heubeul jeung anyar, sarta sistem switching ngamungkinkeun pikeun "panas" parobahan struktur PSA bari ngajaga fungsi redundancy.
Operasi pinter
Bagian penting tina prinsip operasi infrastruktur HiDC nyaéta ideologi penyembuhan diri anu pinter. DI Tina publikasi kami anu sateuacana, kami nyarioskeun platform calakan O&M 1-3-5, anu henteu ngan ukur tiasa ngadeteksi sareng nganalisa kajadian anu teu dihoyongkeun dina sistem, tapi ogé nawiskeun administrator sababaraha pilihan pikeun solusi otomatis pikeun masalah éta.
Fungsi analisa diri ngamungkinkeun anjeun ngadeteksi masalah dina sakitar menit. Tilu menit spent dina analisis, sarta dina lima menit proposal kabentuk pikeun ngarobah kaayaan sistem.
Hayu urang nyebutkeun yén sababaraha kasalahan operator ngarah ka formasi loop katutup prosés, ngurangan kinerja tegalan virtualization ti 100 nepi ka 77%. Administrator pusat data nampi pesen anu saluyu dina dasborna, anu ngandung gambaran lengkep ngeunaan masalah, kalebet diagram jaringan sumber daya anu kapangaruhan ku prosés anu teu dihoyongkeun. Salajengna, administrator tiasa neraskeun ngabenerkeun kaayaan sacara manual atanapi nganggo salah sahiji sababaraha skenario pamulihan otomatis anu ditawarkeun ka anjeunna.
Sistim nu weruh ngeunaan 75 skenario sapertos nu bisa dilaksanakeun dina waktu kurang ti sapuluh menit. Dina waktos ayeuna, insinyur tiasa kalem ngajawab telepon ti para nasabah hariwang, yakin yén jasa bakal disimpen deui unggal menit.
Produk konci anyar dina HiDC
Salian produk parangkat lunak, ieu kedah kalebet solusi konci anu beroperasi dina tingkat infrastruktur. Anu mimiti, urang kedah nyebatkeun prosesor saraf anu dianggo dina kulawarga Atlas tina klaster AI, ogé server dumasar NPU sareng GPU.
Sajaba ti éta, urang teu bisa gagal nyebut deui Dorado jeung kinerja kelas-ngarah na, nu bakal lepas salila sababaraha taun datang. Ieu hususna leres dina spasi pos-Soviét, dimana, kalawan iwal langka, geus adat pikeun ngapdet hiji hal ngan lamun eta tos rengse eureun gawé. Ieu ngécéskeun umur jasa sistem gudang individu, ngahontal sapuluh taun. produktivitas gede pisan diperlukeun pikeun Dorado pikeun mastikeun pangiriman jasa kualitas luhur sapuluh taun ti ayeuna.
Inovasi dina unggal unsur
Nalika milih solusi infrastruktur khusus, urang henteu kedah hilap ngeunaan arsitéktur sareng skenario pikeun pangwangunan salajengna. Produk anu béda ti pabrik anu béda henteu ngajamin pangaruh sinergis anu dipiharep anu bakal disayogikeun ku solusi anu parantos dioptimalkeun pikeun panggunaan gabungan.
Infrastruktur kedah dumasar kana téknologi anu leres. Anu "bener" kalebet anu kabuka, nyayogikeun throughput anu luhur, beroperasi sacara stabil dina beban anu luhur. Pikeun pusat data, contona, rasio anu hadé tina total konsumsi énergi pikeun beban IT penting. Pikeun ngahontal sadaya tujuan di luhur, anjeun kedah milih lingkungan sareng komponén. Dina kaayaan modéren, ieu ogé hartosna panggunaan intelijen buatan anu beuki nyebar.
Numutkeun pangamatan kami, diantara para nasabah strategis Huawei aya sakedik sareng sakedik anu masih henteu nganggo sistem pembelajaran mesin. Tanpa ML, éta ngan saukur teu mungkin pikeun monetize data akumulasi saloba mungkin.
Sistem monetisasi tiasa béda: pikeun bank - nawiskeun produk anu ditargetkeun anyar, pikeun operator telekomunikasi - nyayogikeun jasa individu sareng mastikeun kasatiaan, pikeun konsumén pamaréntah - manajemén siklus data kualitas luhur sareng tingkat interaksi anu luhur sareng organisasi sanés. Barina ogé, model manajemén data geus lila indit saluareun nyetel firewall sarta mastikeun pisibilitas jaringan tina database maranéhanana.
Ti gagasan pikeun puseur data operasi
Pangwangunan pusat data standar butuh ti sataun ka satengah taun pangsaéna. Siklus produksi kami ngamungkinkeun urang ngalakukeun ieu langkung gancang berkat panggunaan sakelompok solusi anu dihijikeun dina nami umum FusionDC 2.0. Desain, ngembangkeun desain tingkat luhur, assembly sadaya elemen beban IT dilaksanakeun langsung di pabrik. Dina waktu anu singget, alat-alat dikirimkeun ku peti laut ti Cina ka Rusia. Hasilna, kreasi puseur data turnkey bisa dihontal dina sacara harfiah opat nepi ka lima bulan.
Gagasan pusat data awan prefabricated ogé pikaresepeun sabab pusat data tiasa dikembangkeun sacara bertahap, nambihan blok fungsional anu diperyogikeun. Pendekatan ieu dipasang dina konsép HiDC sorangan.
Dina raraga teu ngahurungkeun bahan review kana datasheet a, pikeun émbaran tambahan dina HiDC kami nyarankeun bade . Aya anjeun bakal mendakan pedaran sareng conto palaksanaan pendekatan, produk sareng solusi anu urang bahas. Nu leuwih luhur tingkat anjeun aksés ka loka, beuki bahan bakal aya. Upami anjeun ditugaskeun status "mitra", anjeun tiasa ngaunduh peta jalan HiDC, presentasi téknis, pidéo.
Urang bakal usaha pikeun nganggap yén seuseueurna anu maca tulisan ieu ngagaduhan kompeténsi arsiték jaringan. Aranjeunna pasti bakal resep nganjang ka kami . Di dinya urang ngobrol sacara rinci ngeunaan cara ngawangun infrastruktur jaringan numutkeun aturan Huawei Validated Design (HVD). Tungtunan sadia pikeun diundeur bakal nulungan anjeun tuntas ngartos kumaha solusi parusahaan jalan. Ngan inget yen tanpa otorisasina, kirang bahan bakal sadia pikeun anjeun.
***
Seueur webinar anu dilakukeun henteu ngan ukur dina bagean basa Rusia, tapi ogé di tingkat internasional ogé bakal ngabantosan anjeun napigasi. Dina eta kami bagikeun duanana informasi ngeunaan produk urang jeung prakték bisnis urang. Kami ogé nyarioskeun kumaha Huawei, sanaos gangguan tina seueur ranté jasa, terus mastikeun pangiriman produkna ka sababaraha nagara. Anyar-anyar ieu, contona, aya kasus nalika alat-alat anu nembé diproduksi pikeun pusat data ngahontal palanggan Moskow ngan ukur tilu minggu.
Daptar webinar pikeun April sayogi .
sumber: www.habr.com