Reka bentuk pusat data termaya

Reka bentuk pusat data termaya

Pengenalan

Sistem maklumat dari sudut pandangan pengguna ditakrifkan dengan baik dalam GOST RV 51987 - "sistem automatik, yang hasilnya adalah pembentangan maklumat output untuk kegunaan berikutnya." Jika kita mempertimbangkan struktur dalaman, maka pada dasarnya mana-mana IS adalah sistem algoritma yang saling berkaitan yang dilaksanakan dalam kod. Dalam pengertian yang luas tentang tesis Turing-Church, algoritma (atau IS) mengubah set data input kepada set data output.
Malah boleh dikatakan bahawa transformasi data input adalah makna kewujudan sistem maklumat. Sehubungan itu, nilai IS dan keseluruhan kompleks IS ditentukan melalui nilai data input dan output.
Berdasarkan ini, reka bentuk mesti bermula dan dipacu data, menyesuaikan seni bina dan kaedah kepada struktur dan kepentingan data.

Data yang disimpan
Peringkat utama dalam persediaan untuk reka bentuk ialah mendapatkan ciri-ciri semua set data yang dirancang untuk pemprosesan dan penyimpanan. Ciri-ciri ini termasuk:
- Jumlah data;
— Maklumat tentang kitaran hayat data (pertumbuhan data baharu, jangka hayat, pemprosesan data lapuk);
- Klasifikasi data dari sudut pandangan kesan ke atas perniagaan teras syarikat (triad kerahsiaan, integriti, ketersediaan) bersama dengan penunjuk kewangan (contohnya, kos kehilangan data dalam sejam terakhir);
— Geografi pemprosesan data (lokasi fizikal sistem pemprosesan);
— Keperluan kawal selia untuk setiap kelas data (contohnya, Undang-undang Persekutuan-152, PCI DSS).

Sistem maklumat

Data bukan sahaja disimpan, tetapi juga diproses (diubah) oleh sistem maklumat. Langkah seterusnya selepas memperoleh ciri data ialah inventori sistem maklumat yang paling lengkap, ciri seni binanya, saling bergantung dan keperluan infrastruktur dalam unit konvensional untuk empat jenis sumber:
— Kuasa pengkomputeran pemproses;
- Jumlah RAM;
— Keperluan untuk volum dan prestasi sistem storan data;
— Keperluan untuk rangkaian penghantaran data (saluran luaran, saluran antara komponen IS).
Dalam kes ini, mesti ada keperluan untuk setiap perkhidmatan/perkhidmatan mikro sebagai sebahagian daripada IS.
Secara berasingan, adalah perlu untuk ambil perhatian bahawa, untuk reka bentuk yang betul, ketersediaan data mengenai kesan IS pada perniagaan teras syarikat dalam bentuk kos masa henti IS (rubel sejam) adalah wajib.

Model ancaman

Mesti ada model formal ancaman dari mana ia dirancang untuk melindungi data/perkhidmatan. Selain itu, model ancaman bukan sahaja merangkumi aspek kerahsiaan, tetapi juga integriti dan ketersediaan. Itu. Sebagai contoh:
— Kegagalan pelayan fizikal;
— Kegagalan suis atas rak;
— Gangguan saluran komunikasi optik antara pusat data;
— Kegagalan keseluruhan sistem storan operasi.
Dalam sesetengah kes, model ancaman ditulis bukan sahaja untuk komponen infrastruktur, tetapi juga untuk sistem maklumat tertentu atau komponennya, seperti kegagalan DBMS dengan pemusnahan logik struktur data.
Semua keputusan dalam projek untuk melindungi daripada ancaman yang tidak dinyatakan adalah tidak perlu.

Keperluan kawal selia

Jika data yang sedang diproses tertakluk kepada peraturan khas yang ditetapkan oleh pengawal selia, maklumat tentang set data dan peraturan pemprosesan/penyimpanan diperlukan.

Sasaran RPO/RTO

Mereka bentuk sebarang jenis perlindungan memerlukan penunjuk kehilangan data sasaran dan masa pemulihan perkhidmatan sasaran untuk setiap ancaman yang diterangkan.
Sebaik-baiknya, RPO dan RTO sepatutnya mempunyai kos berkaitan kehilangan data dan masa henti bagi setiap unit masa.

Reka bentuk pusat data termaya

Pembahagian kepada kumpulan sumber

Selepas mengumpul semua maklumat input awal, langkah pertama ialah mengumpulkan set data dan IP ke dalam kumpulan berdasarkan model ancaman dan keperluan kawal selia. Jenis pembahagian pelbagai kumpulan ditentukan - secara pemrograman pada peringkat perisian sistem atau secara fizikal.
Примеры:
— Litar memproses data peribadi diasingkan sepenuhnya secara fizikal daripada sistem lain;
— Sandaran disimpan pada sistem storan yang berasingan.

Dalam kes ini, kumpulan boleh menjadi tidak sepenuhnya bebas, sebagai contoh, dua kumpulan sumber pengkomputeran ditakrifkan (kuasa pemproses + RAM), yang menggunakan satu kumpulan storan data dan satu kumpulan sumber penghantaran data.

Kuasa pemprosesan

Reka bentuk pusat data termaya

Abstrak, keperluan kuasa pemprosesan pusat data maya diukur dari segi bilangan pemproses maya (vCPU) dan nisbah penyatuannya pada pemproses fizikal (pCPU). Dalam kes khusus ini, 1 pCPU = 1 teras pemproses fizikal (tidak termasuk Hyper-Threading). Bilangan vCPU dijumlahkan merentas semua kumpulan sumber yang ditentukan (setiap satunya boleh mempunyai faktor penyatuan sendiri).
Pekali penyatuan untuk sistem dimuatkan diperoleh secara empirik, berdasarkan infrastruktur sedia ada, atau melalui pemasangan perintis dan ujian beban. Untuk sistem yang dipunggah, "amalan terbaik" digunakan. Secara khusus, VMware memetik nisbah purata sebagai 8:1.

RAM

Jumlah keperluan RAM diperoleh dengan penjumlahan mudah. Menggunakan RAM terlebih langganan tidak disyorkan.

Sumber simpanan

Keperluan storan diperoleh dengan hanya menjumlahkan semua kumpulan mengikut kapasiti dan prestasi.
Keperluan prestasi dinyatakan dalam IOPS digabungkan dengan nisbah baca/tulis purata dan, jika perlu, kependaman tindak balas maksimum.
Keperluan Kualiti Perkhidmatan (QoS) untuk kumpulan atau sistem tertentu mesti dinyatakan secara berasingan.

Sumber rangkaian data

Keperluan rangkaian data diperoleh dengan hanya menjumlahkan semua kumpulan lebar jalur.
Keperluan Kualiti Perkhidmatan (QoS) dan kependaman (RTT) untuk kumpulan atau sistem tertentu hendaklah dinyatakan secara berasingan.
Sebagai sebahagian daripada keperluan untuk sumber rangkaian data, keperluan untuk pengasingan dan/atau penyulitan trafik rangkaian dan mekanisme pilihan (802.1q, IPSec, dsb.) juga ditunjukkan.

Pemilihan seni bina

Panduan ini tidak membincangkan sebarang pilihan selain daripada seni bina x86 dan virtualisasi pelayan 100%. Oleh itu, pilihan seni bina subsistem pengkomputeran datang kepada pilihan platform virtualisasi pelayan, faktor bentuk pelayan, dan keperluan konfigurasi pelayan umum.

Perkara utama pilihan ialah kepastian menggunakan pendekatan klasik dengan pengasingan fungsi pemprosesan, penyimpanan dan penghantaran data atau yang konvergen.

seni bina klasik melibatkan penggunaan subsistem luaran pintar untuk menyimpan dan menghantar data, manakala pelayan hanya menyumbang kuasa pemprosesan dan RAM kepada kumpulan sumber fizikal yang sama. Dalam kes yang melampau, pelayan menjadi tanpa nama sepenuhnya, mempunyai bukan sahaja cakera mereka sendiri, malah bukan pengecam sistem. Dalam kes ini, OS atau hipervisor dimuatkan daripada media denyar terbina dalam atau daripada sistem storan data luaran (but daripada SAN).
Dalam rangka kerja seni bina klasik, pilihan antara bilah dan rak dibuat terutamanya berdasarkan prinsip berikut:
— Kos efektif (secara purata, pelayan pemasangan rak lebih murah);
— Ketumpatan pengiraan (lebih tinggi untuk bilah);
— Penggunaan tenaga dan pelesapan haba (bilah mempunyai unit khusus yang lebih tinggi bagi setiap unit);
— Kebolehskalaan dan kebolehkawalan (bilah biasanya memerlukan usaha yang kurang untuk pemasangan yang besar);
- Penggunaan kad pengembangan (pilihan yang sangat terhad untuk bilah).
Seni bina konvergen (juga dikenali sebagai hyperconverged) melibatkan penggabungan fungsi pemprosesan dan penyimpanan data, yang membawa kepada penggunaan cakera pelayan tempatan dan, sebagai akibatnya, pengabaian faktor bentuk bilah klasik. Untuk sistem tertumpu, sama ada pelayan rak atau sistem kluster digunakan, menggabungkan beberapa pelayan bilah dan cakera tempatan dalam satu kes.

CPU/Memori

Untuk mengira konfigurasi dengan betul, anda perlu memahami jenis beban untuk persekitaran atau setiap kelompok bebas.
CPU terikat – persekitaran yang terhad dalam prestasi oleh kuasa pemproses. Menambah RAM tidak akan mengubah apa-apa dari segi prestasi (bilangan VM setiap pelayan).
Memori terikat – persekitaran terhad oleh RAM. Lebih banyak RAM pada pelayan membolehkan anda menjalankan lebih banyak VM pada pelayan.
GB / MHz (GB / pCPU) – nisbah purata penggunaan RAM dan kuasa pemproses oleh beban tertentu ini. Boleh digunakan untuk mengira jumlah memori yang diperlukan untuk prestasi tertentu dan sebaliknya.

Pengiraan konfigurasi pelayan

Reka bentuk pusat data termaya

Mula-mula, anda perlu menentukan semua jenis beban dan memutuskan untuk menggabungkan atau membahagikan kumpulan pengkomputeran yang berbeza kepada kelompok yang berbeza.
Seterusnya, bagi setiap kluster yang ditentukan, nisbah GB / MHz ditentukan pada beban yang diketahui terlebih dahulu. Jika beban tidak diketahui lebih awal, tetapi terdapat pemahaman kasar tentang tahap penggunaan kuasa pemproses, anda boleh menggunakan nisbah vCPU:pCPU standard untuk menukar keperluan kumpulan kepada keperluan fizikal.

Bagi setiap kelompok, bahagikan jumlah keperluan kumpulan vCPU dengan pekali:
vCPUsum / vCPU:pCPU = pCPUsum – bilangan unit fizikal yang diperlukan. teras
pCPUsum / 1.25 = pCPUht – bilangan teras dilaraskan untuk Hyper-Threading
Mari kita anggap bahawa adalah perlu untuk mengira kluster dengan 190 teras / 3.5 TB RAM. Pada masa yang sama, kami menerima beban sasaran sebanyak 50% kuasa pemproses dan 75% RAM.

pCPU
190
Kegunaan CPU
50%

Mem
3500
Utiliti mem
75%

Soket
Teras
Srv/CPU
Srv Mem
Srv/Mem

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

Dalam kes ini, kami sentiasa menggunakan pembundaran ke atas kepada integer terdekat (=ROUNDUP(A1;0)).
Daripada jadual ia menjadi jelas bahawa beberapa konfigurasi pelayan seimbang untuk penunjuk sasaran:
— 26 pelayan 2*6c / 192 GB
— 19 pelayan 2*10c / 256 GB
— 10 pelayan 2*18c / 512 GB

Pilihan konfigurasi ini kemudiannya mesti dibuat berdasarkan faktor tambahan, seperti pakej terma dan penyejukan yang tersedia, pelayan sudah digunakan atau kos.

Ciri memilih konfigurasi pelayan

VM yang luas. Jika perlu untuk mengehoskan VM yang luas (setanding dengan 1 nod NUMA atau lebih), adalah disyorkan, jika boleh, untuk memilih pelayan dengan konfigurasi yang membenarkan VM tersebut kekal dalam nod NUMA. Dengan sejumlah besar VM lebar, terdapat bahaya pemecahan sumber kluster, dan dalam kes ini, pelayan dipilih yang membolehkan VM lebar diletakkan sepadat mungkin.

Saiz domain kegagalan tunggal.

Pemilihan saiz pelayan juga berdasarkan prinsip meminimumkan domain kegagalan tunggal. Sebagai contoh, apabila memilih antara:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
Semua perkara lain adalah sama, anda mesti memilih pilihan kedua, kerana apabila satu pelayan gagal (atau sedang diselenggara), bukan 33% daripada sumber kluster hilang, tetapi 17%. Dengan cara yang sama, bilangan VM dan IS yang terjejas oleh kemalangan itu dikurangkan separuh.

Pengiraan sistem storan klasik berdasarkan prestasi

Reka bentuk pusat data termaya

Sistem storan klasik sentiasa dikira menggunakan senario kes terburuk, tidak termasuk pengaruh cache operasi dan pengoptimuman operasi.
Sebagai penunjuk prestasi asas, kami mengambil prestasi mekanikal daripada cakera (IOPSdisk):
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

Seterusnya, bilangan cakera dalam kumpulan cakera dikira menggunakan formula berikut: = JumlahIOPS * ( RW + (1 –RW) * RAIDPen) / cakera IOPS. di mana:
- TotalIOPS – jumlah prestasi yang diperlukan dalam IOPS daripada kumpulan cakera
- RW – peratusan operasi membaca
- RAIDpen – Penalti RAID untuk tahap RAID yang dipilih

Baca lebih lanjut mengenai RAID Peranti dan Penalti RAID di sini - Prestasi storan. Bahagian satu. и Prestasi storan. Bahagian kedua. и Prestasi storan. Bahagian ketiga

Berdasarkan bilangan cakera yang terhasil, pilihan yang mungkin dikira yang memenuhi keperluan kapasiti storan, termasuk pilihan dengan storan berbilang peringkat.
Pengiraan sistem menggunakan SSD sebagai lapisan storan dianggap secara berasingan.
Ciri-ciri sistem pengiraan dengan Flash Cache

Cache Flash – nama biasa untuk semua teknologi proprietari untuk menggunakan memori kilat sebagai cache peringkat kedua. Apabila menggunakan cache denyar, sistem storan biasanya dikira untuk memberikan beban yang stabil daripada cakera magnetik, manakala puncak dilayan oleh cache.
Dalam kes ini, adalah perlu untuk memahami profil beban dan tahap penyetempatan akses kepada blok volum storan. Cache kilat ialah teknologi untuk beban kerja dengan pertanyaan yang sangat setempat, dan boleh dikatakan tidak boleh digunakan untuk volum yang dimuatkan secara seragam (seperti untuk sistem analitik).

Pengiraan sistem hibrid akhir rendah/pertengahan

Sistem hibrid kelas bawah dan pertengahan menggunakan storan berbilang peringkat dengan data bergerak antara tahap mengikut jadual. Pada masa yang sama, saiz blok storan berbilang peringkat untuk model terbaik ialah 256 MB. Ciri ini tidak membenarkan kami menganggap teknologi storan berperingkat sebagai teknologi untuk meningkatkan produktiviti, kerana ramai orang tersilap percaya. Storan berbilang peringkat dalam sistem kelas rendah dan sederhana ialah teknologi untuk mengoptimumkan kos storan untuk sistem dengan ketidaksamaan beban yang ketara.

Untuk storan bertingkat, prestasi tingkat atas dikira terlebih dahulu, manakala storan peringkat bawah dianggap hanya menyumbang kepada kapasiti storan yang hilang. Untuk sistem berbilang peringkat hibrid, adalah wajib untuk menggunakan teknologi cache kilat untuk kumpulan berbilang peringkat untuk mengimbangi pengeluaran prestasi untuk data yang dipanaskan secara tiba-tiba dari peringkat bawah.

Menggunakan SSD dalam Kolam Cakera Berperingkat

Reka bentuk pusat data termaya

Penggunaan SSD dalam kumpulan cakera berbilang peringkat mempunyai variasi, bergantung pada pelaksanaan khusus algoritma cache kilat oleh pengeluar tertentu.
Amalan umum dasar storan untuk kumpulan cakera dengan tahap SSD ialah SSD terlebih dahulu.
Cache Flash Baca Sahaja. Untuk cache kilat baca sahaja, lapisan storan pada SSD disertakan dengan penyetempatan penulisan yang ketara, tanpa mengira cache.
Baca/Tulis Flash Cache. Dalam kes cache kilat, saiz cache tulis mula-mula ditetapkan kepada saiz cache maksimum, dan peringkat storan SSD muncul hanya apabila saiz cache tidak mencukupi untuk menyediakan keseluruhan beban kerja setempat.
Pengiraan prestasi SSD dan cache dibuat setiap kali berdasarkan pengesyoran pengeluar, tetapi sentiasa untuk senario kes terburuk.

Sumber: www.habr.com

Tambah komen