Pada artikel ini, saya ingin berbicara tentang fitur Semua array Flash AccelStor yang bekerja dengan salah satu platform virtualisasi paling populer - VMware vSphere. Secara khusus, fokuslah pada parameter yang akan membantu Anda mendapatkan efek maksimal dari penggunaan alat canggih seperti All Flash.
AccelStor NeoSapphire™ Semua rangkaian Flash tersedia или perangkat node berdasarkan drive SSD dengan pendekatan yang berbeda secara mendasar dalam menerapkan konsep penyimpanan data dan mengatur aksesnya menggunakan teknologi berpemilik alih-alih algoritma RAID yang sangat populer. Array menyediakan akses blok ke host melalui antarmuka Fibre Channel atau iSCSI. Agar adil, kami mencatat bahwa model dengan antarmuka ISCSI juga memiliki akses file sebagai bonus yang bagus. Namun pada artikel ini kita akan fokus pada penggunaan protokol blok sebagai yang paling produktif untuk Semua Flash.
Seluruh proses penerapan dan konfigurasi selanjutnya dari operasi gabungan array AccelStor dan sistem virtualisasi VMware vSphere dapat dibagi menjadi beberapa tahap:
- Implementasi topologi koneksi dan konfigurasi jaringan SAN;
- Menyiapkan Semua array Flash;
- Mengonfigurasi host ESXi;
- Menyiapkan mesin virtual.
Array Saluran Fibre AccelStor NeoSapphire™ dan array iSCSI digunakan sebagai perangkat keras sampel. Perangkat lunak dasarnya adalah VMware vSphere 6.7U1.
Sebelum menerapkan sistem yang dijelaskan dalam artikel ini, sangat disarankan agar Anda membaca dokumentasi dari VMware mengenai masalah kinerja ( ) dan pengaturan iSCSI ()
Topologi koneksi dan konfigurasi jaringan SAN
Komponen utama jaringan SAN adalah HBA di host ESXi, sakelar SAN, dan node array. Tipikal topologi untuk jaringan seperti itu akan terlihat seperti ini:
Istilah Switch di sini mengacu pada switch fisik terpisah atau sekumpulan switch (Fabric), dan perangkat yang digunakan bersama antara layanan yang berbeda (VSAN dalam kasus Fibre Channel dan VLAN dalam kasus iSCSI). Menggunakan dua sakelar/Kain independen akan menghilangkan kemungkinan titik kegagalan.
Koneksi langsung host ke array, meskipun didukung, sangat tidak disarankan. Performa array Semua Flash cukup tinggi. Dan untuk kecepatan maksimum, semua port array harus digunakan. Oleh karena itu, kehadiran setidaknya satu saklar antara host dan NeoSapphire™ adalah wajib.
Kehadiran dua port pada host HBA juga menjadi persyaratan wajib untuk mencapai performa maksimal dan memastikan toleransi kesalahan.
Saat menggunakan antarmuka Fibre Channel, zonasi harus dikonfigurasi untuk menghilangkan kemungkinan tabrakan antara pemrakarsa dan target. Zona dibangun berdasarkan prinsip “satu port inisiator – satu atau lebih port array.”
Jika Anda menggunakan koneksi melalui iSCSI saat menggunakan switch yang digunakan bersama dengan layanan lain, maka sangat penting untuk mengisolasi lalu lintas iSCSI dalam VLAN terpisah. Juga sangat disarankan untuk mengaktifkan dukungan untuk Jumbo Frames (MTU = 9000) untuk meningkatkan ukuran paket di jaringan dan dengan demikian mengurangi jumlah informasi overhead selama transmisi. Namun, perlu diingat bahwa untuk pengoperasian yang benar, perlu mengubah parameter MTU pada semua komponen jaringan di sepanjang rantai “initiator-switch-target”.
Menyiapkan Semua array Flash
Array dikirimkan ke pelanggan dengan kelompok yang sudah terbentuk . Oleh karena itu, tidak ada tindakan yang perlu diambil untuk menggabungkan drive ke dalam satu struktur. Anda hanya perlu membuat volume dengan ukuran dan kuantitas yang dibutuhkan.
Untuk kenyamanan, terdapat fungsi untuk pembuatan batch beberapa volume dengan ukuran tertentu sekaligus. Secara default, volume tipis dibuat, karena hal ini memungkinkan penggunaan ruang penyimpanan yang tersedia secara lebih efisien (termasuk dukungan untuk Reklamasi Ruang). Dalam hal performa, perbedaan antara volume “tipis” dan “tebal” tidak melebihi 1%. Namun, jika Anda ingin “memeras semua isi” dari sebuah array, Anda selalu dapat mengubah volume “tipis” menjadi volume “tebal”. Namun perlu diingat bahwa operasi semacam itu tidak dapat diubah.
Selanjutnya, tetap “menerbitkan” volume yang dibuat dan mengatur hak aksesnya dari host menggunakan ACL (alamat IP untuk iSCSI dan WWPN untuk FC) dan pemisahan fisik berdasarkan port array. Untuk model iSCSI hal ini dilakukan dengan membuat Target.
Untuk model FC, penerbitan terjadi melalui pembuatan LUN untuk setiap port array.
Untuk mempercepat proses penyiapan, host dapat digabungkan menjadi beberapa grup. Selain itu, jika host menggunakan HBA FC multiport (yang dalam praktiknya paling sering terjadi), maka sistem secara otomatis menentukan bahwa port HBA tersebut milik satu host berkat WWPN yang berbeda satu. Pembuatan Target/LUN secara batch juga didukung untuk kedua antarmuka.
Catatan penting saat menggunakan antarmuka iSCSI adalah membuat beberapa target untuk volume sekaligus untuk meningkatkan kinerja, karena antrian pada target tidak dapat diubah dan secara efektif akan menjadi hambatan.
Mengonfigurasi Host ESXi
Di sisi host ESXi, konfigurasi dasar dilakukan sesuai dengan skenario yang diharapkan sepenuhnya. Prosedur koneksi iSCSI:
- Tambahkan Adaptor iSCSI Perangkat Lunak (tidak diperlukan jika sudah ditambahkan, atau jika Anda menggunakan Adaptor iSCSI Perangkat Keras);
- Membuat vSwitch yang akan dilalui lalu lintas iSCSI, dan menambahkan uplink fisik dan VMkernal ke dalamnya;
- Menambahkan alamat array ke Dynamic Discovery;
- Pembuatan penyimpanan data
Beberapa catatan penting:
- Dalam kasus umum, tentu saja, Anda dapat menggunakan vSwitch yang sudah ada, tetapi dalam kasus vSwitch terpisah, mengelola pengaturan host akan jauh lebih mudah.
- Penting untuk memisahkan lalu lintas Manajemen dan iSCSI ke tautan fisik dan/atau VLAN terpisah untuk menghindari masalah kinerja.
- Alamat IP VMkernal dan port yang sesuai dari array All Flash harus berada dalam subnet yang sama, sekali lagi karena masalah kinerja.
- Untuk memastikan toleransi kesalahan sesuai aturan VMware, vSwitch harus memiliki setidaknya dua uplink fisik
- Jika Jumbo Frames digunakan, Anda perlu mengubah MTU vSwitch dan VMkernal
- Perlu diingat bahwa menurut rekomendasi VMware untuk adaptor fisik yang akan digunakan untuk bekerja dengan lalu lintas iSCSI, Anda perlu mengonfigurasi Teaming dan Failover. Secara khusus, setiap VMkernal harus bekerja hanya melalui satu uplink, uplink kedua harus dialihkan ke mode yang tidak digunakan. Untuk toleransi kesalahan, Anda perlu menambahkan dua VMkernal, yang masing-masing akan bekerja melalui uplinknya sendiri.
Adaptor VMkernel (vmk#)
Adaptor Jaringan Fisik (vmnic#)
vmk1 (Penyimpanan01)
Adaptor Aktif
vmnic2
Adaptor yang Tidak Digunakan
vmnic3
vmk2 (Penyimpanan02)
Adaptor Aktif
vmnic3
Adaptor yang Tidak Digunakan
vmnic2
Tidak diperlukan langkah awal untuk terhubung melalui Fibre Channel. Anda dapat langsung membuat Datastore.
Setelah membuat Datastore, Anda perlu memastikan bahwa kebijakan Round Robin untuk jalur ke Target/LUN digunakan sebagai yang paling berperforma tinggi.
Secara default, pengaturan VMware menyediakan penggunaan kebijakan ini sesuai dengan skema: 1000 permintaan melalui jalur pertama, 1000 permintaan berikutnya melalui jalur kedua, dll. Interaksi antara host dan array dua pengontrol akan menjadi tidak seimbang. Oleh karena itu, kami menyarankan pengaturan parameter Round Robin policy = 1 melalui Esxcli/PowerCLI.
Parameter
Untuk Esxcli:
- Daftar LUN yang tersedia
daftar perangkat nmp penyimpanan esxcli
- Salin Nama Perangkat
- Ubah Kebijakan Round Robin
penyimpanan esxcli nmp psp roundrobin set konfigurasi perangkat —type=iops —iops=1 —device=“Device_ID”
Sebagian besar aplikasi modern dirancang untuk bertukar paket data besar untuk memaksimalkan pemanfaatan bandwidth dan mengurangi beban CPU. Oleh karena itu, ESXi secara default mengeluarkan permintaan I/O ke perangkat penyimpanan dalam jumlah hingga 32767KB. Namun, untuk beberapa skenario, menukarkan potongan yang lebih kecil akan lebih produktif. Untuk array AccelStor, skenarionya adalah sebagai berikut:
- Mesin virtual menggunakan UEFI, bukan BIOS Lama
- Menggunakan Replikasi vSphere
Untuk skenario seperti itu, disarankan untuk mengubah nilai parameter Disk.DiskMaxIOSize menjadi 4096.
Untuk koneksi iSCSI, disarankan untuk mengubah parameter Login Timeout ke 30 (default 5) untuk meningkatkan stabilitas koneksi dan menonaktifkan penundaan DelayedAck untuk konfirmasi paket yang diteruskan. Kedua opsi ada di Klien vSphere: Host → Konfigurasi → Penyimpanan → Adaptor Penyimpanan → Opsi Lanjutan untuk adaptor iSCSI
Poin yang agak halus adalah jumlah volume yang digunakan untuk penyimpanan data. Jelas bahwa untuk kemudahan pengelolaan, ada keinginan untuk membuat satu volume besar untuk seluruh volume array. Namun, kehadiran beberapa volume dan, karenanya, penyimpanan data memiliki efek menguntungkan pada kinerja secara keseluruhan (lebih lanjut tentang antrean di bawah). Oleh karena itu, kami menyarankan untuk membuat setidaknya dua volume.
Sampai saat ini, VMware menyarankan untuk membatasi jumlah mesin virtual pada satu penyimpanan data, sekali lagi untuk mendapatkan kinerja setinggi mungkin. Namun kini, apalagi dengan merebaknya VDI, permasalahan tersebut sudah tidak terlalu akut lagi. Namun hal ini tidak membatalkan aturan lama - untuk mendistribusikan mesin virtual yang memerlukan IO intensif di berbagai penyimpanan data. Untuk menentukan jumlah optimal mesin virtual per volume, tidak ada yang lebih baik dari ini dalam infrastrukturnya.
Menyiapkan mesin virtual
Tidak ada persyaratan khusus saat menyiapkan mesin virtual, atau lebih tepatnya persyaratan biasa:
- Menggunakan versi VM tertinggi (kompatibilitas)
- Lebih berhati-hati untuk mengatur ukuran RAM ketika menempatkan mesin virtual dengan padat, misalnya, di VDI (karena secara default, saat startup, file halaman dibuat dengan ukuran yang sepadan dengan RAM, yang menghabiskan kapasitas yang berguna dan berpengaruh pada pertunjukan terakhir)
- Gunakan versi adaptor paling produktif dalam hal IO: tipe jaringan VMXNET 3 dan tipe SCSI PVSCSI
- Gunakan tipe disk Thick Provision Eager Zeroed untuk performa maksimal dan Thin Provisioning untuk pemanfaatan ruang penyimpanan maksimal
- Jika memungkinkan, batasi pengoperasian mesin penting non-I/O menggunakan Batas Disk Virtual
- Pastikan untuk menginstal VMware Tools
Catatan tentang Antrian
Antrian (atau I/O Luar Biasa) adalah jumlah permintaan input/output (perintah SCSI) yang menunggu untuk diproses pada waktu tertentu untuk perangkat/aplikasi tertentu. Jika antrian meluap, kesalahan QFULL dikeluarkan, yang pada akhirnya mengakibatkan peningkatan parameter latensi. Saat menggunakan sistem penyimpanan disk (spindel), secara teoritis, semakin tinggi antriannya, semakin tinggi kinerjanya. Namun, Anda tidak boleh menyalahgunakannya, karena QFULL mudah ditemukan. Dalam kasus Semua sistem Flash, di satu sisi, semuanya agak lebih sederhana: lagipula, array memiliki latensi yang besarnya lebih rendah dan oleh karena itu, paling sering, tidak perlu mengatur ukuran antrian secara terpisah. Namun di sisi lain, dalam beberapa skenario penggunaan (ketidakseimbangan yang kuat dalam persyaratan IO untuk mesin virtual tertentu, pengujian untuk kinerja maksimum, dll.) perlu, jika tidak mengubah parameter antrian, setidaknya untuk memahami indikator apa dapat dicapai, dan yang utama adalah dengan cara apa.
Pada array AccelStor All Flash sendiri tidak ada batasan terkait volume atau port I/O. Jika perlu, bahkan satu volume pun dapat menerima semua sumber daya array. Satu-satunya batasan antrian adalah untuk target iSCSI. Karena alasan inilah kebutuhan untuk membuat beberapa target (idealnya hingga 8 buah) untuk setiap volume disebutkan di atas untuk mengatasi batas ini. Mari kita ulangi juga bahwa array AccelStor adalah solusi yang sangat produktif. Oleh karena itu, Anda harus menggunakan semua port antarmuka sistem untuk mencapai kecepatan maksimum.
Di sisi host ESXi, situasinya sangat berbeda. Tuan rumah sendiri menerapkan praktik kesetaraan akses terhadap sumber daya bagi seluruh peserta. Oleh karena itu, ada antrian IO terpisah untuk OS tamu dan HBA. Antrian ke OS tamu digabungkan dari antrian ke adaptor SCSI virtual dan disk virtual:
Antrian ke HBA bergantung pada tipe/vendor tertentu:
Performa akhir mesin virtual akan ditentukan oleh batas Kedalaman Antrian terendah di antara komponen host.
Berkat nilai-nilai ini, kami dapat mengevaluasi indikator kinerja yang dapat kami peroleh dalam konfigurasi tertentu. Misalnya, kita ingin mengetahui kinerja teoritis mesin virtual (tanpa pengikatan blok) dengan latensi 0.5 ms. Maka IOPS-nya = (1,000/latensi) * I/O Luar Biasa (Batas Kedalaman Antrian)
contoh
misalnya 1
- Adaptor FC Emulex HBA
- Satu VM per penyimpanan data
- Adaptor SCSI Paravirtual VMware
Disini batas Kedalaman Antrian ditentukan oleh Emulex HBA. Oleh karena itu IOPS = (1000/0.5)*32 = 64K
misalnya 2
- Adaptor Perangkat Lunak VMware iSCSI
- Satu VM per penyimpanan data
- Adaptor SCSI Paravirtual VMware
Disini batas Kedalaman Antrian sudah ditentukan oleh Paravirtual SCSI Adapter. Oleh karena itu IOPS = (1000/0.5)*64 = 128K
Model teratas dari semua array Flash AccelStor (misalnya, ) mampu memberikan kinerja tulis IOPS 700K pada blok 4K. Dengan ukuran blok seperti itu, cukup jelas bahwa satu mesin virtual tidak mampu memuat array seperti itu. Untuk melakukan ini, Anda memerlukan 11 (misalnya 1) atau 6 (misalnya 2) mesin virtual.
Hasilnya, dengan konfigurasi yang benar dari semua komponen pusat data virtual yang dijelaskan, Anda bisa mendapatkan hasil yang sangat mengesankan dalam hal kinerja.
4K Acak, 70% Baca/30% Tulis
Faktanya, dunia nyata jauh lebih kompleks daripada yang bisa dijelaskan dengan rumus sederhana. Satu host selalu menghosting beberapa mesin virtual dengan konfigurasi dan persyaratan IO berbeda. Dan pemrosesan I/O ditangani oleh prosesor host, yang kekuatannya tidak terbatas. Jadi, untuk membuka potensi penuhnya pada kenyataannya, Anda memerlukan tiga host. Selain itu, aplikasi yang berjalan di dalam mesin virtual membuat penyesuaiannya sendiri. Oleh karena itu, untuk ukuran yang tepat kami menawarkan Semua array Flash di dalam infrastruktur pelanggan pada tugas nyata saat ini.
Sumber: www.habr.com