FS Luster 2.13 klusterren kaleratzea

argitaratua Ρ€Π΅Π»ΠΈΠ· кластСрной Ρ„Π°ΠΉΠ»ΠΎΠ²ΠΎΠΉ систСмы Lustre 2.13, erabilitako Π² большСй части (~60%) ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΠΈΡ… Linux-кластСров, содСрТащих дСсятки тысяч ΡƒΠ·Π»ΠΎΠ². ΠœΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ Π½Π° ΡΡ‚ΠΎΠ»ΡŒ ΠΊΡ€ΡƒΠΏΠ½Ρ‹Ρ… систСмах достигаСтся благодаря ΠΌΠ½ΠΎΠ³ΠΎΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π½ΠΎΠΉ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅. ΠšΠ»ΡŽΡ‡Π΅Π²Ρ‹ΠΌΠΈ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ Lustre ΡΠ²Π»ΡΡŽΡ‚ΡΡ сСрвСры ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ хранСния ΠΌΠ΅Ρ‚Π°Π΄Π°Π½Π½Ρ‹Ρ… (MDS), ΡƒΠΏΡ€Π°Π²Π»ΡΡŽΡ‰ΠΈΠ΅ сСрвСры (MGS), сСрвСры хранСния ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² (OSS), Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² (OST, поддСрТиваСтся Ρ€Π°Π±ΠΎΡ‚Π° ΠΏΠΎΠ²Π΅Ρ€Ρ… ext4 ΠΈ ZFS) ΠΈ ΠΊΠ»ΠΈΠ΅Π½Ρ‚Ρ‹.

FS Luster 2.13 klusterren kaleratzea

Nagusia berrikuntzak:

  • Inplementatua постоянный кэш Π½Π° сторонС ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π° (Persistent Client Cache), ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ локальноС Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅, Ρ‚Π°ΠΊΠΎΠ΅ ΠΊΠ°ΠΊ NVMe ΠΈΠ»ΠΈ NVRAM, ΠΊΠ°ΠΊ Ρ‡Π°ΡΡ‚ΡŒ глобального пространства ΠΈΠΌΡ‘Π½ Π€Π‘. ΠšΠ»ΠΈΠ΅Π½Ρ‚Ρ‹ ΠΌΠΎΠ³ΡƒΡ‚ ΠΊΡΡˆΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅, связанныС с создаваСмыми ΠΈΠ»ΠΈ ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ Ρ„Π°ΠΉΠ»Π°ΠΌΠΈ, Π² локально ΠΏΡ€ΠΈΠΌΠΎΠ½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠΉ Π€Π‘ с кэшСм (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π² ext4). Π’ процСссС Ρ€Π°Π±ΠΎΡ‚Ρ‹ Ρ‚Π΅ΠΊΡƒΡ‰Π΅Π³ΠΎ ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π° эти Ρ„Π°ΠΉΠ»Ρ‹ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ локально со ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ локальной Π€Π‘, Π½ΠΎ, Π² случаС ΠΏΠΎΠΏΡ‹Ρ‚ΠΊΠΈ обращСния Π΄Ρ€ΡƒΠ³ΠΎΠ³ΠΎ ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π°, автоматичСски ΠΌΠΈΠ³Ρ€ΠΈΡ€ΡƒΡŽΡ‚ Π² Π³Π»ΠΎΠ±Π°Π»ΡŒΠ½ΡƒΡŽ Π€Π‘.
  • Π’ ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚ΠΈΠ·Π°Ρ‚ΠΎΡ€Π°Ρ… LNet ezarrita автоматичСскоС ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚ΠΎΠ² ΠΏΡ€ΠΈ использовании ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎ нСскольким путям Ρ‡Π΅Ρ€Π΅Π· Ρ€Π°Π·Π½Ρ‹Π΅ сСтСвыС интСрфСйсы (Multi-Rail Routing) ΠΈ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½Π° Π½Π°Π΄Ρ‘ΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΉ с ΡƒΠ·Π»Π°ΠΌΠΈ, ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΠΌΠΈ нСсколько сСтСвых интСрфСйсов.
  • Gehituta Ρ€Π΅ΠΆΠΈΠΌ Β«overstripingΒ», ΠΏΡ€ΠΈ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π² ΠΎΠ΄Π½ΠΎΠΌ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² (OST) ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒΡΡ нСсколько ΠΊΠΎΠΏΠΈΠΉ stripe-Π±Π»ΠΎΠΊΠΎΠ² для ΠΎΠ΄Π½ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π°, Ρ‡Ρ‚ΠΎ позволяСт нСскольким ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π°ΠΌ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ совмСстной записи Π² Ρ„Π°ΠΉΠ» Π±Π΅Π· оТидания освобоТдСния Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ.
  • Agertu onartzen ΡΠ°ΠΌΠΎΡ€Π°ΡΡˆΠΈΡ€ΡΡŽΡ‰ΠΈΡ…ΡΡ схСм размСщСния Ρ„Π°ΠΉΠ»ΠΎΠ² (Self-Extending Layouts), ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°ΡŽΡ‰ΠΈΡ… Π³ΠΈΠ±ΠΊΠΎΡΡ‚ΡŒ примСнСния Ρ€Π΅ΠΆΠΈΠΌΠ° PFL (Progressive File Layouts) Π² Ρ€Π°Π·Π½ΠΎΡ€ΠΎΠ΄Π½Ρ‹Ρ… Π€Π‘. НапримСр, ΠΊΠΎΠ³Π΄Π° Π€Π‘ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ нСбольшиС ΠΏΡƒΠ»Ρ‹ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰ Π½Π° Π±Π°Π·Π΅ быстрых Flash-Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ ΠΈ большиС дисковыС ΠΏΡƒΠ»Ρ‹, прСдлоТСнная Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ позволяСт Π² ΠΏΠ΅Ρ€Π²ΡƒΡŽ ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ ΠΎΡΡƒΡ‰Π΅ΡΡ‚Π²Π»ΡΡ‚ΡŒ запись Π² быстрыС Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π°, Π° послС Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ мСсто закончится автоматичСски ΠΏΠ΅Ρ€Π΅ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒΡΡ Π½Π° ΠΌΠ΅Π΄Π»Π΅Π½Π½Ρ‹Π΅ дисковыС ΠΏΡƒΠ»Ρ‹.

Iturria: opennet.ru

Gehitu iruzkin berria