ВыявлСна Π½Π΅ΡΠΎΠ²ΠΌΠ΅ΡΡ‚ΠΈΠΌΠΎΡΡ‚ΡŒ SMR-дисков WD с ZFS, которая ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΏΠΎΡ‚Π΅Ρ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ…

Компания iXsystems, Ρ€Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‰Π°Ρ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ FreeNAS, ΠΏΡ€Π΅Π΄ΡƒΠΏΡ€Π΅Π΄ΠΈΠ»Π° ΠΎ ΡΠ΅Ρ€ΡŒΡ‘Π·Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°Ρ… с ΡΠΎΠ²ΠΌΠ΅ΡΡ‚ΠΈΠΌΠΎΡΡ‚ΡŒΡŽ ZFS с Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ Π½ΠΎΠ²Ρ‹ΠΌΠΈ Тёсткими дисками WD Red, выпускаСмыми ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠ΅ΠΉ Western Digital с использованиСм Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ SMR (Shingled Magnetic Recording, чСрСпичная магнитная запись). ΠŸΡ€ΠΈ Π½Π°ΠΈΡ…ΡƒΠ΄ΡˆΠ΅ΠΌ сцСнарии использованиС ZFS Π½Π° ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ½Ρ‹Ρ… накопитСлях ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΏΠΎΡ‚Π΅Ρ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ….

ΠŸΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ с дисками WD Red Ρ‘ΠΌΠΊΠΎΡΡ‚ΡŒΡŽ ΠΎΡ‚ 2 Π΄ΠΎ 6 Π’Π‘, выпускаСмыми с 2018 Π³ΠΎΠ΄Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΏΡ€ΠΈ записи Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΡŽ DM-SMR (Device-Managed Shingled Magnetic Recording) ΠΈ ΠΌΠ°Ρ€ΠΊΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΌΠ΅Ρ‚ΠΊΠΎΠΉ EFAX (для CMR-дисков ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€ EFRX). Western Digital ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΠ»Π° Π² своём Π±Π»ΠΎΠ³Π΅, Ρ‡Ρ‚ΠΎ SMR-Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»ΠΈ WD Red рассчитаны Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² NAS для Π΄ΠΎΠΌΠ° ΠΈ ΠΌΠ°Π»Ρ‹Ρ… прСдприятий, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… устанавливаСтся Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 8 Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ ΠΈ Π½Π°Π±Π»ΡŽΠ΄Π°Π΅Ρ‚ΡΡ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ 180 Π’Π‘ Π² Π³ΠΎΠ΄, характСрная для Ρ€Π΅Π·Π΅Ρ€Π²Π½ΠΎΠ³ΠΎ копирования ΠΈ ΠΎΠ±ΠΌΠ΅Π½Π° Ρ„Π°ΠΉΠ»Π°ΠΌΠΈ. ΠŸΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅Π΅ ΠΏΠΎΠΊΠΎΠ»Π΅Π½ΠΈΠ΅ Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ WD Red ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ WD Red с Ρ‘ΠΌΠΊΠΎΡΡ‚ΡŒΡŽ ΠΎΡ‚ 8 Π’Π‘, Π° Ρ‚Π°ΠΊΠΆΠ΅ диски Π»ΠΈΠ½Π΅Π΅ΠΊ WD Red Pro, WD Gold ΠΈ WD Ultrastar, ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°ΡŽΡ‚ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒΡΡ Π½Π° Π±Π°Π·Π΅ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ CMR (Conventional Magnetic Recording) ΠΈ ΠΈΡ… использованиС Π½Π΅ Π²Ρ‹Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с ZFS.

Π‘ΡƒΡ‚ΡŒ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ SMR Π² ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ Π² дискС ΠΌΠ°Π³Π½ΠΈΡ‚Π½ΠΎΠΉ Π³ΠΎΠ»ΠΎΠ²ΠΊΠΈ, ΡˆΠΈΡ€ΠΈΠ½Π° ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ большС ΡˆΠΈΡ€ΠΈΠ½Ρ‹ Π΄ΠΎΡ€ΠΎΠΆΠΊΠΈ, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ записи с частичным ΠΏΠ΅Ρ€Π΅ΠΊΡ€Ρ‹Ρ‚ΠΈΠ΅ΠΌ сосСднСй Π΄ΠΎΡ€ΠΎΠΆΠΊΠΈ, Ρ‚.Π΅. любая ΠΏΠ΅Ρ€Π΅Π·Π°ΠΏΠΈΡΡŒ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ нСобходимости пСрСзаписи всСй Π³Ρ€ΡƒΠΏΠΏΡ‹ Π΄ΠΎΡ€ΠΎΠΆΠ΅ΠΊ. Для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹ΠΌΠΈ накопитСлями ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Π·ΠΎΠ½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ — пространство для хранСния разбиваСтся Π½Π° Π·ΠΎΠ½Ρ‹, ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΠ΅ Π³Ρ€ΡƒΠΏΠΏΡ‹ Π±Π»ΠΎΠΊΠΎΠ² ΠΈΠ»ΠΈ сСкторов, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ допускаСтся лишь ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Ρ… с ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ΠΌ Ρ†Π΅Π»ΠΈΠΊΠΎΠΌ всСй Π³Ρ€ΡƒΠΏΠΏΡ‹ Π±Π»ΠΎΠΊΠΎΠ². Π’ ΠΎΠ±Ρ‰Π΅ΠΌ Π²ΠΈΠ΄Π΅ SMR-диски ΠΎΠ±Π»Π°Π΄Π°ΡŽΡ‚ большСй ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ Π² ΠΏΠ»Π°Π½Π΅ потрСблСния энСргии, Π±ΠΎΠ»Π΅Π΅ доступны ΠΏΠΎ Ρ†Π΅Π½Π΅ ΠΈ Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Ρˆ Π² ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΏΡ€ΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ записи Π΄Π°Π½Π½Ρ‹Ρ…, Π½ΠΎ ΠΎΡ‚ΡΡ‚Π°ΡŽΡ‚ ΠΏΡ€ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠΈ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ случайной записи, Π² Ρ‚ΠΎΠΌ числС ΠΏΡ€ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠΈ Ρ‚Π°ΠΊΠΈΡ… ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ, ΠΊΠ°ΠΊ пСрСстроСниС массивов хранСния.

DM-SMR ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ зонирования ΠΈ распрСдСлСния Π΄Π°Π½Π½Ρ‹Ρ… ΡƒΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€ΠΎΠΌ диска ΠΈ для систСмы Ρ‚Π°ΠΊΠΎΠΉ диск выглядит ΠΊΠ°ΠΊ классичСский Тёсткий диск, Π½Π΅ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‰ΠΈΠΉ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… манипуляций. Π’ DM-SMR примСняСтся косвСнная логичСская адрСсация Π±Π»ΠΎΠΊΠΎΠ² (LBA, Logical Block Addressing), Π½Π°ΠΏΠΎΠΌΠΈΠ½Π°ΡŽΡ‰Π°Ρ Π»ΠΎΠ³ΠΈΡ‡Π΅ΡΠΊΡƒΡŽ Π°Π΄Ρ€Π΅ΡΠ°Ρ†ΠΈΡŽ Π² SSD-накопитСлях. ПослС ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ случайной записи трСбуСтся Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Ρ„ΠΎΠ½ΠΎΠ²ΠΎΠΉ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ сборки мусора, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ нСпрСдсказуСмым флуктуациям с ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ. БистСма ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ‹Ρ‚Π°Ρ‚ΡŒΡΡ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΊ Ρ‚Π°ΠΊΠΈΠΌ дискам ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, полагая, Ρ‡Ρ‚ΠΎ Π΄Π°Π½Π½Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ записаны Π² ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹ΠΉ сСктор, Π½ΠΎ фактичСски Π²Ρ‹Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€ΠΎΠΌ свСдСния ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ лишь Π»ΠΎΠ³ΠΈΡ‡Π΅ΡΠΊΡƒΡŽ структуру ΠΈ Π½Π° Π΄Π΅Π»Π΅ ΠΏΡ€ΠΈ распрСдСлСнии Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ свои Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹, ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ Ρ€Π°Π½Π΅Π΅ Ρ€Π°Π·ΠΌΠ΅Ρ‰Ρ‘Π½Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ ΠΏΠ΅Ρ€Π΅Π΄ использованиСм DM-SMR дисков Π² ΠΏΡƒΠ»Π΅ ZFS рСкомСндуСтся произвСсти ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΡŽ ΠΏΠΎ ΠΈΡ… ΠΎΠ±Π½ΡƒΠ»Π΅Π½ΠΈΡŽ со сбросом Π² исходноС состояниС.

К Ρ€Π°Π·Π±ΠΎΡ€Ρƒ условий, ΠΏΡ€ΠΈ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹, ΠΏΡ€ΠΈΠ²Π»Π΅Ρ‡Π΅Π½Π° компания Western Digital, которая совмСстно с iXsystems пытаСтся Π½Π°ΠΉΡ‚ΠΈ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ ΠΈ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΈΡ‚ΡŒ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΎΡˆΠΈΠ²ΠΊΠΈ. Π”ΠΎ ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π²Ρ‹Π²ΠΎΠ΄ΠΎΠ² ΠΎΠ± устранСнии ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»ΠΈ с Π½ΠΎΠ²ΠΎΠΉ ΠΏΡ€ΠΎΡˆΠΈΠ²ΠΊΠΎΠΉ планируСтся ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° высоконагруТСнных Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π°Ρ… с FreeNAS 11.3 ΠΈ TrueNAS CORE 12.0. ΠŸΡ€ΠΈ этом утвСрТдаСтся, Ρ‡Ρ‚ΠΎ ΠΈΠ·-Π·Π° Ρ€Π°Π·Π½ΠΎΠ³ΠΎ трактования SMR Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ производитСлями Π½Π° Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π²ΠΈΠ΄Π°Ρ… SMR-дисков ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с ZFS Π½Π΅ Π²ΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ‚, Π½ΠΎ прСдпринятоС iXsystems тСстированиС сосрСдоточСно Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π° ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ΅ дисков WD Red Π½Π° Π±Π°Π·Π΅ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ DM-SMR, Π° для SMR-дисков Π΄Ρ€ΡƒΠ³ΠΈΡ… ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»Π΅ΠΉ трСбуСтся Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ исслСдованиС.

Π’ настоящСС врСмя ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ с ZFS Π΄ΠΎΠΊΠ°Π·Π°Π½Ρ‹ ΠΈ ΠΏΠΎΠ²Ρ‚ΠΎΡ€Π΅Π½Ρ‹ Π² тСстах ΠΊΠ°ΠΊ ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌ для дисков WD Red 4TB WD40EFAX с ΠΏΡ€ΠΎΡˆΠΈΠ²ΠΊΠΎΠΉ 82.00A82 ΠΈ ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΎΠΌ Π² состояниС сбоя ΠΏΡ€ΠΈ высокой Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅ Π½Π° запись, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΏΡ€ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠΈ пСрСстроСния Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° послС добавлСния Π² массив Π½ΠΎΠ²ΠΎΠ³ΠΎ накопитСля (resilvering). ΠŸΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚ΡΡ, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° проявляСтся ΠΈ Π½Π° Π΄Ρ€ΡƒΠ³ΠΈΡ… модСлях WD Red с Ρ‚ΠΎΠΉ ΠΆΠ΅ ΠΏΡ€ΠΎΡˆΠΈΠ²ΠΊΠΎΠΉ. ΠŸΡ€ΠΈ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΠΎΠ²Π΅Π½ΠΈΠΈ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ диск Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Ρ‚ΡŒ ΠΊΠΎΠ΄ ошибки IDNF (Sector ID Not Found) ΠΈ становится Π½Π΅ΠΏΡ€ΠΈΠ³ΠΎΠ΄Π΅Π½ ΠΊ использованию, Ρ‡Ρ‚ΠΎ обрабатываСтся Π² ZFS ΠΊΠ°ΠΊ сбой диска ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΏΠΎΡ‚Π΅Ρ€Π΅ хранящихся Π½Π° дискС Π΄Π°Π½Π½Ρ‹Ρ…. ΠŸΡ€ΠΈ сбоС Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… дисков Π΄Π°Π½Π½Ρ‹Π΅ Π² vdev ΠΈΠ»ΠΈ ΠΏΡƒΠ»Π΅ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ потСряны. ΠžΡ‚ΠΌΠ΅Ρ‡Π°Π΅Ρ‚ΡΡ, Ρ‡Ρ‚ΠΎ упомянутыС сбои Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ достаточно Ρ€Π΅Π΄ΠΊΠΎ — ΠΈΠ· ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ тысячи ΠΏΡ€ΠΎΠ΄Π°Π½Π½Ρ‹Ρ… систСм FreeNAS Mini, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΊΠΎΠΌΠΏΠ»Π΅ΠΊΡ‚ΠΎΠ²Π°Π»ΠΈΡΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ½Ρ‹ΠΌΠΈ дисками, ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° всплыла Π² Ρ€Π°Π±ΠΎΡ‡ΠΈΡ… условиях Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄ΠΈΠ½ Ρ€Π°Π·.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ