DRAID рд╕рдорд░реНрдердирд╛рд╕рд╣ OpenZFS 2.1 рдЪреЗ рдкреНрд░рдХрд╛рд╢рди

OpenZFS 2.1 рдкреНрд░рдХрд▓реНрдкрд╛рдЪреЗ рдкреНрд░рдХрд╛рд╢рди рдкреНрд░рдХрд╛рд╢рд┐рдд рдХреЗрд▓реЗ рдЧреЗрд▓реЗ рдЖрд╣реЗ, рдЬреЗ Linux рдЖрдгрд┐ FreeBSD рд╕рд╛рдареА ZFS рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдордЪреА рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреА рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдд рдЖрд╣реЗ. рд╣рд╛ рдкреНрд░рдХрд▓реНрдк "Linux рд╡рд░ ZFS" рдореНрд╣рдгреВрди рдУрд│рдЦрд▓рд╛ рдЬрд╛рдК рд▓рд╛рдЧрд▓рд╛ рдЖрдгрд┐ рдкреВрд░реНрд╡реА рддреЛ Linux рдХрд░реНрдирд▓рд╕рд╛рдареА рдореЙрдбреНрдпреВрд▓ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдгреНрдпрд╛рдкреБрд░рддрд╛ рдорд░реНрдпрд╛рджрд┐рдд рд╣реЛрддрд╛, рдкрд░рдВрддреБ рд╕рдорд░реНрдерди рд╣рд▓рд╡рд▓реНрдпрд╛рдирдВрддрд░, FreeBSD рд▓рд╛ OpenZFS рдЪреЗ рдореБрдЦреНрдп рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреА рдореНрд╣рдгреВрди рдУрд│рдЦрд▓реЗ рдЧреЗрд▓реЗ рдЖрдгрд┐ рдирд╛рд╡рд╛рдд Linux рдЪрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдгреНрдпрд╛рдкрд╛рд╕реВрди рдореБрдХреНрдд рдХрд░рдгреНрдпрд╛рдд рдЖрд▓реЗ.

OpenZFS рдЪреА 3.10 рддреЗ 5.13 рдкрд░реНрдпрдВрдд Linux рдХрд░реНрдирд▓ рдЖрдгрд┐ 12.2-RELEASE рдкрд╛рд╕реВрди рд╕реБрд░реВ рд╣реЛрдгрд╛рд▒реНрдпрд╛ рд╕рд░реНрд╡ FreeBSD рд╢рд╛рдЦрд╛рдВрд╕рд╣ рдЪрд╛рдЪрдгреА рдХреЗрд▓реА рдЧреЗрд▓реА рдЖрд╣реЗ. рдХреЛрдб рд╡рд┐рдирд╛рдореВрд▓реНрдп CDDL рдкрд░рд╡рд╛рдиреНрдпрд╛рдЕрдВрддрд░реНрдЧрдд рд╡рд┐рддрд░рд┐рдд рдХреЗрд▓рд╛ рдЬрд╛рддреЛ. OpenZFS рдЖрдзреАрдкрд╛рд╕реВрди FreeBSD рдордзреНрдпреЗ рд╡рд╛рдкрд░рд▓реЗ рдЬрд╛рддреЗ рдЖрдгрд┐ рдбреЗрдмрд┐рдпрди, рдЙрдмрдВрдЯреВ, рдЬреЗрдВрдЯреВ, рд╕рдмрд╛рдпреЙрди рд▓рд┐рдирдХреНрд╕ рдЖрдгрд┐ ALT рд▓рд┐рдирдХреНрд╕ рд╡рд┐рддрд░рдгрд╛рдВрдордзреНрдпреЗ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдХреЗрд▓реЗ рдЖрд╣реЗ. Debian, Ubuntu, Fedora, RHEL/CentOS рдпрд╛рд╕рд╣ рдкреНрд░рдореБрдЦ Linux рд╡рд┐рддрд░рдгрд╛рдВрд╕рд╛рдареА рдирд╡реАрди рдЖрд╡реГрддреНрддреАрд╕рд╣ рдкреЕрдХреЗрдЬреЗрд╕ рд▓рд╡рдХрд░рдЪ рддрдпрд╛рд░ рдХреЗрд▓реА рдЬрд╛рддреАрд▓.

OpenZFS рдлрд╛рдИрд▓ рд╕рд┐рд╕реНрдЯреАрдо рдЖрдгрд┐ рд╡реНрд╣реЙрд▓реНрдпреВрдо рдореЕрдиреЗрдЬрд░ рдпрд╛ рджреЛрдиреНрд╣реАрд╢реА рд╕рдВрдмрдВрдзрд┐рдд ZFS рдШрдЯрдХрд╛рдВрдЪреА рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреА рдкреНрд░рджрд╛рди рдХрд░рддреЗ. рд╡рд┐рд╢реЗрд╖рддрдГ, рдЦрд╛рд▓реАрд▓ рдШрдЯрдХ рд▓рд╛рдЧреВ рдХреЗрд▓реЗ рдЖрд╣реЗрдд: SPA (рд╕реНрдЯреЛрд░реЗрдЬ рдкреВрд▓ рдНрд▓реЛрдХреЗрдЯрд░), DMU (рдбреЗрдЯрд╛ рдореЕрдиреЗрдЬрдореЗрдВрдЯ рдпреБрдирд┐рдЯ), ZVOL (ZFS рдПрдореНрдпреБрд▓реЗрдЯреЗрдб рд╡реНрд╣реЙрд▓реНрдпреВрдо) рдЖрдгрд┐ ZPL (ZFS POSIX рд▓реЗрдпрд░). рдпрд╛рд╡реНрдпрддрд┐рд░рд┐рдХреНрдд, рдкреНрд░рдХрд▓реНрдк рд▓рд╕реНрдЯрд░ рдХреНрд▓рд╕реНрдЯрд░ рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдорд╕рд╛рдареА рдмреЕрдХрдПрдВрдб рдореНрд╣рдгреВрди ZFS рд╡рд╛рдкрд░рдгреНрдпрд╛рдЪреА рдХреНрд╖рдорддрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреЛ. рдкреНрд░рдХрд▓реНрдкрд╛рдЪреЗ рдХрд╛рд░реНрдп рдореВрд│ ZFS рдХреЛрдбрд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЖрд╣реЗ, рдЬреЗ OpenSolaris рдкреНрд░рдХрд▓реНрдкрд╛рддреВрди рдЖрдпрд╛рдд рдХреЗрд▓реЗ рдЧреЗрд▓реЗ рдЖрд╣реЗ рдЖрдгрд┐ Illumos рд╕рдореБрджрд╛рдпрд╛рдХрдбреВрди рд╕реБрдзрд╛рд░рдгрд╛ рдЖрдгрд┐ рд╕реБрдзрд╛рд░рдгрд╛рдВрд╕рд╣ рд╡рд┐рд╕реНрддрд╛рд░рд┐рдд рдЖрд╣реЗ. рдпреВрдПрд╕ рдКрд░реНрдЬрд╛ рд╡рд┐рднрд╛рдЧрд╛рд╕реЛрдмрддрдЪреНрдпрд╛ рдХрд░рд╛рд░рд╛рдиреБрд╕рд╛рд░ рд▓рд┐рд╡реНрд╣рд░рдореЛрд░ рдиреЕрд╢рдирд▓ рд▓реЕрдмреЛрд░реЗрдЯрд░реАрдЪреНрдпрд╛ рдХрд░реНрдордЪрд╛рд▒реНрдпрд╛рдВрдЪреНрдпрд╛ рд╕рд╣рднрд╛рдЧрд╛рдиреЗ рд╣рд╛ рдкреНрд░рдХрд▓реНрдк рд╡рд┐рдХрд╕рд┐рдд рдХреЗрд▓рд╛ рдЬрд╛рдд рдЖрд╣реЗ.

рдХреЛрдб рд╡рд┐рдирд╛рдореВрд▓реНрдп CDDL рдкрд░рд╡рд╛рдиреНрдпрд╛ рдЕрдВрддрд░реНрдЧрдд рд╡рд┐рддрд░рд┐рдд рдХреЗрд▓рд╛ рдЬрд╛рддреЛ, рдЬреЛ GPLv2 рд╢реА рд╡рд┐рд╕рдВрдЧрдд рдЖрд╣реЗ, рдЬреЛ OpenZFS рд▓рд╛ Linux рдХрд░реНрдирд▓рдЪреНрдпрд╛ рдореБрдЦреНрдп рд╢рд╛рдЦреЗрдд рдПрдХрддреНрд░реАрдХрд░рдг рдХрд░рдгреНрдпрд╛рд╕ рдкрд░рд╡рд╛рдирдЧреА рджреЗрдд тАЛтАЛтАЛтАЛрдирд╛рд╣реА, рдХрд╛рд░рдг GPLv2 рдЖрдгрд┐ CDDL рдкрд░рд╡рд╛рдиреНрдпрд╛ рдЕрдВрддрд░реНрдЧрдд рдХреЛрдб рдорд┐рд╕рд│рдгреЗ рдЕрд╕реНрд╡реАрдХрд╛рд░реНрдп рдЖрд╣реЗ. рд╣реА рдкрд░рд╡рд╛рдирд╛ рд╡рд┐рд╕рдВрдЧрддрддрд╛ рдЯрд╛рд│рдгреНрдпрд╛рд╕рд╛рдареА, CDDL рд▓рд╛рдпрд╕рдиреНрд╕ рдЕрдВрддрд░реНрдЧрдд рд╕рдВрдкреВрд░реНрдг рдЙрддреНрдкрд╛рджрди рд╕реНрд╡рддрдВрддреНрд░рдкрдгреЗ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдгреНрдпрд╛рдпреЛрдЧреНрдп рдореЙрдбреНрдпреВрд▓ рдореНрд╣рдгреВрди рд╡рд┐рддрд░рд┐рдд рдХрд░рдгреНрдпрд╛рдЪрд╛ рдирд┐рд░реНрдгрдп рдШреЗрдгреНрдпрд╛рдд рдЖрд▓рд╛, рдЬреЛ рдХрд░реНрдирд▓рдордзреВрди рд╕реНрд╡рддрдВрддреНрд░рдкрдгреЗ рдкреБрд░рд╡рд▓рд╛ рдЬрд╛рддреЛ. OpenZFS рдХреЛрдбрдмреЗрд╕рдЪреНрдпрд╛ рд╕реНрдерд┐рд░рддреЗрдЪреЗ рдореВрд▓реНрдпрдорд╛рдкрди Linux рд╕рд╛рдареА рдЗрддрд░ FS рд╢реА рддреБрд▓рдирд╛ рдХрд░рддрд╛ рдпреЗрддреЗ.

рдореБрдЦреНрдп рдмрджрд▓:

  • dRAID (рдбрд┐рд╕реНрдЯреНрд░рд┐рдмреНрдпреБрдЯреЗрдб рд╕реНрдкреЗрдЕрд░ RAID) рддрдВрддреНрд░рдЬреНрдЮрд╛рдирд╛рд╕рд╛рдареА рд╕рдорд░реНрдерди рдЬреЛрдбрд▓реЗ, рдЬреЗ рд╣реЙрдЯ рд╕реНрдкреЗрдЕрд░реНрд╕рд╕рд╛рдареА рдПрдХрд╛рддреНрдорд┐рдХ рд╡рд┐рддрд░рд┐рдд рдмреНрд▓реЙрдХ рдкреНрд░рдХреНрд░рд┐рдпреЗрд╕рд╣ RAIDZ рдЪреЗ рдПрдХ рдкреНрд░рдХрд╛рд░ рдЖрд╣реЗ. dRAID рд▓рд╛ RAIDZ рдЪреЗ рд╕рд░реНрд╡ рдлрд╛рдпрджреЗ рд╡рд╛рд░рд╢рд╛рдиреЗ рдорд┐рд│рддрд╛рдд, рдкрд░рдВрддреБ рд╕реНрдЯреЛрд░реЗрдЬ рд░рд┐рд╕рд┐рд▓реНрд╡реНрд╣рд░рд┐рдВрдЧрдЪреНрдпрд╛ рдЧрддреАрдордзреНрдпреЗ рд▓рдХреНрд╖рдгреАрдп рд╡рд╛рдв рдЖрдгрд┐ рдЕреЕрд░реЗрдордзреАрд▓ рд░рд┐рдбрдВрдбрдВрд╕реА рдкреБрдирд░реНрд╕рдВрдЪрдпрд┐рдд рдХрд░рдгреНрдпрд╛рд╕ рдЕрдиреБрдорддреА рджреЗрддреЗ. рд╡реНрд╣рд░реНрдЪреНрдпреБрдЕрд▓ рд╕реНрдЯреЛрд░реЗрдЬ dRAID рдЕрдиреЗрдХ рдЕрдВрддрд░реНрдЧрдд RAIDZ рдЧрдЯрд╛рдВрдордзреВрди рддрдпрд╛рд░ рдХреЗрд▓реЗ рдЬрд╛рддреЗ, рдЬреНрдпрд╛рдкреИрдХреА рдкреНрд░рддреНрдпреЗрдХрд╛рдордзреНрдпреЗ рдбреЗрдЯрд╛ рд╕рдВрдЧреНрд░рд╣рд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд╛рдзрдиреЗ рдЖрдгрд┐ рдкреЕрд░рд┐рдЯреА рдмреНрд▓реЙрдХреНрд╕ рд╕рдВрдЪрдпрд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд╛рдзрдиреЗ рдЕрд╕рддрд╛рдд. рдЙрдкрд▓рдмреНрдз рдбрд┐рд╕реНрдХ рдмрдБрдбрд╡рд┐рдбреНрдердЪреНрдпрд╛ рдЗрд╖реНрдЯрддрдо рд╡рд╛рдкрд░рд╛рд╕рд╛рдареА рд╣реЗ рдЧрдЯ рд╕рд░реНрд╡ рдбреНрд░рд╛рдЗрд╡реНрд╣рд╡рд░ рд╡рд┐рддрд░реАрдд рдХреЗрд▓реЗ рдЬрд╛рддрд╛рдд. рд╡реЗрдЧрд│реНрдпрд╛ рд╣реЙрдЯ рд░рд┐рдХрд╡реНрд╣рд░реА рдбреНрд░рд╛рдЗрд╡реНрд╣рдРрд╡рдЬреА, dRAID рдЕреЕрд░реЗрдордзреАрд▓ рд╕рд░реНрд╡ рдбреНрд░рд╛рдЗрд╡реНрд╣рд╡рд░ рд╣реЙрдЯ рд░рд┐рдХрд╡реНрд╣рд░реА рдмреНрд▓реЙрдХреНрд╕рдЪреНрдпрд╛ рддрд╛рд░реНрдХрд┐рдХ рд╡рд┐рддрд░рдгрд╛рдЪреА рд╕рдВрдХрд▓реНрдкрдирд╛ рд╡рд╛рдкрд░рддреЗ.
    DRAID рд╕рдорд░реНрдердирд╛рд╕рд╣ OpenZFS 2.1 рдЪреЗ рдкреНрд░рдХрд╛рд╢рди
  • "рдХрдореНрдкреЕрдЯрд┐рдмрд┐рд▓рд┐рдЯреА" рдЧреБрдгрдзрд░реНрдо ("zpool create -o compatibility=off|legacy|file[,file...] pool vdev") рд▓рд╛рдЧреВ рдХреЗрд▓реЗ, ре▓рдбрдорд┐рдирд┐рд╕реНрдЯреНрд░реЗрдЯрд░рд▓рд╛ рдХреНрд╖рдорддрд╛рдВрдЪрд╛ рд╕рдВрдЪ рдирд┐рд╡рдбрдгреНрдпрд╛рдЪреА рдкрд░рд╡рд╛рдирдЧреА рджрд┐рд▓реА рдЬреА рдкреВрд▓рдордзреНрдпреЗ рд╕рдХреНрд╖рдо рдХреЗрд▓реА рдЬрд╛рд╡реАрдд. рдкреЛрд░реНрдЯреЗрдмрд▓ рдкреВрд▓ рддрдпрд╛рд░ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдЖрдгрд┐ рдУрдкрдирдЭреЗрдбрдПрдлрдПрд╕рдЪреНрдпрд╛ рд╡рд┐рд╡рд┐рдз рдЖрд╡реГрддреНрддреНрдпрд╛ рдЖрдгрд┐ рд╡рд┐рд╡рд┐рдз рдкреНрд▓реЕрдЯрдлреЙрд░реНрдордордзреАрд▓ рдкреВрд▓ рджрд░рдореНрдпрд╛рди рд╕реБрд╕рдВрдЧрддрддрд╛ рд░рд╛рдЦрдгреНрдпрд╛рд╕рд╛рдареА.
  • рдЗрдиреНрдлреНрд▓рдХреНрд╕рдбреАрдмреА рдбреАрдмреАрдПрдордПрд╕ рдлреЙрд░рдореЕрдЯрдордзреНрдпреЗ рдкреВрд▓рдЪреНрдпрд╛ рдСрдкрд░реЗрд╢рдирдмрджреНрджрд▓ рдЖрдХрдбреЗрд╡рд╛рд░реА рдЬрддрди рдХрд░рдгреЗ рд╢рдХреНрдп рдЖрд╣реЗ, рдЬреЗ рдбреЗрдЯрд╛ рд╕рдВрдЧреНрд░рд╣рд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдЖрдгрд┐ рд╡реЗрд│ рдорд╛рд▓рд┐рдХреЗрдЪреНрдпрд╛ рд╕реНрд╡рд░реВрдкрд╛рдд (рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдЕрдВрддрд░рд╛рдиреЗ рдкреЕрд░рд╛рдореАрдЯрд░ рдореВрд▓реНрдпрд╛рдВрдЪреЗ рд╕реНрд▓рд╛рдЗрд╕) рд╡рд╛рдкрд░рдгреНрдпрд╛рд╕рд╛рдареА рдСрдкреНрдЯрд┐рдорд╛рдЗрдЭ рдХреЗрд▓реЗ рдЖрд╣реЗ. InfluxDB рдлреЙрд░рдореЕрдЯрдордзреНрдпреЗ рдирд┐рд░реНрдпрд╛рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, тАЬzpool influxdbтАЭ рдХрдорд╛рдВрдб рдкреНрд░рд╕реНрддрд╛рд╡рд┐рдд рдЖрд╣реЗ.
  • рд╣реЙрдЯ рдЕреЕрдбрд┐рдВрдЧ рдореЗрдорд░реА рдЖрдгрд┐ CPU рд╕рд╛рдареА рд╕рдорд░реНрдерди рдЬреЛрдбрд▓реЗ.
  • рдирд╡реАрди рдЖрджреЗрд╢ рдЖрдгрд┐ рдкрд░реНрдпрд╛рдп:
    • "zpool create -u" - рд╕реНрд╡рдпрдВрдЪрд▓рд┐рдд рдорд╛рдЙрдВрдЯрд┐рдВрдЧ рдЕрдХреНрд╖рдо рдХрд░рд╛.
    • тАЬzpool history -iтАЭтАФрдкреНрд░рддреНрдпреЗрдХ рдХрдорд╛рдВрдбрдЪреНрдпрд╛ рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреАрдЪрд╛ рдХрд╛рд▓рд╛рд╡рдзреА рдСрдкрд░реЗрд╢рдиреНрд╕рдЪреНрдпрд╛ рдЗрддрд┐рд╣рд╛рд╕рд╛рдд рдкреНрд░рддрд┐рдмрд┐рдВрдмрд┐рдд рд╣реЛрддреЛ.
    • "zpool рд╕реНрдерд┐рддреА" - рдЗрд╖реНрдЯрддрдо рдмреНрд▓реЙрдХ рдЖрдХрд╛рд░ рдирд╕рд▓реЗрд▓реНрдпрд╛ рдбрд┐рд╕реНрдХрдмрджреНрджрд▓ рдЪреЗрддрд╛рд╡рдгреА рд╕рдВрджреЗрд╢ рдЬреЛрдбрд▓рд╛.
    • тАЬzfs рдкрд╛рдард╡рддреЗ тАФskip-missing|-sтАЭ тАФ рдкреНрд░рддрд┐рдХреГрддреАрд╕рд╛рдареА рдкреНрд░рд╡рд╛рд╣ рдкрд╛рдард╡рддрд╛рдирд╛ рдЧрд╣рд╛рд│ рд╕реНрдиреЕрдкрд╢реЙрдЯрдХрдбреЗ рджреБрд░реНрд▓рдХреНрд╖ рдХрд░рддреЗ.
    • тАЬzfs rename -uтАЭ - рд░реАрдорд╛рдЙрдВрдЯ рди рдХрд░рддрд╛ рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдордЪреЗ рдирд╛рд╡ рдмрджрд▓рддреЗ.
    • Arcstat рдиреЗ L2ARC рдЖрдХрдбреЗрд╡рд╛рд░реАрд╕рд╛рдареА рд╕рдорд░реНрдерди рдЬреЛрдбрд▓реЗ рдЖрдгрд┐ "-a" (рд╕рд░реНрд╡) рдЖрдгрд┐ "-p" (рдкрд╛рд░реНрд╕ рдХрд░рдгреНрдпрд╛рдпреЛрдЧреНрдп) рдкрд░реНрдпрд╛рдп рдЬреЛрдбрд▓реЗ.
  • рдСрдкреНрдЯрд┐рдорд╛рдпрдЭреЗрд╢рди:
    • рд╕реБрдзрд╛рд░рд┐рдд рдкрд░рд╕реНрдкрд░ I/O рдХрд╛рд░реНрдпрдкреНрд░рджрд░реНрд╢рди.
    • рд╕рдорд╛рдВрддрд░ рдбреЗрдЯрд╛ рдНрдХреНрд╕реЗрд╕рд╢реА рд╕рдВрдмрдВрдзрд┐рдд рд╡рд░реНрдХрд▓реЛрдбрд╕рд╛рдареА рдкреНрд░реАрдлреЗрдЪ рд╡реЗрдЧрд╡рд╛рди рдХреЗрд▓реЗ рдЧреЗрд▓реЗ рдЖрд╣реЗ.
    • рд▓реЙрдХ рд╡рд┐рд╡рд╛рдж рдХрдореА рдХрд░реВрди рд╕реБрдзрд╛рд░рд┐рдд рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА.
    • рдкреВрд▓ рдЖрдпрд╛рдд рд╡реЗрд│ рдХрдореА рдХреЗрд▓рд╛ рдЖрд╣реЗ.
    • ZIL рдмреНрд▓реЙрдХреНрд╕рдЪреЗ рдХрдореА рдЭрд╛рд▓реЗрд▓реЗ рд╡рд┐рдЦрдВрдбрди.
    • рд░рд┐рдХрд░реНрд╕рд┐рд╡реНрд╣ рдСрдкрд░реЗрд╢рдиреНрд╕рдЪреА рд╕реБрдзрд╛рд░рд┐рдд рдХрд╛рдордЧрд┐рд░реА.
    • рд╕реБрдзрд╛рд░рд┐рдд рдореЗрдорд░реА рд╡реНрдпрд╡рд╕реНрдерд╛рдкрди.
    • рдХрд░реНрдирд▓ рдореЙрдбреНрдпреВрд▓рдЪреЗ рд▓реЛрдбрд┐рдВрдЧ рд╡реЗрдЧрд╡рд╛рди рдХреЗрд▓реЗ рдЧреЗрд▓реЗ рдЖрд╣реЗ.

рд╕реНрддреНрд░реЛрдд: opennet.ru

рдПрдХ рдЯрд┐рдкреНрдкрдгреА рдЬреЛрдбрд╛