áááºá¹ááá¬áá« Habr á á¬áááºáá°áá»á¬ážá áá±á¬ááºáá¯á¶ážáá±á¬ááºážáá«ážááœááºá AERODISK ENGINE ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááœáẠááá¬ááá±ážá¡áá¹ááá¬ááºááŒááºáááºáá°áá±á¬ááºáá±ážááá¯ááºáᬠááá¯ážááŸááºážáá±á¬áááºážáááºážá¡ááŒá±á¬ááºážááŒá±á¬áá²á·ááẠ- áá°ážáá°áá±á¬áºááŒáá«áááºá á€áá±á¬ááºážáá«ážááœááºá áá»áœááºá¯ááºááá¯á·ááẠááá¯ááá¯ááŸá¯ááºááœá±ážááŒá®áž á áááºáááºá á¬ážá áá¬áá±á¬ááºážááá·áº á¡ááŒá±á¬ááºážá¡áá¬áá áºáá¯ááá¯á· á á±á·áá¯ááŒáá·áºáá«áááºá ááá¯ááá¯áááºááŸá¬ áá±áá¬á ááºáá¬ááŸá áºáá¯á¡ááœáẠá¡ááá¯á¡áá»á±á¬áẠáá±ážá¥áááºáá¬ááœááºááŸá¯áááºážáááºážááŒá áºááá·áº metroclusterá áá±áá¬á ááºáá¬áá»á¬ážááᯠáááºááŒáœáááºááŒáœáá±á¬áá¯ááºááœáẠáááºáááºááá¯ááºá á±áááºááŒá áºáááºá áá«ááá¯á·á áááºážááá¯ááŒá±á¬ááŒáááºá ááŒáááºá áá»áá¯ážáá»ááºááŒá®áž ááŒááºáááºá
áá¯á¶ážá á¶á¡ááá¯ááºáž áá®á¡áá¯áá®ááᯠá¡áááºááŒá±á¬áá«á
metrocluster ááẠááŒáá¯á· ááá¯á·ááá¯áẠáá±áá¡ááœááºáž áá±áá¬á¡áá»á¬ážá¡ááŒá¬ážááœáẠáá»á¶á·ááŸá¶á·áá±áá±á¬ á¡á á¯á¡áá±ážáá áºáá¯ááŒá áºáááºá "cluster" áá°áá±á¬ á áá¬ážáá¯á¶ážááẠáá»áœááºá¯ááºááá¯á·á¡á¬áž ááŸá¯ááºááœá±ážááá·áºá¡áá¬ááẠá¡ááá¯á¡áá»á±á¬ááºááŒá áºááŒá±á¬ááºáž ááŸááºážááŸááºážáááºážáááºáž á¡ááááºá¡ááŒáœááºááŒáááºá ááá¯ááá¯áááºááŸá¬ áá»ááºááœááºááŸá¯áá»á¬ážááœáẠá¡á á¯á¡áá±ážáá»á¬ážááᯠáá°ážááŒá±á¬ááºážááŒááºážááẠá¡ááá¯á¡áá»á±á¬ááºááŒá áºáá±á«áºáá«áááºá
á€áá±áá¬ááœáẠmetrocluster ááŸáá·áº áá¯á¶ááŸááºáá¯á¶áá°ááœá¬ážááŒááºážááŒá¬áž á¡ááá ááœá¬ááŒá¬ážáá»áẠááŸááááºá á¡ááá¯á¡áá»á±á¬ááºáááºáááºááŸá¯á ááá¯ááá¯áááºááŸá¬á á¡áá»áá¯á·áá±á¬ááŒá áºáááºáá»á¬áž (áá±áá¬á ááºáá¬áá»áá¯á·ááœááºážááŸá¯á áá»áá¯ážáá±á«ááºáá±ááá·áºáá»ááºáááºáá»á¬ážá áááº) ááœááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááẠáá±áá¬áááŸáááá¯ááºááŸá¯ááᯠááááºážááááºážáááºá¡ááœáẠááá¯á¡ááºááá·áºáá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠááœááºáááºá áœá¬áá¯ááºáá±á¬ááºáááºááŒá áºáááºá áá¯á¶ááŸááºáá¯á¶á á¶áá°áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá·áºá¡áá«á á€áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠá á®áá¶ááá·áºááœá²áá°á០á¡áá¯á¶ážá á¯á¶ ááá¯á·ááá¯áẠáá áºá áááºáá áºááá¯ááºážááᯠááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºáá«áááºá
áá«ááŒá±á¬ááºá·á¡áááºááá¯á·ááŒá¯ááá«ááááºáž?
á¡áá»áá¯á·áá±á¬ metrocluster á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá·áºá¡áá« áá¯á¶ážá áœá²áá°áá»á¬áž ááá¯ááºáá»áŸá±á¬ááºááá·áº á¡ááááááºážááá¯ááºááŸá¬ RTO (Recovery Time Objective) ááᯠáá»áŸá±á¬á·áá»áááºááŒá áºáááºá ááá¯ááá¯áááºááŸá¬ áá»ááºááœááºááŒá®ážáá±á¬áẠIT áááºáá±á¬ááºááŸá¯áá»á¬ážá ááŒááºáááºááá°áá»áááºááᯠáá»áŸá±á¬á·áá»áááºááŒá áºáááºá áá¯á¶ááŸááºáá¯á¶áá°áá°ážááŒááºážááᯠáááºá¡áá¯á¶ážááŒá¯áá«áá ááŒááºáááºááá°áá»áááºááẠmetrocluster ááŒáá·áº ááŒááºáááºááá°ááá·áºá¡áá»áááºááẠá¡ááŒá²áááºáž ááá¯ááŸááºáá±áááºááŒá áºáááºá á¡áááºááŒá±á¬ááºá·? á¡ááœááºááá¯ážááŸááºážáá«áááºá á¡ááºááááºááẠáááºážá á á¬ážááœá²áá¯á¶ááœáẠááŸááá±ááááºááŒá áºááŒá®áž áá¯á¶áá°áá°ážáá°ááŒááºážááᯠááá¯ááºááá¯ááºááŒá±á¬ááºážááááºááŒá áºááŒá®áž Metrocluster ááẠáááºážááᯠá¡ááá¯á¡áá»á±á¬áẠáá¯ááºáá±á¬ááºáá«áááºá
á¡áááºááá»á±á¬áºááŒááºážá áá á¬ážááŒááºážá áá±ážááááºááá±á¬ááºááŒááºáž ááá¯á·ááá¯áẠááá»á¬ážááá¬ááŒá áºááŒá®áž ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá¡ááŒá±á¡áá±ááᯠ24 áá¬áá®áááºáá¯á¶áž á á±á¬áá·áºááŒáá·áºáá±áá«á á á®áá¶ááá·áºááœá²áá°á០á¡á¬ááá¶ááá¯ááºáááºááá¯ááºáá±á áá»áá¯á·ááœááºážááŸá¯áá áºáá¯á¡ááœááºáž manual switching á¡ááœáẠáááá¯ááºáááºá
ááá¯á·ááŒá±á¬áá·áºá RTO ááẠá á®áá¶ááá·áºááœá²áá°áá¬ááẠááá¹ááá¬ážá¡ááá·áºá 99th á¡ááá·áºááŸá áááºáááá¯ááá Ạááá¯á·ááá¯áẠááá±ááá¯ááºáá±á¬ á á®áá¶ááá·áºááœá²áá°áááŸááá«á á áá áºá¡á¬ážáá¯á¶ážá áá°ážááŒá±á¬ááºážáá»áááºááá±á«ááºážáááºááŸáá·áº á á®áá¶ááá·áºááœá²áá°á០á áááºáá¯ááºáá±á¬ááºááẠá¡á¬ááá¶áá¬ážááá·áº á¡áá»á¬ážáá¯á¶ážá¡áá»áááºáá¬áááŸáá·áº áá®áá»áŸáááºááŒá áºáááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááŸáá·áº áááºá ááºá áá áºáá»á¬ážá
ááá¯á·ááŒá±á¬áá·áºá RTO á¡ááœáẠááá¯á¡ááºáá»ááºááẠáááá áºá áá¬áá® ááá¯á·ááá¯áẠáááºáá»á¬ážááá¯ááºáá«á áááºáááá¯ááá áºááᯠá¡áá¯á¶ážááŒá¯ááá·áºáááºáᯠáá»áœááºá¯ááºááá¯á· ááŸááºážááŸááºážáááºážáááºáž áá±á¬ááºáá»ááºáá»áá¬áá«áááºá ááá¯ááá¯áááºááŸá¬á á¡ááá¯ážááœá¬ážáá¯á¶áž áá±áá¬á ááºáᬠáá»áá¯á·ááœááºážááŸá¯ááŒá áºááá·áºá¡áá« á¡áá¯ááºáá®áá¬áááẠáá¯ááºáááºážááᯠá¡áá»áááºááŸáá·áºáááŒá±ážáá® áá¶á·ááá¯ážáá±ážááááºááŒá áºáááºá áááá áºááá¯ááºáž ááá¯á·ááá¯áẠá áá¹ááá·áºááá¯ááºážá¡ááœááºáž IT áááºáá±á¬ááºááŸá¯áá»á¬ážááá¯á· áááºáá±á¬ááºááœáá·áº ááŒááºáááºááá°áááºá
áááºááá¯á¡áá¯ááºáá¯ááºááá²
á¡á±á¬ááºááŒá±á¡ááá·áºááœááºá metrocluster ááẠááááºáá±á¬ááºážáá«ážááœáẠáá±á¬áºááŒáá²á·ááá·áº synchronous data replication á¡ááœáẠááá¹ááá¬ážááᯠá¡áá¯á¶ážááŒá¯ááẠ(ááŒáá·áºáá«á
- áá°ááá±áá¡ááŒá Ạoptical fiberá 10 gigabit Ethernet (ááá¯á·) ááá¯ááŒáá·áºáááºá
- áá±áá¬á ááºáá¬áá»á¬ážá¡ááŒá¬ážá¡ááœá¬á¡áá±ážááẠ40 áá®ááá¯áá®áá¬áááºáááá¯áá«á
- áá±áá¬á ááºáá¬áá»á¬áž (ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááŒá¬áž) á¡ááŒá¬áž á¡áááºážááá¯ááºážááŸá±á¬áá·áºááŸá±ážááŸá¯ááẠ5 áá®áá®á áá¹ááá·áºá¡áá (á¡áá±á¬ááºážáá¯á¶ážá¡á¬ážááŒáá·áº 2) ááŒá áºáááºá
á€ááá¯á¡ááºáá»ááºáá»á¬ážá¡á¬ážáá¯á¶ážááẠááá±á¬ááá¬áá¡á á¡ááŒá¶áá±ážááŒááºážááŒá áºáááºá ááá¯ááá¯áááºááŸá¬ á¡ááá¯áá«ááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áºáááá¯ááºáá®áá«á metrocluster ááẠá¡áá¯ááºááŒá áºáááá·áºáááºá ááá¯á·áá±á¬áº á€ááá¯á¡ááºáá»ááºáá»á¬ážááᯠáááá¯ááºáá¬ááŒááºážáá¡áá»áá¯ážáááºáá»á¬ážááẠááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯áá¯á¶ážááááºáááºááŸá¯ááŸá±ážááœá±ážááŒááºážááŸáá·áº áá°áá®ááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·áá¬ážáááºáá¬ážááá«áááºá metrocluster
ááá¯á·ááŒá±á¬áá·áºá synchronous áá¯á¶á á¶áá°ááᯠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážá¡ááŒá¬áž áá±áá¬ááœáŸá²ááŒá±á¬ááºážááẠá¡áá¯á¶ážááŒá¯ááŒá®ážá áá¯á¶áá°áá»á¬ážááᯠá¡ááá¯á¡áá»á±á¬áẠáááºááá¯á·ááŒá±á¬ááºážááŒááááºážá á¡áá±ážááŒá®ážáá¯á¶ážááŸá¬á áŠážááŸá±á¬ááºááœá²ááŒááºážááᯠáááºááá¯á·ááŸá±á¬ááºááŸá¬ážááá¯ááºáááºáááºážá áá«ááá¯áá¯ááºááá¯á·á ááá¯ááŒáá·áºáá²á·á¡ááá·áºááŸá¬ arbiter ááᯠá¡ááá¯áá á¹á ááºážáá áºáá¯ááᯠáá¯á¶ážáááºá
áá¯á¶ááá¬áááá°ááŒá®ážáá áºáá±á¬áẠáááºááá¯á¡áá¯ááºáá¯ááºááá²á áá°á·áá¬áááºá áá¬áá²á
arbiter ááẠáá±ážáááºáá±á¬ virtual machine ááá¯á·ááá¯áẠhardware cluster áá áºáá¯ááŒá áºááŒá®áž ááááááá¯áẠ(á¥ááá¬á áá¯á¶ážáááºážáá áºáá¯ááœááº) ááŸáá·áº ICMP ááŸáá·áº SSH ááŸáá áºááá·áº ááá¯ááŸá±á¬ááºááŸá¯á áá áºááá¯á· áááºáá±á¬ááºááœáá·áºááᯠáá±ážáá±á¬ááºááááºááŒá áºáááºá á áááºááŒá®ážáá±á¬ááºá áá¯á¶ááá¬ááááẠIP ááᯠââáááºááŸááºááá·áºááŒá®ážá ááá¯á·áá±á¬áẠááá¯ááŸá±á¬ááºááŸá¯áááºá០áááºážáááááºá á¬á¡ááŒáẠmetrocluster ááœááºáá«áááºááá·áº á¡áá±ážááááºážáááááá¬áá»á¬ážá ááááºá á¬áá»á¬ážááᯠááœáŸááºááŒáá±ážáááºá á¡á²áá®áá±á¬ááºááŸá¬áá±á¬á· ááá¯ááºáá°ááŒá®ážá á¡áááºááá·áºááŒá áºáá±áá«ááŒá®á
áá¯á¶ááá¬ááááẠmetrocluster ááŸá ááá¯ááŸá±á¬ááºááŸá¯á áá áºá¡á¬ážáá¯á¶ážááᯠá¡áááºáááŒáẠá á±á¬áá·áºááŒáá·áºáá±ááŒá®áž áá®ážááŒá¬ážááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáᯠááááŸáááá¯ááºáá«áá á¡á á¯á¡ááœá²á·á á¡ááŒá¬ážá¡ááœá²á·áááºáá áºáŠážá០ááááŸáááá¯ááºááŸá¯ááᯠá¡áááºááŒá¯ááŒá®ážáá±á¬áẠ("ááá¯ááºááá¯ááº" ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážáá²á០áá áºáá¯)á áá°ážáá°ááŒááºážááá¯ááºáᬠá ááºážáá»ááºážáá»á¬ážááᯠááŒá±á¬ááºážáá²ááŒááºážáá¯ááºáááºážá ááºááᯠá áááºááẠáá¯á¶ážááŒááºáááºá ááŸáá·áºááŒá±áá¯á¶ááœá²á
á¡ááœááºá¡áá±ážááŒá®ážáá±á¬á¡áá»ááºááŒá áºáááºá áá¯á¶ááá¬áááá°ááŒá®ážááẠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬áž áááºááŸááá¬áá±áá¬áá»á¬ážááŸáá·áº ááá°áá®áá±á¬ááá¯ááºáá áºáá¯ááœáẠá¡ááŒá²áááºážáááºááŸááá±ááááºá ááá¯ááá¯áááºááŸá¬ ááá¯ááŸá±á¬ááºááŸá¯á áá Ạ1 ááᯠááá·áºááœááºážáá¬ážááá·áº áá±áá¬á ááºáᬠ1 ááœááºááŒá áºá á±á ááá¯ááŸá±á¬ááºááŸá¯á áá Ạ2 ááœáẠááá·áºááœááºážáá¬ážááá·áº áá±áá¬á ááºáᬠ2 ááœááºáááºáž á¡ááŒá²áááºážáááºááŸáááááºááŒá áºáááºá
á¡áááºááŒá±á¬ááºá·? áá»ááºááŸááá±áá±á¬ ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážáá²á០áá áºáá¯áá¡áá°á¡áá®ááŒáá·áº áá¯á¶ááá¬áááá°ááŒá®ážáá áºáŠážááẠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬áž áááºáááºááá·áºááá¯ááºááŸá áºáá¯á¡áááºá០áááºááá·áºááá¯ááºáááŒáá¯áá²ááŒááºážááᯠáááá»áá±áá»á¬á áœá¬ áá¯á¶ážááŒááºááá¯ááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá áá¯á¶ááá¬ááááᯠáá±áá¬áá»ááŒááºážá á¡ááŒá¬ážáááºážáááºážáá»á¬ážááẠáŠážááŸá±á¬ááºááœá²ááŒááºážááᯠááŒá áºá á±ááá¯ááºáááºá
ááᯠáá¯á¶ááá¬áááá°ááŒá®ážá áá¯ááºáááºážá¡áá±ážá áááºáá»á¬ážááᯠáá±á·áá¬ááŒáá·áºáá¡á±á¬ááºá
arbiter ááẠááá¯ááŸá±á¬ááºááŸá¯ ááááºážáá»á¯ááºáááááá¬á¡á¬ážáá¯á¶ážááᯠá¡áááºáááŒáẠá á áºáááºážáá±á¬ááºáá°ááá·áº áááºáá±á¬ááºááŸá¯áá»á¬ážá áœá¬ááᯠáá¯ááºáá±á¬ááºáááºá á á áºáááºážááááºááẠááááºáá áºáá¯ááŸáá·áº ááá°áá«á (áááá¯ááº/ááááá¯ááºáá«)á áááºážááᯠarbiter ááœááºáááºáž áá¯ááºáá±á¬ááºááá¯ááºááá·áº áá±áá¬áá±á·á áºá¡áá±ážáá áºáá¯ááœáẠááŸááºáááºážáááºáá¬ážáááºá
áá¯á¶ááá¬áááá°ááŒá®ážáá¡áá¯ááºá áá¯áá¹ááááᯠááá¯ááá¯á¡áá±ážá áááºááŒáá·áºááŒáá«á áá¯á·á
á¡ááá·áº 1- ááááŸáááá¯ááºááŸá¯ááᯠáá¯á¶ážááŒááºáá«á ááá¯ááŸá±á¬ááºááŸá¯á áá Ạáá»áá¯á·ááœááºážááŸá¯ááŒá áºáááºááẠ5 á áá¹ááá·áºá¡ááœááºáž áá°áá®áá±á¬ááá¯ááŸá±á¬ááºááŸá¯á áá áºá ááááºážáá»á¯ááºáááááá¬ááŸá áºáá¯áá¯á¶ážáá¶á០ping áááŸááá±á¬á·ááŒááºáž ááŒá áºáááºá
á¡ááá·áº 2. áá°ážááŒá±á¬ááºážááŒááºážáá¯ááºáááºážá ááºááᯠá áááºáá«á ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážáá²á០áá áºáá¯ááẠááááá¯ááºáááºááᯠáá¯á¶ááá¬áááá°ááŒá®ážá០ááááŸáááŒá®ážáá±á¬ááºá áááºážá "áá±" ááá¯ááŸá±á¬ááºááŸá¯á áá Ạá¡ááŸááºááááºáá±áá¯á¶ážááŒá±á¬ááºáž áá±áá»á¬á á±áááºá¡ááœáẠ"ááá¯ááºááá¯ááº" ááá¯ááŸá±á¬ááºááŸá¯á áá áºááá¯á· áá±á¬ááºážááá¯áá»ááºáá áºáᯠáá±ážááá¯á·áá²á·áááºá
ááá¯ááá¯á·áá±á¬á¡áááá·áºááᯠarbiter áá¶ááŸáááºáá¶áááŸáááŒá®ážáá±á¬ááºá áá¯ááá (ááá¯ááºááá¯ááº) ááá¯ááŸá±á¬ááºááŸá¯á áá áºááẠáá»áá¯á¶ážááœá¬ážáá±á¬ áááááá¯ááŸá±á¬ááºááŸá¯á áá áºááááŸáááá¯ááºááŸá¯ááᯠá á áºáá±ážááŒá®áž ááá¯áá±áá¬ááá¯ááºáá«áá áááºážáááá·áºááŸááºážáá»ááºááᯠá á®áááºáá¯á¶ážááŒááºáá°áᶠá¡áááºááŒá¯áá»ááºáá±ážááá¯á·áááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááẠá¡ááŸááºááááºááẠááááá¯ááºáá«á
ááá¯ááá¯á·áá±á¬á¡áááºááŒá¯áá»ááºááá¯áááŸáááŒá®ážáá±á¬ááºá Arbiter ááẠááŒáá¯áá²ááœá¬ážáá±á¬ááá¯ááŸá±á¬ááºááŸá¯á áá áºááœááºá¡áááºáááºáá±áá±á¬áá¯á¶á á¶áá°áá»á¬ážáá±á«áºááœááºáá¯á¶áá°áá°ážááŒááºážááŸáá·áºááŒá±áá¯á¶ááá¯ááŒáŸáá·áºáááºááŒááºážá¡ááœááºá¡áá±ážááááºážáá¯ááºáááºážá ááºááá¯á áááºááá¯ááºááŒá®ážá á€áá¯á¶áá°áá»á¬ážááá¯áá¯ááááá±áá¬ááŸáá°ááááºážááá¯á·ááŒá±á¬ááºážáá²áááºáá¯áááááá¯ááŸá±á¬ááºááŸá¯á áá áºááá¯á·á¡áááá·áºá á¬áá±ážááá¯á·áááºá ááŒá±áá¯á¶ááŒáŸáá·áºáááºáááºá áá±á¬ááºážááŒá®á ááá¯á·ááŒá±á¬áá·áºá áá¯ááá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááẠá€áá¯ááºáá¯á¶ážáá¯ááºáááºážáá»á¬ážááᯠáá¯ááºáá±á¬ááºááŒá®áž áááºážá០áá¯á¶ážááŸá¯á¶ážááœá¬ážáá±á¬ LUN áá»á¬ážááᯠáááºáá±á¬ááºááœáá·áºáá±ážáááºá
á¡áááºááŒá±á¬áá·áº áááºáá±á¬ááºážá¡áááºááŒá¯áá»áẠááá¯á¡ááºááááºážá á¡áááŒá±á¬ááºáááºá ááá¯ááá¯áááºááŸá¬á á á¯á á¯áá±á«ááºáž áá°ážáááºážáá±á¬ (á) á¡á á¯á¡áá±ážá á¡áá»á¬ážá á¯ááẠá¡á á¯á¡áá±ážáá»á¬ážáá²á០áá áºáá¯á áá»áá¯á¶ážááŒááºážááᯠá¡áááºááŒá¯ááá«áááºá ááá¯á·ááŸáᬠá€áá¯á¶ážááŒááºáá»ááºááẠááŸááºáááºáááºááŒá áºáááºá ááŸá¬ážááœááºážáá±á¬ áá°ážááŒá±á¬ááºážááŒááºážááᯠááŸá±á¬ááºááŸá¬ážáááºááŸáá·áº áŠážááŸá±á¬ááºááœá²á á±áááºá¡ááœáẠáááºážááẠááá¯á¡ááºáá«áááºá
á¡ááá·áº 2 ááẠá¡áá»ááẠ5 á០10 á áá¹ááá·áºááá·áºááŒá¬ááŒáá·áºáá±á¬ááŒá±á¬áá·áº ááááŸáááá¯ááºááŸá¯ (5 á áá¹ááá·áº) ááá¯ááá·áºááœááºážááœááºáá»ááºáᬠááá±á¬áºááááŸá¯ááŒá áºááœá¬ážááŒá®ážáá±á¬áẠ10 á០15 á áá¹ááá·áºá¡ááœááºážá áá»áá¯á¶ážááœá¬ážáá±á¬ááá¯ááŸá±á¬ááºááŸá¯á áá áºá០LUN áá»á¬ážááẠááá¯ááºááá¯ááºáá¯ááºááœáŸáá·áºááŸá¯ááŸáá·áºá¡áá°á¡áá¯ááºáá¯ááºáááºá¡ááá¯á¡áá»á±á¬ááºáááŸáááá¯ááºáááºááŒá áºáááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºá
host áá»á¬ážááŸáá·áº á¡áááºá¡ááœááºáá»á¬áž áá¯á¶ážááŸá¯á¶ážááŒááºážá០ááŸá±á¬ááºááŸá¬ážááá¯ááºáááºá hosts ááœáẠtimeouts áá»á¬ážááᯠááŸááºáááºá áœá¬ configure áá¯ááºáááºáááºáž ááá¯á áá¯ááºááẠááá¯á¡ááºáá«áááºá á¡ááŒá¶ááŒá¯áá¬ážáá±á¬ á¡áá»áááºáá¯ááºáá¯á¶ážááŸá¯ááẠá¡áááºážáá¯á¶áž á áá¹ááá·áº 30 ááŒá áºáááºá áááºážááẠáá±ážá¡áá¹ááá¬ááºáá áºáá¯ááŒá áºááœá¬ážááá·áºá¡áá«ááœáẠááá¯ááŸá±á¬ááºááŸá¯á áá áºááá¯á· áá»áááºáááºááŸá¯ááᯠáááºáá¶áá±á¬ááºááœááºáá±ážáá°á¡á¬áž ááá¯ááŸá±á¬ááºááŸá¯á áá áºááá¯á· áá»áááºáááºááŸá¯ááᯠááŒááºáá±á¬ááºááŒááºážá០áá¬ážáá®ážáááºááŒá áºááŒá®áž I/O á¡ááŸá±á¬áá·áºá¡ááŸááºáá»á¬áž áááŸáá á±ááẠáá±áá»á¬á á±áááºááŒá áºáááºá
ááá á±á¬áá·áºáá«á metrocluster áá²á· á¡áá¬á¡á¬ážáá¯á¶ážá á¡áááºážáá±á¬ááºážáá±áááºááá¯ááẠáá¬ááŒá±á¬áá·áº áá¯á¶ááŸááºáá¯á¶áá°áá°ážáá»ááá¯á· ááá¯á¡ááºáá¬áá²á
ááááºáá±á¬á· á¡áá¬á¡á¬ážáá¯á¶ážá áá®áá±á¬ááºáááá¯ážááŸááºážáá«áá°ážá
metrocluster á áá±á¬ááºážáá»áá¯ážááŸáá·áº ááá¯ážáá»áá¯ážáá»á¬ážááᯠáá¯á¶ážáááºááŒáá·áºáá¡á±á¬ááº
ááá¯á·ááŒá±á¬áá·áºá ááááá¯ážáá»áá¯á¶áá°ááœá¬ážááŒááºážááŸáá·áº ááŸáá¯ááºážááŸááºáá«á metrocluster á áááá¬áááºááŸá¬ážáá±á¬ á¡á¬ážáá¬áá»ááºáá»á¬ážááŸá¬-
- á¡ááá¯á¡áá»á±á¬ááºá áá Ạá¡ááŒáá·áºá
- áá«áá«áá² :-)á
ááá¯áá°á áááá á¡á¬ážáááºážáá»ááºáá»á¬áž
- ááŒá±ááŸááºážáá»ááºáá¯ááºáá»á ááááºá Aerodisk á áá áºáá»á¬ážááŸá metrocluster ááẠáááºáá±á¬ááºážááá¯ááºá ááºáááá¯á¡ááºáá±á¬áºáááºáž (áá°áá®áá±á¬ááá¯ááºá ááºááᯠáá¯á¶á á¶áá°á¡ááŒá áºá¡áá¯á¶ážááŒá¯áááº)á ááŒá±ááŸááºážáá»ááºááá¯ááºáá»á ááááºááẠsynchronous replication ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážáááºáááºááá¯ááá¯ááŒáá·áºáá¬ážáá±áááºááŒá áºáá«áááºá áááºááá·áºááŒá±á¬ááºážááŒááºážááŸáá·áº áá±á¬ááºáááºááá¯ááºááŸáá·áºáááºá ááºáá±áá±á¬ metrocluster á¡ááœáẠááá¯á¡ááºáá»ááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠáááºá¡áá±á¬ááºá¡áááºáá±á¬áºááẠááá¯á¡ááºáá«ááẠ( metrocluster á á®áá¶ááááºážááá¯ááŒáá·áºáá« )á
- ááŒá±ááŸááºážáá»ááºáááŸá¯ááºááœá±ážááŸá¯á metrocluster ááẠáá¯á¶ááŸááºáá¯á¶á á¶áá°áá áºáá¯ááẠáá»á¬ážá áœá¬ááá¯á ááŸá¯ááºááœá±ážááŒá®áž á¡á á®á¡á ááºááœá²ááŒááºážá ááœá²á·á ááºážááŸá¯ááŸáá·áº á á¬ááœááºá á¬áááºážáá»á¬ážá¡ááœáẠááá¯ááá¯á¡á¬áá¯á¶á áá¯ááºááŒá®áž ááŒáá¯ážá á¬ážá¡á¬ážáá¯ááºááŸá¯ ááá¯á¡ááºáá«áááºá
áá±á¬ááºáá¯á¶ážáá±á¬á·. Metrocluster ááẠRTO ááᯠá áá¹ááá·áºááá¯ááºáž ááá¯á·ááá¯áẠáááá áºááá¯ááºážá¡ááœááºáž á¡ááŸááºááááºááá¯á¡ááºááá·áºá¡áá«ááœáẠá¡ááœááºáááºážááá¬á¡ááá·áºááŒáá·áºááŒá®áž áá±á¬ááºážááœááºáá±á¬ááŒá±ááŸááºážáá»ááºáá áºáá¯ááŒá áºáááºá ááá¯á·áá±á¬áºááá¯áá²á·ááá¯á·áá±á¬á¡áá¯ááºáááŸáá áá¬áá®ááá¯ááºážá¡ááœááºáž RTO áááºá á®ážááœá¬ážáá±ážá¡ááœááºá¡áááºááŒá±áá«áá á¡ááŒá±á¬ááºááŒáá·áºá á¬ááŸááºáá»á¬ážááá¯áá áºáááºá¡áá»ááºáááŸááá«á áááºáááá¯á¡á á¯á¡áá±ážáá áºáá¯ááẠá¡áá¯ááºáá®á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶á á¡ááá¯áá¯ááºáá»á ááááºáá»á¬ážááŸáá·áº ááŸá¯ááºááœá±ážááŸá¯áá»á¬ážááᯠááŒá áºá á±áá±á¬ááŒá±á¬áá·áº áá¬áá¬ááºá¡áá¯ááºááá¬áž-áá±á¬ááºáá°áááºááá¬ážáá¯á¶áá°ááœá¬ážááŸá¯ááẠáá¯á¶áá±á¬ááºáá«áááºá
Metrocluster á á®á ááºááŒááºážá
á€á¡ááá¯ááºážááẠmetrocluster áá®ááá¯ááºážá¡ááœáẠááŒáá·áºá á¯á¶áá±á¬áááºážááœáŸááºáá»ááºáᯠááá¯áá¬ážááŒááºážáááŸááá±á¬áºáááºáž ááá¯ááá¯á·áá±á¬á áá áºááᯠáááºáá±á¬ááºááẠáá¯á¶ážááŒááºáá«á áá¯ááºáá±á¬ááºááá·áºááá·áº á¡ááááááºážááœáŸááºáá»ááºáá»á¬ážááá¯áᬠááŒááá«áááºá ááá¯á·ááŒá±á¬áá·áºá metrocluster ááᯠá¡ááŸááºááááºá¡áá±á¬ááºá¡áááºáá±á¬áºááá·áºá¡áá«ááœáẠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá¯ááºáá¯ááºáá° (ááá¯ááá¯áááºááŸá¬ áá»áœááºá¯ááºááá¯á·) ááŸáá·áº ááá¯ááºáááºááœá±ážááœá±ážáááºá¡ááœáẠá¡ááŒá¬ážáááºá ááºá áá áºáá»á¬áž áá«áááºááẠáá±áá»á¬áá«á á±á
ááŒá áºááá¬ážá
á¡áááºááœááºáá±á¬áºááŒáá¬ážááá·áºá¡ááá¯ááºážá metrocluster áá áºáá¯ááẠá¡áááºážáá¯á¶ážááá¯áẠáá¯á¶ážáá¯ááá¯á¡ááºáááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸáá·áº áááºá ááºá áá áºáá»á¬ážáááºáááºááá·áº áá±áá¬á ááºáá¬ááŸá áºáá¯á¡ááŒáẠáá¯á¶ááá¬áááá°ááŒá®ážáá¯ááºáá±á¬ááºááá·áº ááááááá¯ááºáá áºáá¯á
áá±áá¬á ááºáá¬áá»á¬ážá¡ááŒá¬áž á¡ááŒá¶ááŒá¯áá¬ážáá±á¬ á¡ááœá¬á¡áá±ážááẠ40 áá®ááá¯áá®áá¬ááẠáááá¯á á±ááá«á ááá¯ááŒá®ážáá±á¬á¡ááœá¬á¡áá±ážááẠáááºáááá¯ááá áºáá áºáá¯á¡ááœáẠá¡ááœááºáááá¯áá¬ážá¡ááºáá±á¬ áá±á¬ááºáááºááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬áž ááŒá áºá á±ááá¯ááºáá»á± ááŒáá·áºáá¬ážáá«áááºá ááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážááᯠ5 áá®áá®á áá¹ááá·áºá¡ááœááºážáá¬ážááẠá¡ááŒá¶ááŒá¯ááá¯áá±á¬áºáááºáž ááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážááẠ2 áá®áá®á áá¹ááá·áºá¡áá ááŸáááá·áºáááºáᯠááá·áºá¡á¬áž ááááá±ážááŒáá«á áá¯á·á
á á®áá¶ááááºážáá¯ááºáááºážá ááºá¡ááœááºáž ááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážááá¯áááºáž á á áºáá±ážááẠá¡ááŒá¶ááŒá¯áá¬ážáááºá áá±áá¬á ááºáá¬áá»á¬ážááŒá¬áž á¡áááºážááá¯ááºáá¬ááᯠáá¶á·ááá¯ážáá±ážááá·áº ááá·áºáá»ááºáá±á¬ áááºáá±á¬ááºááŸá¯áá±ážáá°ááá¯ááºážááẠá¡áááºá¡ááœá±ážá á áºáá±ážááŸá¯ááᯠá¡ááœááºáá»ááºááŒááºá áœá¬ á á¯á ááºážááá¯ááºáá«áááºá
áá¯á¶ááá¬áááá°ááŒá®ážááŸá±á·ááŸá±á¬ááºááœáẠááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážá¡ááœáẠ(ááááááá¯ááºááŸáá·áº áááááŸá áºáá¯ááŒá¬ážááœááº) á¡ááŒá¶ááŒá¯áá¬ážáá±á¬ ááŸá±á¬áá·áºááŸá±ážááŸá¯á¡ááá·áºááẠ200 áá®áá®á áá¹ááá·áºá¡ááááŒá áºáááºá ááá¯ááá¯áááºááŸá¬ á¡ááºáá¬áááºáá±á«áºááœáẠáá¯á¶ááŸááºáá±á¬áºááá¯áááẠVPN áá»áááºáááºááŸá¯ááẠááá·áºáá»á±á¬áºáá«áááºá
áá°ážááŒá±á¬ááºážááŒááºážááŸáá·áº ááœááºáááºáá»áááºáááºááŒááºážá
ááá°áá®áá±á¬ááá¯ááºáá»á¬ážá០ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááᯠáá»áááºáááºááẠáá¯á¶áá±á¬ááºáá±á¬ áá°ážáá°ááŸá¯á¡á á®á¡á ááºááŸáá·áºááá°áá²á metrocluster á¡á á®á¡á ááºááẠááá°áá®áá±á¬ááá¯ááºáá»á¬ážááŸá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯áá¯á¶ážááŸáá·áº host áá»á¬ážááᯠáá»áááºáááºááẠááá¯á¡ááºáááºá ááŒá¬ážáá¬ážáá»ááºááᯠááá¯ááá¯ááŸááºážáááºážá á±ááẠá¡á á®á¡á á¥áºááŸá áºáá¯áá¯á¶ážááᯠá¡á±á¬ááºááœááºáá±á¬áºááŒáá¬ážáááºá
áá¯á¶ááœááºááŒááºááá¯ááºáááºá¡ááá¯ááºážá áá»áœááºá¯ááºááá¯á·á site 1 host áá»á¬ážááẠááá¯ááŸá±á¬ááºááŸá¯á áá Ạ1 ááŸáá·áº storage system 2 ááŸá áºáá¯áá¯á¶ážááᯠááŒáá·áºááŸá¯áááºá ááá¯á·á¡ááŒááºá ááá·áºáá»ááºáááºááœááºá site 2 host áá»á¬ážááẠááá¯ááŸá±á¬ááºááŸá¯á áá Ạ2 ááŸáá·áº storage system 1 ááŸá áºáá¯áá¯á¶ážááᯠááŒáá·áºáááºá ááá¯ááá¯áááºááŸá¬á áááºáá¶áá°ááá¯ááºážááẠááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯áá¯á¶ážááᯠááŒááºáááºá áááºážááẠmetrocluster ááááºáááºááŸá¯á¡ááœáẠááŒáá¯áááºááá¯á¡ááºáá»ááºáá áºáá¯ááŒá áºáááºá
áá¯ááºáá«áááºá host áá áºáá¯áá»ááºážá á®ááᯠoptical cord áá²á· áááŒá¬áž data center áá²á· áá»áááºáááºááá¯á· áááá¯á¡ááºáá«áá°ážá ports áá«ááŸááá¯áẠcords ááœá± áá¯á¶áá±á¬ááºááŸá¬ ááá¯ááºáá«áá°ážá á€áá»áááºáááºááŸá¯á¡á¬ážáá¯á¶ážááᯠEthernet 10G+ ááá¯á·ááá¯áẠFibreChannel 8G+ ááá¯ááºáá»á¬ážááŸáá áºááá·áº ááŒá¯áá¯ááºááá«ááẠ(FC ááẠIO á¡ááœáẠáááºáá¶áá±á¬ááºááœááºáá±ážáá°áá»á¬ážááŸáá·áº ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážá¡ááœááºáá¬ááŒá áºááŒá®ážá áá¯á¶áá°áá»ááºáááºááᯠáááºááŸáááœáẠIP (Ethernet 10G+) ááŸáá áºááá·áºáᬠáááŸáááá¯ááºáá«áááºá
ááᯠnetwork topology ááŸáá·áºáááºáááºáá±á¬ á áá¬ážá¡áááºážáááºá á¡áá±ážááŒá®ážáá±á¬á¡áá»ááºááŸá¬ subnets áá»á¬ážá ááŸááºáááºáá±á¬ configuration ááŒá áºáááºá á¡á±á¬ááºáá« traffic á¡áá»áá¯ážá¡á á¬ážáá»á¬ážá¡ááœáẠsubnet áá»á¬ážá áœá¬ááᯠáá»ááºáá»ááºážáááºááŸááºááẠááá¯á¡ááºáááº-
- ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááŒá¬ážááœáẠáá±áá¬ááᯠáááºáá°ááŒá¯ááá·áº áá°ážáá°ááŸá¯á áá áºááœá²á áááºážááá¯á·áá²á០á¡áá»á¬ážá¡ááŒá¬áž ááŸáááá¯ááºáááºá á€ááá á¹á ááœáẠáááºážááẠá¡áá±ážáááŒá®ážáá«á áááºážááẠáááºááŸá (á¡áá±á¬ááºá¡áááºáá±á¬áºááŒá®ážáá¬áž) ááœááºááẠtopology áá±á«áºááœáẠáá°áááºáá«áááºá áááºážááá¯á·ááœáẠááŸá áºáá¯ááŸááá±áá«áá áááºážááá¯á·ááŒá¬ážááœáẠáááºážááŒá±á¬ááºážáááºááŸááºááŒááºážááᯠáááá¬áááºááŸá¬ážá áœá¬ áá¯ááºáá±á¬ááºááááºááŒá áºáááºá
- ááá¯ááŸá±á¬ááºááŸá¯áááºážááŒá áºáá»á¬áž (iSCSI ááŒá áºáá«á) áááºáá¶áá±ážááá·áº host áá»á¬ážááŸáááá·áº ááá¯ááŸá±á¬ááºááŸá¯ááá¯ááºáᬠsubnets áá»á¬ážá áá±áá¬á ááºáá¬áá áºáá¯á á®ááœáẠáááºážáá²á·ááá¯á· ááœááºáááºáá áºáá¯ááŸáááá·áºáááºá
- ááááºážáá»á¯ááºááá¯ááºáá±á¬ subnets ááá¯ááá¯áááºááŸá¬á ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááᯠá á®áá¶ááá·áºááœá²ááá·áºááá¯ááºáá¯á¶ážáá¯ááŸá áááºážááŒá±á¬ááºážáá¯á¶ážááœááºáááºááœá²áá»á¬ážááŒá áºááŒá®ážá arbiter áááºáááºáž ááá¯áá±áá¬ááœááºáááºááŸááá«áááºá
áááºážááá¯á·ááẠáá¯ááºáááºážáá±á¬ááºáá¬áá»á¬ážá¡áá±á«áºááœáẠá¡ááœááºááŸá®ááá¯áá±ááá±á¬ááŒá±á¬áá·áº á€áá±áá¬á áááºáá¶áá±á¬ááºááœááºáá±ážááá·áºáááºážááŒá áºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯áááºá¡ááœáẠááœááºáááºááœá²áá»á¬ážááᯠáá»áœááºá¯ááºááá¯á· ááá·áºááœááºážá ááºážá á¬ážáááºááá¯ááºáá«á
ááá°áá®áá±á¬á¡ááœá¬ážá¡áá¬áá»á¬ážááᯠááá°áá®áá±á¬ subnet áá»á¬ážá¡ááŒá Ạááá¯ááºážááŒá¬ážááŒááºážááẠá¡ááœááºá¡áá±ážááŒá®ážááẠ(á¡áá°ážáááŒáá·áº áá¯á¶áá°ááᯠI/O á០ááœá²áá¯ááºááẠá¡áá°ážá¡áá±ážááŒá®ážáá«áááº)á á¡ááŒá±á¬ááºážááŸá¬ áááºááẠtraffic á¡á¬ážáá¯á¶ážááᯠ"áá°áá±á¬" subnet áá áºáá¯áááºážááá¯á· áá±á¬ááŸá±á¬áá«áá á€áááºážááŒá±á¬ááºážááᯠá á®áá¶ááá·áºááœá²ááẠáááŒá áºááá¯ááºáá±á áá±áá¬á ááºáá¬ááŸá áºáá¯á á¡ááŒá±á¡áá±áá»á¬ážááẠááá°áá®áá±á¬ network collision ááœá±ážáá»ááºááŸá¯áá»á¬ážááᯠááŒá áºá á±ááá¯ááºáá±ážáááºá á€áá±á¬ááºážáá«ážááá±á¬ááºá¡ááœááºážááœáẠáá»áœááºá¯ááºááá¯á·ááẠá€ááŒá¿áá¬ááᯠáááºáááºááŸáá¯ááºážááŸáá¯ááºáž á¡áá±ážá áááºáá±á¬áºááŒáááºááá¯ááºáá«á á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº á€á¡áá¬á¡á¬áž á¡áá±ážá áááºáá±á¬áºááŒáá¬ážááá·áº ááœááºáááºá ááºáá á¹á ááºážáá¯ááºáá¯ááºáá°áá»á¬ážáá¡áááºážá¡ááŒá áºáá»á¬ážáá±á«áºááŸá áá±áá¬á ááºáá¬áá»á¬ážááŒá¬ážááœáẠáá±áá¬á ááºáá¬áá»á¬ážááŒá¬ážááœáẠááŒáá·áºáá»ááºá á®á ááºááŒááºážá¡ááŒá±á¬ááºáž áááºáááºááŸá¯ááá¯ááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá
Arbiter ááœá²á·á ááºážááŸá¯
áá¯á¶ááá¬ááááẠICMP ááŸáá·áº SSH áááá¯ááá¯áá±á¬áá»á¬ážááŸáá áºááá·áº ááá¯ááŸá±á¬ááºááŸá¯á áá áºá á á®áá¶ááá·áºááœá²ááŸá¯ á¡ááºáá¬áá±á·á áºá¡á¬ážáá¯á¶ážááᯠáááºáá±á¬ááºááœáá·áº áá±ážááá«áááºá áá¯á¶ááá¬ááá áá»ááŸá¯á¶ážááŸá¯ááá¯áááºáž ááœá±ážáá±á¬ááá·áºáááºá á€áá±áá¬ááœáẠáá°ážááŒá¬ážáá»ááºáá áºáá¯ááŸááááºá
Arbiter failover ááẠá¡ááœááºááŸá áºááá¯ááœááºáá±á¬ááºážáá±á¬áºáááºáž áááá¯á¡ááºáá«á ááá¯ááºá á¡áá»áááºááŸá¬ážááŒá®áž áá»ááºááœá¬ážááẠáá¬ááŒá áºááá²á
- áá¯á¶ááŸááºáá¯ááºááœáẠmetrocluster ááá¯ááºáá±á¬ááºáá»ááºááẠááŒá±á¬ááºážáá²áááºááá¯ááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá arbtir ááẠáá¯á¶ááŸááºáá¯ááºááœáẠmetrocluster ááááºáááºááŸá¯á¡áá±á«áº áá¯á¶ážáá¡áá»áá¯ážáááºáá±á¬ááºááŸá¯áááŸááá« (áááºážááá¬áááºááŸá¬ áá±áá¬á ááºáá¬áá»á¬ážá¡ááŒá¬áž áááºááᯠá¡áá»áááºááŸáá·áºáá áºááŒá±ážáá® ááŒá±á¬ááºážáá²áááºááŒá áºáááº)
- ááá¯á·á¡ááŒááºá á¡ááŒá±á¬ááºážááŒáá»ááºáá áºáá¯ááŒá±á¬áá·áº ááá¯á·ááá¯áẠá¡ááŒá¬ážáá¯á¶ááá¬áááá°ááŒá®ážááẠáá±áá¬á ááºáá¬ááœáẠááá±á¬áºááááŸá¯áá áºáᯠááŒá¯ááºáá»ááŒá®áž âá¡áááºáá»á±á¬áºááœá¬ážáá«áá ááá¯á¡ááºáá±á¬ switching commands áá»á¬ážááᯠáá±ážáá±á¬ááºáááºááŸáá·áº quorum áá áºáá¯á á®á ááºáá±ážááá·áºáá°áááŸááá±á¬ááŒá±á¬áá·áº á¡ááŒá±á¬ááºážá¡áá²ááŒá áºáá¬áááºááá¯ááºáá±á á€á¡ááŒá±á¡áá±ááœááºá áááºáááá¯ááá áºááẠRTO ááᯠááááá¯ááºá á±ááá·áº ááá¬ááá±ážá¡áá¹ááá¬ááºáá áºáá¯á¡ááœááºáž ááá¯ááºááá¯ááºááŒá±á¬ááºážááááºááŒá áºááŒá®áž áá°ážáá°ááŒááºážááŸáá·áºá¡áá° áá¯á¶ááŸááºá¡á á®á¡á ááºáá áºáá¯á¡ááŒá ẠááŒá±á¬ááºážáá²ááœá¬ážáááºááŒá áºáááºá
áá®ááá± áá¬ááœá±áááºááŒá áºáá¬áá²á á¡áááá·áºáá¯á¶áž RTO ááᯠá¡ááŸááºááááºáá±áá»á¬áááºááá¯á¡ááºáá«áá áá¯á¶ááá¬ááááẠá¡ááŸá¬ážáá¶ááá¯ááºáááºááŸáááŒá±á¬ááºáž áá±áá»á¬ááẠááá¯á¡ááºáá«áááºá á€á¡ááœáẠááœá±ážáá»ááºá áᬠááŸá áºáá¯ááŸááááºá
- á¡ááŸá¬áž-áá¶ááá¯ááºáááºááŸááá±á¬ hypervisor ááœáẠáá¯á¶ááá¬ááááŒáá·áº virtual machine ááá¯ááœáá·áºáá«á áá¶áá±á¬ááºážá áœá¬ááẠá¡ááœááºáá±á¬ááºááŒá®ážáá° hypervisor áá»á¬ážá¡á¬ážáá¯á¶ážááẠá¡ááŸá¬ážáá¶ááá¯ááºáááºááᯠáá¶á·ááá¯ážáá±ážáá«áááºá
- ááááááá¯ááºááœáẠ(ááá¬ážááá¯ážáá»áá¯á¶ážáááºážáá áºáá¯ááœááº) áááºááẠáá¯á¶ááŸááºá¡á á¯á¡áá±ážáá áºáá¯ááᯠáááºáááºááẠá¡ááœááºáá»ááºážáá±áá«áá ááŸáááŒá®ážáá¬áž hypervozor á¡á á¯á¡áá±ážáá áºáá¯á០áááŸááá²á·áá«áá áá»áœááºá¯ááºááá¯á·ááẠáá¬áááºááŸá áºáá¯ááŒá áºááá·áº 2U box ááœáẠááŒá¯áá¯ááºáá¬ážááá·áº áá¬á·ááºáá²áá¬ážááŸááºážáá áºáá¯ááᯠáá±ážáá¬ážáá«áááºá x-86 áá¬áá¬áá»á¬áž á¡áá¯ááºáá¯ááºááŒá®áž áá±áááá¯ááºáᬠáá»áá¯á·ááœááºážááŸá¯ááᯠááŸááºáááºááá¯ááºáááºá
metrocluster ááẠáá¯á¶ááŸááºáá¯ááºááœáẠáááá¯á¡ááºáá±á¬áºáááºáž arbiter á á¡ááŒá áºá¡áá¬á¡áá¬ááᯠáá¶ááá¯ááºáááºááŸáá á±ááẠáá»áœááºá¯ááºááá¯á· á¡ááá¯ááºá¡áᬠá¡ááŒá¶ááŒá¯á¡ááºáá«áááºá ááá¯á·áá±á¬áº áá®á¡áá¯áá®ááŸáá·áº áááºááœá±á· ááŸá áºáá¯á áá¯á¶ážááᯠááŒááá¬ážááá·áºá¡ááá¯ááºáž áááºááẠá¡ááŸááºáááẠáá¯á¶ááŒááºá áááºáá»ááá±á¬ áá±ážáááºáá¶ááá¯ááºáá±á¬ á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá áºáá¯ááᯠáááºáá±á¬ááºáá«á áááºážááᯠáá¯á¶ááŒá¯á¶á áœá¬ áá á¬ážááŒááºážá ááá¯áá±á¬ááºážáá«áááºá áááºááá¯ááºááá¯ááºááŸáá·áº ááá·áºáá¯ááºáááºážááᯠâá¡áá¯ááºááá¬ážá¥ááá±â á០áá¬ááœááºááŒááºážááẠáá¯á¶ááá¬áááá°ááŒá®ážááŸáá·áº ááá¯ááŸá±á¬ááºááŸá¯á áá áºáááºááŸáááá·áº ááá¯ááºáá»á¬ážáá²á០áá áºáá¯ááá¯á· áá»ááºááœááºááŒááºážá០ááá¯ááá¯áá±á¬ááºážááœááºáááºá
ááŒá±ááŸááºážáá»ááºáááá¯áá¬
á¡áááºáá±á¬áºááŒáá« ááá¯á¡ááºáá»ááºáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážááŒááºážááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá±á¬áºááŒáá« á¡ááœá±ááœá±ááŒá±ááŸááºážáá»áẠáááºáá±á¬ááºáá¯á¶ááᯠáááŸááá«áááºá
ááœááºáá²ááœááºáá²ááŸá¯ááᯠááŸá±á¬ááºááŸá¬ážááẠLUN áá»á¬ážááᯠááá¯ááºááŸá áºáá¯ááœáẠá¡áá®á¡áá»áŸ ááŒáá·áºáá±ááá·áºáááºá áá áºáá»áááºáááºážááŸá¬áááºá áá±áá¬á ááºáá¬ááŸá áºáá¯áá¯á¶ážááœáẠá¡ááœááºá¡á á¬ážááᯠá¡ááœááºá¡á á¬ážáá»ááá·áºá¡áá«ááœááºá ááá¬áááŸá áºááá¬áá (ááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯ááœáẠáá±áá¬áá»á¬ážááᯠáá áºááŒáá¯ááºáááºááááºážáááºážááẠááá¯á¡ááºáá±á¬) ááá¬ááá¬áá á¡ááºááºááá®áá±ážááŸááºážáá»á¬áž áá»ááºá á®ážááá¯ááœááºážááŒááºážá០áá¬ááœááºáááºá¡ááœáẠIOPS ááŸáá·áº MB/s ááá¯á·ááœááºáááºáž á áœááºážáá±á¬ááºáááºááŸá áºááá«áááºááá·áºáááºá áá±áá¬á ááºáá¬áá áºáá¯ááá»ááºááœááºááŸá¯ááŒá áºáááºá ov.
áá®ážááŒá¬ážá á®á á¡ááœááºá¡á á¬ážá¡ááœáẠááá·áºáá»á±á¬áºáá±á¬ áá»ááºážáááºááŸá¯ááŒáá·áº (ááá¯ááá¯áááºááŸá¬á áá»áœááºá¯ááºááá¯á·ááẠIOPS ááŸáá·áº MB/s á ááá·áºáá»á±á¬áºáá±á¬ á¡áááºááá·áºáááºáá»ááºáá»á¬ážááᯠáá¶á·ááá¯ážáá±ážáá¬ážááŒá®áž ááá¯á¡ááºáá±á¬ CPU ááŸáá·áº RAM á¡áááºážá¡ááŒá áºáá»á¬áž) á¡ááœááºážááŸá ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážáá²á០áá áºáá¯ááá¯áá»áŸááºá metro cluster áá»ááºááœá¬ážáááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯ááœáẠáá¬áá®á¡áá¯ááºáá¯ááºááá·áº á¡ááŒá±á¡áá±áá»á¬ážá¡á±á¬ááºááœáẠá áœááºážáá±á¬ááºááẠááá¯ážááœá¬ážá áœá¬ áá»áááºážááœá¬ážáááºááá¯ááºáá«á
áááºááá¯ááºááŸá áºáá¯ááᯠáá áºááŒáá¯ááºáááºáááºáááºáá±ááá·áºá¡áá«á ááœá±áá±ážááœá±áá°áá áºáá¯á á®ááᯠááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáᯠ(RAID-1/10 ááŸáá·áº áááºáá°áááº) ááŒáá·áº áá±ážáá¬ážááááºááŒá áºááŒá®ážá áá áºááŒáá¯ááºáááºáááºáž áááºáá°áá°ážáá°ááŸá¯á áááºáááºááᯠá á¬áá±ážááá¯ááºááŸá¯á áá áºáááºááᯠâá á¬ážáááºâ áá°áá±á¬ á¡áá»ááºááŒáá·áº ááŸááºážááŒáá¬ážáááºá ááá¯á·ááŒá±á¬áá·áºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážáá²á០áá áºáᯠáá»ááºááœááºáá«áá áá°ážáá°ááŒááºážá ááœáŸááºážááá¯ážááŸá¯ááẠáá¬áá® (áá¡á±á¬ááºááŒááºáá±á¬ ááá¯ááŸá±á¬ááºááŸá¯á áá ẠááŒááºáááºáá±á¬ááºážááœááºáá¬áááºá¡áá) áá»á±á¬ááºááœááºááœá¬ážáááºááŒá áºááŒá®ážá áá»áœááºá¯ááºááá¯á·ááẠá á¬áá±ážááŒááºážá áœááºážáá±á¬ááºááẠááŸá áºáááá¯ážáá¬áá«áááºá áá¡á±á¬ááºááŒááºáá±á¬ ááá¯ááŸá±á¬ááºááŸá¯á áá áºá LUN áá»á¬ážááᯠá¡áá¯ááºáá¯ááºáá±á¬ ááá¯ááŸá±á¬ááºááŸá¯á áá áºááœáẠááŒááºáááºá áááºááŒá®ážáá±á¬ááºá á¡ááŒá¬ážááá¯ááŸá±á¬ááºááŸá¯á áá áºá LUN áá»á¬ážá០Load áá±á«áºáá¬ááá·áºá¡áá»ááºááŒá±á¬áá·áº á€ááŸá áºáááá¯ážááŸá¯ áá»á±á¬ááºááœá¬ážááŒá®áž áá»áœááºá¯ááºááá¯á·ááẠááááºááŸááá²á·ááá·áº á áœááºážáá±á¬ááºáááºá¡ááá·áºááá¯á· ááŒááºááœá¬ážáá«áááºá âáá»áááºâá ááá¯á·áá±á¬áº ááá¯ááºáá áºáá¯á áá±á¬ááºá¡ááœááºážáá¬á
á¡áááºá¡áá»ááºážááŒáá·áºáá®áá±á¬á¡ááœááºá¡á á¬ážáá¡áá°á¡áá®ááŒáá·áºá á¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯áá¯á¶ážá áá»áá¯á·ááœááºážááŸá¯ááᯠáá¯á¶ážááá¶á á¬ážááááºááá¯ááºááŒá±á¬ááºáž áá±áá»á¬á á±ááá¯ááºáá«áááºá ááá¯á·áá±á¬áºáá»áœááºá¯ááºááá¯á·áááºáá±á¬ááºáá áºááŒáááºáááºáá¯ááºáááºá áááºážáááºá¡ááœááºááá¯áá áá¯ááºá¡ááœááºá¡á á¬ážááá¯á¡ááºáááºá ááá¯á·ááŒá±á¬áá·áºá áááºáááºáá»áœááºá¯ááºááá¯á·ááá¯á¡ááá²á·áááºááœááºááá¯ááºááẠ:-) á
metrocluster áá áºáᯠáááºááŸááºááŒááºážá
metrocluster á
áá
áºááá·áºááœááºážááŒááºážááẠáá»áœááºá¯ááºááá¯á·áá±á¬áºááŒáá²á·ááá·áº áá¯á¶ááŸááºáá¯á¶áá°áá°ážáá»ááŒááºážááᯠáááºááŸááºááŒááºážááŸáá·áº á¡ááœááºáááºáá°áá«áááºá
áá¯á¶áá°áá áºáá¯á¡ááœáẠvirtual IPs (VIPs) ááᯠconfigure áá¯ááºáá±á¬á¡áá«á metrocluster á¡ááœáẠVIP á¡áá»áá¯ážá¡á á¬ážááᯠááœá±ážáá»ááºááá·áºáááºá
áá»áœááºá¯ááºááá¯á·ááẠLUN ááŸá áºáá¯á¡ááœáẠáá¯á¶áá°ááá·áºááºááŸá áºáá¯ááᯠáááºáá®ážááŒá®áž áááºážááá¯á·ááᯠááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯ááœáẠááŒáá·áºáá±áá¬ážáááº- ááá¯ááŸá±á¬ááºááŸá¯á áá Ạ1 (METRO ááá·áºááº) ááŸá LUN TEST Primaryá ááá¯ááŸá±á¬ááºááŸá¯á áá Ạ2 á¡ááœáẠLUN TEST2 Primary (METRO2 ááá·áºááº)á
áááºážááá¯á·á¡ááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá°áá®áá±á¬áá áºááŸááºááŸá áºáá¯ááᯠá á®á ááºáááºááŸááºáá¬ážááẠ(áá»áœááºá¯ááºááá¯á·áááá á¹á ááœáẠiSCSIá ááá¯á·áá±á¬áº FC ááá¯áááºáž áá¶á·ááá¯ážáá¬ážááŒá®ážá á áá áºááá·áºááœááºážááŸá¯ááá¯ááºáᬠáá¯áá¹áááá±áááŸá¬ á¡áá°áá°áááºááŒá áºáááº)á
ááá¯ááŸá±á¬ááºááŸá¯á áá Ạá-
ááá¯ááŸá±á¬ááºááŸá¯á áá Ạá-
áá°ážáá°áá»áááºáááºááŸá¯áá»á¬ážá¡ááœááºá ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯á á®ááœáẠááŒá±áá¯á¶ááœá²ááŒááºážááᯠááŒá¯áá¯ááºáá¬ážáááºá
ááá¯ááŸá±á¬ááºááŸá¯á áá Ạá-
ááá¯ááŸá±á¬ááºááŸá¯á áá Ạá-
áá»áœááºá¯ááºááá¯á·ááẠmultipath ááá¯áááºáá±á¬ááºááŒá®áž áááºážááᯠá¡áááºááŸááºáá¶áááºááŒáááºá
áá¯á¶ááá¬áááá°ááŒá®ážáá áºáŠážááᯠáááºááŸááºááŒááºážá
arbiter ááá¯ááºááá¯ááºá á¡áá°ážááááºáá¯ááºá áá¬áááá¯áá«á ááááááá¯ááºááœáẠáááºážááá¯ááœáá·áºáááºá IP áá áºáá¯áá±ážáᬠICMP ááŸáá·áº SSH ááŸáá áºááá·áº áááºážááá¯áááºáá±á¬ááºááœáá·áºáááºááŸááºááẠááá¯á¡ááºáá«áááºá áááºáááºááŸá¯ááᯠááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááá¯ááºááá¯áẠáá¯ááºáá±á¬ááºáááºá á€ááá á¹á ááœááºá metrocluster ááŸá storage controllers áá áºáá¯áá¯ááœáẠarbiter ááᯠconfigure áá¯ááºááẠáá¯á¶áá±á¬ááºáááºá á€áááºáááºáá»á¬ážááᯠcontrollers á¡á¬ážáá¯á¶ážáᶠá¡ááá¯á¡áá»á±á¬áẠááŒáá·áºáá±áá«áááºá
ááá¹áááœáẠá¡áá±ážááááºážáá¯á¶áá°ááŒááºáž>> Metrocluster (áááºááá·áº ááááºážáá»á¯ááºáááááá¬áá±á«áºááŸá)>> âConfigureâ ááá¯ááºááᯠááŸáááºáá«á
áá»áœááºá¯ááºááá¯á·ááẠarbiter á IP ááŸáá·áº remote storage controllers ááŸá áºáá¯á ááááºážáá»á¯ááºááŸá¯ interfaces áá»á¬ážááᯠááá·áºááœááºážáá«áááºá
áááºážááŒá®ážáá±á¬ááºá áááºááẠáááºáá±á¬ááºááŸá¯á¡á¬ážáá¯á¶ážááᯠááœáá·áºááẠááá¯á¡ááºááẠ(âá¡áá¬áá¬ááá¯ááºážááᯠááŒááºáááºá áááºáááºâ ááá¯ááº)á áá±á¬ááºááœáẠááŒááºáááºááœá²á·á ááºážáá«áá áááºáááºáá»á¬ážá¡áá»áá¯ážáááºáá±á¬ááºá á±áááºá¡ááœáẠáááºáá±á¬ááºááŸá¯áá»á¬ážááᯠááŒááºáááºá áááºááá«áááºá
áááºáá±á¬ááºááŸá¯á¡á¬ážáá¯á¶áž áá¯ááºáá±á¬ááºáá±ááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á· á á áºáá±ážáá«áááºá
áááºážááẠmetrocluster á áá áºááá·áºááœááºážááŸá¯ááᯠá¡ááŒá®ážáááºáááºá
áá»ááºáá»á ááºážáááº
áá°ážáá°ááŒááºážáá¯ááºáá±á¬ááºááá¯ááºá
áœááºáž (áá°ážááŒá±á¬ááºážááŒááºážá áá®ááœááºááŸá¯á
áááºááŒáá·áº) ááᯠááœá±ážááœá±ážáá¬ážáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·áááá
á¹á
áááºááŸá áá»ááºá
á®ážááŸá¯á
ááºážáááºááŸá¯ááẠá¡ááœááºááá¯ážááŸááºážááŒá®áž ááŒááºáááºáááºááŒá
áºáááºá
áááºážááá¯áá¯ááºáá±á¬ááºáááºá áá»áœááºá¯ááºááá¯á·ááẠáááºážá controllers ááŸá áºáá¯áá¯á¶ážááᯠááá¯ááºáááááºáá±á¬ááºááááºááŒááºážááŒáá·áº ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯á áá»áá¯á·ááœááºážáá»ááºááᯠá¡áá¯áá°ááŒá®áž LUN ááá¯á· ááá¯ááºááŒá®ážáá áºáá¯ááᯠáŠážá áœá¬áá°ážáá°áᬠá¡ááŒá¬ážááá¯ááŸá±á¬ááºááŸá¯á áá áºááœáẠá¡áááºááœááºážááááºááŒá áºáááºá
ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯á¡á¬áž ááááºáá«á áá¯ááá ááá¯ááŸá±á¬ááºááŸá¯á áá áºááœáẠá¡áááºáá®ážáá»ááºážá áá áºááŸáá·áº áá»áááºáááºááŸá¯ áá»á±á¬ááºáá¯á¶ážááœá¬ážááŒá±á¬ááºáž ááŸááºáááºážáá»á¬ážááœáẠááááá±ážáá»ááºáá»á¬ážááŸáá·áº áááºáá±á·áá»áºáá»á¬ážááᯠáá»áœááºá¯ááºááá¯á·ááœá±á·ááŒááºááááºá SMTP ááá¯á·ááá¯áẠSNMP á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá áºááá·áº á¡ááŒá±á¬ááºážááŒá¬ážáá»ááºáá»á¬ážááᯠá á®á ááºáááºááŸááºáá¬ážáá«áá á á®áá¶ááá·áºááœá²áá°á áááºááá¯ááºáᬠá¡ááŒá±á¬ááºážááŒá¬ážáá»ááºáá»á¬ážááᯠáááºáá¶áááŸááááºááŒá áºáááºá
10 á áá¹ááá·áºááááááŒá¬ááŒá®ážáá±á¬áẠ(á ááááºááŸá±á¬á·ááŸá áºáá¯áá¯á¶ážááœááºááŒááºááááº)á METRO áá°ážáá°áá»áááºáááºááŸá¯ (áá¡á±á¬ááºááŒááºáá±á¬ááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá Primary ááŒá áºáá²á·áá±á¬) ááẠá¡áá¯ááºáá¯ááºáá±á¬ááá¯ááŸá±á¬ááºááŸá¯á áá áºááœáẠPrimary á¡ááá¯á¡áá»á±á¬ááºááŒá áºáá¬áááºá ááŸáááŒá®ážáá¬ážááŒá±áá¯á¶ááá¯á¡áá¯á¶ážááŒá¯á LUN TEST ááẠá¡áááºááŸááºá¡ááœáẠáááºáááºáááŸáááá¯ááºááŒá®áž ááŸááºáááºážáááºááŸá¯ááŸá¬ á¡áááºážááẠ(áááááŒá¯áá¬ážááá·áº 10 áá¬ááá¯ááºááŸá¯ááºážá¡ááœááºáž) áá»áááºážááœá¬ážáá±á¬áºáááºáž á¡ááŸá±á¬áá·áºá¡ááŸááºáááŒá áºáá²á·áá«á
á á¬áá±ážááœá² á¡á±á¬ááºááŒááºá áœá¬ ááŒá®ážááŒá±á¬ááºáá²á·áááºá
á á®áááºáá»ááº
AERODISK Engine N-series ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááœáẠáááºááŸáá¡áá¯á¶ážááŒá¯áá±áá±á¬ metrocluster ááẠIT áááºáá±á¬ááºááŸá¯áá»á¬ážá¡ááœáẠá ááºáááºáá»áááºáá»á¬ážááᯠáááºááŸá¬ážááẠááá¯á·ááá¯áẠáá»áŸá±á¬á·áá»áááºááŸáá·áº áááºážááá¯á·ááá¯ááºáááºážáááºáááºááŸá¯áá¯ááºáá»á ááááºá¡áááºážáá¯á¶áž 24/7/365 ááŒáá·áº áááºážááá¯á·ááá¯ááºáááºážáááºáááºááŸá¯ááᯠXNUMX/XNUMX/XNUMX áá±áá»á¬á á±ááẠá¡ááŒáá·áºá¡áááœáá·áºááŒá¯áá«áááºá
á€á¡áá¬á¡á¬ážáá¯á¶ážááẠáá®á¡áá¯áá®á á á¶ááŒáá¬ááºááœá²áááºážá¡ááŒá±á¡áá±áá»á¬áž á áááºááá¯á·ááŒá áºáááº... ááá¯á·áá±á¬áº áá»áœááºá¯ááºááá¯á·ááœáẠááá¬ááá±ážá¡áá¹ááá¬ááº-áá¶ááá¯ááºáááºááŸááá±ážáá¯ááºáá±á¬ááºááá¯ááºá áœááºážááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáá²á·áá±á¬ á¡áá±á¬ááºá¡áááºáá±á¬áºáá±á¬ááºááœááºááá·áº ááá±á¬áá»ááºáá»á¬ážá áœá¬ááŸááááºá á áá áºáá»á¬ážááẠááŒá®ážááŒáá·áºá á¯á¶á áœá¬ á¡áá¯ááºáá¯ááºáá«áááºá ááá¬ááá±ážáááºáá¶ááá¯ááºáá±á¬ ááœá²á·á ááºážááŸá¯áá¯á¶á á¶áá áºáá¯ááœáẠááá¯ááŸá±á¬ááºááŸá¯á áá áºááŸá áºáá¯áá»áŸáá¬á¡áá¯á¶ážááŒá¯ááá·áº áá»áœááºá¯ááºááá¯á·ááá¬áááºááŒá®ážáá±á¬ááºáááºáá áºáŠážááẠááá±á¬áá»ááºááŸáá·áºáááºáááºááá·áºá¡áá»ááºá¡áááºáá»á¬ážááᯠáá¯ááºáá±áááºááá±á¬áá°áá¬ážááŒá®ážááŒá áºáá±á¬ááŒá±á¬áá·áº áá±á¬ááºá¡ááá¯ááºážááœáẠááá¯ááºááœá²á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯á¡ááŒá±á¬ááºáž ááœá±ážááœá±ážáá«áááºá
áá»á±ážáá°ážáááºáá«áááºá á¡áá»áá¯ážááŸááá²á· ááœá±ážááœá±ážááŸá¯ááᯠáá»áŸá±á¬áºááá·áºáá±áá«áááºá
source: www.habr.com