Ինչպես մենք ճեղքեցինք չինական մեծ պատը (մաս 3)

Hi!
Բոլոր լավ պատմություններն ավարտվում են: Եվ մեր պատմությունն այն մասին, թե ինչպես մենք լուծում գտանք՝ արագ անցնելու չինական Firewall-ը, բացառություն չէ: Ուստի ես շտապում եմ ձեզ հետ կիսվել վերջինով. եզրափակիչ մասը այս թեմայով:

Նախորդ մասում մենք խոսեցինք բազմաթիվ փորձարկման նստարանների մասին, որոնք մենք եկել ենք, և ինչ արդյունքներ են նրանք տվել։ Եվ մենք որոշեցինք, թե ինչ լավ կլիներ ավելացնել CDN! մեր սխեմայի մեջ մածուցիկության համար:

Ես ձեզ կասեմ, թե ինչպես ենք մենք փորձարկել Alibaba Cloud CDN-ը, Tencent Cloud CDN-ը և Akamai-ն, և ինչով ավարտվեցինք: Եվ իհարկե, եկեք ամփոփենք.

Alibaba Cloud CDN

Մենք հյուրընկալված ենք Alibaba Cloud-ում և դրանցից օգտագործում ենք IPSEC և CEN: Տրամաբանական կլինի նախ փորձել դրանց լուծումները։

Alibaba Cloud-ն ունի երկու տեսակի արտադրանք, որոնք կարող են մեզ համապատասխանել. CDN и DCDN. Առաջին տարբերակը դասական CDN է կոնկրետ տիրույթի (ենթադոմեյնի) համար. Երկրորդ տարբերակը հանդես է գալիս Դինամիկ երթուղի CDN-ի համար (Ես դա անվանում եմ դինամիկ CDN), այն կարելի է միացնել Full-site ռեժիմով (նշված տիրույթների համար), այն նաև պահում է ստատիկ բովանդակությունը և արագացնում է դինամիկ բովանդակությունը իր վրա, այսինքն՝ էջի դինամիկան նույնպես կբեռնվի մատակարարի միջոցով։ արագ ցանցեր. Սա մեզ համար կարևոր է, քանի որ հիմնականում մեր կայքը դինամիկ է, այն օգտագործում է բազմաթիվ ենթադոմեյններ, և ավելի հարմար է մեկ անգամ տեղադրել CDN «աստղանիշի» համար՝ *.semrushchina.cn:

Մենք արդեն տեսել էինք այս ապրանքը մեր չինական նախագծի վաղ փուլերում, բայց հետո այն դեռ չէր աշխատում, և մշակողները խոստացան, որ արտադրանքը շուտով հասանելի կդառնա բոլոր հաճախորդների համար: Եվ նա արեց:

DCDN-ում կարող եք.

• կարգավորել SSL դադարեցումը ձեր վկայագրի հետ,
• հնարավորություն տալ դինամիկ բովանդակության արագացում,
• ճկուն կերպով կարգավորել ստատիկ ֆայլերի քեշավորումը,
• մաքրել քեշը,
• առաջ վեբ վարդակներ,
• միացնել սեղմումը և նույնիսկ HTML Beautifier-ը:

Ընդհանուր առմամբ, ամեն ինչ նույնն է, ինչ մեծահասակների և խոշոր CDN պրովայդերների դեպքում:

Ծագման (այն վայրը, որտեղ կգնան CDN եզրային սերվերները) նշելուց հետո մնում է աստղանիշի համար CNAME ստեղծել՝ հղում անելով. all.semrushchina.cn.w.kunluncan.com (այս CNAME-ը ստացվել է Alibaba Cloud կոնսոլում) և CDN-ն կաշխատի:

Թեստի արդյունքների հիման վրա այս CDN-ն մեզ շատ օգնեց: Վիճակագրությունը ներկայացված է ստորև:

որոշում
Uptime
Median
75 տոկոս
95 տոկոս

CloudFlare
86.6
18s
30s
60s

IPsec
99.79
18s
21s
30s

CEN
99.75
16s
21s
27s

CEN / IPsec + GLB
99.79
13s
16s
25s

Ալի CDN + CEN / IPsec + GLB
99.75
10s
12.8s
17.3s

Սրանք շատ լավ արդյունքներ են, հատկապես, եթե դրանք համեմատեք սկզբում եղած թվերի հետ: Բայց մենք գիտեինք, որ մեր www.semrush.com կայքի ամերիկյան տարբերակի բրաուզերի թեստը գործում է ԱՄՆ-ից միջինը 8.3 վրկ (շատ մոտավոր արժեք): Բարելավման տեղ կա։ Ավելին, կային նաև CDN պրովայդերներ, որոնք հետաքրքիր էին փորձարկել։

Այսպիսով, մենք սահուն կերպով անցնում ենք չինական շուկայում մեկ այլ հսկա. Tencent.

Tencent Cloud

Tencent-ը նոր է զարգացնում իր ամպը. դա երևում է փոքր քանակությամբ ապրանքներից: Այն օգտագործելիս մենք ցանկանում էինք փորձարկել ոչ միայն նրանց CDN-ն, այլև նրանց ցանցային ենթակառուցվածքը որպես ամբողջություն.

• CEN-ի նման բան ունե՞ն:
• Ինչպե՞ս է IPSEC-ն աշխատում նրանց համար: Արդյո՞ք արագ է, որքան է գործարկման ժամանակը:
• նրանք ունե՞ն Anycast:

Այս հարցերին անդրադառնանք առանձին։

Անալոգ CEN

Tencent-ը արտադրանք ունի Cloud Connect ցանց (CCN), որը թույլ է տալիս միացնել VPC-ները տարբեր տարածաշրջաններից, ներառյալ Չինաստանի ներսում և դրսում գտնվող շրջանները: Ապրանքն այժմ գտնվում է ներքին բետա տարբերակում, և դուք պետք է ստեղծեք տոմս՝ խնդրելով միանալ դրան: Աջակցությունից մենք իմացանք, որ գլոբալ հաշիվները (խոսքը Չինաստանի քաղաքացիների կամ իրավաբանական անձանց մասին չէ) չի կարող մասնակցել բետա թեստավորման ծրագրին և, ընդհանուր առմամբ, կապել Չինաստանի ներսում գտնվող տարածաշրջանը դրսի տարածաշրջանի հետ։ 1-0 հօգուտ Ալի Կլաուդի

IPSEC

Tencent-ի ամենահարավային շրջանն է Գուանչժոու. Մենք թունել հավաքեցինք և միացրինք այն Հոնկոնգի տարածաշրջանին GCP-ում (այն ժամանակ այս տարածաշրջանն արդեն հասանելի էր): Միաժամանակ բարձրացվեց նաև Ալի Կլաուդի երկրորդ թունելը՝ Շենժենից Հոնկոնգ։ Պարզվեց, որ Tencent ցանցի միջոցով Հոնկոնգ ուշացումն ընդհանուր առմամբ ավելի լավ է (10 մս), քան Շենժենից Հոնկոնգ մինչև Ալի (120 մս – ի՞նչ): Բայց դա ոչ մի կերպ չի արագացրել կայքի աշխատանքը՝ ուղղված Tencent-ի և այս թունելի միջով աշխատելուն, որն ինքնին զարմանալի փաստ էր և ևս մեկ անգամ ապացուցեց հետևյալը. ուշացում. Չինաստանի համար սա այն ցուցանիշը չէ, որն իսկապես արժե: ուշադրություն դարձնելով չինական firewall-ն անցնելու լուծում մշակելիս:

Anycast ինտերնետի արագացում

Մեկ այլ ապրանք, որը թույլ է տալիս աշխատել anycast IP-ի միջոցով AIA- ն. Բայց այն նաև հասանելի չէ գլոբալ հաշիվներին, ուստի ես ձեզ չեմ պատմի այդ մասին, բայց իմանալը, որ այդպիսի ապրանք կա, կարող է օգտակար լինել:

Սակայն CDN թեստը ցույց տվեց բավականին հետաքրքիր արդյունքներ: Tencent-ի CDN-ն հնարավոր չէ միացնել ամբողջական կայքում, միայն կոնկրետ տիրույթներում: Մենք ստեղծեցինք տիրույթներ և նրանց տրաֆիկ ուղարկեցինք.

Պարզվեց, որ այս CDN-ն ունի հետևյալ գործառույթը. Անդրսահմանային երթևեկության օպտիմիզացում. Այս հատկությունը պետք է նվազեցնի ծախսերը, երբ երթևեկությունը անցնում է չինական firewall-ով: Ինչպես Ծագում Նշված է Google GLB-ի (GLB anycast) IP հասցեն: Այսպիսով, մենք ցանկանում էինք պարզեցնել նախագծի ճարտարապետությունը:

Արդյունքները շատ լավն էին՝ Ali Cloud CDN-ի մակարդակով, իսկ որոշ տեղերում՝ նույնիսկ ավելի լավ։ Սա զարմանալի է, քանի որ եթե թեստերը հաջող լինեն, կարող եք հրաժարվել ենթակառուցվածքի զգալի մասից, թունելներից, CEN-ից, վիրտուալ մեքենաներից և այլն:

Մենք երկար չուրախացանք, քանի որ բացահայտվեց մի խնդիր՝ Catchpoint-ում թեստերը ձախողվեցին ինտերնետ պրովայդեր China Mobile-ի համար։ Ցանկացած վայրից մենք թայմուտ էինք ստանում Tencent-ի CDN-ի միջոցով: Տեխնիկական աջակցության հետ նամակագրությունը ոչ մի բանի չի հանգեցրել։ Մոտ մեկ օր փորձեցինք լուծել այս խնդիրը, բայց ոչինչ չստացվեց։

Ես այդ պահին Չինաստանում էի, բայց չկարողացա գտնել հանրային Wi-Fi այս մատակարարի ցանցում՝ անձամբ ստուգելու խնդիրը: Հակառակ դեպքում ամեն ինչ արագ և լավ էր թվում:
Այնուամենայնիվ, պայմանավորված այն հանգամանքով, որ China Mobile-ը երեք խոշորագույն օպերատորներից մեկն է, մենք ստիպված եղանք վերադարձնել տրաֆիկը դեպի Ali CDN:
Բայց ընդհանուր առմամբ, սա բավականին հետաքրքիր լուծում էր, որն արժանի է այս խնդրի ավելի երկար փորձարկման և անսարքությունների վերացմանը:

Akamai

Վերջին CDN մատակարարը, որը մենք փորձարկեցինք, եղել է Akamai. Սա հսկայական մատակարար է, որն ունի իր ցանցը Չինաստանում: Իհարկե, մենք չկարողացանք դրա կողքով անցնել:

Հենց սկզբից մենք պայմանավորվեցինք Akamai-ի հետ փորձաշրջանի համար, որպեսզի կարողանանք փոխել տիրույթը և տեսնել, թե ինչպես է այն աշխատելու նրանց ցանցում։ Ես կնկարագրեմ բոլոր թեստերի արդյունքը «Ինչ ինձ դուր եկավ» և «Ինչը ինձ դուր չեկավ» ձևով, ինչպես նաև կտամ թեստի արդյունքները:

Այն, ինչ ինձ դուր եկավ.

• Akamai-ի տղաները շատ օգտակար էին բոլոր հարցերում և մեզ ուղեկցում էին թեստավորման բոլոր փուլերում: Մենք անընդհատ փորձում էինք ինչ-որ բան բարելավել մեր կողմից: Նրանք լավ տեխնիկական խորհուրդներ են տվել։
• Akamai-ն մոտ 10-15%-ով ավելի դանդաղ է, քան մեր լուծումը Ali Cloud CDN-ի միջոցով: Տպավորիչն այն է, որ Akamai-ի Origin-ում մենք նշել ենք GLB-ի IP հասցեն, ինչը նշանակում է, որ տրաֆիկը չի անցել մեր լուծման միջով (հնարավոր է, որ մենք կարող ենք հրաժարվել ենթակառուցվածքի մի մասից): Բայց այնուամենայնիվ, թեստի արդյունքները ցույց տվեցին, որ այս լուծումը ավելի վատն է, քան մեր ներկայիս տարբերակը (համեմատական ​​արդյունքները ստորև):
• Փորձարկվել է և՛ Origin GLB, և՛ Origin Չինաստանում: Երկու տարբերակներն էլ մոտավորապես նույնն են։
• Կա Անշուշտ երթուղի (ավտոմատ երթուղիների օպտիմիզացում): Դուք կարող եք տեղադրել թեստային օբյեկտ Origin-ում, և Akamai Edge սերվերները կփորձեն վերցնել այն (սովորական GET): Այս հարցումների համար չափվում են արագությունը և այլ չափումներ, որոնց հիման վրա Akamai ցանցը օպտիմիզացնում է երթուղիները, որպեսզի երթևեկությունն ավելի արագ գնա մեր կայքի համար, և պարզ էր, որ այս գործառույթի միացումը իսկապես մեծ ազդեցություն ունեցավ կայքի արագության վրա:
• Վեբ ինտերֆեյսի կոնֆիգուրացիայի տարբերակումը հիանալի է: Դուք կարող եք կատարել Համեմատել տարբերակների համար, նայեք տարբերությանը: Դիտեք նախորդ տարբերակները:
• Դուք կարող եք սկզբում նոր տարբերակը թողարկել միայն Akamai Staging ցանցում՝ նույն ցանցը, ինչ արտադրությունը, միայն այս կերպ չի ազդի իրական օգտատերերի վրա: Այս թեստի համար դուք պետք է կեղծեք DNS գրառումները ձեր տեղական մեքենայի վրա:
• Շատ արագ ներբեռնման արագություն իրենց ցանցի միջոցով մեծ ստատիկ ֆայլերի և, ըստ երևույթին, ցանկացած այլ ֆայլի համար: «Սառը» քեշից ֆայլը վերցվում է մի քանի անգամ ավելի արագ, քան նույն ֆայլը Ali CDN-ի «սառը» քեշից: «Տաք» քեշից արագությունն արդեն նույնն է՝ գումարած կամ մինուս։

Ali CDN թեստ.

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Akamai թեստ.

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

Մենք նկատեցինք, որ վերը նշված օրինակի իրավիճակը կախված է տարբեր գործոններից: Այս կետը գրելու պահին ես նորից անցկացրի թեստը: Երկու հարթակների արդյունքները մոտավորապես նույնն էին: Սա մեզ ասում է, որ ինտերնետը Չինաստանում, նույնիսկ խոշոր օպերատորների և ամպային մատակարարների համար, ժամանակ առ ժամանակ այլ կերպ է վարվում:

Նախորդ կետին ես կավելացնեմ Akamai-ի համար մի մեծ պլյուս. եթե Ալին ցույց է տալիս բարձր կատարողականության և շատ ցածր կատարողականության նմանատիպ բռնկումներ (սա վերաբերում է Ali CDN-ին, Ali CEN-ին և Ali IPSEC-ին), ապա Akamai-ն ամեն անգամ, անկախ նրանից։ ինչպես եմ փորձարկում նրանց ցանցը, ամեն ինչ կայուն է աշխատում։
Akamai-ն ունի շատ ծածկույթ Չինաստանում և աշխատում է բազմաթիվ պրովայդերների միջոցով:

Այն, ինչ ինձ դուր չեկավ.

• Ինձ դուր չի գալիս վեբ ինտերֆեյսը և դրա աշխատանքի ձևը, այն այնքան վատ է: Բայց հիմնականում դուք սովոր եք դրան (հավանաբար):
• Թեստի արդյունքներն ավելի վատն են, քան մեր կայքը:
• Թեստերի ժամանակ ավելի շատ սխալներ կան, քան մեր կայքում (ներքևում գործող ժամանակ):
• Մենք Չինաստանում չունենք մեր սեփական DNS սերվերներ: Հետևաբար, թեստերում շատ սխալներ կան՝ կապված DNS-ի լուծման ժամանակի դադարի հետ:
• Նրանք չեն տրամադրում իրենց IP միջակայքերը -> ճիշտը գրանցելու միջոց չկա set_real_ip_from մեր սերվերների վրա:

Չափումներ (~3626 գործարկում; բոլոր չափումները, բացառությամբ Uptime-ի, ms-ով, վիճակագրություն մեկ ժամանակաշրջանի համար).

CDN մատակարար
Median
75%
95%
պատասխան
Վեբ էջի պատասխան
Uptime
DNS
միացնել
Սպասեք:
Բեռ
SSL

Ալի CDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

Akamai
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

Բաշխումն ըստ տոկոսների (ms-ով):

Տոկոսային
Akamai
Ալի CDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

Եզրակացությունը հետևյալն է. Akamai տարբերակը կենսունակ է, բայց չի ապահովում նույն կայունությունն ու արագությունը, ինչ մեր սեփական լուծումը՝ զուգորդված Ali CDN-ի հետ:

Փոքր նշումներ

Պատմության մեջ որոշ պահեր ներառված չեն եղել, բայց ես էլ կուզենայի գրել դրանց մասին։

Պեկին + Տոկիո և Հոնկոնգ

Ինչպես ասացի վերևում, մենք փորձարկեցինք IPSEC թունելը դեպի Հոնկոնգ (HK): Բայց մենք նաև փորձարկեցինք CEN-ը HK-ին: Մի քիչ էժան է, և ես մտածում էի, թե ինչպես կաշխատի ~100 կմ հեռավորության վրա գտնվող քաղաքների միջև։ Հետաքրքիր է պարզվել, որ այս քաղաքների միջև ուշացումը 100 մս-ով ավելի է, քան մեր սկզբնական տարբերակում (դեպի Թայվան): Արագությունը, կայունությունը նույնպես ավելի լավ էր Թայվանի համար: Արդյունքում մենք լքեցինք HK-ն որպես պահեստային IPSEC տարածաշրջան:

Բացի այդ, մենք փորձեցինք տեղադրել հետևյալ տեղադրումը.

• հաճախորդների դադարեցում Պեկինում,
• IPSEC և CEN դեպի Տոկիո,
• Ali CDN-ում որպես ծագում նշվում էր Պեկինի սերվերը:

Այս սխեման այնքան էլ կայուն չէր, թեև արագության առումով այն ընդհանուր առմամբ չէր զիջում մեր լուծմանը։ Ինչ վերաբերում է թունելի, ես տեսել եմ ընդհատվող անկումներ նույնիսկ CEN-ի համար, որը պետք է կայուն լիներ։ Ուստի մենք վերադարձանք հին սխեմային և ապամոնտաժեցինք այս բեմադրությունը։

Ստորև բերված են տարբեր ալիքների տարբեր տարածաշրջանների միջև ուշացման վիճակագրություն: Գուցե ինչ-որ մեկին դա կհետաքրքրի։

IPsec
Ali cn-peijing <—> GCP ասիա-հյուսիսարևելք1 — 193ms
Ali cn-shenzhen <—> GCP asia-east2 — 91ms
Ali cn-shenzhen <—> GCP us-east4 — 200ms

CEN
Ali cn-peijing <—> Ali ap-norheast-1 — 54ms (!)
Ali cn-shenzhen <—> Ali cn-hongkong — 6ms (!)
Ali cn-shenzhen <—> Ali us-east1 — 216ms

Ընդհանուր տեղեկություններ Չինաստանում ինտերնետի մասին

Որպես հավելում ինտերնետի հետ կապված խնդիրներին, որոնք նկարագրված են հենց սկզբում՝ հոդվածի առաջին մասում։

• Չինաստանում ինտերնետը բավականին արագ է ներսում:
  • Եզրակացությունն արվել է՝ հիմնվելով հանրային Wi-Fi ցանցերի փորձարկման վրա տարբեր վայրերում, որտեղ այդ ցանցերն օգտագործվում են մեծ թվով մարդկանց կողմից։
  • Ներբեռնման և վերբեռնման արագությունը Չինաստանի ներսում գտնվող սերվերներին համապատասխանաբար կազմում էր մոտ 20 Մբիթ/վ և 5-10 Մբիթ/վրկ:
  • Չինաստանից դուրս սերվերների արագությունը պարզապես չնչին է՝ 1 Մբիթ/վրկ-ից պակաս:
• Չինաստանում ինտերնետն այնքան էլ կայուն չէ.
  • Երբեմն կայքերը կարող են արագ բացվել, երբեմն դանդաղ (օրվա նույն ժամին տարբեր օրերին), պայմանով, որ կոնֆիգուրացիան չփոխվի: Մենք սա դիտարկել ենք semrushchina.cn-ի օրինակով։ Սա կարելի է վերագրել Ali CDN-ին, որը նույնպես աշխատում է այսպես և այնպես՝ կախված օրվա ժամից, աստղերի դիրքից և այլն:
• Բջջային ինտերնետը գրեթե ամենուր է 4G կամ 4G+: Բռնեք այն մետրոյում, վերելակներում, մի խոսքով, ամենուր:
• Առասպել է, որ չինացի օգտատերերը վստահում են միայն .cn գոտում գտնվող տիրույթներին: Մենք դա սովորել ենք անմիջապես օգտատերերից:
  • Դուք կարող եք տեսնել, թե ինչպես http://baidu.cn վերահղում դեպի www.baidu.com (նաև մայրցամաքային Չինաստանում):
• Շատ ռեսուրսներ իսկապես արգելափակված են: Պրիմիտիվ՝ google.com, Facebook, Twitter: Բայց Google-ի շատ ռեսուրսներ աշխատում են (իհարկե, ոչ բոլոր Wi-Fi-ներում և VPN-ն չի օգտագործվում (երթուղիչի կողմից նույնպես, դա հաստատ է):
• Արգելափակված կորպորացիաների բազմաթիվ «տեխնիկական» տիրույթներ նույնպես աշխատում են: Սա նշանակում է, որ դուք միշտ չպետք է անխոհեմ կերպով կտրեք բոլոր Google-ը և թվացյալ արգելափակված այլ ռեսուրսները: Դուք պետք է փնտրեք արգելված տիրույթների որոշ ցուցակ:
• Նրանք ունեն ընդամենը երեք հիմնական ինտերնետ օպերատոր՝ China Unicom, China Telecom, China Mobile: Կան նույնիսկ ավելի փոքր, բայց նրանց մասնաբաժինը շուկայում չնչին է

Բոնուս՝ վերջնական լուծման դիագրամ

Լրիվ

Նախագծի մեկնարկից անցել է մեկ տարի։ Մենք սկսեցինք նրանից, որ մեր կայքը հիմնականում հրաժարվում էր նորմալ աշխատել Չինաստանից, և պարզապես GET curl-ը տևեց 5.5 վայրկյան:

Այնուհետև այս ցուցանիշներով առաջին լուծման մեջ (Cloudflare).

որոշում
Uptime
Median
75 տոկոս
95 տոկոս

CloudFlare
86.6
18s
30s
60s

Ի վերջո, մենք հասանք հետևյալ արդյունքներին (վիճակագրություն վերջին ամսվա համար).

որոշում
Uptime
Median
75 տոկոս
95 տոկոս

Ալի CDN + CEN / IPsec + GLB
99.86
8.8s
9.5s
13.7s

Ինչպես տեսնում եք, մենք դեռ չենք կարողացել հասնել 100% գործարկման ժամանակ, բայց մենք ինչ-որ բան կմտածենք, իսկ հետո նոր հոդվածում ձեզ կպատմենք արդյունքների մասին :)

Հարգանքներս երեք մասերն էլ մինչև վերջ կարդացողների համար։ Հուսով եմ, որ այս ամենը ձեզ նույնքան հետաքրքիր է թվում, որքան ես, երբ դա անում էի:

Հ.Գ. Նախորդ մասեր

1- ի մի մասը
2- ի մի մասը

Source: www.habr.com