Habr tuarascáil iarbháis: thit sé ar nuachtán

Bhí deireadh an chéad agus tús an dara mí de shamhradh 2019 deacair agus ba léir go raibh titim mhór tagtha ar sheirbhísí domhanda TF. I measc na nithe suntasacha: dhá theagmhas thromchúiseach i mbonneagar CloudFlare (an chéad cheann - le lámha cam agus dearcadh faillíoch i leith BGP ó roinnt ISPs ó SAM; an dara ceann - le imscaradh cam de CF féin, a chuaigh i bhfeidhm ar gach duine a úsáideann CF , agus is seirbhísí suntasacha iad seo) agus oibriú éagobhsaí bhonneagar Facebook CDN (a raibh tionchar aige ar gach táirge FB, lena n-áirítear Instagram agus WhatsApp). Bhí orainn freisin titim faoin dáileadh, cé go raibh ár outage i bhfad níos lú faoi deara i gcoinne an chúlra domhanda. Tá duine éigin tosaithe cheana féin ag tarraingt isteach héileacaptair dubha agus comhcheilg “ceannasach”, agus mar sin táimid ag scaoileadh iarbháis poiblí faoinár eachtra.

Habr tuarascáil iarbháis: thit sé ar nuachtán

03.07.2019, 16: 05
Thosaigh fadhbanna le hacmhainní a thaifeadadh, cosúil le miondealú ar nascacht líonra inmheánach. Tar éis dóibh gach rud a sheiceáil go hiomlán, thosaigh siad ag lochtú feidhmíocht an chainéil sheachtraigh i dtreo DataLine, mar ba léir gurb é an fhadhb a bhí ann le rochtain an líonra inmheánaigh ar an Idirlíon (NAT), go dtí gur cuireadh seisiún BGP i dtreo DataLine.

03.07.2019, 16: 35
Ba léir gur theip ar an trealamh a sholáthraíonn aistriúchán seoltaí líonra agus rochtain ó líonra áitiúil an tsuímh chuig an Idirlíon (NAT). Ní raibh aon rud mar thoradh ar iarrachtaí chun an trealamh a atosú; cuireadh tús leis an gcuardach ar roghanna eile chun nascacht a eagrú sula bhfuarthas freagra ó thacaíocht theicniúil, mar ó thaithí, is dócha nár chabhraigh sé seo.

Cuireadh an fhadhb níos measa toisc gur chuir an trealamh seo deireadh freisin le naisc isteach na bhfostaithe cliant VPN, agus bhí sé níos deacra obair cianaisghabhála a dhéanamh.

03.07.2019, 16: 40
Rinneamar iarracht scéim chúltaca NAT a bhí ann roimhe seo a d'oibrigh go maith roimhe seo a athbheochan. Ach ba léir go ndearna roinnt athchóirithe líonra an scéim seo beagnach neamhfheidhmithe go hiomlán, ós rud é go bhféadfadh a hathchóiriú, sa chás is fearr, gan oibriú, nó, sa chás is measa, briseadh ar an méid a bhí ag obair cheana féin.

Thosaigh muid ag obair ar chúpla smaoineamh chun trácht a aistriú chuig sraith ródairí nua a fhreastalaíonn ar an gcnámh droma, ach bhí an chuma orthu nach raibh siad inoibrithe mar gheall ar shainiúlacht dáileadh na mbealaí sa chroíghréasán.

03.07.2019, 17: 05
Ag an am céanna, aithníodh fadhb sa mheicníocht réitigh ainmneacha ar fhreastalaithe ainmneacha, rud a d'eascair earráidí maidir le críochphointí in iarratais a réiteach, agus thosaigh siad ag líonadh comhaid óstaigh go tapa le taifid ar sheirbhísí ríthábhachtacha.

03.07.2019, 17: 27
Tá feidhmiúlacht theoranta Habr athchóirithe.

03.07.2019, 17: 43
Ach sa deireadh, fuarthas réiteach sách sábháilte chun trácht a eagrú trí cheann de na ródairí teorann, a suiteáladh go tapa. Tá nascacht idirlín athchóirithe.

Sna cúpla nóiméad amach romhainn, tháinig go leor fógraí ó na córais monatóireachta maidir le feidhmiúlacht na ngníomhairí monatóireachta a athchóiriú, ach níorbh fhéidir cuid de na seirbhísí a oibriú mar go raibh an mheicníocht réitigh ainmneacha ar na freastalaithe ainmneacha (dns) briste.

Habr tuarascáil iarbháis: thit sé ar nuachtán

03.07.2019, 17: 52
Atosaíodh NS agus glanadh an taisce. Tá an réiteach athchóirithe.

03.07.2019, 17: 55
Thosaigh na seirbhísí go léir ag obair seachas MK, Freelansim agus Toaster.

03.07.2019, 18: 02
Thosaigh MK agus Freelansim ag obair.

03.07.2019, 18: 07
Cuireadh seisiún BGP neamhchiontach ar ais le DataLine.

03.07.2019, 18: 25
Thosaigh siad ag taifeadadh fadhbanna le hacmhainní, a tharla mar gheall ar athrú ar sheoladh seachtrach an chomhthiomsaithe NAT agus a easpa i accl roinnt seirbhísí, a ceartaíodh go pras. Thosaigh an Toaster ag obair láithreach.

03.07.2019, 20: 30
Thugamar faoi deara earráidí a bhaineann le róbónna Telegram. Iompaigh sé amach go ndearna siad dearmad ar an seoladh seachtrach a chlárú i gcúpla acl (seachfhreastalaithe), a ceartaíodh go pras.

Habr tuarascáil iarbháis: thit sé ar nuachtán

Torthaí

  • Theip ar an trealamh, a raibh amhras faoina oiriúnacht roimhe seo,. Bhí pleananna ann é a dhíchur ón obair, ó chuir sé isteach ar fhorbairt an ghréasáin agus go raibh fadhbanna comhoiriúnachta aige, ach ag an am céanna rinne sé feidhm ríthábhachtach, agus is é sin an fáth go raibh aon athsholáthar deacair go teicniúil gan cur isteach ar sheirbhísí. Anois is féidir leat dul ar aghaidh.
  • Is féidir an cheist DNS a sheachaint trí iad a bhogadh níos gaire don líonra cnámh droma nua lasmuigh de líonra NAT agus fós le nascacht iomlán leis an ngréasán liath gan aistriúchán (a bhí sa phlean roimh an eachtra).
  • Níor cheart duit ainmneacha fearainn a úsáid agus cnuasaigh RDBMS á gcur le chéile agat, ós rud é nach bhfuil sé riachtanach an seoladh IP a athrú go trédhearcach go háirithe, ós rud é go dteastaíonn atógáil an bhraisle le hionramhálacha den sórt sin fós. Cúiseanna stairiúla ba chúis leis an gcinneadh seo agus, ar an gcéad dul síos, soiléireacht na gcríochphointí de réir ainm i bhfoirmíochtaí RDBMS. Go ginearálta, gaiste clasaiceach.
  • I bprionsabal, rinneadh cleachtaí atá inchomparáide le “ceannasacht an Runet”;

Foinse: will.com

Add a comment