Habr પોસ્ટમોર્ટમ રિપોર્ટ: તે એક અખબાર પર પડ્યો

2019 ના ઉનાળાના પ્રથમ મહિનાનો અંત અને બીજા મહિનાની શરૂઆત મુશ્કેલ બની હતી અને વૈશ્વિક IT સેવાઓમાં ઘણા મોટા ઘટાડા દ્વારા ચિહ્નિત કરવામાં આવી હતી. નોંધપાત્ર પૈકી: CloudFlare ઈન્ફ્રાસ્ટ્રક્ચરમાં બે ગંભીર ઘટનાઓ (પ્રથમ - યુએસએના કેટલાક ISPs તરફથી કુટિલ હાથ અને BGP પ્રત્યે બેદરકારીભર્યા વલણ સાથે; બીજી - CF ની કુટિલ જમાવટ સાથે, જેણે CF નો ઉપયોગ કરતા દરેકને અસર કરી. , અને આ ઘણી નોંધપાત્ર સેવાઓ છે) અને Facebook CDN ઇન્ફ્રાસ્ટ્રક્ચરની અસ્થિર કામગીરી (ઇન્સ્ટાગ્રામ અને WhatsApp સહિત તમામ FB ઉત્પાદનોને અસર કરે છે). અમારે પણ વિતરણ હેઠળ આવવું પડ્યું હતું, જોકે વૈશ્વિક પૃષ્ઠભૂમિ સામે અમારું આઉટેજ ઘણું ઓછું ધ્યાનપાત્ર હતું. કોઈએ પહેલેથી જ કાળા હેલિકોપ્ટર અને "સાર્વભૌમ" કાવતરામાં ખેંચવાનું શરૂ કરી દીધું છે, તેથી અમે અમારી ઘટનાનું જાહેર પોસ્ટમોર્ટમ જાહેર કરી રહ્યા છીએ.

03.07.2019, 16: 05
આંતરિક નેટવર્ક કનેક્ટિવિટીમાં ભંગાણ જેવી જ સંસાધનો સાથેની સમસ્યાઓ રેકોર્ડ થવા લાગી. બધું સંપૂર્ણ રીતે તપાસ્યા વિના, તેઓએ ડેટાલાઇન તરફની બાહ્ય ચેનલની કામગીરીમાં ખામી કરવાનું શરૂ કર્યું, કારણ કે તે સ્પષ્ટ થઈ ગયું કે સમસ્યા આંતરિક નેટવર્કની ઇન્ટરનેટ (NAT) ઍક્સેસમાં હતી, BGP સત્રને ડેટાલાઇન તરફ મૂકવાના મુદ્દા સુધી.

03.07.2019, 16: 35
તે સ્પષ્ટ થઈ ગયું કે નેટવર્ક એડ્રેસ ટ્રાન્સલેશન અને સાઇટના લોકલ નેટવર્કથી ઈન્ટરનેટ (NAT) સુધી એક્સેસ પૂરા પાડતા સાધનો નિષ્ફળ ગયા હતા. સાધનસામગ્રીને રીબૂટ કરવાના પ્રયાસો કંઈપણ તરફ દોરી શક્યા નહીં, તકનીકી સપોર્ટ તરફથી પ્રતિસાદ પ્રાપ્ત કરતા પહેલા કનેક્ટિવિટી ગોઠવવા માટેના વૈકલ્પિક વિકલ્પોની શોધ શરૂ થઈ, કારણ કે અનુભવથી, આ કદાચ મદદ કરશે નહીં.

સમસ્યા એ હકીકતથી કંઈક અંશે વધી ગઈ હતી કે આ સાધનોએ ક્લાયન્ટ VPN કર્મચારીઓના ઇનકમિંગ કનેક્શન્સને પણ સમાપ્ત કરી દીધા હતા, અને રિમોટ રિકવરી કાર્ય હાથ ધરવાનું વધુ મુશ્કેલ બન્યું હતું.

03.07.2019, 16: 40
અમે અગાઉની હાલની બેકઅપ NAT સ્કીમને પુનઃજીવિત કરવાનો પ્રયાસ કર્યો જેણે પહેલા સારી રીતે કામ કર્યું હતું. પરંતુ તે સ્પષ્ટ થઈ ગયું કે સંખ્યાબંધ નેટવર્ક રિફર્બિશમેન્ટ્સે આ યોજનાને લગભગ સંપૂર્ણપણે નિષ્ક્રિય બનાવી દીધી છે, કારણ કે તેની પુનઃસ્થાપના, શ્રેષ્ઠ રીતે, કામ કરી શકશે નહીં, અથવા, સૌથી ખરાબ રીતે, જે પહેલેથી કામ કરી રહ્યું હતું તેને તોડી શકે છે.

અમે બેકબોન સેવા આપતા નવા રાઉટર્સના સેટમાં ટ્રાફિકને સ્થાનાંતરિત કરવા માટેના કેટલાક વિચારો પર કામ કરવાનું શરૂ કર્યું, પરંતુ મુખ્ય નેટવર્કમાં રૂટ્સના વિતરણની વિચિત્રતાને કારણે તે કામ ન કરી શકાય તેવું લાગ્યું.

03.07.2019, 17: 05
તે જ સમયે, નેમ સર્વર્સ પર નામ રિઝોલ્યુશન મિકેનિઝમમાં સમસ્યા ઓળખવામાં આવી હતી, જેના કારણે એપ્લિકેશન્સમાં અંતિમ બિંદુઓને ઉકેલવામાં ભૂલો થઈ હતી, અને તેઓએ જટિલ સેવાઓના રેકોર્ડ્સ સાથે હોસ્ટ ફાઇલોને ઝડપથી ભરવાનું શરૂ કર્યું હતું.

03.07.2019, 17: 27
Habr ની મર્યાદિત કાર્યક્ષમતા પુનઃસ્થાપિત કરવામાં આવી છે.

03.07.2019, 17: 43
પરંતુ અંતે, સરહદ રાઉટરમાંથી એક દ્વારા ટ્રાફિક ગોઠવવા માટે પ્રમાણમાં સલામત ઉકેલ મળ્યો, જે ઝડપથી ઇન્સ્ટોલ કરવામાં આવ્યો. ઇન્ટરનેટ કનેક્ટિવિટી પુનઃસ્થાપિત કરવામાં આવી છે.

પછીની થોડી મિનિટોમાં, મોનિટરિંગ એજન્ટોની કાર્યક્ષમતા પુનઃસ્થાપિત કરવા વિશે મોનિટરિંગ સિસ્ટમ્સ તરફથી ઘણી સૂચનાઓ આવી, પરંતુ કેટલીક સેવાઓ બિનકાર્યક્ષમ હોવાનું બહાર આવ્યું કારણ કે નેમ સર્વર્સ (ડીએનએસ) પર નામ રિઝોલ્યુશન મિકેનિઝમ તૂટી ગયું હતું.

03.07.2019, 17: 52
NS પુનઃશરૂ કરવામાં આવ્યું હતું અને કેશ સાફ કરવામાં આવ્યું હતું. નિરાકરણ પુનઃસ્થાપિત કરવામાં આવ્યું છે.

03.07.2019, 17: 55
MK, Freelansim અને Toaster સિવાય તમામ સેવાઓ કામ કરવા લાગી.

03.07.2019, 18: 02
MK અને Freelansim કામ કરવા લાગ્યા.

03.07.2019, 18: 07
DataLine સાથે નિર્દોષ BGP સત્ર પાછા લાવો.

03.07.2019, 18: 25
તેઓએ સંસાધનો સાથે સમસ્યાઓ રેકોર્ડ કરવાનું શરૂ કર્યું, જે NAT પૂલના બાહ્ય સરનામાંમાં ફેરફાર અને સંખ્યાબંધ સેવાઓના aclમાં તેની ગેરહાજરીને કારણે હતી, જે તરત જ સુધારવામાં આવી હતી. ટોસ્ટર તરત જ કામ કરવા લાગ્યો.

03.07.2019, 20: 30
અમે ટેલિગ્રામ બૉટોને લગતી ભૂલો જોઈ. તે બહાર આવ્યું છે કે તેઓ બાહ્ય સરનામાંને acl (પ્રોક્સી સર્વર્સ) માં નોંધણી કરવાનું ભૂલી ગયા છે, જે તરત જ સુધારાઈ ગયું હતું.

તારણો

• સાધનસામગ્રી, જેણે અગાઉ તેની યોગ્યતા વિશે શંકાઓ વાવી હતી, નિષ્ફળ ગઈ. તેને કામમાંથી દૂર કરવાની યોજનાઓ હતી, કારણ કે તે નેટવર્કના વિકાસમાં દખલ કરે છે અને સુસંગતતા સમસ્યાઓ ધરાવે છે, પરંતુ તે જ સમયે તે એક મહત્વપૂર્ણ કાર્ય કરે છે, તેથી જ સેવાઓમાં વિક્ષેપ કર્યા વિના કોઈપણ રિપ્લેસમેન્ટ તકનીકી રીતે મુશ્કેલ હતું. હવે તમે આગળ વધી શકો છો.
• DNS સમસ્યાને NAT નેટવર્કની બહાર નવા બેકબોન નેટવર્કની નજીક ખસેડીને ટાળી શકાય છે અને હજુ પણ અનુવાદ વિના ગ્રે નેટવર્ક સાથે સંપૂર્ણ કનેક્ટિવિટી છે (જે ઘટના પહેલાની યોજના હતી).
• RDBMS ક્લસ્ટરોને એસેમ્બલ કરતી વખતે તમારે ડોમેન નામોનો ઉપયોગ કરવો જોઈએ નહીં, કારણ કે IP સરનામું પારદર્શક રીતે બદલવાની સગવડ ખાસ જરૂરી નથી, કારણ કે આવા મેનિપ્યુલેશન્સ માટે હજી પણ ક્લસ્ટરને ફરીથી બનાવવાની જરૂર છે. આ નિર્ણય ઐતિહાસિક કારણોસર અને સૌ પ્રથમ, RDBMS રૂપરેખાંકનમાં નામ દ્વારા અંતિમ બિંદુઓની સ્પષ્ટતા દ્વારા નક્કી કરવામાં આવ્યો હતો. સામાન્ય રીતે, ક્લાસિક ટ્રેપ.
• સૈદ્ધાંતિક રીતે, "રુનેટના સાર્વભૌમીકરણ" સાથે તુલનાત્મક કસરતો હાથ ધરવામાં આવી છે; સ્વાયત્ત અસ્તિત્વની ક્ષમતાઓને મજબૂત કરવાના સંદર્ભમાં વિચારવા જેવું કંઈક છે.

સોર્સ: www.habr.com