2 ജൂലൈ 2019-ലെ ക്ലൗഡ്ഫ്ലെയർ തകരാറിന്റെ വിശദാംശങ്ങൾ

ഏകദേശം 9 വർഷം മുമ്പ് Cloudflare ഒരു ചെറിയ കമ്പനിയായിരുന്നു, ഞാൻ അതിനായി പ്രവർത്തിച്ചില്ല, ഞാൻ ഒരു ഉപഭോക്താവ് മാത്രമായിരുന്നു. ക്ലൗഡ്ഫ്ലെയർ സമാരംഭിച്ച് ഒരു മാസത്തിന് ശേഷം, എന്റെ വെബ്‌സൈറ്റിന് ഒരു അറിയിപ്പ് ലഭിച്ചു jgc.orgDNS പ്രവർത്തിക്കുന്നതായി തോന്നുന്നില്ല. Cloudflare ഒരു മാറ്റം വരുത്തി പ്രോട്ടോക്കോൾ ബഫറുകൾ, കൂടാതെ ഒരു തകർന്ന DNS ഉണ്ടായിരുന്നു.

“എന്റെ ഡിഎൻഎസ് എവിടെ?” എന്ന തലക്കെട്ടോടെ ഞാൻ ഉടൻ മാത്യു പ്രിൻസിനു കത്തെഴുതി, സാങ്കേതിക വിശദാംശങ്ങൾ നിറഞ്ഞ ഒരു നീണ്ട മറുപടി അദ്ദേഹം തിരികെ അയച്ചു (മുഴുവൻ കത്തിടപാടുകളും ഇവിടെ വായിക്കുക), അതിന് ഞാൻ മറുപടി പറഞ്ഞു:

അയച്ചത്: ജോൺ ഗ്രഹാം-കമ്മിംഗ്
തീയതി: ഒക്ടോബർ 7, 2010, 9:14
വിഷയം: വീണ്ടും: എന്റെ DNS എവിടെയാണ്?
ലേക്ക്: മാത്യു പ്രിൻസ്

രസകരമായ റിപ്പോർട്ട്, നന്ദി. പ്രശ്‌നങ്ങളുണ്ടെങ്കിൽ തീർച്ചയായും വിളിക്കും. നിങ്ങൾ എല്ലാ സാങ്കേതിക വിവരങ്ങളും ശേഖരിച്ചുകഴിഞ്ഞാൽ ഇതിനെക്കുറിച്ച് ഒരു പോസ്റ്റ് എഴുതുന്നത് മൂല്യവത്താണ്. തുറന്നതും സത്യസന്ധവുമായ ഒരു കഥ ആളുകൾ ആസ്വദിക്കുമെന്ന് ഞാൻ കരുതുന്നു. ലോഞ്ച് ചെയ്‌തതിനുശേഷം ട്രാഫിക്ക് എങ്ങനെ വർദ്ധിച്ചുവെന്ന് കാണിക്കാൻ നിങ്ങൾ അതിൽ ഗ്രാഫുകൾ അറ്റാച്ചുചെയ്യുകയാണെങ്കിൽ.

എന്റെ സൈറ്റിൽ എനിക്ക് നല്ല നിരീക്ഷണമുണ്ട്, ഓരോ പരാജയത്തെ കുറിച്ചും എനിക്ക് ഒരു SMS ലഭിക്കും. 13:03:07 മുതൽ 14:04:12 വരെ പരാജയം സംഭവിച്ചതായി നിരീക്ഷണം കാണിക്കുന്നു. ഓരോ അഞ്ച് മിനിറ്റിലും പരിശോധനകൾ നടത്തുന്നു.

നിങ്ങൾ അത് മനസ്സിലാക്കുമെന്ന് എനിക്ക് ഉറപ്പുണ്ട്. യൂറോപ്പിൽ നിങ്ങളുടെ സ്വന്തം വ്യക്തിയെ ആവശ്യമില്ലെന്ന് നിങ്ങൾക്ക് ഉറപ്പാണോ? 🙂

അവൻ മറുപടി പറഞ്ഞു:

അയച്ചത്: മാത്യു പ്രിൻസ്
തീയതി: ഒക്ടോബർ 7, 2010, 9:57
വിഷയം: വീണ്ടും: എന്റെ DNS എവിടെയാണ്?
സ്വീകർത്താവ്: ജോൺ ഗ്രഹാം-കമ്മിംഗ്

നന്ദി. എഴുതിയ എല്ലാവരോടും ഞങ്ങൾ പ്രതികരിച്ചു. ഞാൻ ഇപ്പോൾ ഓഫീസിലേക്കുള്ള യാത്രയിലാണ്, ഞങ്ങൾ ബ്ലോഗിൽ എന്തെങ്കിലും എഴുതുകയോ ഞങ്ങളുടെ ബുള്ളറ്റിൻ ബോർഡിൽ ഒരു ഔദ്യോഗിക പോസ്റ്റ് പിൻ ചെയ്യുകയോ ചെയ്യും. ഞാൻ പൂർണ്ണമായും സമ്മതിക്കുന്നു, സത്യസന്ധതയാണ് എല്ലാം.

ഇപ്പോൾ ക്ലൗഡ്ഫ്ലെയർ ശരിക്കും ഒരു വലിയ കമ്പനിയാണ്, ഞാൻ അതിനായി പ്രവർത്തിക്കുന്നു, ഇപ്പോൾ എനിക്ക് നമ്മുടെ തെറ്റിനെക്കുറിച്ചും അതിന്റെ അനന്തരഫലങ്ങളെക്കുറിച്ചും ഞങ്ങളുടെ പ്രവർത്തനങ്ങളെക്കുറിച്ചും തുറന്നെഴുതേണ്ടതുണ്ട്.

ജൂലൈ 2 ലെ ഇവന്റുകൾ

ജൂലൈ 2-ന് ഞങ്ങൾ WAF-കൾക്കായുള്ള മാനേജ്ഡ് റൂളുകളിൽ ഒരു പുതിയ നിയമം പുറത്തിറക്കി സിപിയു ഉറവിടങ്ങൾ തീർന്നു ലോകമെമ്പാടുമുള്ള ക്ലൗഡ്‌ഫ്ലെയർ നെറ്റ്‌വർക്കിലെ HTTP/HTTPS ട്രാഫിക് പ്രോസസ്സിംഗ് ചെയ്യുന്ന എല്ലാ പ്രോസസർ കോറുകളിലും. പുതിയ കേടുപാടുകൾക്കും ഭീഷണികൾക്കും മറുപടിയായി ഞങ്ങൾ WAF-കൾക്കായി നിയന്ത്രിത നിയമങ്ങൾ നിരന്തരം മെച്ചപ്പെടുത്തുന്നു. ഉദാഹരണത്തിന്, മെയ് മാസത്തിൽ, ഞങ്ങൾ തിടുക്കപ്പെട്ടു നിയമം ചേർക്കുകഷെയർപോയിന്റിലെ ഗുരുതരമായ അപകടത്തിൽ നിന്ന് പരിരക്ഷിക്കുന്നതിന്. വേഗത്തിലും ആഗോളതലത്തിലും നിയമങ്ങൾ വിന്യസിക്കാനുള്ള കഴിവാണ് ഞങ്ങളുടെ WAF-ന്റെ മുഴുവൻ പോയിന്റും.

നിർഭാഗ്യവശാൽ, കഴിഞ്ഞ വ്യാഴാഴ്ചത്തെ അപ്‌ഡേറ്റിൽ ബാക്ക്‌ട്രാക്കിംഗിൽ വളരെയധികം HTTP/HTTPS സിപിയു ഉറവിടങ്ങൾ പാഴാക്കുന്ന ഒരു പതിവ് എക്‌സ്‌പ്രഷൻ അടങ്ങിയിരിക്കുന്നു. ഞങ്ങളുടെ പ്രധാന പ്രോക്സി, CDN, WAF ഫംഗ്‌ഷനുകൾ തൽഫലമായി ബാധിച്ചു. HTTP/HTTPS ട്രാഫിക്ക് നൽകുന്നതിനുള്ള പ്രോസസർ ഉറവിടങ്ങൾ ഞങ്ങളുടെ നെറ്റ്‌വർക്കിലെ സെർവറുകളിൽ ഏകദേശം 100% എത്തുന്നുവെന്ന് ഗ്രാഫ് കാണിക്കുന്നു.

ഒരു സംഭവ സമയത്ത് സാന്നിധ്യത്തിന്റെ ഒരു ഘട്ടത്തിൽ CPU ഉപയോഗം

തൽഫലമായി, ക്ലൗഡ്ഫ്ലെയർ ഡൊമെയ്‌നുകളിൽ ഞങ്ങളുടെ ക്ലയന്റുകൾ (ഞങ്ങളുടെ ക്ലയന്റുകളുടെ ക്ലയന്റുകൾ) 502 പിശക് പേജിൽ അവസാനിച്ചു. 502 പിശകുകൾ ക്ലൗഡ്ഫ്ലെയർ ഫ്രണ്ട്-എൻഡ് വെബ് സെർവറുകൾ സൃഷ്ടിച്ചു, അവയ്ക്ക് ഇപ്പോഴും സൗജന്യ കോറുകൾ ഉണ്ടായിരുന്നു, എന്നാൽ HTTP/HTTPS ട്രാഫിക് കൈകാര്യം ചെയ്യുന്ന പ്രക്രിയകളുമായി ആശയവിനിമയം നടത്താൻ കഴിഞ്ഞില്ല.

ഇത് ഞങ്ങളുടെ ഉപഭോക്താക്കൾക്ക് എത്രമാത്രം അസൗകര്യമുണ്ടാക്കിയെന്ന് ഞങ്ങൾക്കറിയാം. ഞങ്ങൾക്ക് ഭയങ്കര ലജ്ജ തോന്നുന്നു. ഈ പരാജയം സംഭവത്തെ ഫലപ്രദമായി കൈകാര്യം ചെയ്യുന്നതിൽ നിന്ന് ഞങ്ങളെ തടഞ്ഞു.

നിങ്ങൾ ഈ ഉപഭോക്താക്കളിൽ ഒരാളാണെങ്കിൽ, നിങ്ങൾ ഒരുപക്ഷേ ഭയവും ദേഷ്യവും അസ്വസ്ഥതയുമുണ്ടായിരിക്കാം. മാത്രമല്ല, ഞങ്ങൾക്കൊന്നും ഉണ്ടായിട്ടില്ല ആഗോള തടസ്സങ്ങൾ. ഉയർന്ന സിപിയു ഉപഭോഗം ഒരു WAF റൂൾ മൂലമാണ്, മോശം പദങ്ങളുള്ള പതിവ് പദപ്രയോഗം അമിതമായ ബാക്ക്‌ട്രാക്കിംഗിന് കാരണമായി. കുറ്റകരമായ പദപ്രയോഗം ഇതാ: (?:(?:"|'|]|}||d|(?:nan|infinity|true|false|null|undefined|symbol|math)|`|-|+)+[)]*;?((?:s|-|~|!|{}||||+)*.*(?:.*=.*)))

ഇത് അതിന്റേതായ രീതിയിൽ രസകരമാണെങ്കിലും (ഞാൻ അതിനെക്കുറിച്ച് കൂടുതൽ വിശദമായി ചുവടെ സംസാരിക്കും), മോശം പതിവ് എക്‌സ്‌പ്രഷൻ കാരണം മാത്രമല്ല ക്ലൗഡ്ഫ്ലെയർ സേവനം 27 മിനിറ്റോളം പ്രവർത്തനരഹിതമായിരുന്നു. പരാജയത്തിലേക്ക് നയിച്ച സംഭവങ്ങളുടെ ക്രമം വിവരിക്കാൻ ഞങ്ങൾക്ക് കുറച്ച് സമയമെടുത്തു, അതിനാൽ ഞങ്ങൾ പ്രതികരിക്കാൻ താമസിച്ചു. പോസ്റ്റിന്റെ അവസാനം, ഞാൻ ഒരു പതിവ് എക്സ്പ്രഷനിൽ ബാക്ക്ട്രാക്കിംഗ് വിവരിക്കുകയും അത് എന്തുചെയ്യണമെന്ന് നിങ്ങളോട് പറയുകയും ചെയ്യും.

എന്ത് സംഭവിച്ചു

നമുക്ക് ക്രമത്തിൽ ആരംഭിക്കാം. ഇവിടെ എല്ലാ സമയവും യുടിസിയിലാണ്.

ഉച്ചയ്ക്ക് 13:42 ന്, ഫയർവാൾ ടീമിലെ ഒരു എഞ്ചിനീയർ കണ്ടെത്തൽ നിയമങ്ങളിൽ ചെറിയ മാറ്റം വരുത്തി. XSS ഒരു യാന്ത്രിക പ്രക്രിയ ഉപയോഗിച്ച്. അതനുസരിച്ച്, ഒരു മാറ്റ അഭ്യർത്ഥന ടിക്കറ്റ് സൃഷ്ടിച്ചു. അത്തരം ടിക്കറ്റുകൾ ഞങ്ങൾ ജിറയിലൂടെ നിയന്ത്രിക്കുന്നു (ചുവടെയുള്ള സ്ക്രീൻഷോട്ട്).

3 മിനിറ്റിനുശേഷം, പേജർഡ്യൂട്ടിയുടെ ആദ്യ പേജ് പ്രത്യക്ഷപ്പെട്ടു, WAF-ൽ ഒരു പ്രശ്നം റിപ്പോർട്ട് ചെയ്തു. സാധാരണ പ്രവർത്തനം നിരീക്ഷിക്കുന്നതിന് ക്ലൗഡ്ഫ്ലെയറിന് പുറത്തുള്ള WAF-കളുടെ (ഞങ്ങൾക്ക് അവയിൽ നൂറുകണക്കിന് ഉണ്ട്) പ്രവർത്തനക്ഷമത പരിശോധിക്കുന്ന ഒരു സിന്തറ്റിക് ടെസ്റ്റായിരുന്നു ഇത്. ഇതിന് തൊട്ടുപിന്നാലെ, മറ്റ് ക്ലൗഡ്ഫ്ലെയർ എൻഡ്-ടു-എൻഡ് സർവീസ് ടെസ്റ്റുകളുടെ പരാജയം, ആഗോള ട്രാഫിക് പ്രശ്നങ്ങൾ, വ്യാപകമായ 502 പിശകുകൾ, ലോകമെമ്പാടുമുള്ള നഗരങ്ങളിലെ ഞങ്ങളുടെ പോയിന്റ്സ് ഓഫ് പ്രെസെൻസ് (PoP)-ൽ നിന്നുള്ള ഒരു ടൺ റിപ്പോർട്ടുകൾ എന്നിവയെക്കുറിച്ചുള്ള അലേർട്ടുകളുടെ പേജുകൾ വന്നു. CPU ഉറവിടങ്ങളുടെ.

ഈ അലേർട്ടുകളിൽ പലതും എനിക്ക് ലഭിച്ചു, ഒരു മീറ്റിംഗിൽ നിന്ന് ഇറങ്ങിപ്പോയി, ഞങ്ങളുടെ സൊല്യൂഷൻസ് ഡെവലപ്‌മെന്റ് ഡിപ്പാർട്ട്‌മെന്റ് മേധാവി ഞങ്ങളുടെ ട്രാഫിക്കിന്റെ 80% നഷ്‌ടപ്പെട്ടുവെന്ന് പറഞ്ഞപ്പോൾ ഞാൻ മേശയിലേക്ക് പോകുകയായിരുന്നു. പ്രശ്‌നത്തിൽ ഇതിനകം പ്രവർത്തിച്ചുകൊണ്ടിരുന്ന ഞങ്ങളുടെ SRE എഞ്ചിനീയർമാരുടെ അടുത്തേക്ക് ഞാൻ ഓടി. അജ്ഞാതമായ ആക്രമണമാണെന്നാണ് ആദ്യം കരുതിയത്.

ക്ലൗഡ്ഫ്ലെയർ എസ്ആർഇ എഞ്ചിനീയർമാർ ലോകമെമ്പാടും ചിതറിക്കിടക്കുകയും എല്ലാ സമയവും സ്ഥിതിഗതികൾ നിരീക്ഷിക്കുകയും ചെയ്യുന്നു. സാധാരണഗതിയിൽ, ഈ അലേർട്ടുകൾ പരിമിതമായ വ്യാപ്തിയുള്ള നിർദ്ദിഷ്ട പ്രാദേശിക പ്രശ്‌നങ്ങളെക്കുറിച്ച് നിങ്ങളെ അറിയിക്കുന്നു, ആന്തരിക ഡാഷ്‌ബോർഡുകളിൽ ട്രാക്കുചെയ്യുന്നു, കൂടാതെ ദിവസത്തിൽ ഒന്നിലധികം തവണ പരിഹരിക്കപ്പെടുകയും ചെയ്യും. എന്നാൽ ഈ പേജുകളും അറിയിപ്പുകളും വളരെ ഗൗരവതരമായ എന്തെങ്കിലും സൂചിപ്പിച്ചു, SRE എഞ്ചിനീയർമാർ ഉടൻ തന്നെ P0 തീവ്രത പ്രഖ്യാപിക്കുകയും മാനേജ്മെന്റിനെയും സിസ്റ്റം എഞ്ചിനീയർമാരെയും ബന്ധപ്പെടുകയും ചെയ്തു.

ഞങ്ങളുടെ ലണ്ടൻ എഞ്ചിനീയർമാർ ആ നിമിഷം മെയിൻ ഹാളിൽ ഒരു പ്രഭാഷണം കേൾക്കുകയായിരുന്നു. പ്രഭാഷണം തടസ്സപ്പെടുത്തേണ്ടിവന്നു, എല്ലാവരും ഒരു വലിയ കോൺഫറൻസ് റൂമിൽ ഒത്തുകൂടി, കൂടുതൽ സ്പെഷ്യലിസ്റ്റുകളെ വിളിച്ചു. SRE-കൾക്ക് സ്വയം കൈകാര്യം ചെയ്യാൻ കഴിയുന്ന ഒരു സാധാരണ പ്രശ്നമായിരുന്നില്ല ഇത്. ശരിയായ സ്പെഷ്യലിസ്റ്റുകളെ ഉൾപ്പെടുത്തേണ്ടത് അടിയന്തിരമായിരുന്നു.

14:00 ന് ഞങ്ങൾ പ്രശ്‌നം WAF-ൽ ആണെന്നും ആക്രമണമൊന്നും ഇല്ലെന്നും നിർണ്ണയിച്ചു. പ്രകടന ടീം സിപിയു ഡാറ്റ പിൻവലിക്കുകയും WAF കുറ്റപ്പെടുത്തുകയും ചെയ്തു. മറ്റൊരു ജീവനക്കാരൻ സ്‌ട്രേസ് ഉപയോഗിച്ച് ഈ സിദ്ധാന്തം സ്ഥിരീകരിച്ചു. WAF ന് ഒരു പ്രശ്നമുണ്ടെന്ന് ലോഗുകളിൽ മറ്റാരോ കണ്ടു. ഉച്ചകഴിഞ്ഞ് 14:02 ന്, ഗ്ലോബൽ കിൽ ഉപയോഗിക്കാൻ നിർദ്ദേശിച്ചപ്പോൾ മുഴുവൻ ടീമും എന്റെ അടുത്തേക്ക് വന്നു, ഇത് ലോകമെമ്പാടുമുള്ള ഒരു ഘടകം അടച്ചുപൂട്ടുന്ന ക്ലൗഡ്ഫ്ലെയറിൽ നിർമ്മിച്ച ഒരു സംവിധാനം.

WAF-ന് വേണ്ടി ഞങ്ങൾ എങ്ങനെയാണ് ആഗോള കൊലപാതകം നടത്തിയത് എന്നത് മറ്റൊരു കഥയാണ്. അത് അത്ര ലളിതമല്ല. ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം ഉൽപ്പന്നങ്ങൾ ഉപയോഗിക്കുന്നു, ഞങ്ങളുടെ സേവനം മുതൽ പ്രവേശനം പ്രവർത്തിച്ചില്ല, ഞങ്ങൾക്ക് ആന്തരിക നിയന്ത്രണ പാനലിലേക്ക് പ്രാമാണീകരിക്കാനും ലോഗിൻ ചെയ്യാനും കഴിഞ്ഞില്ല (എല്ലാം പരിഹരിച്ചപ്പോൾ, ആന്തരിക നിയന്ത്രണ പാനൽ ഉപയോഗിക്കുന്നില്ലെങ്കിൽ ക്രെഡൻഷ്യലുകൾ പ്രവർത്തനരഹിതമാക്കുന്ന ഒരു സുരക്ഷാ സവിശേഷത കാരണം ചില ടീം അംഗങ്ങൾക്ക് ആക്സസ് നഷ്ടപ്പെട്ടതായി ഞങ്ങൾ മനസ്സിലാക്കി. നീണ്ട കാലം).

ജിറ അല്ലെങ്കിൽ ബിൽഡ് സിസ്റ്റം പോലുള്ള ഞങ്ങളുടെ ആന്തരിക സേവനങ്ങളിലേക്ക് ഞങ്ങൾക്ക് എത്തിച്ചേരാനായില്ല. ഞങ്ങൾക്ക് ഒരു പരിഹാര സംവിധാനം ആവശ്യമാണ്, അത് ഞങ്ങൾ അപൂർവ്വമായി ഉപയോഗിച്ചു (ഇതും പ്രവർത്തിക്കേണ്ടതുണ്ട്). ഒടുവിൽ, ഒരു എഞ്ചിനീയർക്ക് 14:07-ന് WAF പ്രവർത്തനരഹിതമാക്കാൻ കഴിഞ്ഞു, 14:09-ന്, ട്രാഫിക്കും CPU ലെവലും എല്ലായിടത്തും സാധാരണ നിലയിലായി. ക്ലൗഡ്ഫ്ലെയറിന്റെ ബാക്കിയുള്ള സംരക്ഷണ സംവിധാനങ്ങൾ സാധാരണ പോലെ പ്രവർത്തിച്ചു.

തുടർന്ന് ഞങ്ങൾ WAF പുനഃസ്ഥാപിക്കാൻ തുടങ്ങി. സാഹചര്യം അസാധാരണമായതിനാൽ, ഞങ്ങൾ നെഗറ്റീവ് ടെസ്റ്റുകളും (മാറ്റം ശരിക്കും പ്രശ്‌നമാണോ എന്ന് സ്വയം ചോദിക്കുന്നു) പോസിറ്റീവ് ടെസ്റ്റുകളും (റോൾബാക്ക് പ്രവർത്തിക്കുന്നുവെന്ന് ഉറപ്പാക്കുന്നു) പ്രത്യേക ട്രാഫിക് ഉപയോഗിച്ച് ഒരു നഗരത്തിൽ നടത്തി, പണം നൽകുന്ന ഉപഭോക്താക്കളെ അവിടെ നിന്ന് മാറ്റി.

14:52-ന് ഞങ്ങൾ കാരണം മനസ്സിലാക്കി, ഒരു തിരുത്ത് വരുത്തി, WAF വീണ്ടും പ്രവർത്തനക്ഷമമാക്കി.

Cloudflare എങ്ങനെ പ്രവർത്തിക്കുന്നു

WAF-കൾക്കായുള്ള നിയമങ്ങൾ കൈകാര്യം ചെയ്യാൻ സമർപ്പിതരായ എഞ്ചിനീയർമാരുടെ ഒരു ടീം ക്ലൗഡ്ഫ്ലെയറിലുണ്ട്. കണ്ടെത്തൽ നിരക്ക് മെച്ചപ്പെടുത്താനും തെറ്റായ പോസിറ്റീവുകൾ കുറയ്ക്കാനും പുതിയ ഭീഷണികൾ ഉയർന്നുവരുമ്പോൾ വേഗത്തിൽ പ്രതികരിക്കാനും അവർ ശ്രമിക്കുന്നു. കഴിഞ്ഞ 60 ദിവസങ്ങളിൽ, WAF-നുള്ള നിയന്ത്രിത നിയമങ്ങൾക്കായി 476 മാറ്റ അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്തിട്ടുണ്ട് (ഓരോ 3 മണിക്കൂറിലും ശരാശരി ഒന്ന്).

ഈ പ്രത്യേക മാറ്റം സിമുലേഷൻ മോഡിൽ വിന്യസിക്കേണ്ടതുണ്ട്, അവിടെ യഥാർത്ഥ ക്ലയന്റ് ട്രാഫിക് നിയമത്തിലൂടെ കടന്നുപോകുന്നു, പക്ഷേ ഒന്നും തടയില്ല. നിയമങ്ങളുടെ ഫലപ്രാപ്തി പരിശോധിക്കുന്നതിനും തെറ്റായ പോസിറ്റീവ്, തെറ്റായ നെഗറ്റീവ് നിരക്കുകൾ അളക്കുന്നതിനും ഞങ്ങൾ ഈ മോഡ് ഉപയോഗിക്കുന്നു. എന്നാൽ സിമുലേഷൻ മോഡിൽ പോലും, നിയമങ്ങൾ യഥാർത്ഥത്തിൽ നടപ്പിലാക്കണം, ഈ സാഹചര്യത്തിൽ, നിയമത്തിൽ വളരെയധികം പ്രോസസ്സർ ഉറവിടങ്ങൾ ഉപയോഗിക്കുന്ന ഒരു സാധാരണ പദപ്രയോഗം അടങ്ങിയിരിക്കുന്നു.

മുകളിലുള്ള മാറ്റ അഭ്യർത്ഥനയിൽ നിന്ന് നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഞങ്ങൾക്ക് ഒരു വിന്യാസ പദ്ധതിയും ഒരു റോൾബാക്ക് പ്ലാനും ഇത്തരത്തിലുള്ള വിന്യാസത്തിനായി ഒരു ആന്തരിക സ്റ്റാൻഡേർഡ് ഓപ്പറേറ്റിംഗ് നടപടിക്രമത്തിലേക്കുള്ള (SOP) ലിങ്കും ഉണ്ട്. ഒരു നിയമം മാറ്റുന്നതിനുള്ള SOP അത് ആഗോളതലത്തിൽ പ്രസിദ്ധീകരിക്കാൻ അനുവദിക്കുന്നു. യഥാർത്ഥത്തിൽ, ക്ലൗഡ്‌ഫ്ലെയറിൽ, കാര്യങ്ങൾ തികച്ചും വ്യത്യസ്തമായ രീതിയിലാണ് ചെയ്യുന്നത്, കൂടാതെ സോഫ്‌റ്റ്‌വെയർ ഞങ്ങൾ ആദ്യം ടെസ്റ്റിംഗിനും ആന്തരിക ഉപയോഗത്തിനുമുള്ള ഒരു ആന്തരിക സാന്നിധ്യത്തിലേക്ക് (PoP) (ഞങ്ങളുടെ ജീവനക്കാർ ഉപയോഗിക്കുന്ന) പിന്നീട് കുറച്ച് ക്ലയന്റുകൾക്ക് അയയ്ക്കണമെന്ന് SOP നിർദ്ദേശിക്കുന്നു. ഒരു ഒറ്റപ്പെട്ട ലൊക്കേഷൻ, പിന്നീട് ധാരാളം ക്ലയന്റുകൾക്ക്, അതിനുശേഷം മാത്രം ലോകം മുഴുവൻ.

ഇങ്ങനെയാണ് കാണുന്നത്. BitBucket വഴി ഞങ്ങൾ ആന്തരികമായി git ഉപയോഗിക്കുന്നു. മാറ്റങ്ങളിൽ പ്രവർത്തിക്കുന്ന എഞ്ചിനീയർമാർ കോഡ് സമർപ്പിക്കുന്നു, അത് ടീംസിറ്റിയിൽ നിർമ്മിച്ചതാണ്, ബിൽഡ് പാസാകുമ്പോൾ, അവലോകനക്കാരെ നിയോഗിക്കുന്നു. ഒരു പുൾ അഭ്യർത്ഥന അംഗീകരിച്ചുകഴിഞ്ഞാൽ, കോഡ് കൂട്ടിച്ചേർക്കുകയും ടെസ്റ്റുകളുടെ ഒരു പരമ്പര പ്രവർത്തിപ്പിക്കുകയും ചെയ്യുന്നു (വീണ്ടും).

ബിൽഡും ടെസ്റ്റുകളും വിജയകരമായി പൂർത്തിയാകുകയാണെങ്കിൽ, ജിറയിൽ ഒരു മാറ്റ അഭ്യർത്ഥന സൃഷ്‌ടിക്കുകയും ഉചിതമായ മാനേജരോ ലീഡോ മാറ്റത്തിന് അംഗീകാരം നൽകുകയും വേണം. അംഗീകാരത്തിന് ശേഷം, "PoP മെനേജറി" എന്ന് വിളിക്കപ്പെടുന്നവയിലേക്ക് വിന്യാസം സംഭവിക്കുന്നു: DOG, PIG കൂടാതെ കാനറി (നായ, പന്നി, കാനറി).

Cloudflare ജീവനക്കാർ മാത്രം ഉപയോഗിക്കുന്ന ഒരു Cloudflare PoP (ഞങ്ങളുടെ മറ്റെല്ലാ നഗരങ്ങളെയും പോലെ) ആണ് DOG PoP. ആന്തരിക ഉപയോഗത്തിനായുള്ള PoP, ഉപഭോക്തൃ ട്രാഫിക്ക് പരിഹാരത്തിലേക്ക് ഒഴുകാൻ തുടങ്ങുന്നതിനുമുമ്പ് പ്രശ്നങ്ങൾ കണ്ടെത്തുന്നതിന് നിങ്ങളെ അനുവദിക്കുന്നു. ഉപയോഗപ്രദമായ കാര്യം.

ഡോഗ് ടെസ്റ്റ് വിജയിച്ചാൽ, കോഡ് പിഐജി (ഗിനിയ പിഗ്) ഘട്ടത്തിലേക്ക് നീങ്ങുന്നു. ഇത് Cloudflare PoP ആണ്, അവിടെ ചെറിയൊരു സൗജന്യ ഉപഭോക്തൃ ട്രാഫിക്ക് പുതിയ കോഡിലൂടെ ഒഴുകുന്നു.
എല്ലാം ശരിയാണെങ്കിൽ, കോഡ് കാനറിയിലേക്ക് പോകുന്നു. ലോകത്തിന്റെ വിവിധ ഭാഗങ്ങളിൽ ഞങ്ങൾക്ക് മൂന്ന് കാനറി PoP-കൾ ഉണ്ട്. അവയിൽ, പണമടച്ചതും സൌജന്യവുമായ ക്ലയന്റുകളുടെ ട്രാഫിക് പുതിയ കോഡിലൂടെ കടന്നുപോകുന്നു, ഇത് പിശകുകൾക്കുള്ള അവസാന പരിശോധനയാണ്.

Cloudflare-ൽ സോഫ്റ്റ്‌വെയർ റിലീസ് പ്രക്രിയ

കാനറിയിൽ കോഡ് ശരിയാണെങ്കിൽ, ഞങ്ങൾ അത് റിലീസ് ചെയ്യും. എല്ലാ ഘട്ടങ്ങളിലൂടെയും കടന്നുപോകുന്നു - ഡോഗ്, പന്നി, കാനറി, ലോകം മുഴുവൻ - കോഡ് മാറ്റത്തെ ആശ്രയിച്ച് നിരവധി മണിക്കൂറുകളോ ദിവസങ്ങളോ എടുക്കും. ക്ലൗഡ്ഫ്ലെയറിന്റെ നെറ്റ്‌വർക്കിന്റെയും ക്ലയന്റുകളുടെയും വൈവിധ്യം കാരണം, ആഗോളതലത്തിൽ എല്ലാ ക്ലയന്റുകളിലേക്കും കോഡ് റിലീസ് ചെയ്യുന്നതിന് മുമ്പ് ഞങ്ങൾ കോഡ് നന്നായി പരിശോധിക്കുന്നു. എന്നാൽ WAF ഈ പ്രക്രിയ പ്രത്യേകമായി പിന്തുടരുന്നില്ല, കാരണം ഭീഷണികൾക്ക് വേഗത്തിൽ പ്രതികരിക്കേണ്ടതുണ്ട്.

WAF ഭീഷണികൾ
കഴിഞ്ഞ കുറച്ച് വർഷങ്ങളായി, സാധാരണ ആപ്ലിക്കേഷനുകളിൽ ഭീഷണികളിൽ ഗണ്യമായ വർദ്ധനവ് ഉണ്ടായിട്ടുണ്ട്. സോഫ്റ്റ്‌വെയർ ടെസ്റ്റിംഗ് ടൂളുകളുടെ കൂടുതൽ ലഭ്യതയാണ് ഇതിന് കാരണം. ഉദാഹരണത്തിന്, ഞങ്ങൾ അടുത്തിടെ എഴുതി ഫസ്സിംഗ്).

അവലംബം: https://cvedetails.com/

മിക്കപ്പോഴും, ആശയത്തിന്റെ ഒരു തെളിവ് സൃഷ്ടിക്കുകയും ഉടൻ തന്നെ Github-ൽ പ്രസിദ്ധീകരിക്കുകയും ചെയ്യുന്നു, അതുവഴി ആപ്ലിക്കേഷൻ പരിപാലിക്കുന്ന ടീമുകൾക്ക് അത് വേഗത്തിൽ പരിശോധിക്കാനും മതിയായ സുരക്ഷിതമാണെന്ന് ഉറപ്പാക്കാനും കഴിയും. അതിനാൽ, പുതിയ ആക്രമണങ്ങളോട് കഴിയുന്നത്ര വേഗത്തിൽ പ്രതികരിക്കാനുള്ള കഴിവ് ക്ലൗഡ്ഫ്ലെയറിന് ആവശ്യമാണ്, അതുവഴി ഉപഭോക്താക്കൾക്ക് അവരുടെ സോഫ്റ്റ്‌വെയർ പരിഹരിക്കാനുള്ള അവസരമുണ്ട്.

ക്ലൗഡ്ഫ്ലെയറിന്റെ പെട്ടെന്നുള്ള പ്രതികരണത്തിന്റെ മികച്ച ഉദാഹരണമാണ് മെയ് മാസത്തിൽ ഷെയർപോയിന്റ് ദുർബലത പരിരക്ഷകൾ വിന്യാസം (ഇവിടെ വായിക്കുക). പ്രഖ്യാപനങ്ങൾ നടന്നതിന് തൊട്ടുപിന്നാലെ, ഞങ്ങളുടെ ഉപഭോക്താക്കളുടെ ഷെയർപോയിന്റ് ഇൻസ്റ്റാളേഷനുകളിലെ അപകടസാധ്യത മുതലെടുക്കാനുള്ള നിരവധി ശ്രമങ്ങൾ ഞങ്ങൾ ശ്രദ്ധിച്ചു. ഞങ്ങളുടെ ആളുകൾ നിരന്തരം പുതിയ ഭീഷണികൾ നിരീക്ഷിക്കുകയും ഞങ്ങളുടെ ഉപഭോക്താക്കളെ സംരക്ഷിക്കുന്നതിനുള്ള നിയമങ്ങൾ എഴുതുകയും ചെയ്യുന്നു.

വ്യാഴാഴ്ച പ്രശ്‌നമുണ്ടാക്കിയ നിയമം ക്രോസ്-സൈറ്റ് സ്‌ക്രിപ്റ്റിംഗിൽ (XSS) പരിരക്ഷിക്കുന്നതായിരിക്കണം. സമീപ വർഷങ്ങളിൽ ഇത്തരം ആക്രമണങ്ങൾ വളരെ കൂടുതലാണ്.

അവലംബം: https://cvedetails.com/

ഒരു WAF-നുള്ള ഒരു നിയന്ത്രിത നിയമം മാറ്റുന്നതിനുള്ള സ്റ്റാൻഡേർഡ് നടപടിക്രമം ആഗോള വിന്യാസത്തിന് മുമ്പ് തുടർച്ചയായ ഏകീകരണം (CI) ടെസ്റ്റിംഗ് നടത്തുക എന്നതാണ്. കഴിഞ്ഞ വ്യാഴാഴ്ച ഞങ്ങൾ ഇത് ചെയ്യുകയും നിയമങ്ങൾ പുറത്തിറക്കുകയും ചെയ്തു. ഉച്ചയ്ക്ക് 13:31 ന്, ഒരു എൻജിനീയർ ഒരു മാറ്റത്തോടുകൂടിയ ഒരു അംഗീകൃത പുൾ അഭ്യർത്ഥന സമർപ്പിച്ചു.

13:37-ന് ടീംസിറ്റി നിയമങ്ങൾ ശേഖരിക്കുകയും പരിശോധനകൾ നടത്തുകയും മുന്നോട്ട് പോകുകയും ചെയ്തു. WAF ടെസ്റ്റ് സ്യൂട്ട് WAF-ന്റെ പ്രധാന പ്രവർത്തനക്ഷമത പരിശോധിക്കുന്നു, കൂടാതെ വ്യക്തിഗത ഫംഗ്‌ഷനുകൾക്കായി ധാരാളം യൂണിറ്റ് ടെസ്റ്റുകൾ അടങ്ങിയിരിക്കുന്നു. യൂണിറ്റ് ടെസ്റ്റുകൾക്ക് ശേഷം, ധാരാളം HTTP അഭ്യർത്ഥനകൾ ഉപയോഗിച്ച് WAF-നുള്ള നിയമങ്ങൾ ഞങ്ങൾ പരീക്ഷിച്ചു. HTTP അഭ്യർത്ഥനകൾ WAF ഏതൊക്കെ അഭ്യർത്ഥനകൾ തടയണം (ആക്രമണത്തെ തടസ്സപ്പെടുത്താൻ) കൂടാതെ ഏതെല്ലാം വഴികൾ അനുവദിക്കാം (എല്ലാം തടയാതിരിക്കാനും തെറ്റായ പോസിറ്റീവുകൾ ഒഴിവാക്കാനും) എന്നാൽ അമിതമായ സിപിയു ഉപയോഗത്തിനായി ഞങ്ങൾ പരീക്ഷിച്ചിട്ടില്ല, മുമ്പത്തെ WAF ബിൽഡുകളുടെ ലോഗുകൾ പരിശോധിക്കുന്നത് റൂൾ ടെസ്റ്റ് എക്സിക്യൂഷൻ സമയം വർദ്ധിച്ചിട്ടില്ലെന്ന് കാണിക്കുന്നു, കൂടാതെ മതിയായ ഉറവിടങ്ങൾ ഇല്ലെന്ന് സംശയിക്കുന്നത് ബുദ്ധിമുട്ടായിരുന്നു.

ടെസ്റ്റുകൾ വിജയിച്ചു, TeamCity 13:42 p.m-ന് മാറ്റം സ്വയമേവ വിന്യസിക്കാൻ തുടങ്ങി.

ക്വിക്ക്‌സിൽവർ

WAF നിയമങ്ങൾ ഉടനടി ഭീഷണി പരിഹരിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, അതിനാൽ ആഗോളതലത്തിൽ നിമിഷങ്ങൾക്കുള്ളിൽ മാറ്റങ്ങൾ പ്രചരിപ്പിക്കുന്ന Quicksilver-ന്റെ വിതരണം ചെയ്ത കീ-വാല്യൂ സ്റ്റോർ ഉപയോഗിച്ച് ഞങ്ങൾ അവയെ വിന്യസിക്കുന്നു. ഞങ്ങളുടെ എല്ലാ ക്ലയന്റുകളും ഡാഷ്‌ബോർഡിലോ API വഴിയോ കോൺഫിഗറേഷൻ മാറ്റുമ്പോൾ ഈ സാങ്കേതികവിദ്യ ഉപയോഗിക്കുന്നു, കൂടാതെ മിന്നൽ വേഗത്തിൽ മാറ്റങ്ങളോട് ഞങ്ങൾ പ്രതികരിക്കുന്നത് ഇതിന് നന്ദി.

ക്വിക്ക്‌സിൽവറിനെ കുറിച്ച് ഞങ്ങൾ അധികം സംസാരിച്ചിട്ടില്ല. മുമ്പ് ഞങ്ങൾ ഉപയോഗിച്ചിരുന്നു ക്യോട്ടോ ടൈക്കൂൺ ആഗോളതലത്തിൽ വിതരണം ചെയ്‌ത കീ-വാല്യൂ സ്റ്റോർ എന്ന നിലയിൽ, എന്നാൽ അതിൽ പ്രവർത്തനപരമായ പ്രശ്‌നങ്ങൾ ഉണ്ടായിരുന്നു, ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം സ്റ്റോർ എഴുതി, 180-ലധികം നഗരങ്ങളിൽ പകർത്തി. ക്ലയന്റുകളിലേക്ക് കോൺഫിഗറേഷൻ മാറ്റങ്ങൾ വരുത്താനും WAF നിയമങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യാനും ക്ലൗഡ്ഫ്ലെയർ വർക്കർമാർക്ക് ക്ലയന്റ് എഴുതിയ JavaScript കോഡ് വിതരണം ചെയ്യാനും ഞങ്ങൾ ഇപ്പോൾ Quicksilver ഉപയോഗിക്കുന്നു.

ഒരു ഡാഷ്‌ബോർഡിലെ ഒരു ബട്ടണിൽ ക്ലിക്ക് ചെയ്യുന്നതിൽ നിന്നും അല്ലെങ്കിൽ API-ലേക്ക് വിളിക്കുന്നതിൽ നിന്നും ലോകമെമ്പാടും ഒരു കോൺഫിഗറേഷൻ മാറ്റം വരുത്തുന്നതിന് കുറച്ച് നിമിഷങ്ങൾ മാത്രമേ എടുക്കൂ. ഈ സജ്ജീകരണ വേഗത ഉപഭോക്താക്കൾക്ക് ഇഷ്ടപ്പെട്ടു. തൊഴിലാളികൾ അവർക്ക് ഏതാണ്ട് തൽക്ഷണം ആഗോള സോഫ്റ്റ്‌വെയർ വിന്യാസം നൽകുന്നു. ശരാശരി, ക്വിക്ക്സിൽവർ സെക്കൻഡിൽ ഏകദേശം 350 മാറ്റങ്ങൾ പ്രചരിപ്പിക്കുന്നു.

ക്വിക്ക്‌സിൽവർ വളരെ വേഗതയുള്ളതാണ്. ലോകമെമ്പാടുമുള്ള എല്ലാ കമ്പ്യൂട്ടറുകളിലേക്കും മാറ്റങ്ങൾ പ്രചരിപ്പിക്കുന്നതിന് ശരാശരി 99 സെക്കൻഡിന്റെ 2,29-ാം ശതമാനം ഞങ്ങൾ കൈവരിച്ചു. വേഗത സാധാരണയായി ഒരു നല്ല കാര്യമാണ്. എല്ലാത്തിനുമുപരി, നിങ്ങൾ ഒരു ഫംഗ്ഷൻ പ്രവർത്തനക്ഷമമാക്കുകയോ കാഷെ മായ്‌ക്കുകയോ ചെയ്യുമ്പോൾ, അത് മിക്കവാറും തൽക്ഷണം എല്ലായിടത്തും സംഭവിക്കുന്നു. ക്ലൗഡ്ഫ്ലെയർ വർക്കർമാർ വഴി കോഡ് അയയ്‌ക്കുന്നത് അതേ വേഗതയിലാണ്. ക്ലൗഡ്ഫ്ലെയർ അതിന്റെ ഉപഭോക്താക്കൾക്ക് ശരിയായ സമയത്ത് വേഗത്തിലുള്ള അപ്‌ഡേറ്റുകൾ വാഗ്ദാനം ചെയ്യുന്നു.

എന്നാൽ ഈ സാഹചര്യത്തിൽ, വേഗത ഞങ്ങളിൽ ഒരു ക്രൂരമായ തമാശ കളിച്ചു, നിമിഷങ്ങൾക്കകം നിയമങ്ങൾ എല്ലായിടത്തും മാറി. WAF കോഡ് ലുവ ഉപയോഗിക്കുന്നത് നിങ്ങൾ ശ്രദ്ധിച്ചിരിക്കാം. ക്ലൗഡ്ഫ്ലെയർ നിർമ്മാണത്തിലും വിശദാംശങ്ങളിലും ലുവയെ വ്യാപകമായി ഉപയോഗിക്കുന്നു WAF-ൽ ലുവാ ഞങ്ങൾ ഇതിനകം ചർച്ച ചെയ്തു. Lua WAF ഉപയോഗിക്കുന്നു PCRE ആന്തരികമായും പൊരുത്തപ്പെടുത്തലിനായി ബാക്ക്ട്രാക്കിംഗ് പ്രയോഗിക്കുന്നു. നിയന്ത്രണാതീതമായ പദപ്രയോഗങ്ങളിൽ നിന്ന് സംരക്ഷിക്കാൻ ഇതിന് സംവിധാനങ്ങളില്ല. താഴെ ഞാൻ ഇതിനെക്കുറിച്ച് കൂടുതൽ സംസാരിക്കും, ഞങ്ങൾ ഇതിനെക്കുറിച്ച് എന്താണ് ചെയ്യുന്നത്.

നിയമങ്ങൾ വിന്യസിക്കുന്നതിന് മുമ്പ്, എല്ലാം സുഗമമായി നടന്നു: പുൾ അഭ്യർത്ഥന സൃഷ്ടിക്കുകയും അംഗീകരിക്കുകയും ചെയ്തു, CI/CD പൈപ്പ്ലൈൻ കോഡ് ശേഖരിക്കുകയും പരീക്ഷിക്കുകയും ചെയ്തു, വിന്യാസവും റോൾബാക്കും നിയന്ത്രിക്കുന്ന SOP അനുസരിച്ച് മാറ്റ അഭ്യർത്ഥന സമർപ്പിച്ചു, വിന്യാസം പൂർത്തിയാക്കി.

Cloudflare WAF വിന്യാസ പ്രക്രിയ

എന്തോ കുഴപ്പം സംഭവിച്ചു
ഞാൻ പറഞ്ഞതുപോലെ, ഞങ്ങൾ എല്ലാ ആഴ്‌ചയും ഡസൻ കണക്കിന് പുതിയ WAF നിയമങ്ങൾ വിന്യസിക്കുന്നു, അത്തരം വിന്യാസത്തിന്റെ പ്രതികൂല പ്രത്യാഘാതങ്ങളിൽ നിന്ന് പരിരക്ഷിക്കുന്നതിന് ഞങ്ങൾക്ക് നിരവധി സംവിധാനങ്ങളുണ്ട്. എന്തെങ്കിലും തെറ്റ് സംഭവിക്കുമ്പോൾ, അത് സാധാരണയായി ഒരേസമയം നിരവധി സാഹചര്യങ്ങളുടെ സംയോജനമാണ്. നിങ്ങൾ ഒരു കാരണം മാത്രം കണ്ടെത്തുകയാണെങ്കിൽ, ഇത് തീർച്ചയായും ആശ്വാസകരമാണ്, പക്ഷേ ഇത് എല്ലായ്പ്പോഴും ശരിയല്ല. ഞങ്ങളുടെ HTTP/HTTPS സേവനത്തിന്റെ പരാജയത്തിലേക്ക് നയിച്ച കാരണങ്ങൾ ഇവയാണ്.

1. ഒരു എഞ്ചിനീയർ ഒരു പതിവ് പദപ്രയോഗം എഴുതി, അത് അമിതമായേക്കാം ബാക്ക്ട്രാക്കിംഗ്.
2. റെഗുലർ എക്‌സ്‌പ്രഷൻ വളരെയധികം സിപിയു പാഴാക്കുന്നതിൽ നിന്ന് തടയാമായിരുന്ന ഒരു സവിശേഷത ആഴ്ചകൾക്ക് മുമ്പ് WAF-ന്റെ റീഫാക്‌ടറിംഗിൽ തെറ്റായി നീക്കം ചെയ്‌തു-WAF കുറച്ച് വിഭവങ്ങൾ ഉപയോഗിക്കുന്നതിന് റീഫാക്‌ടറിംഗ് ആവശ്യമാണ്.
3. റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിന് സങ്കീർണ്ണത ഗ്യാരണ്ടികളൊന്നും ഇല്ലായിരുന്നു.
4. ടെസ്റ്റ് സ്യൂട്ടിന് അമിതമായ CPU ഉപഭോഗം കണ്ടെത്താനായില്ല.
5. ഒരു മൾട്ടി-സ്റ്റെപ്പ് പ്രക്രിയയില്ലാതെ ആഗോളതലത്തിൽ അടിയന്തിരമല്ലാത്ത നിയമ മാറ്റങ്ങൾ നടപ്പിലാക്കാൻ SOP അനുവദിക്കുന്നു.
6. റോൾബാക്ക് പ്ലാനിന് രണ്ട് തവണ ഒരു പൂർണ്ണ WAF ബിൽഡ് പ്രവർത്തിപ്പിക്കേണ്ടതുണ്ട്, ഇതിന് വളരെയധികം സമയമെടുത്തു.
7. ആഗോള ട്രാഫിക് പ്രശ്‌നങ്ങളെക്കുറിച്ചുള്ള ആദ്യ മുന്നറിയിപ്പ് വളരെ വൈകിയാണ് ആരംഭിച്ചത്.
8. സ്റ്റാറ്റസ് പേജ് അപ്ഡേറ്റ് ചെയ്യാൻ ഞങ്ങൾ കുറച്ച് സമയമെടുത്തു.
9. ഒരു തകരാർ കാരണം സിസ്റ്റങ്ങൾ ആക്‌സസ് ചെയ്യുന്നതിൽ ഞങ്ങൾക്ക് പ്രശ്‌നങ്ങളുണ്ടായി, ബൈപാസ് നടപടിക്രമം നന്നായി സ്ഥാപിച്ചിട്ടില്ല.
10. സുരക്ഷാ കാരണങ്ങളാൽ അവരുടെ ക്രെഡൻഷ്യലുകൾ കാലഹരണപ്പെട്ടതിനാൽ SRE എഞ്ചിനീയർമാർക്ക് ചില സിസ്റ്റങ്ങളിലേക്കുള്ള ആക്സസ് നഷ്ടപ്പെട്ടു.
11. ഞങ്ങളുടെ ഉപഭോക്താക്കൾക്ക് Cloudflare ഡാഷ്‌ബോർഡിലേക്കോ API-യിലേക്കോ ആക്‌സസ് ഇല്ല, കാരണം അവർ ഒരു Cloudflare മേഖലയിലൂടെയാണ് പോകുന്നത്.

കഴിഞ്ഞ വ്യാഴാഴ്ച മുതൽ എന്താണ് മാറിയത്

ആദ്യം, WAF-നുള്ള റിലീസുകളുടെ എല്ലാ ജോലികളും ഞങ്ങൾ പൂർണ്ണമായും നിർത്തി, ഇനിപ്പറയുന്നവ ചെയ്യുന്നു:

1. ഞങ്ങൾ നീക്കം ചെയ്ത CPU അമിത ഉപയോഗ സംരക്ഷണം ഞങ്ങൾ വീണ്ടും അവതരിപ്പിക്കുകയാണ്. (തയ്യാറാണ്)
2. അമിതമായ ബാക്ക്‌ട്രാക്കിംഗിന്റെ മറ്റ് സാധ്യതയുള്ള കേസുകൾ കണ്ടെത്തുന്നതിനും ശരിയാക്കുന്നതിനും WAF-ന് വേണ്ടി കൈകാര്യം ചെയ്യുന്ന നിയമങ്ങളിലെ എല്ലാ 3868 നിയമങ്ങളും സ്വമേധയാ പരിശോധിക്കുന്നു. (പരിശോധനം പൂർത്തിയായി)
3. ടെസ്റ്റ് സെറ്റിലെ എല്ലാ നിയമങ്ങൾക്കും ഞങ്ങൾ പെർഫോമൻസ് പ്രൊഫൈലിംഗ് ഉൾപ്പെടുത്തുന്നു. (പ്രതീക്ഷിക്കുന്നത്: ജൂലൈ 19)
4. ഒരു സാധാരണ എക്സ്പ്രഷൻ എഞ്ചിനിലേക്ക് മാറുന്നു രെക്സനുമ്ക്സ അഥവാ തുരുന്വ് - രണ്ടും റൺടൈം ഗ്യാരണ്ടി നൽകുന്നു. (പ്രതീക്ഷിക്കുന്നത്: ജൂലൈ 31)
5. ക്ലൗഡ്ഫ്ലെയറിലെ മറ്റ് സോഫ്‌റ്റ്‌വെയറുകൾ പോലെ ഘട്ടം ഘട്ടമായി നിയമങ്ങൾ വിന്യസിക്കാൻ ഞങ്ങൾ SOP മാറ്റിയെഴുതുകയാണ്, എന്നാൽ അതേ സമയം ആക്രമണങ്ങൾ ഇതിനകം ആരംഭിച്ചിട്ടുണ്ടെങ്കിൽ അടിയന്തര ആഗോള വിന്യാസത്തിനുള്ള കഴിവുണ്ട്.
6. Cloudflare മേഖലയിൽ നിന്ന് Cloudflare ഡാഷ്‌ബോർഡും API-യും അടിയന്തിരമായി നീക്കം ചെയ്യാനുള്ള കഴിവ് ഞങ്ങൾ വികസിപ്പിക്കുകയാണ്.
7. പേജ് അപ്ഡേറ്റുകൾ ഓട്ടോമേറ്റ് ചെയ്യുന്നു ക്ലൗഡ്ഫ്ലെയർ നില.

കുറച്ച് വർഷങ്ങൾക്ക് മുമ്പ് ഞാൻ എഴുതിയ Lua WAF ൽ നിന്ന് ദീർഘകാലത്തേക്ക് ഞങ്ങൾ അകന്നുപോകുകയാണ്. WAF-ലേക്ക് നീക്കുന്നു പുതിയ ഫയർവാൾ സിസ്റ്റം. ഇതുവഴി WAF വേഗമേറിയതും ഒരു അധിക പരിരക്ഷയും ലഭിക്കും.

തീരുമാനം

ഈ പരാജയം ഞങ്ങൾക്കും ഞങ്ങളുടെ ഉപഭോക്താക്കൾക്കും ബുദ്ധിമുട്ടുണ്ടാക്കി. സാഹചര്യം ശരിയാക്കാൻ ഞങ്ങൾ വേഗത്തിൽ പ്രവർത്തിച്ചു, തകർച്ചയ്ക്ക് കാരണമായ പ്രക്രിയകളിലെ പിഴവുകൾ പരിഹരിക്കാൻ ഞങ്ങൾ ഇപ്പോൾ പ്രവർത്തിക്കുന്നു, അതുപോലെ തന്നെ പുതിയ സാങ്കേതികവിദ്യയിലേക്ക് മാറുമ്പോൾ ഭാവിയിൽ പതിവ് എക്സ്പ്രഷനുകൾ ഉപയോഗിച്ച് ഉണ്ടാകാനിടയുള്ള പ്രശ്‌നങ്ങളിൽ നിന്ന് സംരക്ഷിക്കാൻ കൂടുതൽ ആഴത്തിൽ കുഴിച്ചിടുകയാണ്.

ഈ തകരാറിൽ ഞങ്ങൾ വളരെ ലജ്ജിക്കുന്നു, ഞങ്ങളുടെ ഉപഭോക്താക്കളോട് ക്ഷമ ചോദിക്കുന്നു. ഈ മാറ്റങ്ങൾ ഇനി ഇത്തരം സംഭവങ്ങൾ ഉണ്ടാകില്ലെന്ന് ഉറപ്പാക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

അപേക്ഷ. റെഗുലർ എക്സ്പ്രെഷനുകൾ ബാക്ക്ട്രാക്ക് ചെയ്യുന്നു

പദപ്രയോഗം എങ്ങനെയെന്ന് മനസ്സിലാക്കാൻ:

(?:(?:"|'|]|}||d
(?:nan|infinity|true|false|null|undefined|symbol|math)|`|-
|+)+[)]*;?((?:s|-|~|!|{}||||+)*.*(?:.*=.*)))

എല്ലാ സിപിയു ഉറവിടങ്ങളും കഴിച്ചു, സ്റ്റാൻഡേർഡ് റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിൻ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെക്കുറിച്ച് നിങ്ങൾ കുറച്ച് അറിയേണ്ടതുണ്ട്. പാറ്റേണാണ് ഇവിടെ പ്രശ്നം .*(?:.*=.*). (?: അനുബന്ധവും ) ഒരു നോൺ-ക്യാപ്ചറിംഗ് ഗ്രൂപ്പാണ് (അതായത്, പരാൻതീസിസിലെ പദപ്രയോഗം ഒരൊറ്റ പദപ്രയോഗമായി വർഗ്ഗീകരിച്ചിരിക്കുന്നു).

അമിതമായ സിപിയു ഉപഭോഗത്തിന്റെ പശ്ചാത്തലത്തിൽ, ഈ പാറ്റേൺ ഇങ്ങനെ വിവരിക്കാം .*.*=.*. ഈ രൂപത്തിൽ, പാറ്റേൺ അനാവശ്യമായി സങ്കീർണ്ണമായി കാണപ്പെടുന്നു. എന്നാൽ അതിലും പ്രധാനമായി, യഥാർത്ഥ ലോകത്ത്, ഒരു ശകലത്തിന് ശേഷം മറ്റൊരു ശകലവുമായി പൊരുത്തപ്പെടാൻ എഞ്ചിനിനോട് ആവശ്യപ്പെടുന്ന എക്സ്പ്രഷനുകൾ (WAF നിയമങ്ങളിലെ സങ്കീർണ്ണമായ പദപ്രയോഗങ്ങൾ പോലെ) വിനാശകരമായ ബാക്ക്ട്രാക്കിംഗിലേക്ക് നയിച്ചേക്കാം. അതുകൊണ്ടാണ്.

പതിവ് ആവിഷ്കാരത്തിൽ . നിങ്ങൾ ഒരു പ്രതീകം പൊരുത്തപ്പെടുത്തേണ്ടതുണ്ട് എന്നാണ് അർത്ഥമാക്കുന്നത്, .* - പൂജ്യമോ അതിലധികമോ പ്രതീകങ്ങൾ "അത്യാഗ്രഹത്തോടെ" പൊരുത്തപ്പെടുത്തുക, അതായത്, പരമാവധി പ്രതീകങ്ങൾ ക്യാപ്‌ചർ ചെയ്യുന്നു, അങ്ങനെ .*.*=.* അർത്ഥം പൂജ്യമോ അതിലധികമോ പ്രതീകങ്ങളുമായി പൊരുത്തപ്പെടുത്തുക, തുടർന്ന് പൂജ്യമോ അതിലധികമോ പ്രതീകങ്ങളുമായി പൊരുത്തപ്പെടുത്തുക, അക്ഷരാർത്ഥം = പ്രതീകം കണ്ടെത്തുക, പൂജ്യമോ അതിലധികമോ പ്രതീകങ്ങൾ പൊരുത്തപ്പെടുത്തുക.

നമുക്ക് ടെസ്റ്റ് ലൈൻ എടുക്കാം x=x. ഇത് പദപ്രയോഗവുമായി പൊരുത്തപ്പെടുന്നു .*.*=.*. .*.* തുല്യ ചിഹ്നം ആദ്യ ചിഹ്നവുമായി പൊരുത്തപ്പെടുന്നതിന് മുമ്പ് x (ഗ്രൂപ്പുകളിൽ ഒന്ന് .* എന്നതുമായി യോജിക്കുന്നു x, രണ്ടാമത്തേത് - പൂജ്യം പ്രതീകങ്ങൾ). .* ശേഷം = അവസാനം മത്സരങ്ങൾ x.

ഈ താരതമ്യത്തിന് 23 ഘട്ടങ്ങൾ ആവശ്യമാണ്. ആദ്യ ഗ്രൂപ്പ് .* в .*.*=.* അത്യാഗ്രഹത്തോടെ പ്രവർത്തിക്കുകയും മുഴുവൻ സ്ട്രിംഗുമായി പൊരുത്തപ്പെടുകയും ചെയ്യുന്നു x=x. എഞ്ചിൻ അടുത്ത ഗ്രൂപ്പിലേക്ക് നീങ്ങുന്നു .*. ഞങ്ങൾക്ക് പൊരുത്തപ്പെടാൻ കൂടുതൽ പ്രതീകങ്ങളൊന്നുമില്ല, അതിനാൽ രണ്ടാമത്തെ ഗ്രൂപ്പ് .* പൂജ്യം പ്രതീകങ്ങളുമായി പൊരുത്തപ്പെടുന്നു (ഇത് അനുവദനീയമാണ്). അപ്പോൾ എഞ്ചിൻ ചിഹ്നത്തിലേക്ക് നീങ്ങുന്നു =. കൂടുതൽ ചിഹ്നങ്ങളൊന്നുമില്ല (ആദ്യ ഗ്രൂപ്പ് .* മുഴുവൻ പദപ്രയോഗവും ഉപയോഗിച്ചു x=x), താരതമ്യം സംഭവിക്കുന്നില്ല.

തുടർന്ന് പതിവ് എക്സ്പ്രഷൻ എഞ്ചിൻ തുടക്കത്തിലേക്ക് മടങ്ങുന്നു. അവൻ ആദ്യ ഗ്രൂപ്പിലേക്ക് നീങ്ങുന്നു .* അതിനെ താരതമ്യം ചെയ്യുകയും ചെയ്യുന്നു с x= (പകരം x=x), തുടർന്ന് രണ്ടാമത്തെ ഗ്രൂപ്പിനെ ഏറ്റെടുക്കുന്നു .*. രണ്ടാമത്തെ ഗ്രൂപ്പ് .* രണ്ടാമത്തേതുമായി താരതമ്യം ചെയ്യുന്നു x, പിന്നെ ഞങ്ങൾക്ക് വീണ്ടും കഥാപാത്രങ്ങളൊന്നും അവശേഷിക്കുന്നില്ല. എഞ്ചിൻ വീണ്ടും എത്തുമ്പോൾ = в .*.*=.*, ഒന്നും പ്രവർത്തിക്കുന്നില്ല. അവൻ വീണ്ടും പിന്നോട്ട് പോകുന്നു.

ഇത്തവണ ഗ്രൂപ്പ് .* ഇപ്പോഴും പൊരുത്തപ്പെടുന്നു x=, എന്നാൽ രണ്ടാമത്തെ ഗ്രൂപ്പ് .* കൂടുതലൊന്നുമില്ല x, പൂജ്യം പ്രതീകങ്ങളും. എഞ്ചിൻ ഒരു അക്ഷര സ്വഭാവം കണ്ടെത്താൻ ശ്രമിക്കുന്നു = പാറ്റേണിൽ .*.*=.*, പക്ഷേ പുറത്തുവരുന്നില്ല (എല്ലാത്തിനുമുപരി, ആദ്യ ഗ്രൂപ്പ് ഇതിനകം തന്നെ അത് കൈവശപ്പെടുത്തി .*). അവൻ വീണ്ടും പിന്നോട്ട് പോകുന്നു.

ഇത്തവണ ആദ്യ ഗ്രൂപ്പ് .* ആദ്യത്തെ x മാത്രമേ എടുക്കൂ. എന്നാൽ രണ്ടാമത്തെ ഗ്രൂപ്പ് .* "അത്യാഗ്രഹത്തോടെ" പിടിച്ചെടുക്കുന്നു =x. എന്ത് സംഭവിക്കുമെന്ന് നിങ്ങൾ ഇതിനകം ഊഹിച്ചിട്ടുണ്ടോ? എഞ്ചിൻ അക്ഷരാർത്ഥത്തിൽ പൊരുത്തപ്പെടുത്താൻ ശ്രമിക്കുന്നു =, പരാജയപ്പെടുകയും മറ്റൊരു ബാക്ക്ട്രാക്കിംഗ് നടത്തുകയും ചെയ്യുന്നു.

ആദ്യ ഗ്രൂപ്പ് .* ഇപ്പോഴും ആദ്യത്തേതുമായി പൊരുത്തപ്പെടുന്നു x... രണ്ടാമത്തെ .* മാത്രം എടുക്കുന്നു =. തീർച്ചയായും, എഞ്ചിൻ അക്ഷരാർത്ഥത്തിൽ പൊരുത്തപ്പെടുന്നില്ല =, കാരണം രണ്ടാമത്തെ ഗ്രൂപ്പ് ഇതിനകം ഇത് ചെയ്തിട്ടുണ്ട് .*. പിന്നെയും പിന്നോട്ട്. ഞങ്ങൾ മൂന്ന് പ്രതീകങ്ങളുടെ ഒരു സ്ട്രിംഗ് പൊരുത്തപ്പെടുത്താൻ ശ്രമിക്കുന്നു!

തൽഫലമായി, ആദ്യ ഗ്രൂപ്പ് .* ആദ്യത്തേതുമായി മാത്രം പൊരുത്തപ്പെടുന്നു x, രണ്ടാമത് .* - പൂജ്യം പ്രതീകങ്ങളോടെ, എഞ്ചിൻ ഒടുവിൽ അക്ഷരവുമായി പൊരുത്തപ്പെടുന്നു = ആവിഷ്കാരത്തിൽ с = ഇൻ ലൈൻ. അടുത്തത് അവസാന ഗ്രൂപ്പാണ് .* അവസാനത്തേതുമായി താരതമ്യം ചെയ്യുന്നു x.

23 പടികൾ മാത്രം x=x. Perl ഉപയോഗിക്കുന്നതിനെക്കുറിച്ചുള്ള ഒരു ചെറിയ വീഡിയോ കാണുക Regexp::Debugger, ഘട്ടങ്ങളും ബാക്ക്ട്രാക്കിംഗും എങ്ങനെ സംഭവിക്കുന്നുവെന്ന് കാണിക്കുന്നു.

ഇത് ഇതിനകം തന്നെ ധാരാളം ജോലിയാണ്, പകരം എന്തുചെയ്യും x=x നമുക്കുണ്ടാകും x=xx? അതായത് 33 പടികൾ. എങ്കിൽ x=xxx? 45. ബന്ധം രേഖീയമല്ല. എന്നതിൽ നിന്നുള്ള ഒരു താരതമ്യം ഗ്രാഫ് കാണിക്കുന്നു x=x ഇതിനായി x=xxxxxxxxxxxxxxxxxxxx (ക്സനുമ്ക്സ x после =). നമുക്ക് ശേഷം 20 x ഉണ്ടെങ്കിൽ =, 555 ഘട്ടങ്ങളിലൂടെ എഞ്ചിൻ പൊരുത്തപ്പെടുത്തൽ പൂർത്തിയാക്കുന്നു! (കൂടാതെ, നമുക്ക് നഷ്ടപ്പെട്ടിട്ടുണ്ടെങ്കിൽ x= കൂടാതെ സ്ട്രിംഗിൽ 20 അടങ്ങിയിരിക്കുന്നു x, പൊരുത്തങ്ങളൊന്നുമില്ലെന്ന് മനസ്സിലാക്കാൻ എഞ്ചിൻ 4067 ഘട്ടങ്ങൾ എടുക്കും).

താരതമ്യത്തിനുള്ള എല്ലാ ബാക്ക്ട്രാക്കിംഗും ഈ വീഡിയോ കാണിക്കുന്നു x=xxxxxxxxxxxxxxxxxxxx:

സ്ട്രിംഗ് വലുപ്പം കൂടുന്നതിനനുസരിച്ച്, പൊരുത്തപ്പെടുന്ന സമയം സൂപ്പർ-ലീനിയറായി വളരുന്നു എന്നതാണ് പ്രശ്‌നം. എന്നാൽ പതിവ് പദപ്രയോഗം അല്പം പരിഷ്കരിച്ചാൽ കാര്യങ്ങൾ കൂടുതൽ വഷളാകും. ഉണ്ടായിരുന്നു എന്ന് പറയാം .*.*=.*; (അതായത്, പാറ്റേണിന്റെ അവസാനം അക്ഷരാർത്ഥത്തിൽ ഒരു അർദ്ധവിരാമം ഉണ്ടായിരുന്നു). ഉദാഹരണത്തിന്, പോലുള്ള ഒരു പദപ്രയോഗം പൊരുത്തപ്പെടുത്തുന്നതിന് foo=bar;.

ഇവിടെ ബാക്ക്ട്രാക്ക് ചെയ്യുന്നത് ഒരു യഥാർത്ഥ ദുരന്തമായിരിക്കും. താരതമ്യത്തിന് x=x അതിന് 90 അല്ല, 23 ചുവടുകൾ എടുക്കും. ആ എണ്ണം അതിവേഗം വളരുകയാണ്. ഒത്തുനോക്കാൻ x= ഒപ്പം xnumx ഉം x, 5353 ഘട്ടങ്ങൾ ആവശ്യമാണ്. ചാർട്ട് ഇതാ. അച്ചുതണ്ട് മൂല്യങ്ങൾ നോക്കുക Y മുമ്പത്തെ ചാർട്ടുമായി താരതമ്യം ചെയ്യുമ്പോൾ.

നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടെങ്കിൽ, പരാജയപ്പെട്ട 5353 പൊരുത്ത ഘട്ടങ്ങളെല്ലാം പരിശോധിക്കുക x=xxxxxxxxxxxxxxxxxxxx и .*.*=.*;

അത്യാഗ്രഹമുള്ള പൊരുത്തത്തേക്കാൾ അലസത ഉപയോഗിക്കുന്നതിലൂടെ, ബാക്ക്‌ട്രാക്കിംഗിന്റെ വ്യാപ്തി നിയന്ത്രിക്കാനാകും. നമ്മൾ ഒറിജിനൽ എക്‌സ്‌പ്രഷൻ ഇതിലേക്ക് മാറ്റുകയാണെങ്കിൽ .*?.*?=.*?, താരതമ്യത്തിന് x=x ഇതിന് 11 ഘട്ടങ്ങൾ എടുക്കും (23 അല്ല). വേണ്ടി x=xxxxxxxxxxxxxxxxxxxx... എല്ലാം കാരണം ? после .* മുന്നോട്ട് പോകുന്നതിന് മുമ്പ് ഏറ്റവും കുറഞ്ഞ പ്രതീകങ്ങളുടെ എണ്ണം പൊരുത്തപ്പെടുത്താൻ എഞ്ചിനോട് പറയുന്നു.

എന്നാൽ അലസമായ മാപ്പിംഗുകൾ ബാക്ക്ട്രാക്കിംഗ് പ്രശ്നം പൂർണ്ണമായും പരിഹരിക്കുന്നില്ല. നാം വിനാശകരമായ ഉദാഹരണം മാറ്റിസ്ഥാപിക്കുകയാണെങ്കിൽ .*.*=.*; ഓൺ .*?.*?=.*?;, എക്സിക്യൂഷൻ സമയം അതേപടി തുടരും. x=x ഇപ്പോഴും 555 ഘട്ടങ്ങൾ ആവശ്യമാണ്, കൂടാതെ x= ഒപ്പം xnumx ഉം x - 5353.

ചെയ്യാൻ കഴിയുന്ന ഒരേയൊരു കാര്യം (കൂടുതൽ പ്രത്യേകതകൾക്കായി പാറ്റേൺ പൂർണ്ണമായി തിരുത്തിയെഴുതുന്നതിന് പുറമെ) റെഗുലർ എക്‌സ്‌പ്രഷൻ എഞ്ചിൻ അതിന്റെ ബാക്ക്‌ട്രാക്കിംഗ് സംവിധാനം ഉപേക്ഷിക്കുക എന്നതാണ്. ഇതാണ് അടുത്ത ഏതാനും ആഴ്ചകൾക്കുള്ളിൽ ഞങ്ങൾ ചെയ്യുന്നത്.

കെന്റ് തോംസൺ ഒരു ലേഖനം എഴുതിയ 1968 മുതൽ ഈ പ്രശ്നത്തിനുള്ള പരിഹാരം അറിയാം പ്രോഗ്രാമിംഗ് ടെക്നിക്കുകൾ: റെഗുലർ എക്സ്പ്രഷൻ സെർച്ച് അൽഗോരിതം ("പ്രോഗ്രാമിംഗ് രീതികൾ: റെഗുലർ എക്സ്പ്രഷൻ തിരയൽ അൽഗോരിതം"). ഒരു റെഗുലർ എക്‌സ്‌പ്രഷൻ നോൺ-ഡിറ്റർമിനിസ്റ്റിക് ഫിനൈറ്റ് സ്റ്റേറ്റ് മെഷീനുകളായി പരിവർത്തനം ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു മെക്കാനിസത്തെ ലേഖനം വിവരിക്കുന്നു, കൂടാതെ നോൺ-ഡിറ്റർമിനിസ്റ്റിക് ഫിനൈറ്റ് സ്റ്റേറ്റ് മെഷീനുകളിലെ അവസ്ഥ മാറ്റത്തിന് ശേഷം, പൊരുത്തപ്പെടുന്ന സ്ട്രിംഗിനെ രേഖീയമായി ആശ്രയിക്കുന്ന ഒരു അൽഗോരിതം ഉപയോഗിക്കുക.

പ്രോഗ്രാമിംഗ് രീതികൾ
റെഗുലർ എക്സ്പ്രഷൻ തിരയൽ അൽഗോരിതം
കെൻ തോംസൺ
ബെൽ ടെലിഫോൺ ലബോറട്ടറീസ്, ഇൻക്., മുറേ ഹിൽ, ന്യൂജേഴ്‌സി

വാചകത്തിലെ പ്രതീകങ്ങളുടെ ഒരു പ്രത്യേക സ്ട്രിംഗ് തിരയുന്നതിനുള്ള ഒരു രീതി ഇത് വിവരിക്കുന്നു കൂടാതെ ഈ രീതി കംപൈലർ രൂപത്തിൽ നടപ്പിലാക്കുന്നതിനെ കുറിച്ച് ചർച്ച ചെയ്യുന്നു. കമ്പൈലർ റെഗുലർ എക്സ്പ്രഷൻ സോഴ്സ് കോഡായി എടുക്കുകയും ഐബിഎം 7094 പ്രോഗ്രാം ഒബ്ജക്റ്റ് കോഡായി നിർമ്മിക്കുകയും ചെയ്യുന്നു. ഒബ്‌ജക്റ്റ് പ്രോഗ്രാം സെർച്ച് ടെക്‌സ്‌റ്റിന്റെ രൂപത്തിൽ ഇൻപുട്ട് എടുക്കുകയും തന്നിരിക്കുന്ന പതിവ് എക്‌സ്‌പ്രഷനുമായി ഒരു സ്ട്രിംഗ് പൊരുത്തപ്പെടുത്തുമ്പോൾ ഓരോ തവണയും ഒരു സിഗ്നൽ പുറപ്പെടുവിക്കുകയും ചെയ്യുന്നു. ലേഖനം ഉദാഹരണങ്ങളും പ്രശ്നങ്ങളും പരിഹാരങ്ങളും നൽകുന്നു.

അൽഗോരിതം
ഭാഗികമായി വിജയിച്ച തിരയൽ ഫലം നൽകുന്നതിൽ പരാജയപ്പെട്ടാൽ മുൻ തിരയൽ അൽഗോരിതങ്ങൾ ബാക്ക്ട്രാക്കിംഗിൽ കലാശിച്ചു.

കംപൈലേഷൻ മോഡിൽ, അൽഗോരിതം ചിഹ്നങ്ങളുമായി പ്രവർത്തിക്കില്ല. ഇത് കംപൈൽ ചെയ്ത കോഡിലേക്ക് നിർദ്ദേശങ്ങൾ നൽകുന്നു. നിർവ്വഹണം വളരെ വേഗത്തിലാണ് - നിലവിലെ ലിസ്റ്റിന്റെ മുകളിലേക്ക് ഡാറ്റ കൈമാറിയ ശേഷം, സാധാരണ എക്‌സ്‌പ്രഷനിൽ സാധ്യമായ എല്ലാ തുടർച്ചയായ പ്രതീകങ്ങൾക്കുമായി ഇത് യാന്ത്രികമായി തിരയുന്നു.
സമയ-പങ്കിടൽ ടെക്സ്റ്റ് എഡിറ്ററിൽ സന്ദർഭോചിതമായ തിരയലായി സമാഹരണവും തിരയൽ അൽഗോരിതം ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. തീർച്ചയായും, ഇത് അത്തരമൊരു തിരയൽ നടപടിക്രമത്തിന്റെ ഒരേയൊരു പ്രയോഗത്തിൽ നിന്ന് വളരെ അകലെയാണ്. ഉദാഹരണത്തിന്, ഈ അൽഗോരിതത്തിന്റെ ഒരു വകഭേദം അസംബ്ലറിലെ ഒരു പട്ടികയിൽ ഒരു ചിഹ്ന തിരയലായി ഉപയോഗിക്കുന്നു.
സാധാരണ പദപ്രയോഗങ്ങളും IBM 7094 കമ്പ്യൂട്ടർ പ്രോഗ്രാമിംഗ് ഭാഷയും വായനക്കാരന് പരിചിതമാണെന്ന് അനുമാനിക്കപ്പെടുന്നു.

കമ്പൈലർ
സമാന്തരമായി പ്രവർത്തിക്കുന്ന മൂന്ന് ഘട്ടങ്ങൾ കംപൈലറിൽ അടങ്ങിയിരിക്കുന്നു. ആദ്യ ഘട്ടം വാക്യഘടന ഫിൽട്ടറിംഗ് ആണ്, ഇത് വാക്യഘടനാപരമായി ശരിയായ പതിവ് എക്സ്പ്രഷനുകൾ മാത്രം കടന്നുപോകാൻ അനുവദിക്കുന്നു. പതിവ് എക്സ്പ്രഷനുകളുമായി പൊരുത്തപ്പെടുന്നതിന് ഈ ഘട്ടം "·" ഓപ്പറേറ്ററെയും ചേർക്കുന്നു. രണ്ടാം ഘട്ടത്തിൽ, പതിവ് എക്സ്പ്രഷൻ പോസ്റ്റ്ഫിക്സ് ഫോമിലേക്ക് പരിവർത്തനം ചെയ്യുന്നു. മൂന്നാം ഘട്ടത്തിൽ, ഒബ്ജക്റ്റ് കോഡ് സൃഷ്ടിക്കപ്പെടുന്നു. ആദ്യ 2 ഘട്ടങ്ങൾ വ്യക്തമാണ്, ഞങ്ങൾ അവയിൽ വസിക്കുകയില്ല.

തോംസണിന്റെ ലേഖനം നോൺ-ഡെർമിനിസ്റ്റിക് ഫിനിറ്റ് സ്റ്റേറ്റ് മെഷീനുകളെ കുറിച്ച് പറയുന്നില്ല, പക്ഷേ അത് ലീനിയർ ടൈം അൽഗോരിതം നന്നായി വിശദീകരിക്കുകയും IBM 60-ന് അസംബ്ലി ഭാഷാ കോഡ് സൃഷ്ടിക്കുന്ന ഒരു ALGOL-7094 പ്രോഗ്രാം അവതരിപ്പിക്കുകയും ചെയ്യുന്നു. നടപ്പിലാക്കുന്നത് ബുദ്ധിമുട്ടാണ്, പക്ഷേ ആശയം വളരെ ലളിതമാണ്.

നിലവിലെ തിരയൽ പാത. ഒരു ഇൻപുട്ടും രണ്ട് ഔട്ട്പുട്ടുകളും ഉള്ള ഒരു ⊕ ഐക്കൺ ആണ് ഇത് പ്രതിനിധീകരിക്കുന്നത്.
ഒരു സാധാരണ എക്സ്പ്രഷൻ ഉദാഹരണം രൂപാന്തരപ്പെടുത്തുമ്പോൾ മൂന്നാമത്തെ സമാഹാര ഘട്ടത്തിന്റെ പ്രവർത്തനങ്ങൾ ചിത്രം 1 കാണിക്കുന്നു. ഉദാഹരണത്തിലെ ആദ്യത്തെ മൂന്ന് പ്രതീകങ്ങൾ a, b, c എന്നിവയാണ്, ഓരോന്നും ഒരു സ്റ്റാക്ക് എൻട്രി S[i] ഉം NNODE ഫീൽഡും സൃഷ്ടിക്കുന്നു.

ഒരൊറ്റ സ്റ്റാക്ക് എൻട്രിയിൽ തത്ഫലമായുണ്ടാകുന്ന റെഗുലർ എക്സ്പ്രഷൻ സൃഷ്ടിക്കുന്നതിന് നിലവിലുള്ള കോഡിലേക്ക് NNODE ചെയ്യുക (ചിത്രം 5 കാണുക)

ഒരു സാധാരണ പദപ്രയോഗം ഇങ്ങനെയായിരിക്കും .*.*=.*, തോംസന്റെ ലേഖനത്തിൽ നിന്നുള്ള ചിത്രങ്ങളിലെന്നപോലെ നിങ്ങൾ അത് സങ്കൽപ്പിക്കുന്നുവെങ്കിൽ.

ചിത്രത്തിൽ. 0 0 മുതൽ ആരംഭിക്കുന്ന അഞ്ച് അവസ്ഥകളും 3, 1, 2 എന്നീ സംസ്ഥാനങ്ങളിൽ നിന്ന് ആരംഭിക്കുന്ന 3 സൈക്കിളുകളും ഉണ്ട്. ഈ മൂന്ന് സൈക്കിളുകളും മൂന്നിനോട് യോജിക്കുന്നു. .* ഒരു പതിവ് ഭാവത്തിൽ. ഡോട്ടുകളുള്ള 3 അണ്ഡങ്ങൾ ഒരു ചിഹ്നവുമായി പൊരുത്തപ്പെടുന്നു. ഒരു ചിഹ്നത്തോടുകൂടിയ ഓവൽ = ഒരു അക്ഷരീയ സ്വഭാവവുമായി പൊരുത്തപ്പെടുന്നു =. സംസ്ഥാനം 4 അന്തിമമാണ്. ഞങ്ങൾ അതിൽ എത്തിയാൽ, പതിവ് പദപ്രയോഗം പൊരുത്തപ്പെടുന്നു.

സാധാരണ എക്സ്പ്രഷൻ പൊരുത്തപ്പെടുത്തലിനായി അത്തരമൊരു സംസ്ഥാന ഡയഗ്രം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് കാണാൻ .*.*=.*, ഞങ്ങൾ സ്ട്രിംഗ് മാച്ചിംഗ് നോക്കാം x=x. ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, സ്റ്റേറ്റ് 0-ൽ നിന്നാണ് പ്രോഗ്രാം ആരംഭിക്കുന്നത്. 1.

ഈ അൽഗോരിതം പ്രവർത്തിക്കുന്നതിന്, സ്റ്റേറ്റ് മെഷീൻ ഒരേസമയം നിരവധി സംസ്ഥാനങ്ങളിൽ ഉണ്ടായിരിക്കണം. ഒരു നോൺ-ഡിറ്റർമിനിസ്റ്റിക് ഫിനിറ്റ് മെഷീൻ സാധ്യമായ എല്ലാ പരിവർത്തനങ്ങളും ഒരേസമയം നടത്തും.

ഇൻപുട്ട് ഡാറ്റ വായിക്കാൻ സമയമുണ്ടാകുന്നതിന് മുമ്പ്, അത് ചിത്രം 1-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ ആദ്യ രണ്ട് അവസ്ഥകളിലേക്കും (2, 2) പോകുന്നു. XNUMX.

ചിത്രത്തിൽ. അവൻ ആദ്യം നോക്കുമ്പോൾ എന്താണ് സംഭവിക്കുന്നതെന്ന് 2 കാണിക്കുന്നു x в x=x. x സംസ്ഥാനം 1-ൽ നിന്ന് സംസ്ഥാനം 1-ലേക്ക് പോയി, മുകളിലെ പോയിന്റിലേക്ക് മാപ്പ് ചെയ്യാൻ കഴിയും. അല്ലെങ്കിൽ x സംസ്ഥാനം 2-ൽ നിന്ന് സംസ്ഥാനം 2-ലേക്ക് പോയി, താഴെയുള്ള പോയിന്റിലേക്ക് മാപ്പ് ചെയ്യാൻ കഴിയും.

ആദ്യത്തേത് പൊരുത്തപ്പെടുത്തിയ ശേഷം x в x=x ഞങ്ങൾ ഇപ്പോഴും 1, 2 എന്നീ സംസ്ഥാനങ്ങളിലാണ്. ഞങ്ങൾക്ക് 3 അല്ലെങ്കിൽ 4 അവസ്ഥയിൽ എത്താൻ കഴിയില്ല, കാരണം നമുക്ക് അക്ഷരാർത്ഥത്തിൽ ഒരു പ്രതീകം ആവശ്യമാണ് =.

അപ്പോൾ അൽഗോരിതം പരിഗണിക്കുന്നു = в x=x. ഇതിന് മുമ്പുള്ള x പോലെ, ഇത് സംസ്ഥാനം 1 മുതൽ സംസ്ഥാനം 1 ലേക്ക് അല്ലെങ്കിൽ സംസ്ഥാനം 2 ൽ നിന്ന് സംസ്ഥാനം 2 ലേക്ക് മികച്ച രണ്ട് ലൂപ്പുകളിൽ ഒന്നുമായി പൊരുത്തപ്പെടുത്താനാകും, എന്നാൽ അൽഗോരിതം അക്ഷരാർത്ഥത്തിൽ പൊരുത്തപ്പെടുത്താനാകും = സംസ്ഥാനം 2-ൽ നിന്ന് 3-ലേക്ക് നീങ്ങുക (ഉടൻ 4). ഇത് ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നു. 3.

അൽഗോരിതം പിന്നീട് അവസാനത്തേതിലേക്ക് നീങ്ങുന്നു x в x=x. 1, 2 എന്നീ സംസ്ഥാനങ്ങളിൽ നിന്ന് 1, 2 എന്നീ സംസ്ഥാനങ്ങളിലേക്ക് സമാന പരിവർത്തനങ്ങൾ സാധ്യമാണ്. സംസ്ഥാനം 3 മുതൽ x വലത് വശത്തുള്ള പോയിന്റുമായി പൊരുത്തപ്പെടുത്താനും സംസ്ഥാനം 3 ലേക്ക് മടങ്ങാനും കഴിയും.

ഈ ഘട്ടത്തിൽ, ഓരോ കഥാപാത്രവും x=x പരിഗണിച്ചു, ഞങ്ങൾ അവസ്ഥ 4-ൽ എത്തിയതിനാൽ, പതിവ് പദപ്രയോഗം ആ സ്‌ട്രിംഗുമായി പൊരുത്തപ്പെടുന്നു. ഓരോ പ്രതീകവും ഒരിക്കൽ പ്രോസസ്സ് ചെയ്യുന്നു, അതിനാൽ ഈ അൽഗോരിതം ഇൻപുട്ട് സ്ട്രിംഗിന്റെ ദൈർഘ്യത്തിൽ രേഖീയമാണ്. പിന്നെ പിന്നോട്ടില്ല.

വ്യക്തമായും, അവസ്ഥ 4-ൽ എത്തിയ ശേഷം (അൽഗരിതം പൊരുത്തപ്പെടുമ്പോൾ x=) മുഴുവൻ റെഗുലർ എക്സ്പ്രഷനും പൊരുത്തപ്പെടുന്നു, അൽഗോരിതം അത് പരിഗണിക്കാതെ തന്നെ അവസാനിപ്പിച്ചേക്കാം x.

ഈ അൽഗോരിതം ഇൻപുട്ട് സ്ട്രിംഗിന്റെ വലുപ്പത്തെ രേഖീയമായി ആശ്രയിച്ചിരിക്കുന്നു.

അവലംബം: www.habr.com