Nota traduttur: għall-konvenjenza tal-qarrejja, id-dati jingħataw fi żmien Moska
Dan l-aħħar tlifna l-iskadenza ta’ wieħed miċ-ċertifikati użati biex jiffirmaw add-ons. Dan wassal biex is-supplimenti ġew diżattivati għall-utenti. Issa li l-problema ġiet irranġata l-aktar, nixtieq naqsam id-dettalji ta’ dak li ġara u x-xogħol li sar.
Sfond: żidiet u firem
Add-ons installati għandu jkollhom firma diġitali, li tipproteġi lill-utenti minn add-ons malizzjużi u teħtieġ reviżjoni minima ta 'add-ons mill-persunal ta' Mozilla. Daħħalna dan ir-rekwiżit fl-2015 għax konna qed nesperjenzaw problemi serji bi add-ons malizzjużi.
Kif taħdem: Kull kopja ta' Firefox fiha "ċertifikat ta' l-għerq". Iċ-ċavetta għal din l-"għerq" hija maħżuna fiha Modulu tas-Sigurtà tal-Hardware (HSM)mingħajr aċċess għan-netwerk. Kull ftit snin, "ċertifikat intermedju" ġdid jiġi ffirmat b'din iċ-ċavetta, li tintuża meta tiffirma add-ons. Meta żviluppatur jissottometti add-on, aħna noħolqu "ċertifikat tat-tmiem" temporanju u niffirmawh billi tuża ċertifikat intermedju. Iż-żieda innifsu mbagħad jiġi ffirmat maċ-ċertifikat finali. Skematikament jidher bħal dan.
Jekk jogħġbok innota li kull ċertifikat għandu "suġġett" (lilu nħareġ iċ-ċertifikat) u "emittent" (li ħareġ iċ-ċertifikat). Fil-każ ta' ċertifikat għeruq, "suġġett" = "emittent", iżda għal ċertifikati oħra, min joħroġ iċ-ċertifikat huwa s-suġġett taċ-ċertifikat prinċipali li bih jiġi ffirmat.
Punt importanti: kull add-on huwa ffirmat b'ċertifikat tat-tmiem uniku, iżda kważi dejjem dawn iċ-ċertifikati tat-tmiem huma ffirmati mill-istess ċertifikat intermedju.
Nota tal-awtur: L-eċċezzjoni hija żidiet antiki ħafna. Dak iż-żmien, intużaw diversi ċertifikati intermedji.
Dan iċ-ċertifikat intermedju kkawża problemi: kull ċertifikat huwa validu għal ċertu perjodu. Qabel jew wara dan il-perjodu, iċ-ċertifikat huwa invalidu u l-browser mhux se juża add-ons iffirmati minn dan iċ-ċertifikat. Sfortunatament, iċ-ċertifikat intermedju skada fl-4 ta’ Mejju fl-4 am.
Il-konsegwenzi ma dehrux immedjatament. Firefox ma jiċċekkjax il-firem ta 'add-ons installati b'mod kostanti, iżda madwar darba kull 24 siegħa, u l-ħin tal-verifika huwa individwali għal kull utent. Bħala riżultat, xi nies esperjenzaw problemi immedjatament, filwaqt li oħrajn esperjenzaw problemi ħafna aktar tard. L-ewwel sirna konxji tal-problema madwar iż-żmien li skada ċ-ċertifikat u immedjatament bdejna nfittxu soluzzjoni.
Tnaqqis tal-ħsara
Ladarba rrealizzajna x’ġara, ippruvajna nevitaw li s-sitwazzjoni tmur għall-agħar.
L-ewwelnett, waqfu jaċċettaw u jiffirmaw żidiet ġodda. M'hemm l-ebda skop li tuża ċertifikat skadut għal dan. Meta nħares lura, ngħid li stajna nħallu kollox kif kien. Issa bdejna naċċettaw is-supplimenti.
It-tieni, huma immedjatament bagħtu soluzzjoni li żammet il-firem milli jiġu ċċekkjati kuljum. Għalhekk, salvajna lil dawk l-utenti li l-browser tagħhom kien għadu ma kellux ħin biex jiċċekkja s-add-ons fl-aħħar XNUMX siegħa. Din it-tiswija issa ġiet irtirata u m'għadhiex meħtieġa.
Operazzjoni parallela
Fit-teorija, is-soluzzjoni għall-problema tidher sempliċi: toħloq ċertifikat intermedju validu ġdid u ffirma mill-ġdid kull add-on. Sfortunatament dan mhux se jaħdem:
- ma nistgħux niffirmaw mill-ġdid malajr 15-il elf add-ons f'daqqa, is-sistema mhix iddisinjata għal tagħbija bħal din
- Wara li niffirmaw iż-żidiet, il-verżjonijiet aġġornati jeħtieġ li jiġu kkunsinnati lill-utenti. Il-biċċa l-kbira tal-add-ons huma installati minn servers ta’ Mozilla, għalhekk Firefox se jsib aġġornamenti fl-XNUMX siegħa li ġejjin, iżda xi żviluppaturi jqassmu add-ons iffirmati permezz ta’ kanali ta’ partijiet terzi, u għalhekk l-utenti jkollhom jaġġornaw tali add-ons manwalment.
Minflok, ippruvajna niżviluppaw soluzzjoni li tilħaq lill-utenti kollha mingħajr ma teħtieġ ħafna jew ebda azzjoni min-naħa tagħhom.
Pjuttost malajr wasalna għal żewġ strateġiji ewlenin, li użajna b'mod parallel:
- Aġġorna Firefox biex tbiddel il-perjodu ta' validità taċ-ċertifikat. Dan se jagħmel l-add-ons eżistenti maġikament jaħdmu għal darb'oħra, iżda se jeħtieġ ir-rilaxx u t-tbaħħir ta 'bini ġdid ta' Firefox
- Iġġenera ċertifikat validu u b'xi mod tikkonvinċi lil Firefox biex jaċċettah minflok dak eżistenti li jkun skada
Iddeċidejna li nużaw l-ewwel għażla, li dehret pjuttost operabbli. Fl-aħħar tal-ġurnata, ħarġu t-tieni soluzzjoni (ċertifikat ġdid), li nitkellmu dwarha aktar tard.
Tissostitwixxi ċertifikat
Kif semmejt hawn fuq, kien meħtieġ:
- toħloq ċertifikat validu ġdid
- installah mill-bogħod fil-Firefox
Biex tifhem għaliex dan jaħdem, ejja nagħtu ħarsa aktar mill-qrib lejn il-proċess ta 'verifika add-on. Is-add-on innifsu jiġi bħala sett ta 'fajls, inkluża katina ta' ċertifikati użati għall-iffirmar. Bħala riżultat, iż-żieda tista 'tiġi vverifikata jekk il-browser ikun jaf iċ-ċertifikat tal-għeruq, li huwa mibni f'Firefox fil-ħin tal-bini. Madankollu, kif nafu diġà, iċ-ċertifikat intermedju skada, għalhekk huwa impossibbli li tivverifika l-add-on.
Meta Firefox jipprova jivverifika add-on, mhuwiex limitat għall-użu taċ-ċertifikati li jinsabu fi ħdan is-add-on innifsu. Minflok, il-browser jipprova joħloq katina ta 'ċertifikati valida, li tibda miċ-ċertifikat tat-tmiem u tkompli sakemm tasal fl-għerq. Fl-ewwel livell, nibdew biċ-ċertifikat tat-tmiem u mbagħad insibu ċ-ċertifikat li s-suġġett tiegħu huwa l-emittent taċ-ċertifikat tat-tmiem (jiġifieri, iċ-ċertifikat intermedju). Tipikament dan iċ-ċertifikat intermedju jiġi fornut mal-add-on, iżda kwalunkwe ċertifikat mill-ħażna tal-browser jista 'jservi wkoll bħala dan iċ-ċertifikat intermedju. Jekk nistgħu nżidu mill-bogħod ċertifikat validu ġdid fil-maħżen taċ-ċertifikati, Firefox jipprova jużah. Is-sitwazzjoni qabel u wara l-installazzjoni ta 'ċertifikat ġdid.
Wara li jinstalla ċ-ċertifikat il-ġdid, Firefox ikollu żewġ għażliet meta jivvalida l-katina taċ-ċertifikati: uża ċ-ċertifikat invalidu l-antik (li mhux se jaħdem) jew iċ-ċertifikat validu l-ġdid (li se jaħdem). Huwa importanti li ċ-ċertifikat il-ġdid ikun fih l-istess isem tas-suġġett u ċavetta pubblika bħaċ-ċertifikat l-antik, għalhekk il-firma tiegħu fuq iċ-ċertifikat finali tkun valida. Firefox huwa intelliġenti biżżejjed biex jipprova ż-żewġ għażliet sakemm isib waħda li taħdem, u għalhekk is-add-ons jerġgħu jiġu ttestjati. Innota li din hija l-istess loġika li nużaw biex nivvalidaw iċ-ċertifikati TLS.
Nota tal-Awtur: Qarrejja familjari mal-WebPKI se jinnotaw li ċ-ċertifikati inkroċjati jaħdmu eżattament bl-istess mod.
Il-ħaġa kbira dwar din it-tiswija hija li ma teħtieġx li terġa 'tiffirma add-ons eżistenti. Hekk kif il-browser jirċievi ċ-ċertifikat il-ġdid, is-add-ons kollha jerġgħu jaħdmu. L-isfida li fadal hija li twassal iċ-ċertifikat il-ġdid lill-utenti (awtomatikament u mill-bogħod), kif ukoll li Firefox jerġa' jiċċekkja add-ons b'diżabilità.
In-Normandija u s-sistema tar-riċerka
Ironikament, din il-problema tissolva minn add-on speċjali msejjaħ "sistema". Biex twettaq ir-riċerka, żviluppajna sistema msejħa Normandy li tagħti riċerka lill-utenti. Dawn l-istudji jitwettqu awtomatikament fil-browser, u għandhom aċċess imtejjeb għall-APIs interni ta' Firefox. Ir-riċerka tista 'żżid ċertifikati ġodda fil-maħżen taċ-ċertifikati.
Nota tal-awtur: M'aħniex inżidu ċertifikat b'xi privileġġi speċjali; huwa ffirmat miċ-ċertifikat ta 'l-għeruq, għalhekk Firefox jafdah. Aħna sempliċiment inżiduha mal-ġabra ta 'ċertifikati li jistgħu jintużaw mill-browser.
Allura s-soluzzjoni hija li jinħoloq studju:
- installazzjoni taċ-ċertifikat il-ġdid li ħloqna għall-utenti
- iġiegħel lill-browser jiċċekkja mill-ġdid add-ons b'diżabilità sabiex jerġgħu jaħdmu
"Imma stenna," tgħid, "is-supplimenti ma jaħdmux, kif nista' nniedi add-on tas-sistema?" Ejja niffirmawha b'ċertifikat ġdid!
Tpoġġiha kollha flimkien... għaliex qed tieħu daqshekk?
Allura, il-pjan: toħroġ ċertifikat ġdid biex tissostitwixxi l-antik, oħloq sistema add-on u tinstallah lill-utenti permezz tan-Normandija. Il-problemi, kif għedt, bdew fl-4 ta’ Mejju fl-4:00, u diġà f’12:44 tal-istess jum, inqas minn 9 sigħat wara, bgħatna fix-Normandija. Huwa ħa 6-12-il siegħa oħra biex jilħaq l-utenti kollha. Mhux ħażin xejn, iżda n-nies fuq Twitter qed jistaqsu għaliex ma stajniex aġixxew aktar malajr.
L-ewwel, ħa ż-żmien biex jinħareġ ċertifikat intermedju ġdid. Kif semmejt hawn fuq, iċ-ċavetta għaċ-ċertifikat tal-għeruq hija maħżuna offline fil-modulu tas-sigurtà tal-ħardwer. Dan huwa tajjeb mil-lat tas-sigurtà, peress li l-għerq jintuża rari ħafna u għandu jkun protett b'mod affidabbli, iżda huwa kemmxejn inkonvenjenti meta jkollok bżonn tiffirma b'mod urġenti ċertifikat ġdid. Wieħed mill-inġiniera tagħna kellu jivvjaġġa lejn il-faċilità tal-ħażna tal-HSM. Imbagħad kien hemm tentattivi bla suċċess biex jinħareġ iċ-ċertifikat korrett, u kull tentattiv jiswa siegħa jew sagħtejn li qattgħu l-ittestjar.
It-tieni nett, l-iżvilupp tas-sistema add-on ħa xi żmien. Kunċettwalment huwa sempliċi ħafna, iżda anke programmi sempliċi jeħtieġu kura. Ridna niżguraw li ma nagħmlux is-sitwazzjoni agħar. Ir-riċerka trid tiġi ttestjata qabel tintbagħat lill-utenti. Barra minn hekk, iż-żieda trid tkun iffirmata, iżda s-sistema tagħna ta 'ffirmar ta' add-on kienet diżattivata, għalhekk kellna nsibu soluzzjoni.
Fl-aħħarnett, ladarba kellna r-riċerka lesta għas-sottomissjoni, l-iskjerament ħa ż-żmien. Il-browser jiċċekkja għal aġġornamenti tan-Normandija kull 6 sigħat. Mhux il-kompjuters kollha huma dejjem mixgħula u konnessi ma 'l-Internet, għalhekk se jieħu ż-żmien biex it-tiswija tinfirex lill-utenti.
Passi finali
Ir-riċerka għandha tirranġa l-problema għal ħafna utenti, iżda mhix disponibbli għal kulħadd. Xi utenti jeħtieġu approċċ speċjali:
- utenti li jkunu diżabilitaw ir-riċerka jew it-telemetrija
- utenti tal-verżjoni Android (Fennec), fejn ir-riċerka ma hija appoġġjata xejn
- utenti ta' builds personalizzati ta' Firefox ESR f'intrapriżi fejn it-telemetrija ma tistax tiġi attivata
- utenti bilqiegħda wara prokuri MitM, peress li s-sistema ta' installazzjoni add-on tagħna tuża pinning taċ-ċavetta, li ma taħdimx ma' tali prokuri
- utenti ta' verżjonijiet legacy ta' Firefox li ma jappoġġjawx ir-riċerka
Ma nistgħu nagħmlu xejn dwar l-aħħar kategorija ta 'utenti - xorta għandhom jaġġornaw għall-verżjoni l-ġdida ta' Firefox, minħabba li dawk skaduti għandhom vulnerabbiltajiet serji mhux patched. Aħna nafu li xi nies jibqgħu fuq verżjonijiet eqdem ta' Firefox għax iridu jħaddmu add-ons antiki, iżda ħafna mill-add-ons antiki diġà ġew trasferiti għal verżjonijiet aktar ġodda tal-browser. Għal utenti oħra, żviluppajna garża li se tinstalla ċertifikat ġdid. Ġie rilaxxat bħala rilaxx tal-bugfix (nota tat-traduttur: Firefox 66.0.5), sabiex in-nies jiksbuha - x'aktarx diġà kisbuha - permezz tal-kanal ta 'aġġornament regolari. Jekk qed tuża build apposta ta' Firefox ESR, jekk jogħġbok ikkuntattja lill-mantenitur tiegħek.
Nifhmu li dan mhux ideali. F'xi każijiet, l-utenti tilfu dejta add-on (per eżempju, dejta add-on Kontenituri b'ħafna Kontijiet).
Dan l-effett sekondarju ma setax jiġi evitat, iżda nemmnu li fi żmien qasir għażilna l-aħjar soluzzjoni għall-biċċa l-kbira tal-utenti. Fit-tul, se nfittxu approċċi arkitettoniċi oħra aktar avvanzati.
Il-lezzjonijiet
L-ewwel, it-tim tagħna għamel biċċa xogħol mill-aqwa ħoloq u tbaħħir soluzzjoni f'inqas minn 12-il siegħa wara li ġiet skoperta l-kwistjoni. Bħala xi ħadd li attendejt il-laqgħat, nista’ ngħid li f’din is-sitwazzjoni diffiċli n-nies ħadmu ħafna u ftit li xejn inħela l-ħin.
Ovvjament, xejn minn dan ma kellu jiġri. Huwa ċar li huwa utli li naġġustaw il-proċessi tagħna biex titnaqqas il-probabbiltà ta' inċidenti bħal dawn u tagħmel ir-rimedju aktar faċli.
Il-ġimgħa d-dieħla se nippubblikaw post-mortem uffiċjali u lista ta’ bidliet li beħsiebna nagħmlu. Għalissa, ser naqsam il-ħsibijiet tiegħi. L-ewwel, għandu jkun hemm mod aħjar biex jiġi mmonitorjat l-istatus ta 'dak li huwa bomba tal-ħin potenzjali. Irridu nkunu ċerti li ma nsibux ruħna f’sitwazzjoni fejn wieħed minnhom jaħdem f’daqqa. Għadna qed naħdmu d-dettalji, iżda bħala minimu, huwa meħtieġ li jitqiesu l-affarijiet kollha bħal dawn.
It-tieni, neħtieġu mekkaniżmu biex inwasslu aġġornamenti malajr lill-utenti, anke meta—speċjalment meta—kollox ifalli. Kien kbir li stajna nużaw is-sistema ta '"riċerka", iżda hija għodda imperfetta u għandha xi effetti sekondarji mhux mixtieqa. B'mod partikolari, nafu li ħafna utenti għandhom aġġornamenti awtomatiċi mixgħula, iżda jippreferu li ma jipparteċipawx fir-riċerka (nammetti, għandihom mitfija wkoll!). Fl-istess ħin, neħtieġu mod kif nibagħtu aġġornamenti lill-utenti, iżda tkun xi tkun l-implimentazzjoni teknika interna, l-utenti għandhom ikunu jistgħu jissottoskrivu għal aġġornamenti (inklużi hot fixes) iżda jagħżlu li ma jagħmlux kollox. Barra minn hekk, il-kanal tal-aġġornament għandu jkun aktar reattiv milli hu issa. Anke fis-6 ta 'Mejju, kien għad hemm utenti li ma ħadu vantaġġ la mill-iffissar u lanqas mill-verżjoni l-ġdida. Din il-problema kienet diġà nħadmet fuqha, iżda dak li ġara wera kemm hi importanti.
Fl-aħħarnett, ser nagħtu ħarsa aktar mill-qrib lejn l-arkitettura tas-sigurtà tas-add-on biex niżguraw li tipprovdi l-livell it-tajjeb ta 'sigurtà b'riskju minimu li tkisser xi ħaġa.
Il-ġimgħa d-dieħla se nħarsu lejn ir-riżultati ta’ analiżi aktar bir-reqqa ta’ dak li ġara, iżda sadanittant inkun kuntent nwieġeb il-mistoqsijiet bl-email: [protett bl-email]
Sors: linux.org.ru