Технички детали за неодамнешното оневозможување на додатоците во Firefox

Забелешка преведувач: за погодност на читателите, датумите се дадени во московско време

Неодамна го пропуштивме истекувањето на еден од сертификатите што се користат за потпишување додатоци. Ова резултираше со оневозможување на додатоците за корисниците. Сега, кога проблемот е главно решен, би сакал да ги споделам деталите за тоа што се случило и за работата што е направена.

Позадина: дополнувања и потписи

Иако многу луѓе го користат прелистувачот надвор од кутијата, Firefox поддржува екстензии наречени „додатоци“. Со нивна помош, корисниците додаваат различни функции на прелистувачот. Има над 15 илјади додатоци: од блокирање на реклами да управувајте со стотици јазичиња.

Мора да има инсталирани додатоци дигитален потпис, што ги штити корисниците од малициозни додатоци и бара минимален преглед на додатоците од персоналот на Mozilla. Ова барање го воведовме во 2015 година бидејќи го доживувавме сериозни проблеми со малициозни додатоци.

Како функционира: Секоја копија на Firefox содржи „root сертификат“. Клучот за овој „корен“ е зачуван во Хардверски безбедносен модул (HSM)без пристап до мрежата. На секои неколку години, со овој клуч се потпишува нов „среден сертификат“, кој се користи при потпишување додатоци. Кога развивачот поднесува додаток, создаваме привремен „краен сертификат“ и го потпишуваме со помош на среден сертификат. Самиот додаток потоа се потпишува со конечниот сертификат. Шематски изгледа вака.

Ве молиме имајте предвид дека секој сертификат има „предмет“ (на кого му е издаден сертификатот) и „издавач“ (кој го издал сертификатот). Во случај на коренски сертификат, "subject" = "издавач", но за други сертификати, издавачот на сертификатот е предмет на матичниот сертификат со кој е потпишан.

Важна точка: секој додаток е потпишан со уникатен завршен сертификат, но скоро секогаш овие завршни сертификати се потпишани од истиот среден сертификат.

Забелешка на авторот: Исклучок се многу стари додатоци. Во тоа време се користеа различни посредни сертификати.

Овој среден сертификат предизвика проблеми: секој сертификат е валиден одреден период. Пред или по овој период, сертификатот е неважечки и прелистувачот нема да користи додатоци потпишани со овој сертификат. За жал, интермедијарниот сертификат истече на 4 мај во 4 часот наутро.

Последиците не се појавија веднаш. Firefox не ги проверува потписите на инсталираните додатоци постојано, туку приближно еднаш на секои 24 часа, а времето за верификација е индивидуално за секој корисник. Како резултат на тоа, некои луѓе доживеале проблеми веднаш, додека други доживеале проблеми многу подоцна. Прво станавме свесни за проблемот околу времето кога сертификатот истече и веднаш почнавме да бараме решение.

Намалување на штетата

Откако сфативме што се случи, се обидовме да спречиме влошување на ситуацијата.

Прво, престанаа да прифаќаат и потпишуваат нови додатоци. Нема смисла да користите истечен сертификат за ова. Гледајќи наназад, би рекол дека можевме да оставиме се како што беше. Сега продолживме да прифаќаме додатоци.

Второ, тие веднаш испратија поправка што оневозможуваше секојдневно да се проверуваат потписите. Така, ги зачувавме оние корисници чиј прелистувач сè уште немаше време да ги провери додатоците во последните XNUMX часа. Оваа поправка сега е повлечена и повеќе не е потребна.

Паралелно работење

Во теорија, решението за проблемот изгледа едноставно: креирајте нов валиден среден сертификат и повторно потпишете го секој додаток. За жал, ова нема да работи:

• не можеме брзо да потпишеме 15 илјади додатоци одеднаш, системот не е дизајниран за такво оптоварување
• Откако ќе ги потпишеме додатоците, ажурираните верзии треба да бидат доставени до корисниците. Повеќето додатоци се инсталирани од серверите на Mozilla, така што Firefox ќе најде ажурирања во следните XNUMX часа, но некои програмери дистрибуираат потпишани додатоци преку канали од трети страни, така што корисниците ќе мора да ги ажурираат таквите додатоци рачно.

Наместо тоа, се обидовме да развиеме поправка што ќе допре до сите корисници без да бара многу или никакво дејство од нивна страна.

Доста брзо дојдовме до две главни стратегии, кои ги користевме паралелно:

• Ажурирајте го Firefox за да го промените периодот на важност на сертификатот. Ова ќе ги направи постоечките додатоци повторно магично да работат, но ќе бара објавување и испраќање на нова верзија на Firefox
• Генерирајте валиден сертификат и некако убедете го Firefox да го прифати наместо постоечкиот што е истечен

Решивме прво да ја искористиме првата опција, која изгледаше доста изводлива. На крајот на денот, тие објавија втор поправка (нов сертификат), за кој ќе зборуваме подоцна.

Замена на сертификат

Како што споменав погоре, беше потребно:

• креирајте нов валиден сертификат
• инсталирајте го од далечина во Firefox

За да разбереме зошто ова функционира, ајде внимателно да го разгледаме процесот на проверка на додатоците. Самиот додаток доаѓа како збир на датотеки, вклучително и синџир на сертификати што се користат за потпишување. Како резултат на тоа, додатокот може да се потврди ако прелистувачот го знае коренскиот сертификат, кој е вграден во Firefox за време на изградбата. Сепак, како што веќе знаеме, интермедијарниот сертификат е истечен, па затоа е невозможно да се потврди додатокот.

Кога Firefox се обидува да потврди додаток, тоа не е ограничено на користење на сертификатите содржани во самиот додаток. Наместо тоа, прелистувачот се обидува да создаде валиден синџир на сертификати, почнувајќи од крајниот сертификат и продолжувајќи додека не дојде до коренот. На прво ниво, започнуваме со завршниот сертификат и потоа го наоѓаме сертификатот чиј предмет е издавачот на завршниот сертификат (односно, интермедијарниот сертификат). Вообичаено, овој среден сертификат се испорачува со додатокот, но кој било сертификат од складиштето на прелистувачот може да послужи и како овој среден сертификат. Ако можеме далечински да додадеме нов валиден сертификат во продавницата за сертификати, Firefox ќе се обиде да го користи. Ситуацијата пред и по инсталирањето на нов сертификат.

По инсталирањето на новиот сертификат, Firefox ќе има две опции при потврдување на синџирот на сертификати: користете го стариот неважечки сертификат (кој нема да работи) или новиот валиден сертификат (кој ќе работи). Важно е новиот сертификат да го содржи истиот предмет и јавен клуч како и стариот сертификат, така што неговиот потпис на конечниот сертификат ќе биде валиден. Firefox е доволно паметен да ги испроба двете опции додека не најде една што работи, па додатоците повторно се тестираат. Забележете дека ова е истата логика што ја користиме за потврдување на TLS сертификатите.

Забелешка на авторот: Читателите запознаени со WebPKI ќе забележат дека вкрстените сертификати работат на ист начин.

Добрата работа во врска со оваа поправка е тоа што не бара од вас повторно потпишување на постоечките додатоци. Штом прелистувачот го добие новиот сертификат, сите додатоци ќе работат повторно. Преостанатиот предизвик е да се достави новиот сертификат до корисниците (автоматски и далечински), како и да се натера Firefox повторно да ги проверува оневозможените додатоци.

Нормандија и истражувачкиот систем

Иронично, овој проблем е решен со посебен додаток наречен „систем“. За да спроведеме истражување, развивме систем наречен Нормандија кој доставува истражување до корисниците. Овие студии автоматски се изведуваат во прелистувачот и имаат подобрен пристап до внатрешните API на Firefox. Истражувањето може да додаде нови сертификати во продавницата за сертификати.

Забелешка на авторот: Не додаваме сертификат со посебни привилегии; тој е потпишан од коренскиот сертификат, па Firefox му верува. Ние едноставно го додаваме во базенот на сертификати што може да ги користи прелистувачот.

Значи, решението е да се создаде студија:

• инсталирање на новиот сертификат што го создадовме за корисниците
• принудувајќи го прелистувачот повторно да ги провери оневозможените додатоци за да работат повторно

„Но, чекајте“, велите, „додатоците не функционираат, како можам да стартувам системски додаток? Ајде да го потпишеме со нов сертификат!

Соединувајќи се... зошто трае толку долго?

Значи, планот: издадете нов сертификат за замена на стариот, креирајте системски додаток и инсталирајте го на корисниците преку Нормандија. Проблемите, како што реков, започнаа на 4 мај во 4:00 часот, а веќе во 12:44 истиот ден, помалку од 9 часа подоцна, испративме поправка во Нормандија. Беа потребни уште 6-12 часа за да стигне до сите корисници. Воопшто не е лошо, но луѓето на Твитер прашуваат зошто не можевме да постапиме побрзо.

Прво, беше потребно време да се издаде нов среден сертификат. Како што споменав погоре, клучот за root сертификатот се чува офлајн во хардверскиот безбедносен модул. Ова е добро од безбедносна гледна точка, бидејќи коренот се користи многу ретко и треба да биде сигурно заштитен, но малку е незгодно кога треба итно да потпишете нов сертификат. Еден од нашите инженери мораше да отпатува до складиштето на HSM. Потоа имаше неуспешни обиди да се издаде точниот сертификат и секој обид чинеше по еден или два часа поминати на тестирање.

Второ, развојот на системскиот додаток траеше некое време. Концептуално е многу едноставно, но дури и едноставните програми бараат грижа. Сакавме да се погрижиме да не ја влошиме ситуацијата. Истражувањето треба да се тестира пред да биде испратено до корисниците. Покрај тоа, додатокот мора да биде потпишан, но нашиот систем за потпишување додатоци беше оневозможен, па моравме да најдеме решение.

Конечно, штом го подготвивме истражувањето за поднесување, за распоредувањето беше потребно време. Прелистувачот проверува дали има ажурирања во Нормандија на секои 6 часа. Не сите компјутери се секогаш вклучени и поврзани на Интернет, така што ќе биде потребно време за поправката да се прошири на корисниците.

Последни чекори

Истражувањето треба да го реши проблемот за повеќето корисници, но не е достапно за секого. Некои корисници бараат посебен пристап:

• корисници кои имаат оневозможено истражување или телеметрија
• корисници на верзијата на Android (Fennec), каде истражувањето воопшто не е поддржано
• корисници на сопствени изданија на Firefox ESR во претпријатија каде што телеметријата не може да се овозможи
• корисници кои седат зад MitM прокси, бидејќи нашиот систем за инсталација на додатоци користи прикачување на клучот, што не работи со такви прокси
• корисници на стари верзии на Firefox кои не поддржуваат истражување

Не можеме да направиме ништо за последната категорија на корисници - тие сепак треба да се ажурираат на новата верзија на Firefox, бидејќи застарените имаат сериозни незакрпени пропусти. Знаеме дека некои луѓе остануваат на постарите верзии на Firefox затоа што сакаат да работат стари додатоци, но многу од старите додатоци веќе се пренесени на поновите верзии на прелистувачот. За други корисници, развивме лепенка што ќе инсталира нов сертификат. Беше објавен како издание за поправени грешки (забелешка на преведувачот: Firefox 66.0.5), така што луѓето ќе го добијат - најверојатно веќе го добиле - преку редовниот канал за ажурирање. Ако користите приспособена верзија на Firefox ESR, ве молиме контактирајте со вашиот одржувач.

Ние разбираме дека ова не е идеално. Во некои случаи, корисниците ги изгубија податоците за додатоците (на пример, податоците за додатоците Контејнери со повеќе сметки).

Овој несакан ефект не можеше да се избегне, но веруваме дека на краток рок го избравме најдоброто решение за повеќето корисници. На долг рок, ќе бараме други, понапредни архитектонски пристапи.

Лекциите

Прво, нашиот тим направи неверојатна работа создавајќи и достави поправка за помалку од 12 часа по откривањето на проблемот. Како некој што присуствувал на состаноците, можам да кажам дека во оваа тешка ситуација луѓето работеа многу напорно и се трошеше многу малку време.

Очигледно, ништо од ова не требаше воопшто да се случи. Очигледно е вредно да ги прилагодиме нашите процеси за да ја намалиме веројатноста за такви инциденти и да ја олесниме санацијата.

Следната недела ќе објавиме официјална посмртница и список на промени што имаме намера да ги направиме. Засега ќе ги споделам моите размислувања. Прво, мора да има подобар начин за следење на статусот на она што е потенцијална темпирана бомба. Треба да бидеме сигурни дека нема да се најдеме во ситуација еден од нив одеднаш да проработи. Сè уште ги разработуваме деталите, но во најмала рака, потребно е да се земат предвид сите такви работи.

Второ, потребен ни е механизам за брзо доставување ажурирања до корисниците, дури и кога - особено кога - сè друго не успее. Беше одлично што можевме да го користиме системот за „истражување“, но тој е несовршена алатка и има некои несакани несакани ефекти. Особено, знаеме дека многу корисници имаат вклучени автоматски ажурирања, но претпочитаат да не учествуваат во истражувањето (признавам, и јас ги имам исклучено!). Во исто време, ни треба начин да испраќаме ажурирања до корисниците, но без оглед на внатрешната техничка имплементација, корисниците треба да можат да се претплатат на ажурирања (вклучувајќи жешки поправки), но да се откажат од сè друго. Дополнително, каналот за ажурирање треба да реагира повеќе отколку што е сега. Дури и на 6 мај, сè уште имаше корисници кои не ја искористија ниту поправката ниту новата верзија. На овој проблем веќе се работеше, но тоа што се случи покажа колку е важен.

Конечно, внимателно ќе ја разгледаме безбедносната архитектура на додатокот за да се увериме дека го обезбедува вистинското ниво на безбедност со минимален ризик од кршење на било што.

Следната недела ќе ги разгледаме резултатите од потемелната анализа на она што се случи, но во меѓувреме со задоволство ќе одговорам на прашањата преку е-пошта: [заштитена по е-пошта]

Извор: linux.org.ru