Zo života s Kubernetes: Ako HTTP server neuprednostnil Španielov
Zástupca nášho klienta, ktorého zásobník aplikácií sa nachádza v cloude od Microsoftu (Azure), riešil problém: v poslednom čase sa niektoré požiadavky od niektorých klientov z Európy začali končiť chybou 400 (Zlá požiadavka). Všetky aplikácie sú napísané v .NET, nasadené v Kubernetes...
Jednou z aplikácií je API, cez ktoré v konečnom dôsledku prichádza všetka návštevnosť. Tento prenos počúva server HTTP sokol, nakonfigurovaný klientom .NET a umiestnený v pod. Pri ladení sme mali šťastie v tom zmysle, že existoval konkrétny používateľ, ktorý problém neustále reprodukoval. Všetko však skomplikoval dopravný reťazec:
Zdá sa, že tento problém pomôže vyriešiť iba tcpdump... ale zopakujem o dopravnom reťazci:
vyšetrovania
Je zrejmé, že je lepšie počúvať premávku na tomto konkrétnom uzle, kde Kubernetes nasadil pod: objem výpisu bude taký, že bude možné pomerne rýchlo nájsť aspoň niečo. A skutočne, pri jeho skúmaní bol zaznamenaný nasledujúci rámec:
Pri bližšej obhliadke smetiska bolo spozorované slovo M.laga. Je ľahké uhádnuť, že v Španielsku nie je žiadne mesto M.laga (ale existuje Malaga). S touto myšlienkou sme sa pozreli na konfigurácie Ingress, kde sme videli konfiguráciu vloženú pred mesiacom (na žiadosť klienta) „neškodný“ úryvok:
Vráti sa 400 Bad request — v protokole aplikácie dostaneme chybu, ktorá je nám už známa:
{
"@t":"2019-03-31T12:59:54.3746446Z",
"@mt":"Connection id "{ConnectionId}" bad request data: "{message}"",
"@x":"Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Malformed request: invalid headers.n at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.Http1Connection.TryParseRequest(ReadResult result, Boolean& endConnection)n at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.HttpProtocol.<ProcessRequestsAsync>d__185`1.MoveNext()",
"ConnectionId":"0HLLLR1J974L9",
"message":"Malformed request: invalid headers.",
"EventId":{
"Id":17,
"Name":"ConnectionBadRequest"
},
"SourceContext":"Microsoft.AspNetCore.Server.Kestrel",
"ThreadId":71
}
Výsledky
Konkrétne Kestrel nemôžu správne spracovávať HTTP hlavičky so správnymi znakmi v UTF-8, ktoré sú obsiahnuté v názvoch pomerne veľkého počtu miest.
Ďalším faktorom v našom prípade je, že klient momentálne neplánuje meniť implementáciu Kestrel v aplikácii. Problémy v samotnom AspNetCore (№ 4318, № 7707) hovoria, že to nepomôže...
Aby som to zhrnul: poznámka už nie je o konkrétnych problémoch Kestrel alebo UTF-8 (v roku 2019?!), ale o tom, že všímavosť a dôsledné štúdium Každý krok, ktorý pri hľadaní problémov urobíte, skôr či neskôr prinesie svoje ovocie. Veľa štastia!