🥇 מהחיים עם Kubernetes: איך שרת ה-HTTP לא העדיף את הספרדים

נציג של הלקוח שלנו, שמחסנית היישומים שלו נמצאת בענן מבית Microsoft (Azure), טיפל בבעיה: לאחרונה, כמה בקשות מחלק מהלקוחות מאירופה החלו להסתיים בשגיאה 400 (בקשה גרועה). כל היישומים כתובים ב-.NET, פרוסים ב-Kubernetes...

אחת האפליקציות היא ה-API, שדרכו מגיעה בסופו של דבר כל התעבורה. לתעבורה זו מאזין שרת ה-HTTP קסטרל, מוגדר על ידי לקוח .NET ומתארח בפוד. עם איתור באגים, היה לנו מזל במובן זה שהיה משתמש ספציפי ששחזר בעקביות את הבעיה. עם זאת, הכל היה מסובך על ידי שרשרת התנועה:

השגיאה ב-Ingress נראתה כך:

{
   "number_fields":{
      "status":400,
      "request_time":0.001,
      "bytes_sent":465,
      "upstream_response_time":0,
      "upstream_retries":0,
      "bytes_received":2328
   },
   "stream":"stdout",
   "string_fields":{
      "ingress":"app",
      "protocol":"HTTP/1.1",
      "request_id":"f9ab8540407208a119463975afda90bc",
      "path":"/api/sign-in",
      "nginx_upstream_status":"400",
      "service":"app",
      "namespace":"production",
      "location":"/front",
      "scheme":"https",
      "method":"POST",
      "nginx_upstream_response_time":"0.000",
      "nginx_upstream_bytes_received":"120",
      "vhost":"api.app.example.com",
      "host":"api.app.example.com",
      "user":"",
      "address":"83.41.81.250",
      "nginx_upstream_addr":"10.240.0.110:80",
      "referrer":"https://api.app.example.com/auth/login?long_encrypted_header",
      "service_port":"http",
      "user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36",
      "time":"2019-03-06T18:29:16+00:00",
      "content_kind":"cache-headers-not-present",
      "request_query":""
   },
   "timestamp":"2019-03-06 18:29:16",
   "labels":{
      "app":"nginx",
      "pod-template-generation":"6",
      "controller-revision-hash":"1682636041"
   },
   "namespace":"kube-nginx-ingress",
   "nsec":6726612,
   "source":"kubernetes",
   "host":"k8s-node-55555-0",
   "pod_name":"nginx-v2hcb",
   "container_name":"nginx",
   "boolean_fields":{}
}

במקביל, קסטרל נתן:

HTTP/1.1 400 Bad Request
Connection: close
Date: Wed, 06 Mar 2019 12:34:20 GMT
Server: Kestrel
Content-Length: 0

אפילו עם מילולית מרבית, שגיאת הקסטרל הכילה בצורה קיצונית מעט מידע שימושי:

{
   "number_fields":{"ThreadId":76},
   "stream":"stdout",
   "string_fields":{
      "EventId":"{"Id"=>17, "Name"=>"ConnectionBadRequest"}",
      "SourceContext":"Microsoft.AspNetCore.Server.Kestrel",
      "ConnectionId":"0HLL2VJSST5KV",
      "@mt":"Connection id "{ConnectionId}" bad request data: "{message}"",
      "@t":"2019-03-07T13:06:48.1449083Z",
      "@x":"Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Malformed request: invalid headers.n   at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.Http1Connection.TryParseRequest(ReadResult result, Boolean& endConnection)n   at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.HttpProtocol.<ProcessRequestsAsync>d__185`1.MoveNext()",
      "message":"Malformed request: invalid headers."
   },
   "timestamp":"2019-03-07 13:06:48",
   "labels":{
      "pod-template-hash":"2368795483",
      "service":"app"
   },
   "namespace":"production",
   "nsec":145341848,
   "source":"kubernetes",
   "host":"k8s-node-55555-1",
   "pod_name":"app-67bdcf98d7-mhktx",
   "container_name":"app",
   "boolean_fields":{}
}

נראה שרק tcpdump יעזור לפתור את הבעיה הזו... אבל אני אחזור על שרשרת התעבורה:

חקירה

ברור שעדיף להקשיב לתנועה על הצומת הספציפי הזה, שבו Kubernetes פרסה פוד: נפח ה-dump יהיה כזה שניתן יהיה למצוא לפחות משהו די מהר. ואכן, כשבדקנו אותו, הבחינו בפריים הבא:

GET /back/user HTTP/1.1
Host: api.app.example.com
X-Request-ID: 27ceb14972da8c21a8f92904b3eff1e5
X-Real-IP: 83.41.81.250
X-Forwarded-For: 83.41.81.250
X-Forwarded-Host: api.app.example.com
X-Forwarded-Port: 443
X-Forwarded-Proto: https
X-Original-URI: /front/back/user
X-Scheme: https
X-Original-Forwarded-For: 83.41.81.250
X-Nginx-Geo-Client-Country: Spain
X-Nginx-Geo-Client-City: M.laga
Accept-Encoding: gzip
CF-IPCountry: ES
CF-RAY: 4b345cfd1c4ac691-MAD
CF-Visitor: {"scheme":"https"}
pragma: no-cache
cache-control: no-cache
accept: application/json, text/plain, */*
origin: https://app.example.com
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36
referer: https://app.example.com/auth/login
accept-language: en-US,en;q=0.9,en-GB;q=0.8,pl;q=0.7
cookie: many_encrypted_cookies; .AspNetCore.Identity.Application=something_encrypted; 
CF-Connecting-IP: 83.41.81.250
True-Client-IP: 83.41.81.250
CDN-Loop: cloudflare

HTTP/1.1 400 Bad Request
Connection: close
Date: Wed, 06 Mar 2019 12:34:20 GMT
Server: Kestrel
Content-Length: 0

בבדיקה מעמיקה יותר של המזבלה, הבחינו במילה M.laga. קל לנחש שאין עיר מלגה בספרד (אבל יש מלאגה). בהתבסס על הרעיון הזה, הסתכלנו על תצורות Ingress, שם ראינו את זו שהוכנסה לפני חודש (לפי בקשת הלקוח) קטע "לא מזיק".:

    ingress.kubernetes.io/configuration-snippet: |
      proxy_set_header X-Nginx-Geo-Client-Country $geoip_country_name;
      proxy_set_header X-Nginx-Geo-Client-City $geoip_city;

לאחר השבתת העברת הכותרות הללו, הכל הפך להיות בסדר! (מהר התברר שהאפליקציה עצמה כבר לא זקוקה לכותרות אלו.)

עכשיו בואו נסתכל על הבעיה יותר כללי. ניתן לשחזר אותו בקלות בתוך האפליקציה על ידי בקשת Telnet localhost:80:

GET /back/user HTTP/1.1
Host: api.app.example.com
cache-control: no-cache
accept: application/json, text/plain, */*
origin: https://app.example.com
Cookie: test=Desiree

... החזרות 401 Unauthorized, כצפוי. מה יקרה אם נעשה:

GET /back/user HTTP/1.1
Host: api.app.example.com
cache-control: no-cache
accept: application/json, text/plain, */*
origin: https://app.example.com
Cookie: test=Désirée

יחזור 400 Bad request — ביומן האפליקציה נקבל שגיאה שכבר מוכרת לנו:

{
   "@t":"2019-03-31T12:59:54.3746446Z",
   "@mt":"Connection id "{ConnectionId}" bad request data: "{message}"",
   "@x":"Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Malformed request: invalid headers.n   at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.Http1Connection.TryParseRequest(ReadResult result, Boolean& endConnection)n   at Microsoft.AspNetCore.Server.Kestrel.Core.Internal.Http.HttpProtocol.<ProcessRequestsAsync>d__185`1.MoveNext()",
   "ConnectionId":"0HLLLR1J974L9",
   "message":"Malformed request: invalid headers.",
   "EventId":{
      "Id":17,
      "Name":"ConnectionBadRequest"
   },
   "SourceContext":"Microsoft.AspNetCore.Server.Kestrel",
   "ThreadId":71
}

תוצאות של

במיוחד קסטרל לא יכול עיבוד נכון של כותרות HTTP עם התווים הנכונים ב-UTF-8, הכלולים בשמות של מספר גדול למדי של ערים.

גורם נוסף בענייננו הוא שהלקוח אינו מתכנן כיום לשנות את יישום קסטרל באפליקציה. עם זאת, בעיות ב- AspNetCore עצמה (№ 4318, № 7707) אומרים שזה לא יעזור...

לסיכום: ההערה כבר לא עוסקת בבעיות הספציפיות של קסטרל או UTF-8 (ב-2019?!), אלא על העובדה ש מיינדפולנס ולימוד עקבי כל צעד שתנקוט בזמן חיפוש בעיות יביא במוקדם או במאוחר פרי. בהצלחה!

נ.ב.

קרא גם בבלוג שלנו:

מקור: www.habr.com

מהחיים עם Kubernetes: איך שרת ה-HTTP לא העדיף את הספרדים

חקירה

תוצאות של

נ.ב.

הוספת תגובה ביטול תגובה