🥇אימות ב-Kubernetes באמצעות GitHub OAuth ו-Dex

אני מציג לתשומת לבך מדריך ליצירת גישה לאשכול Kubernetes באמצעות Dex, dex-k8s-authenticator ו-GitHub.

מם מקומי מ-Kubernetes בשפה הרוסית צ'אט פנימה מברק

מבוא

אנו משתמשים ב-Kubernetes כדי ליצור סביבות דינמיות עבור צוות הפיתוח וה-QA. אז אנחנו רוצים לתת להם גישה לאשכול גם ללוח המחוונים וגם ל-kubectl. בניגוד ל-OpenShift, ל-vanilla Kubernetes אין אימות מקורי, ולכן אנו משתמשים בכלים של צד שלישי לשם כך.

בתצורה זו אנו משתמשים ב:

dex-k8s-authenticator - יישום אינטרנט להפקת kubectl config
דקס - ספק OpenID Connect
GitHub - פשוט כי אנחנו משתמשים ב-GitHub בחברה שלנו

ניסינו להשתמש ב-Google OIDC, אבל לצערנו נכשל להתחיל אותם עם קבוצות, אז האינטגרציה עם GitHub התאימה לנו די טוב. ללא מיפוי קבוצות, לא ניתן יהיה ליצור מדיניות RBAC המבוססת על קבוצות.

אז איך עובד תהליך ההרשאה של Kubernetes שלנו בייצוג חזותי:

תהליך הרשאה

קצת יותר פירוט ונקודה אחר נקודה:

משתמש מתחבר ל-dex-k8s-authenticator (login.k8s.example.com)
dex-k8s-authenticator מעביר את הבקשה לדקס (dex.k8s.example.com)
Dex מפנה לדף הכניסה של GitHub
GitHub מייצר את פרטי ההרשאה הדרושים ומחזיר אותו ל-Dex
Dex מעביר את המידע שהתקבל ל-dex-k8s-authenticator
המשתמש מקבל אסימון OIDC מ-GitHub
dex-k8s-authenticator מוסיף אסימון ל-kubeconfig
kubectl מעביר את האסימון ל-KubeAPIServer
KubeAPIServer מחזיר גישה ל-kubectl על סמך האסימון שעבר
המשתמש מקבל גישה מ-kubectl

פעילויות הכנה

כמובן שכבר מותקן לנו אשכול Kubernetes (k8s.example.com), ומגיע גם עם HELM מותקן מראש. יש לנו גם ארגון ב-GitHub (סופר-org).
אם אין לך HELM, התקן אותו פשוט מאוד.

ראשית עלינו להגדיר את GitHub.

עבור לדף הגדרות הארגון, (https://github.com/organizations/super-org/settings/applications) וצור אפליקציה חדשה (Authorized OAuth App):

יצירת אפליקציה חדשה ב-GitHub

מלא את השדות בכתובות האתרים הנחוצות, לדוגמה:

כתובת האתר של דף הבית: https://dex.k8s.example.com
כתובת אתר להתקשרות חוזרת של הרשאה: https://dex.k8s.example.com/callback

היזהר עם קישורים, חשוב לא לאבד חתכים.

בתגובה לטופס שהושלם, GitHub יפיק Client ID и Client secret, שמור אותם במקום בטוח, הם יהיו שימושיים עבורנו (לדוגמה, אנו משתמשים קמרון לאחסון סודות):

Client ID: 1ab2c3d4e5f6g7h8
Client secret: 98z76y54x32w1

הכן רשומות DNS עבור תת-דומיינים login.k8s.example.com и dex.k8s.example.com, כמו גם אישורי SSL לכניסה.

בואו ניצור תעודות SSL:

cat <<EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
  name: cert-auth-dex
  namespace: kube-system
spec:
  secretName: cert-auth-dex
  dnsNames:
    - dex.k8s.example.com
  acme:
    config:
    - http01:
        ingressClass: nginx
      domains:
      - dex.k8s.example.com
  issuerRef:
    name: le-clusterissuer
    kind: ClusterIssuer
---
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
  name: cert-auth-login
  namespace: kube-system
spec:
  secretName: cert-auth-login
  dnsNames:
    - login.k8s.example.com
  acme:
    config:
    - http01:
        ingressClass: nginx
      domains:
      - login.k8s.example.com
  issuerRef:
    name: le-clusterissuer
    kind: ClusterIssuer
EOF
kubectl describe certificates cert-auth-dex -n kube-system
kubectl describe certificates cert-auth-login -n kube-system

מוציא אשכול עם כותרת le-clusterissuer אמור כבר להתקיים, אבל אם לא, צור אותו באמצעות HELM:

helm install --namespace kube-system -n cert-manager stable/cert-manager
cat << EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:
  name: le-clusterissuer
  namespace: kube-system
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: [email protected]
    privateKeySecretRef:
      name: le-clusterissuer
    http01: {}
EOF

תצורת KubeAPIServer

כדי ש-kubeAPIServer יפעל, עליך להגדיר את OIDC ולעדכן את האשכול:

kops edit cluster
...
  kubeAPIServer:
    anonymousAuth: false
    authorizationMode: RBAC
    oidcClientID: dex-k8s-authenticator
    oidcGroupsClaim: groups
    oidcIssuerURL: https://dex.k8s.example.com/
    oidcUsernameClaim: email
kops update cluster --yes
kops rolling-update cluster --yes

אנו משתמשים בְּעִיטָה לפריסת אשכולות, אבל זה עובד באופן דומה עבור מנהלי אשכולות אחרים.

תצורת Dex ו-dex-k8s-authenticator

כדי ש-Dex יעבוד, אתה צריך אישור ומפתח מהמאסטר של Kubernetes, בוא נביא את זה משם:

sudo cat /srv/kubernetes/ca.{crt,key}
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----

בואו נשכפל את מאגר dex-k8s-authenticator:

git clone [email protected]:mintel/dex-k8s-authenticator.git
cd dex-k8s-authenticator/

באמצעות קבצי ערכים, אנו יכולים להגדיר באופן גמיש משתנים עבורנו טבלאות HELM.

בואו נתאר את התצורה של Dex:

cat << EOF > values-dex.yml
global:
  deployEnv: prod
tls:
  certificate: |-
    -----BEGIN CERTIFICATE-----
    AAAAAAAAAAABBBBBBBBBBCCCCCC
    -----END CERTIFICATE-----
  key: |-
    -----BEGIN RSA PRIVATE KEY-----
    DDDDDDDDDDDEEEEEEEEEEFFFFFF
    -----END RSA PRIVATE KEY-----
ingress:
  enabled: true
  annotations:
    kubernetes.io/ingress.class: nginx
    kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - dex.k8s.example.com
  tls:
    - secretName: cert-auth-dex
      hosts:
        - dex.k8s.example.com
serviceAccount:
  create: true
  name: dex-auth-sa
config: |
  issuer: https://dex.k8s.example.com/
  storage: # https://github.com/dexidp/dex/issues/798
    type: sqlite3
    config:
      file: /var/dex.db
  web:
    http: 0.0.0.0:5556
  frontend:
    theme: "coreos"
    issuer: "Example Co"
    issuerUrl: "https://example.com"
    logoUrl: https://example.com/images/logo-250x25.png
  expiry:
    signingKeys: "6h"
    idTokens: "24h"
  logger:
    level: debug
    format: json
  oauth2:
    responseTypes: ["code", "token", "id_token"]
    skipApprovalScreen: true
  connectors:
  - type: github
    id: github
    name: GitHub
    config:
      clientID: $GITHUB_CLIENT_ID
      clientSecret: $GITHUB_CLIENT_SECRET
      redirectURI: https://dex.k8s.example.com/callback
      orgs:
      - name: super-org
        teams:
        - team-red
  staticClients:
  - id: dex-k8s-authenticator
    name: dex-k8s-authenticator
    secret: generatedLongRandomPhrase
    redirectURIs:
      - https://login.k8s.example.com/callback/
envSecrets:
  GITHUB_CLIENT_ID: "1ab2c3d4e5f6g7h8"
  GITHUB_CLIENT_SECRET: "98z76y54x32w1"
EOF

ול-dex-k8s-authenticator:

cat << EOF > values-auth.yml
global:
  deployEnv: prod
dexK8sAuthenticator:
  clusters:
  - name: k8s.example.com
    short_description: "k8s cluster"
    description: "Kubernetes cluster"
    issuer: https://dex.k8s.example.com/
    k8s_master_uri: https://api.k8s.example.com
    client_id: dex-k8s-authenticator
    client_secret: generatedLongRandomPhrase
    redirect_uri: https://login.k8s.example.com/callback/
    k8s_ca_pem: |
      -----BEGIN CERTIFICATE-----
      AAAAAAAAAAABBBBBBBBBBCCCCCC
      -----END CERTIFICATE-----
ingress:
  enabled: true
  annotations:
    kubernetes.io/ingress.class: nginx
    kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - login.k8s.example.com
  tls:
    - secretName: cert-auth-login
      hosts:
        - login.k8s.example.com
EOF

התקן את Dex ואת dex-k8s-authenticator:

helm install -n dex --namespace kube-system --values values-dex.yml charts/dex
helm install -n dex-auth --namespace kube-system --values values-auth.yml charts/dex-k8s-authenticator

בואו נבדוק את הפונקציונליות של השירותים (Dex צריך להחזיר קוד 400, ו-dex-k8s-authenticator צריך להחזיר קוד 200):

curl -sI https://dex.k8s.example.com/callback | head -1
HTTP/2 400
curl -sI https://login.k8s.example.com/ | head -1
HTTP/2 200

תצורת RBAC

אנו יוצרים ClusterRole עבור הקבוצה, במקרה שלנו עם גישת קריאה בלבד:

cat << EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cluster-read-all
rules:
  -
    apiGroups:
      - ""
      - apps
      - autoscaling
      - batch
      - extensions
      - policy
      - rbac.authorization.k8s.io
      - storage.k8s.io
    resources:
      - componentstatuses
      - configmaps
      - cronjobs
      - daemonsets
      - deployments
      - events
      - endpoints
      - horizontalpodautoscalers
      - ingress
      - ingresses
      - jobs
      - limitranges
      - namespaces
      - nodes
      - pods
      - pods/log
      - pods/exec
      - persistentvolumes
      - persistentvolumeclaims
      - resourcequotas
      - replicasets
      - replicationcontrollers
      - serviceaccounts
      - services
      - statefulsets
      - storageclasses
      - clusterroles
      - roles
    verbs:
      - get
      - watch
      - list
  - nonResourceURLs: ["*"]
    verbs:
      - get
      - watch
      - list
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create"]
EOF

בואו ניצור תצורה עבור ClusterRoleBinding:

cat <<EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: dex-cluster-auth
  namespace: kube-system
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-read-all
subjects:
  kind: Group
  name: "super-org:team-red"
EOF

עכשיו אנחנו מוכנים לבדיקה.

בדיקות

עבור לדף הכניסה (https://login.k8s.example.com) והיכנס באמצעות חשבון GitHub שלך:

עמוד התחברות

דף הכניסה מנותב ל-GitHub

עקוב אחר ההוראות שנוצרו כדי לקבל גישה

לאחר העתקה-הדבקה מדף האינטרנט, נוכל להשתמש ב-kubectl כדי לנהל את משאבי האשכול שלנו:

kubectl get po
NAME                READY   STATUS    RESTARTS   AGE
mypod               1/1     Running   0          3d

kubectl delete po mypod
Error from server (Forbidden): pods "mypod" is forbidden: User "[email protected]" cannot delete pods in the namespace "default"

וזה עובד, כל משתמשי GitHub בארגון שלנו יכולים לראות משאבים ולהתחבר לפודים, אבל אין להם זכויות לשנות אותם.

מקור: www.habr.com

אימות ב-Kubernetes באמצעות GitHub OAuth ו-Dex