Autenticação no Kubernetes utilizando GitHub OAuth e Dex.

Apresento a vocês um tutorial para gerar acessos ao cluster Kubernetes com o Dex, dex-k8s-authenticator e GitHub.

Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
Um meme local do chat de língua russa do Kubernetes em Telegram

Introdução

Utilizamos o Kubernetes para criar ambientes dinâmicos para a equipe de desenvolvedores e QA. Assim, queremos fornecer a eles acesso ao cluster tanto para o dashboard quanto para o kubectl. Ao contrário do OpenShift, o Kubernetes vanilla não possui autenticação nativa, então usamos ferramentas externas para isso.

Nesta configuração, usamos:

  • dex-k8s-authenticator  — um aplicativo web para gerar a configuração do kubectl
  • Dex — provedor OpenID Connect
  • GitHub — simplesmente porque usamos o GitHub em nossa empresa

Tentamos usar o OIDC do Google, mas infelizmente não conseguimos integrá-los com grupos, portanto a integração com o GitHub nos agradou. Sem o mapeamento de grupos, não será possível criar políticas RBAC baseadas em grupos. Então, como funciona nosso processo de autorização no Kubernetes em uma representação visual:

Processo de autorização

Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
Um pouco mais detalhado e por etapas:

O usuário faz login no dex-k8s-authenticator (

  1. login.k8s.example.comdex-k8s-authenticator redireciona a solicitação para o Dex ()
  2. dex.k8s.example.comDex redireciona para a página de autorização no GitHub)
  3. O GitHub gera as informações necessárias de autorização e as retorna ao Dex
  4. Dex envia as informações recebidas para o dex-k8s-authenticator
  5. O usuário recebe um token OIDC do GitHub
  6. dex-k8s-authenticator adiciona o token ao kubeconfig
  7. kubectl envia o token para o KubeAPIServer
  8. KubeAPIServer, com base no token enviado, retorna os acessos ao kubectl
  9. O usuário recebe os acessos do kubectl
  10. Ações preparatórias

Obviamente, já temos um cluster Kubernetes instalado (

k8s.example.com), bem como o HELM pré-instalado. Também temos uma organização no GitHub (super-org).Se você não tem o HELM, a instalação é
muito simples Primeiro, precisamos configurar o GitHub..

Vamos para a página de configurações da organização, (

) e criamos um novo aplicativo (Aplicativo OAuth Autorizado):https://github.com/organizations/super-org/settings/applicationsCriando um novo aplicativo no GitHub
Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
Preenchemos os campos necessários com as URLs, por exemplo:

Homepage URL:

  • Authorization callback URL: https://dex.k8s.example.com
  • Fique atento aos links, é importante não perder as barras. https://dex.k8s.example.com/callback

Em resposta ao formulário preenchido, o GitHub gerará

Client secret ID do Cliente e , salve-os em um lugar seguro, pois serão úteis (nós, por exemplo, usamospara armazenar segredos): Vault Client ID: 1ab2c3d4e5f6g7h8 Client secret: 98z76y54x32w1

Prepare registros DNS para os subdomínios

Prepare os registros DNS para subdomínios dex-k8s-authenticator redireciona a solicitação para o Dex ( e Dex redireciona para a página de autorização no GitHub, e também certificados SSL para ingressos.

Vamos criar certificados SSL:

cat <<EOF | kubectl create -f -
apiversion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
  name: cert-auth-dex
  namespace: kube-system
spec:
  secretName: cert-auth-dex
  dnsNames:
    - dex.k8s.example.com
  acme:
    config:
    - http01:
        ingressClass: nginx
      domains:
      - dex.k8s.example.com
  issuerRef:
    name: le-clusterissuer
    kind: ClusterIssuer
---
apiversion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
  name: cert-auth-login
  namespace: kube-system
spec:
  secretName: cert-auth-login
  dnsNames:
    - login.k8s.example.com
  acme:
    config:
    - http01:
        ingressClass: nginx
      domains:
      - login.k8s.example.com
  issuerRef:
    name: le-clusterissuer
    kind: ClusterIssuer
EOF
kubectl describe certificates cert-auth-dex -n kube-system
kubectl describe certificates cert-auth-login -n kube-system

ClusterIssuer chamado le-clusterissuer deve já existir, caso contrário, vamos criá-lo com o HELM:

helm install --namespace kube-system -n cert-manager stable/cert-manager
cat << EOF | kubectl create -f -
apiversion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:
  name: le-clusterissuer
  namespace: kube-system
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: k8s-admin@example.com
    privateKeySecretRef:
      name: le-clusterissuer
    http01: {}
EOF

Configuração do KubeAPIServer

Para que o kubeAPIServer funcione, é necessário configurar o OIDC e atualizar o cluster:

kops edit cluster
...
  kubeAPIServer:
    anonymousAuth: false
    authorizationMode: RBAC
    oidcClientID: dex-k8s-authenticator
    oidcGroupsClaim: grupos
    oidcIssuerURL: https://dex.k8s.example.com/
    oidcUsernameClaim: email
kops update cluster --yes
kops rolling-update cluster --yes

Nós usamos kops para implantar clusters, mas isso funciona de forma semelhante para outros gerenciadores de clusters.

Configuração do Dex e do dex-k8s-authenticator

Para que o Dex funcione, é necessário ter um certificado e uma chave do mestre Kubernetes, vamos extraí-los de lá:

sudo cat /srv/kubernetes/ca.{crt,key}
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----

Vamos clonar o repositório dex-k8s-authenticator:

git clone git@github.com:mintel/dex-k8s-authenticator.git
cd dex-k8s-authenticator/

Com os arquivos de valores, podemos ajustar flexivelmente as variáveis para nossos charts HELM.

Descreveremos a configuração para o Dex:

cat << EOF values-dex.yml
global:
  deployEnv: prod
tls:
  certificate: |-
    -----BEGIN CERTIFICATE-----
    AAAAAAAAAAABBBBBBBBBBCCCCCC
    -----END CERTIFICATE-----
  key: |-
    -----BEGIN RSA PRIVATE KEY-----
    DDDDDDDDDDDEEEEEEEEEEFFFFFF
    -----END RSA PRIVATE KEY-----
ingress:
  enabled: true
  annotations:
    kubernetes.io/ingress.class: nginx
    kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - dex.k8s.example.com
  tls:
    - secretName: cert-auth-dex
      hosts:
        - dex.k8s.example.com
serviceAccount:
  create: true
  name: dex-auth-sa
config: |
  issuer: https://dex.k8s.example.com/
  storage: # https://github.com/dexidp/dex/issues/798
    type: sqlite3
    config:
      file: /var/dex.db
  web:
    http: 0.0.0.0:5556
  frontend:
    theme: "coreos"
    issuer: "Example Co"
    issuerUrl: "https://example.com"
    logoUrl: https://example.com/images/logo-250x25.png
  expiry:
    signingKeys: "6h"
    idTokens: "24h"
  logger:
    level: debug
    format: json
  oauth2:
    responseTypes: ["code", "token", "id_token"]
    skipApprovalScreen: true
  connectors:
  - type: github
    id: github
    name: GitHub
    config:
      clientID: $GITHUB_CLIENT_ID
      clientSecret: $GITHUB_CLIENT_SECRET
      redirectURI: https://dex.k8s.example.com/callback
      orgs:
      - name: super-org
        teams:
        - team-red
  staticClients:
  - id: dex-k8s-authenticator
    name: dex-k8s-authenticator
    secret: generatedLongRandomPhrase
    redirectURIs:
      - https://login.k8s.example.com/callback/
envSecrets:
  GITHUB_CLIENT_ID: "1ab2c3d4e5f6g7h8"
  GITHUB_CLIENT_SECRET: "98z76y54x32w1"
EOF

E para dex-k8s-authenticator:

cat << EOF values-auth.yml
global:
  deployEnv: prod
dexK8sAuthenticator:
  clusters:
  - name: k8s.example.com
    short_description: "k8s cluster"
    description: "Kubernetes cluster"
    issuer: https://dex.k8s.example.com/
    k8s_master_uri: https://api.k8s.example.com
    client_id: dex-k8s-authenticator
    client_secret: generatedLongRandomPhrase
    redirect_uri: https://login.k8s.example.com/callback/
    k8s_ca_pem: |
      -----BEGIN CERTIFICATE-----
      AAAAAAAAAAABBBBBBBBBBCCCCCC
      -----END CERTIFICATE-----
ingress:
  enabled: true
  annotations:
    kubernetes.io/ingress.class: nginx
    kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - login.k8s.example.com
  tls:
    - secretName: cert-auth-login
      hosts:
        - login.k8s.example.com
EOF

Vamos instalar o Dex e o dex-k8s-authenticator:

helm install -n dex --namespace kube-system --values values-dex.yml charts/dex
helm install -n dex-auth --namespace kube-system --values values-auth.yml charts/dex-k8s-authenticator

Verificaremos a funcionalidade dos serviços (Dex deve retornar o código 400, enquanto dex-k8s-authenticator deve retornar o código 200):

curl -sI https://dex.k8s.example.com/callback | head -1
HTTP/2 400
curl -sI https://login.k8s.example.com/ | head -1
HTTP/2 200

Configuração RBAC

Criamos o ClusterRole para o grupo, neste caso com permissões read-only:

cat << EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cluster-read-all
rules:
  -
    apiGroups:
      - ""
      - apps
      - autoscaling
      - batch
      - extensions
      - policy
      - rbac.authorization.k8s.io
      - storage.k8s.io
    resources:
      - componentstatuses
      - configmaps
      - cronjobs
      - daemonsets
      - deployments
      - events
      - endpoints
      - horizontalpodautoscalers
      - ingress
      - ingresses
      - jobs
      - limitranges
      - namespaces
      - nodes
      - pods
      - pods/log
      - pods/exec
      - persistentvolumes
      - persistentvolumeclaims
      - resourcequotas
      - replicasets
      - replicationcontrollers
      - serviceaccounts
      - services
      - statefulsets
      - storageclasses
      - clusterroles
      - roles
    verbs:
      - get
      - watch
      - list
  - nonResourceURLs: ["*"]
    verbs:
      - get
      - watch
      - list
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create"]
EOF

Vamos criar uma configuração para ClusterRoleBinding:

cat <<EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: dex-cluster-auth
  namespace: kube-system
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-read-all
subjects:
  kind: Group
  name: "super-org:team-red"
EOF

Agora estamos prontos para os testes.

Testes

Vamos para a página de login (https://login.k8s.example.com) e nos autenticamos usando a conta do GitHub:

Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
Página de Autorização

Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
Página de autorização redirecionada para o GitHub

Autenticação no Kubernetes utilizando GitHub OAuth e Dex.
 Seguindo as instruções geradas para obter acessos

Após copiar e colar a partir da página da web, podemos usar kubectl para gerenciar os recursos do nosso cluster:

kubectl get po
NAME                READY   STATUS    RESTARTS   AGE
mypod               1/1     Running   0          3d

kubectl delete po mypod
Error from server (Forbidden): pods "mypod" is forbidden: User "amet@example.com" cannot delete pods in the namespace "default"

E isso funciona, todos os usuários do GitHub em nossa organização podem visualizar recursos e entrar nos pods, mas não têm permissão para modificá-los.

Fonte: habr.com

Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS 🔥 Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS | ProHoster