Käivitame Keycloak'i HA režiimis Kubernetesel

TL;DR: tuleb Keycloaki, avatud lähtekoodiga juurdepääsukontrolli süsteemi, kirjeldus, sisemise struktuuri analüüs, seadistamise üksikasjad.

Sissejuhatus ja põhikontseptsioonid

Selles artiklis vaatleme põhikontseptsioone, mida tuleb meeles pidada, kui käivitada Keycloaki klastri Kubernetes'e peal.

Kui soovite Keycloaki kohta rohkem teada, vaadake artikli lõpus olevaid linke. Praktikas sügavamale sukeldumiseks saate uurida meie repo mooduliga, mis rakendab käesoleva artikli põhikontseptsioone (käivitamise juhend on samuti seal, käesolevas artiklis vaadatakse üle struktuur ja seadistused, tõlkija märkus).

Keycloak on ulatuslik süsteem, mis on kirjutatud Java keeles ja mis töötab rakenduste serveri Wildflypeal. Lühidalt öeldes on see autoriseerimise raamistik, mis pakub rakenduse kasutajatele föderaalset isikut ja SSO (ühekordne sisselogimine) võimalust.

Kutsume teid lugema ametlikku veebisaidile või Wikipeediat ühtse arusaamise saamiseks.

Keycloaki käivitamine

Keycloaki jaoks on vaja kahte pidevalt hoitavat andmeallikat:

• Andmebaas, mida kasutatakse stabiilsete andmete hoidmiseks, näiteks kasutaja teabe
• Datagrid cache, mida kasutatakse andmete vahemällu salvestamiseks andmebaasist, samuti mõnede lühiajaliste ja tihti muutuvate metaandmete, näiteks kasutajaseansside hoidmiseks. Rakendatakse Infinispan, mis on tavaliselt andmebaasist oluliselt kiirem. Igatahes on Infinispanis hoitavad andmed ajutised ja neid ei pea klastrit käivitades kuhugi salvestama.

Keycloak töötab neljas erinevas režiimis:

• Tavaliselt — üks ja ainus protsess, seadistatakse faili kaudu standalone.xml
• Tavaline klaster (kõrge kättesaadavuse variant) — kõik protsessid peavad kasutama sama konfiguratsiooni, mis tuleb käsitsi sünkroonida. Seaded salvestatakse faili standalone-ha.xml, lisaks tuleb organiseerida andmebaasi ja koormuse tasakaalustaja ühine juurdepääs.
• Domeeniklaster — klastrite käitamine tavalises režiimis muutub kiirelt rutiinseks ja igavaks klastrite kasvamisel, kuna iga kord, kui konfiguratsiooni muudetakse, tuleb kõik muudatused teha igas klastrisõlmes. Domeenirežiim lahendab selle probleemi, seadistades mingi ühise salvestusruumi ja konfiguratsiooni avaldamise. Need seaded salvestatakse faili domain.xml
• Andmete replikatsioon andmekeskuste vahel — juhul, kui soovite käivitada Keycloak'i mitme andmekeskuse klastris, mis on sageli geograafiliselt erinevates kohtades. Sel juhul on igal andmekeskusel oma Keycloak serverite klaster.

Selles artiklis vaatame üksikasjalikult teist varianti, st tavaline klaster, samuti käsitleme pisut replikatsiooni teemat andmekeskuste vahel, kuna neid kahte varianti on mõistlik käivitada Kuberneteses. Õnneks ei ole Kuberneteses probleemi mitme Keycloak podi (sõlme) konfigureerimise sünkroniseerimisega, nii et domeeniklaster on üsna lihtne üles seada.

Palun pöörake tähelepanu, et sõna klaster kasutatakse kogu artikli vältel ainult Keycloak'i sõlmede rühma tähistamiseks, mis töötavad koos, ei ole vaja viidata Kubernetes klastrile.

Tavaline Keycloak klaster

Keycloak'i käivitamiseks sellises režiimis on vajalik:

• konfigureerida väline jagatud andmebaas
• paigaldada koormuse tasakaalustaja
• omada sisevõrku, mis toetab IP multicast'i

Välimise andmebaasi seadistamise üle me ei arutle, kuna see ei ole selle artikli eesmärk. Eeldame, et kuskil on töötav andmebaas - ja meil on sellele ühendpunkt. Lihtsalt lisame need andmed keskkonnamuutujatesse.

Keycloak'i toimimise paremaks mõistmiseks talitluspidevuses (HA) klastris on oluline teada, kui palju see kõik sõltub Wildfly klastritehnoloogiate võimetest.

Wildfly rakendab mitmeid alam-süsteeme, millest osa kasutatakse koormuse tasakaalustajana, osa aga talitluspidevuse tagamiseks. Koormuse tasakaalustaja tagab rakenduse kättesaadavuse klastrisõlme ülekoormuse korral, samas kui talitluspidevus tagab rakenduse kättesaadavuse isegi klastrisõlmede osa tõrke korral. Mõned neist alam-süsteemidest:

• mod_cluster: töötab koos Apache'iga HTTP koormuse tasakaalustajana, sõltub vaikimisi TCP multicast'ist sõlmede leidmiseks. Seda saab asendada välimise koormuse tasakaalustajaga.

• infinispan: jaotatud vahemälu, mis kasutab transporttasandina JGroups'i kanaleid. Täiendavalt võib see kasutada HotRod protokolli suhtlemiseks välise Infinispan klastriga vahemälu sisu sünkroniseerimiseks.

• jgroups: pakub grupi suhtluse tuge kõrge kättesaadavuse teenustele, mis põhinevad JGroups kanalitel. Nimetatud kanalid võimaldavad rakenduse eksemplaridel klastris liituda rühmadesse, nii et suhtlus omab selliseid omadusi nagu usaldusväärsus, järjekindlus ja tõrke suhtes tundlikkus.

Laotekur

Kubernetes klastris ingress kontrollerina laotekuri seadistamisel on oluline meeles pidada järgmisi asju:

Keycloak'i töö eeldab, et kauge kliendi adresseerimine, mis ühendub autentimisserveriga HTTP kaudu, on kliendi arvuti reaalse IP-aadressiga. Laotekuri ja ingressi seadistused peavad õigesti seadma HTTP päiseid X-Forwarded-For ja X-Forwarded-Proto, samuti säilitama algse päise HOST. Viimane versioon ingress-nginx (> 0.22.0) keelab selle vaikimisi

Lipufunktsiooni aktiveerimine proxy-address-forwarding keskkonnamuutuja seadistamise kaudu PROXY_ADDRESS_FORWARDING ja true annab Keycloak’ile mõista, et ta töötab proxy taga.

Samuti tuleb lubada sticky sessions ingressis. Keycloak rakendab Infinispan'i jaotatud vahemälu, et säilitada autentimise ja kasutaja sessiooniga seotud andmeid. Vahemälud töötavad vaikimisi ühe omanikuga, teisisõnu salvestatakse see konkreetne sessioon mõnesse klastris asuvasse sõlme ning teised sõlmed peavad seda pääsema kaugelt, kui neil on vaja sellele sessioonile juurde pääseda.

Meil ei õnnestunud dokumentatsioonile vaatamata seansi kinnitamine küpsise nimega AUTH_SESSION_ID. Keycloak sisenes edasisse suunamisse, seega soovitame valida teise küpsise nime tuntud sessiooni jaoks.

Samuti kinnitab Keycloak selle sõlme nime, mis esimesena vastas AUTH_SESSION_ID, ja kuna iga sõlm kõrge kättesaadavuse variandis kasutab sama andmebaasi, peab igaühel neist olema erinev ja ainulaadne sõlme identifikaator tehingute haldamiseks. Soovitav on määrata JAVA_OPTS parameetrid jboss.node.name ja jboss.tx.node.id iga sõlme jaoks unikaalseks — näiteks võib määrata podi nime. Kui määrate podi nime, siis ärge unustage jboss’i muutujate 23 sümboli piiri, seega on parem kasutada StatefulSet'i, mitte Deployment'i.

Veel üks probleem — kui pod eemaldatakse või taaskäivitatakse, läheb tema vahemälu kaduma. Arvesse võttes seda, on soovitatav määrata vahemälu omanike arv kõikides vahemälu minimaalseteks kaheks, nii jääb vahemälu koopia. Lahendus — käivitada skript Wildfly jaoks pod'i käivitamisel, asetades selle katalooge /opt/jboss/startup-scripts konteineris:

skripti sisu

embed-server --server-config=standalone-ha.xml --std-out=echo
batch

echo * Seadistades CACHE_OWNERS väärtuseks "${env.CACHE_OWNERS}" kõikides cache-konteinerites

/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=authenticationSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})

run-batch
stop-embedded-server

pärast seda seadistada keskkonnamuutuja väärtus CACHE_OWNERS vajalikuks.

Privaatne võrk, millel on ip multicasti tugi

Kui kasutate Weavenet'i CNI-na, töötab multicast kohe ja teie Keycloak sõlmed näevad üksteist kohe, kui need on käivitatud.

Kui teie Kubernetes kluster ei toeta ip multicasti, võite seadistada JGroups'i töötama teiste protokollidega sõlmede otsimiseks.

Esimene variant on KUBE_DNS, mis kasutab headless teenust Keycloak'i sõlmede leidmiseks, lihtsalt edastate JGroups'ile teenuse nime, mida kasutatakse sõlmede leidmiseks.

Teine variant on KUBE_PING, mis töötab API-ga sõlmede otsimiseks (peate seadistama serviceAccount õigustega loend ja get, seejärel seadistama podid selle jaoks serviceAccount).

JGroups'i sõlmede otsimise meetod seadistatakse keskkonnamuutujate määramisega JGROUPS_DISCOVERY_PROTOCOL ja JGROUPS_DISCOVERY_PROPERTIES. Üheks võimaluseks on see, et seda montaaž on eraldi osasse, mis on kirjutamiseks kergesti kätessäadav, samas kui enda KUBE_PING peate valima podid, määrates namespace ja labels.

️ Kui kasutate multicast'i ja käivitate Kubernetesis rohkem kui ühte Keycloak klustrit (näiteks ühe nimevahetuses, teise — production, teine — staging) — ühe Keycloak klustri sõlmed võivad liituda teise klastriga. Kasutage kindlasti iga klustri jaoks erilist multicast aadressi, määratesjboss.default.multicast.address ja jboss.modcluster.multicast.address ja JAVA_OPTS.

Andmete replikatsioon andmekeskuste vahel

Side

Keycloak kasutab erinevaid eraldi Infinispani vahemälu klustreid iga andmekauba jaoks, kus asuvad Keycloak klastrid, mis koosnevad Keycloak sõlmedest. Kuid erinevusi Keycloak sõlmede vahel erinevates andmekaubades ei ole.

Keycloak sõlmed kasutavad väliseid Java Data Grid (Infinispan serverid) andmerikke keskuste vaheliseks suhtlemiseks. Suhtlus toimub protokolli kaudu Infinispan HotRod.

Infinispan vahemälud peavad olema seadistatud atribuudi remoteStore, et andmed saaksid salvestuda kaugetesse (teises andmerikeskuses, tõlkija märkus) vahemäludesse. JDG serverite seas on eraldi Infinispan klastrid, seega andmed, mis salvestatakse JDG1-l kohas site1 , replitakse JDG2-le kohas site2.

Ja lõpuks teavitab vastuvõttev server JDG oma klastrite Keycloak servereid kliendiühenduste kaudu, mis on HotRod protokolli eripära. Keycloak sõlmed site2 uuendavad oma Infinispan vahemälusid ja konkreetne kasutaja seanss on samuti saadaval Keycloak sõlmedes site2.

Mõne vahemälu puhul on samuti võimalik mitte teha varukoopiaid ja täielikult loobuda andmete kirjutamisest Infinispan serveri kaudu. Selleks peab eemaldama seade remote-store konkreetsest Infinispan vahemälust (failis standalone-ha.xml), pärast mida mõni konkreetne replicated-cache peatutakse vajaduselt Infinispan serveri poolel.

Vahemälu seadistamine

Keycloak'is on kaks tüüpi vahemälusid:

• Kohalik. See asub lähedal andmebaasile, vähendab andmebaasi koormust ja vähendab vastuse latentsust. Selle tüüpi vahemälus hoitakse realm'i, kliente, rolle ja kasutajate metateavet. Seda tüüpi vahemälu ei replitseerita, isegi kui see vahemälu on osa Keycloak klastrist. Kui vahemälus muudetakse mõnda kirjet - teistele klastris olevatele serveritele saadetakse muudatusest teadet, pärast mida kirje eemaldatakse vahemälust. Vaata kirjeldust work edasi, et saada detailse kirjelduse protsessist.

• Replitseeriv. Töötleb kasutaja seansse, offline token'id, samuti jälgib sisse logimise vigu, et tuvastada paroolifishingu ja muude rünnakute katseid. Neis vahemäludes hoitavad andmed on ajutised, hoitakse ainult RAM-is, kuid neid saab replitseerida klastris.

Infinispan vahemälud

Seansid — mõisted Keycloak'is, eraldi vahemälud, mida nimetatakse authenticationSessions, kasutatakse konkreetsete kasutajate andmete hoidmiseks. Needelt vahemäludelt tulenevad päringud on tavaliselt vajalikud brauserile ja Keycloak serveritele, mitte rakendustele. Siin ilmneb sõltuvus sticky sessions'ist ja selliseid vahemälusid ei pea replitseerima, isegi kui kasutatakse Active-Active režiimi.

Tegevusetokenid. Järgmine kontseptsioon, mida tavaliselt rakendatakse erinevates stsenaariumites, kus näiteks peab kasutaja midagi asünkroonselt e-posti teel tegema. Näiteks protseduuri käigus unustasin parooli vahemälu actionTokens rakendatakse seotud tokenite metaandmete jälgimiseks — näiteks on token juba kasutatud ja ei saa uuesti aktiveerida. See vahemälu tüüp peab tavaliselt replitseerima andmeid andmekeskuste vahel.

Vahemälestamine ja salvestatud andmete aegumine töötleb, et vähendada andmebaasi koormust. Selline vahemälu parandab jõudlust, kuid toob kaasa ilmse probleemi. Kui üks Keycloak server värskendab andmeid, peavad teised serverid sellest teavitama, et nad saaksid oma vahemälus andmed ajakohastada. Keycloak kasutab kohalikke vahemälusid realmide, users ja autoriseerimise andmete vahemälestamiseks andmebaasist.

Samuti on eraldi vahemälu work, mis replitseeritakse kõigis andmekeskustes. See ei salvesta andmeid andmebaasist, vaid teenib sõnumite edastamist andmete aegumiste kohta klastrite sõlmedele andmekeskuste vahel. Teisisõnu, niipea kui andmed uuendatakse, saadab Keycloak sõlm sõnumi teistele sõlmedele oma andmekeskuses ja samuti teistele andmekeskuste sõlmedele. Pärast sellise sõnumi saamist teostab iga sõlm oma kohalikes vahemäludes vastavate andmete puhastamise.

Kasutaja sessioonid. Vahemälud nimega sessions, clientSessions, offlineSessions ja offlineClientSessions, replitseeritakse tavaliselt andmekeskuste vahel ja teenivad kasutajate seansside andmete salvestamist, mis on aktiivsed kasutaja tegevuse ajal brauseris. Need vahemälud töötavad rakendusega, mis käitleb lõppkasutajatelt päringute HTTP, seega on need seotud sticky sessions'iga ja peavad replitseerima andmekeskuste vahel.

Brute force rünnakute kaitse. Vahemälu loginFailures teenib sisenemise vigade andmete jälgimiseks, näiteks kui mitu korda kasutaja sisestas vale parooli. Selle vahemälu replitseerimine on administraatori ülesanne. Kuid täpse arvestuse saamiseks tasub aktiveerida replitseerimine andmekeskuste vahel. Teiselt poolt võib, kui neid andmeid ei replitseerida, parandada jõudlust ja kui see küsimus tõusetub — replitseerimist ei pea aktiveerima.

Infinispan klastri seadistamisel tuleb lisada vahemälu määratlemine seadistuste faili:

Infinispan klastrit tuleb seadistada ja käivitada enne Keycloaki klastrit.

Seejärel tuleb seadistada remoteStore Keycloaki vahemikke. Selleks piisab skriptist, mis on loodud analoogselt eelnevale, mida kasutatakse muutuja seadistamiseks CACHE_OWNERS, see tuleb salvestada faili ja paigutada kataloogi. /opt/jboss/startup-scripts:

skripti sisu

embed-server --server-config=standalone-ha.xml --std-out=echo
batch

echo *** Uuendage infinispan allüksust ***
/subsystem=infinispan/cache-container=keycloak:write-attribute(name=module, value=org.keycloak.keycloak-model-infinispan)

echo ** Lisage kaug-soketi sidumine infinispan serverisse **
/socket-binding-group=standard-sockets/remote-destination-outbound-socket-binding=remote-cache:add(host=${remote.cache.host:localhost}, port=${remote.cache.port:11222})

echo ** Uuendage replikatsioon-cache tööelementi **
/subsystem=infinispan/cache-container=keycloak/repaired-cache=work/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=work, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)

/subsystem=infinispan/cache-container=keycloak/repaired-cache=work:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache sessioonide elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=sessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache offlineSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=offlineSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache clientSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=clientSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache offlineClientSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=offlineClientSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache loginFailures elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=loginFailures, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache actionTokens elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    cache=actionTokens, 
    remote-servers=["remote-cache"], 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-cache authenticationSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=authenticationSessions:write-attribute(name=statistics-enabled,value=true)

echo *** Uuendage undertow allüksust ***
/subsystem=undertow/server=default-server/http-listener=default:write-attribute(name=proxy-address-forwarding,value=true)

run-batch
stop-embedded-server

Ärge unustage seadistada JAVA_OPTS Keycloak sõlmedele HotRod'i töötamiseks: remote.cache.host, remote.cache.port ja teenuse nimi jboss.site.name.

Lingid ja täiendav dokumentatsioon

• https://www.keycloak.org/docs/latest/server_installation/index.html
• https://docs.wildfly.org/17/High_Availability_Guide.html#cluster-configuration
• https://infinispan.org/docs/9.4.x/user_guide/user_guide.html
• https://hub.docker.com/r/jboss/keycloak
• https://hub.docker.com/r/jboss/infinispan

Artikkel on tõlgitud ja koostatud Habra töötajate poolt Sljörmi koolituskeskusest — intensiivkursused, videokursused ja ettevõtete koolitus praktikute poolt (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE)

Allikas: habr.com