Käivitame Keycloaki HA-režiimis Kuberneteses

TL;DR: on Keycloak, avatud lähtekoodiga juurdepääsusüsteem, selle sisemist struktuuri analüüs, seadistamise üksikasjad.

Sissejuhatus ja põhiteemad

Selles artiklis käsitleme põhiteemasid, mida meeles pidada Keycloaki klusteri käitamisel Kubernetesel.

Kui soovite rohkem teada Keycloaki kohta, tutvuge artikli lõpus olevate linkidega. Süvitsi minemiseks võite uurida meie repository't , millel on moodul, mis realiseerib selles artiklis käsitletud põhiteemasid (käivitamisjuhend on seal sama, artikkel annab ülevaate seadistusest ja seadistustest. tõlkija märk.).

Keycloak on keeruline süsteem, mis on kirjutatud Java-s ja loodud rakenduste serveri Wildflypeal. Lihtsalt öeldes, on see autoriseerimise framework, mis pakub rakenduse kasutajatele föderatiivsust ja SSO (ühekordne sisselogimine) võimalust.

Kutsume teid tutvuma ametliku veebileht või Vikipeedia ga, et saada põhjalikumat arusaama.

Keycloaki käivitamine

Keycloak vajab käitamiseks kahte pidevalt hoitavat andmeallikat:

• Andmebaas, mis on mõeldud stabiilsete andmete, näiteks kasutaja teabe, salvestamiseks.
• Datagrid cache, mis kasutatakse andmete vahemälustamiseks andmebaasist ning ka teatud lühiajaliste ja sageli muudetavate metaandmete, näiteks kasutajasessioonide jaoks. Vabastatakse Infinispan, mis on tavaliselt andmebaasist märkimisväärselt kiirem. Kuid igal juhul on Infinspanis salvestatud andmed efemeersed — ja neid ei pea klastrit taaskäivitades kuhugi salvestama.

Keycloak töötab neljas erinevas režiimis:

• Tavaline — üks ja ainus protsess, mis on seadistatud faili kaudu standalone.xml
• Tavaklaster (kõrge saadavusega variant) — kõik protsessid peavad kasutama sama konfiguratsiooni, mida tuleb käsitsi sünkroonida. Seaded salvestatakse faili standalone-ha.xml, lisaks peab olema ligipääs andmebaasile ja koormuse tasakaalustaja.
• Domeeniklastri — tavalise režiimi klastri käivitamine muutub kiiresti rutiinseks ja igavaks tegevuseks klastri kasvades, kuna igal korral, kui konfiguratsiooni muudetakse, tuleb kõik muudatused iga klassi sõlme kanda. Domeenirežiim lahendab selle probleemi, seadistades ühise salvestuskoha ja avaldades konfiguratsiooni. Need seadistused salvestatakse faili domain.xml
• Replikatsioon andmekeskuste vahel — kui soovite käivitada Keycloaki mitme andmekeskuse klastris, mis asuvad geograafiliselt erinevates kohtades. Selle töörežiimi korral on igal andmekeskusel oma Keycloaki serverite klaster.

Selles artiklis vaatame lähemalt teist varianti, nimelt tavaline klaster, samuti puudutame natuke teemat replikatsioonist andmekeskuste vahel, kuna neid kahte varianti on mõistlik käivitada Kuberneteses. Õnneks ei ole Kuberneteses probleem mitme podi (Keycloaki sõlmede) seadistuste sünkroniseerimisel, nii et domeeniklaster ei ole liiga keeruline teha.

Palun pöörake tähelepanu, et sõna klaster Artikli lõpus käsitletakse ainult Keycloaki sõlmedest koosneva grupi kohta, Kubernetes'i klastrile viitamine ei ole vajalik.

Tavaline Keycloaki klaster

Keycloaki käitamiseks selles režiimis on vajalik:

• seada sisse väline jagatud andmebaas
• paigaldada koormuse tasakaalustaja
• omada sisevõrku, mis toetab IP multicast'i

Välise andmebaasi seadistamist me siin ei käsitle, kuna see ei ole artikli eesmärk. Arvestame, et kuskil on toimiv andmebaas — ja meil on sellele juurdepääsupunkt. Me lihtsalt lisame need andmed keskkonnavaru muutujatesse.

Keycloaki toimimise paremaks mõistmiseks talitluskatkestusteta (HA) klastris on oluline teada, kui palju see kõik sõltub Wildfly klasterdamise võimekusest.

Wildfly rakendab mitmeid alamsüsteeme, millest mõned toimivad koormuse tasakaalustajana, teised - talitluskatkestuste vältimiseks. Koormuse tasakaalustaja tagab rakenduse kättesaadavuse klastrisõlme ülekoormuse korral, samas kui talitluskatkestuste vältimine tagab rakenduse kättesaadavuse isegi juhul, kui osa klastrisõlmedest ebaõnnestub. Mõned nendest alamsüsteemidest:

• mod_cluster: töötab koos Apache'iga HTTP tasakaalustajana, sõltub TCP multicastist, et leida vaikimisi sõlmi. Võib asendada välise tasakaalustajaga.

• infinispan: jagatud vahemälu, mis kasutab JGroups kanaleid transporditasemena. Lisaks võib kasutada HotRod protokolli, et suhelda välist Infinispani klastriga vahemälu sisu sünkroonimiseks.

• jgroups: pakub grupi suhtluse tuge kõrge k disponibilidade teenustele JGroups kanalite põhjal. Nimetatud kanalid võimaldavad klastris rakenduse eksemplaridel ühenduda rühmadesse, et suhtlus omaks selliseid omadusi nagu usaldusväärsus, järjestus ja tõrkevaba tundlikkus.

Tasakaalustaja

Tasakaalustaja seadistamisel Kubernetes klastris ingress kontrollerina on oluline silmas pidada järgmisi asju:

Keycloak'i töö eeldab, et HTTP kaudu autentimiserveriga ühendatud kliendi kaug-aategelane on kliendi arvuti tegelik IP-aadress. Tasakaalustaja ja ingress seadistused peaksid õigesti seadma HTTP päised X-Forwarded-For ja X-Forwarded-Proto, samuti hoidma algset päist HOST. Viimane versioon ingress-nginx (> 0.22.0) ei ole seda vaikimisi väljalülitatud

Lipumärgi aktiveerimine proxy-address-forwarding seades keskkonnamuutuja PROXY_ADDRESS_FORWARDING ühes true annab Keycloakile arusaama, et see töötab proxy taga.

Samuti tuleb aktiveerida kleepuvad sessioonid ingressis. Keycloak kasutab Infinispan'i jaotatud vahemälu, et salvestada autentimise ja kasutaja sessiooniga seotud andmeid. Vahemälud töötavad vaikimisi ühe omanikuga, teisisõnu salvestatakse see konkreetne sessioon mõnes klastris asuvas sõlmes ja teised sõlmed peavad langetama selle eemalt, kui neile on vaja sellele sessioonile juurde pääseda.

Konkreetsemalt ei töötanud meil dokumentatsioonile vastav sessiooninimega küpsis AUTH_SESSION_ID. Keycloak läks ümber suunamisel ummikusse, seetõttu soovitame valida teistsugune küpsiseketi nimi.

Samuti lisab Keycloak esimesele vastanud sõlme nime AUTH_SESSION_ID, ja kuna iga sõlm kõrgetasemelises variandis kasutab üht ja sama andmebaasi, peab igaühel neist olema eraldi ja ainulaadne sõlme identifikaator tehingute haldamiseks. Soovitatav on seada JAVA_OPTS parameetrid jboss.node.name ja jboss.tx.node.id iga node'ile unikaalseid nimesid, näiteks saate määrata poodi nime. Kui määrate poodi nime, pidage meeles, et jboss muutujaid on piirang 23 sümbolit, seega on parem kasutada StatefulSet, mitte Deployment.

Veel üks probleem — kui pood kustutatakse või taaskäivitub, kaob selle vahemälu. Seetõttu on soovitatav seada kõigi vahemälude omanikke vähemalt kaks, et jääks alles varukoopia. Lahendus — käivitada Wildfly skript poodi käivitamisel, asetades selle katalooge /opt/jboss/startup-scripts konteineris:

Skripti sisu

embed-server --server-config=standalone-ha.xml --std-out=echo
batch

echo * Seadistame CACHE_OWNERS "${env.CACHE_OWNERS}" kõigis vahemälude konteinerites

/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=authenticationSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures:write-attribute(name=owners, value=${env.CACHE_OWNERS:1})

run-batch
stop-embedded-server

järel peab seadistama keskkonnamuutuja väärtuse CACHE_OWNERS vajalikuks.

Privaatne võrk IP multicasti toega

Kui kasutate Weavenet'it CNI-na, töötab multicast kohe — ja teie Keycloak nodid näevad üksteist, kui need on käivitatud.

Kui teie Kubernetes kluster ei toeta IP multicast'i, saate seadistada JGroups'i töötama teiste protokollidega nodide leidmiseks.

Esimene võimalus on kasutada KUBE_DNS, mis kasutab headless teenust Keycloaki sõlmede leidmiseks edastate lihtsalt JGroups'ile teenuse nime, mida kasutatakse sõlmede otsimiseks.

Veel üks võimalus on kasutada meetodit KUBE_PING, mis töötab API kaudu sõlmede otsimiseks (tuleb seadistada serviceAccount õigustega loend ja get, seejärel seadistage podid selle serviceAccount).

JGroups'i sõlmede otsimise meetod seadistatakse keskkonnamuutujate määramise kaudu JGROUPS_DISCOVERY_PROTOCOL ja JGROUPS_DISCOVERY_PROPERTIES. Selle jaoks KUBE_PING peate valima podid, määrates namespace ja labels.

️ Kui kasutate multicast'i ja käitate kaks või enam Keycloaki klastri ühes Kubernetes'i klastris (näiteks ühes namespace'is tootmisse, teine — staging) — ühe Keycloaki klastri sõlmed võivad liituda teise klastri võrku. Kasutage kindlasti iga klastrite jaoks ainulaadset multicast-aadressi, seadistades muutujadjboss.default.multicast.address ja jboss.modcluster.multicast.address ühes JAVA_OPTS.

Replikatsioon andmekeskuste vahel

Side

Keycloak kasutab iga andmekeskuse jaoks eraldi Infinispan'i vahemälude klastreid, kus asuvad Keycloaki klastrid, mis koosnevad Keycloaki sõlmedest. Kuid erinevate andmekeskuste Keycloaki sõlmede vahel ei ole vahet.

Keycloaki sõlmed kasutavad andmekeskustevaheliseks suhtlemiseks välist Java Data Grid'i (Infinispan'i serverid). Suhtlemine toimub protokolli kaudu Infinispan HotRod.

Infinispan cache'id tuleb seadistada atribuudiga remoteStore, et andmed saaksid salvestuda kaug- (teises andmekeskuses, tõlkija märk.) cache'idesse. JDG serverite seas on eraldi Infinispan klastrid, seega andmed, mis salvestatakse JDG1-l aadressil site1 , replikeeritakse JDG2-l aadressil site2.

Lõpuks teavitab JDG vastuvõtuseerver oma klastris Keycloak servereid klientühenduste kaudu, mis on HotRod protokolli omadus. Keycloak sõlmed site2 uuendavad oma Infinispan cache'id, ja konkreetne kasutaja sessioon on samuti kergesti kättesaadav Keycloak sõlmedes aadressil site2.

Teatud cache'ide puhul on samuti võimalik loobuda varukoopiatest ja täielikult andmete salvestamisest Infinispan serveri kaudu. Selleks tuleb eemaldada seade remote-store konkreetse Infinispan cache'i kohta (failis standalone-ha.xml), pärast mida teatud konkreetne replicated-cache lakkab samuti olemast vajalik Infinispan serveri poolel.

Cache'ide seadistamine

Keycloak'is on kaks tüüpi cache'e:

• Kohalik. See asub andmebaasi kõrval, et vähendada andmebaasi koormust ja vähendada vastuste viivitust. Sellises vahemälus hoitakse realm'i, kliente, rolle ja kasutajametadateid. See vahemälu ei replikeeru, isegi kui see on Keycloak'i klastris osa. Kui vahemälus muudetakse mõnda kirjet, saadetakse teistele klastris olevatele serveritele teade muudatustest, mille järel kiri vahemälust eemaldatakse. Vaata kirjeldust. töö edasi, et saada üksikasjalikumat teavet protseduuri kohta.

• Replikeeritav. Töötab kasutajasessioonide, offline tokenite töötlemisega ja jälgib autendimise vigu, et tuvastada paroolifishingu ja muude rünnakute katsed. Neis vahemäludes hoitavad andmed on ajutised, hoiustatakse ainult mälus, kuid neid saab replikeerida klastri vahel.

Infinispan vahemälud

Sessioonid — mõisted Keycloak'is, eraldi vahemälud, mida nimetatakse authenticationSessions, kasutatakse konkreetsete kasutajate andmete salvestamiseks. Nendest vahemällu salvestatud päringud on tavaliselt vajalikud brauseritele ja Keycloaki serveritele, mitte rakendustele. Siin avaldub sõltuvus sticky sessions'ist, ning selliseid vahemälusid ei pea isegi Active-Active režiimis replitseerima.

Toimingute tokenid. Järjekordne kontseptsioon, mida tavaliselt kasutatakse erinevates stsenaariumides, näiteks kui kasutaja peab midagi asementeerima e-posti teel. Näiteks parooli forget password vahemälu actionTokens kasutatakse seotud tokenite metainformatsiooni jälgimiseks — näiteks, kas token on juba kasutatud ja ei saa uuesti aktiveerida. Selline vahemälu peaks tavaliselt olema replitseeritav andmekeskuste vahel.

Andmete vahemällu salvestamine ja aegumine töötavad, et vähendada andmebaasi koormust. Selline vahemällu salvestamine parandab jõudlust, kuid toob kaasa ilmselge probleemi. Kui üks Keycloaki server värskendab andmeid, peavad teised serverid olema sellest teavitatud, et nad saaksid oma vahemälus andmeid ajakohastada. Keycloak kasutab kohalikku vahemälu realms, users ja autentimine andmete vahemällu salvestamiseks andmebaasist.

Lisaks on olemas eraldi vahemälu töö, mis replitseeritakse kõigis andmekeskustes. See ei salvesta andmeid andmebaasist, vaid teenib sõnumite saatmiseks andmete aegumise kohta klastrite sõlmedele andmekeskuste vahel. Teisisõnu, kui andmed uuendatakse, saadab Keycloak'i sõlm sõnumi oma andmekeskuse teistele sõlmedele ning ka teiste andmekeskuste sõlmedele. Sellise sõnumi saamisel tegeleb iga sõlm vastavate andmete puhastamisega oma kohalikes vahemäludes.

Kasutajaseansid. Vahemälud, mille nimed on sessions, clientSessions, offlineSessions ja offlineClientSessions, replitseeritakse tavaliselt andmekeskuste vahel ja neid kasutatakse kasutajate sessioonide andmete salvestamiseks, mis on aktiivsed kasutaja aktiivsuse ajal brauseris. Need vahemälud töötavad rakendusega, mis käsitleb lõppkasutajatelt HTTP-päringuid, seega on need seotud sticky sessions'iga ja peavad olema andmekeskuste vahel replitseeritud.

Karmuse rünnaku kaitse. Vahemälu loginFailures teenendab sisse logimise vigade andmete jälgimist, näiteks kui tihti kasutaja valesti parooli sisestas. Selle vahemälu replikatsioon on administraatori ülesanne. Kuid täpse arvestuse jaoks tasub aktiveerida replikatsioon andmekeskuste vahel. Teisest küljest, kui neid andmeid ei replitseerida, saab saavutada parema jõudluse, ja kui see küsimus tõstatub, võib replikatsiooni ka mitte aktiveerida.

Infinispani klastri seadistamisel tuleb lisada vahemälude määratlemised seadistusfaili:

Enne Keycloaki klastri käivitamist peab Infinispani klastrit seadistama ja käivitama.

Seejärel tuleb seadistada remoteStore Keycloak'i vahemälu jaoks. Selleks piisab skriptist, mis tehakse sarnaselt varasemale, mis kasutatakse muutuja seadistamiseks CACHE_OWNERS, tuleb see salvestada faili ja paigutada kataloogi /opt/jboss/startup-scripts:

Skripti sisu

embed-server --server-config=standalone-ha.xml --std-out=echo
batch

echo *** Uuendage infinispan alamprogrammi ***
/subsystem=infinispan/cache-container=keycloak:write-attribute(name=module, value=org.keycloak.keycloak-model-infinispan)

echo ** Lisage kaugühenduse pordivõimekuse infinispan serverisse **
/socket-binding-group=standard-sockets/remote-destination-outbound-socket-binding=remote-cache:add(host=${remote.cache.host:localhost}, port=${remote.cache.port:11222})

echo ** Uuendage replikatsiooni-puhvri tööelement **
/subsystem=infinispan/cache-container=keycloak/replicated-cache=work/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=work, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)

/subsystem=infinispan/cache-container=keycloak/replicated-cache=work:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri sessioonide elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=sessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=sessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri offlineSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=offlineSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri clientSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=clientSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=clientSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri offlineClientSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=offlineClientSessions, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=offlineClientSessions:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri loginFailures elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    remote-servers=["remote-cache"], 
    cache=loginFailures, 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=loginFailures:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri actionTokens elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens/store=remote:add( 
    passivation=false, 
    fetch-state=false, 
    purge=false, 
    preload=false, 
    shared=true, 
    cache=actionTokens, 
    remote-servers=["remote-cache"], 
    properties={ 
        rawValues=true, 
        marshaller=org.keycloak.cluster.infinispan.KeycloakHotRodMarshallerFactory, 
        protocolVersion=${keycloak.connectionsInfinispan.hotrodProtocolVersion} 
    } 
)
/subsystem=infinispan/cache-container=keycloak/distributed-cache=actionTokens:write-attribute(name=statistics-enabled,value=true)

echo ** Uuendage jaotatud-puhvri authenticationSessions elementi **
/subsystem=infinispan/cache-container=keycloak/distributed-cache=authenticationSessions:write-attribute(name=statistics-enabled,value=true)

echo *** Uuendage undertow alamprogrammi ***
/subsystem=undertow/server=default-server/http-listener=default:write-attribute(name=proxy-address-forwarding,value=true)

run-batch
stop-embedded-server

Ärge unustage seadistada JAVA_OPTS HotRod'i tööks Keycloak'i sõlmede jaoks: remote.cache.host, remote.cache.port ja teenuse nimi jboss.site.name.

Lingid ja täiendav dokumentatsioon

• https://www.keycloak.org/docs/latest/server_installation/index.html
• https://docs.wildfly.org/17/High_Availability_Guide.html#cluster-configuration
• https://infinispan.org/docs/9.4.x/user_guide/user_guide.html
• https://hub.docker.com/r/jboss/keycloak
• https://hub.docker.com/r/jboss/infinispan

Artikkel on tõlgitud ja ette valmistatud Habr'i töötajate poolt Slörmi koolituskeskus — intensiivkursused, videokursused ja ettevõtete koolitus praktiseerivatelt spetsialistidelt (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE)

Allikas: habr.com