
Nemrég egy ismert cég bejelentette, hogy átáll a laptopjai ARM-architektúrára. Mikor ezt a hírt hallottam, eszembe jutott, hogy amikor legutóbb az AWS EC2 árakat néztem, megláttam a Gravitonokat egy nagyon vonzó áron. A csavar természetesen az volt, hogy ez ARM. Akkor még nem gondoltam, hogy az ARM elég komoly…
Számomra ez az architektúra mindig a mobil és egyéb IoT kütyük birodalma volt. Az „igazi” szerverek ARM-on – kicsit furcsa, bizonyos szempontból akár vad… De az új gondolat megtelepedett a fejemben, így egyik hétvégén eldöntöttem, hogy megnézem, mit lehet ma már futtatni ARM-on. Ehhez a Kubernetes klaszterrel szerettem volna kezdeni, nem is akármilyen „klaszterrel”, hanem olyannal, ami a lehető legjobban hasonlít arra, amit a production környezetben megszoktam.
Az elképzelésem szerint a klaszternek elérhetőnek kell lennie az interneten, futnia kell benne valamilyen webalkalmazásnak, és szükség van legalább egy monitorozásra is. Ehhez a tervhez szükség lesz pár (vagy több) Raspberry Pi 3B+ vagy újabb modellre. Kísérletezési alapként az AWS is szóba jöhetett volna, de számomra a „málna” volt a lényeg (amúgy is tétlenül álltak). Tehát Kubernetes klasztert fogunk telepíteni Ingress, Prometheus és Grafana segítségével rájuk.
A „málna” felkészítése
Operációs rendszer és SSH telepítése
Az operációs rendszer kiválasztásával nem fáradoztam túlságosan: egyszerűen a legfrissebb Raspberry Pi OS Lite verziót választottam a . Itt található a , amelyet a jövőbeli klaszter összes csomópontján végre kell hajtani. Ezután a következő lépéseket kell végrehajtani (szintén minden csomóponton).
Monitor és billentyűzet csatlakoztatása után először be kell állítani a hálózatot és az SSH-t:
- A klaszter működéséhez a master csomópontnak statikus IP-címmel kell rendelkeznie, a munkacsoportok esetén ez tetszés szerint. Én mindenhol statikus címet preferáltam a beállítások kényelme érdekében.
- A statikus címet be lehet állítani az operációs rendszerben (a fájlban
/etc/dhcpcd.confvan egy megfelelő példa) vagy a DHCP-szerverben a lease rögzítésével (az én esetemben a házi) routeren. - Az ssh-server egyszerűen az raspi-config alatt engedélyezhető (interfacing options → ssh).
Ezt követően be lehet jelentkezni SSH-n (alapértelmezett felhasználónév – pi, a jelszó pedig – raspberry vagy az, amit módosítottunk) és folytathatjuk a beállításokat.
Egyéb beállítások
- Állítsuk be a gazdagép nevét. Az én példámban a következőket fogjuk használni,
pi-controléspi-worker. - Ellenőrizzük, hogy a fájlrendszer ki van terjesztve az egész lemezre (
df -h /). Szükség esetén a raspi-config segítségével bővíthetjük. - Módosítsuk az alapértelmezett felhasználói jelszót a raspi-config-ban.
- Kapcsoljuk ki a swap fájlt (ez a Kubernetes követelménye; ha érdeklik a részletek a témában, lásd ):
dphys-swapfile swapoff systemctl disable dphys-swapfile - Frissítsük a csomagokat a legújabb verziókra:
apt-get update && apt-get dist-upgrade -y - Telepítsük a Dockert és a kiegészítő csomagokat:
apt-get install -y docker docker.io apt-transport-https curl bridge-utils iptables-persistentTelepítéskor
iptables-persistentmeg kell menteni az iptables beállításait ipv4-re, és a fájlban/etc/iptables/rules.v4— adjuk hozzá a szabályokat aFORWARD, így:# Generated by xtables-save v1.8.2 on Sun Jul 19 00:27:43 2020 *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A FORWARD -s 10.1.0.0/16 -j ACCEPT -A FORWARD -d 10.1.0.0/16 -j ACCEPT COMMIT - Csak annyit kell tenni, hogy újraindítjuk.
Most már minden készen áll a Kubernetes klaszter telepítésére.
Kubernetes telepítése
Ebben a szakaszban szándékosan elhalasztottam minden saját és céges fejlesztésünket az K8s klaszter telepítésének és konfigurálásának automatizálására. Ehelyett az hivatalos dokumentációt fogjuk használni, (kismértékben kiegészítve megjegyzésekkel és rövidítésekkel).
Adjunk hozzá Kubernetes tárolót:
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
sudo apt-get updateA dokumentáció következő lépésében a CRI (container runtime interface) telepítését javasolják. Mivel a Docker már telepítve van, haladjunk tovább és telepítsük a főbb komponenseket:
sudo apt-get install -y kubelet kubeadm kubectl kubernetes-cni A fő komponensek telepítése során azonnal hozzáadtam kubernetes-cni, amely szükséges a klaszter működéséhez. És itt van egy fontos dolog: a csomag kubernetes-cni valamilyen okból nem hoz létre alapértelmezett könyvtárat a CNI interfészek beállításainak, ezért manuálisan kellett létrehoznom:
mkdir -p /etc/cni/net.dA következő lépésben, amely a network-backend-re vonatkozik, szükséges telepíteni a CNI-hez szükséges plugint. Én a számomra megszokott és érthető portmap plugint választottam (a teljes lista megtekintéséhez lásd a ):
curl -sL https://github.com/containernetworking/plugins/releases/download/v0.7.5/cni-plugins-arm-v0.7.5.tgz | tar zxvf - -C /opt/cni/bin/ ./portmapKubernetes beállítása
A control plane csomópont
A klaszter telepítése meglehetősen egyszerűen történik. A folyamat felgyorsítása és annak ellenőrzése érdekében, hogy a Kubernetes képek elérhetők legyenek, futtathatjuk előre:
kubeadm config images pullMost magát a telepítést végezzük el — inicializáljuk a klaszter control plane-jét:
kubeadm init --pod-network-cidr=10.1.0.0/16 --service-cidr=10.2.0.0/16 --upload-certsFelhívjuk a figyelmet arra, hogy a szolgáltatások és pod-ok alhálózatai nem ütközhetnek egymással és a meglévő hálózatokkal.
A végén megjelenik egy üzenet, hogy minden rendben, és egyúttal tanácsot adnak arra, hogyan lehet a munkacsomópontokat csatlakoztatni a vezérlő síkhoz:
A Kubernetes vezérlő síkja sikeresen inicializálódott!
Ahhoz, hogy használni tudja a klasztert, a következő parancsokat kell végrehajtania normál felhasználóként:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Most telepítse a pod hálózatot a klaszterre.
Futtassa a "kubectl apply -f [podnetwork].yaml" parancsot az alábbi lehetőségek egyikével:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Most bármennyi vezérlő sík csomópontot csatlakoztathat a következő parancs root jogokkal történő végrehajtásával:
kubeadm join 192.168.88.30:6443 --token a485vl.xjgvzzr2g0xbtbs4
--discovery-token-ca-cert-hash sha256:9da6b05aaa5364a9ec59adcc67b3988b9c1b94c15e81300560220acb1779b050
--control-plane --certificate-key 72a3c0a14c627d6d7fdade1f4c8d7a41b0fac31b1faf0d8fdf9678d74d7d2403
Kérjük, vegye figyelembe, hogy a certificate-key hozzáférést biztosít a klaszter érzékeny adataihoz, tartsa titokban!
A biztonság érdekében a feltöltött tanúsítványok két óra múlva törlésre kerülnek; szükség esetén használja a
"kubeadm init phase upload-certs --upload-certs" parancsot a tanúsítványok újratöltéséhez.
Ezután bármennyi munkacsomópontot csatlakoztathat a következő parancs root jogokkal történő végrehajtásával:
kubeadm join 192.168.88.30:6443 --token a485vl.xjgvzzr2g0xbtbs4
--discovery-token-ca-cert-hash sha256:9da6b05aaa5364a9ec59adcc67b3988b9c1b94c15e81300560220acb1779b050Végezzük el a felhasználói konfiguráció hozzáadásának ajánlásait. Azt is javaslom, hogy azonnal adjunk hozzá automatikus kiegészítést a kubectl-hez:
kubectl completion bash > ~/ .kube/completion.bash.inc
printf "
# Kubectl shell kiegészítés
source '$HOME/ .kube/completion.bash.inc'
" >> $HOME/ .bash_profile
source $HOME/ .bash_profileEzen a ponton már látható az első csomópont a klaszterben (bár még nem kész):
root@pi-control:~# kubectl get no
NÉV ÁLLAPOT SZEREPKÖR KOR VERZIÓ
pi-control NotReady master 29s v1.18.6Hálózati konfiguráció
Továbbá, ahogy azt a telepítés után mondták, szükséges lesz a hálózat telepítése a klaszterre. A dokumentáció Calico, Cilium, contiv-vpp, Kube-router és Weave Net közül ajánl választani... Itt eltértem a hivatalos utasítástól, és egy számomra ismertebb és érthetőbb megoldást választottam: host-gw üzemmódban (további információ a rendelkezésre álló háttérszerverekről lásd ).
A klaszterre történő telepítése meglehetősen egyszerű. Először töltsük le a manifesztet:
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml Ezután módosítjuk a beállításokat a következőre: vxlan Gyorsan emlékezzünk vissza, hogyan működik a moduláris aritmetika. Az óra már egy ismert koncepció. Az órák használata host-gw:
sed -i 's/vxlan/host-gw/' kube-flannel.yml… és a podok alhálózatát is a klaszter inicializálásakor megadottra:
sed -i 's#10.244.0.0/16#10.1.0.0/16#' kube-flannel.ymlEzt követően létrehozzuk az erőforrásokat:
kubectl create -f kube-flannel.yml Kész! Néhány perc múlva az első K8s csomópont átáll a Kész:
NÉV ÁLLAPOT SZEREPKÖR KOR VERZIÓ
pi-control Kész master 2m v1.18.6Munkacsomópont hozzáadása
Most már hozzáadhatunk egy worker-t. Ehhez egyszerűen végre kell hajtani az előzőleg kapott parancsot: a Kubernetes telepítése után, a fent leírt forgatókönyv szerint.
kubeadm join 192.168.88.30:6443 --token a485vl.xjgvzzr2g0xbtbs4
--discovery-token-ca-cert-hash sha256:9da6b05aaa5364a9ec59adcc67b3988b9c1b94c15e81300560220acb1779b050Ezen a ponton mondhatjuk, hogy a klaszter kész:
root@pi-control:~# kubectl get no
NAME STATUS ROLES AGE VERSION
pi-control Ready master 28m v1.18.6
pi-worker Ready 2m8s v1.18.6Két Raspberry Pi volt nálam, így nem akartam egyiket sem a control plane-hez adni. a fő DB példányhoz Ezért eltávolítottam az automatikusan telepített taint-et a pi-control csomópontból, a következő parancs futtatásával:
root@pi-control:~# kubectl edit node pi-control… és eltávolítottam a következő sorokat:
- effect: NoSchedule
key: node-role.kubernetes.io/masterA klaszter szükséges minimális feltöltése
Első lépésben szükségünk lesz Helm. Természetesen mindent megtehetünk nélküle is, de a Helm lehetővé teszi, hogy szinte fájlok módosítása nélkül testre szabjuk a komponensek egy részét. Valójában ez egy egyszerű bináris fájl, amely „kenyeret nem kér”.
Tehát lépjünk be a dokumentációs telepítési részébe, és ott futtassuk a parancsot:
curl -s https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bashEzután adjuk hozzá a chartok tárolóját:
helm repo add stable https://kubernetes-charts.storage.googleapis.com/Most telepítsük az infrastruktúra összetevőit a tervek szerint:
- Ingress controller;
- Prometheus;
- Grafana;
- cert-manager.
Ingress controller
Az első komponens — Ingress controller — meglehetősen egyszerűen telepíthető és „dobozból kész” használatra. Ehhez csupán be kell lépni a és ott futtatni a telepítési parancsot:
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/baremetal/deploy.yamlViszont ekkor a „málna” elkezdett megterhelődni és akadozni kezdett a lemez IOPS miatt. Ennek az az oka, hogy az Ingress controllerrel egy nagy számú erőforrás települ, sok API-kérést hajtanak végre, így rengeteg adat kerül az etcd-be. Végül is, vagy a 10. osztályú memória kártya nem elég gyors, vagy az SD-kártyáknak egyszerűen nem elegendő a kapacitásuk egy ilyen terheléshez. Ennek ellenére körülbelül 5 perc múlva minden elindult.
Létrejött egy namespace, és megjelent benne a controller és minden szükséges eleme:
root@pi-control:~# kubectl -n ingress-nginx get pod
NAME READY STATUS RESTARTS AGE
ingress-nginx-admission-create-2hwdx 0/1 Completed 0 31s
ingress-nginx-admission-patch-cp55c 0/1 Completed 0 31s
ingress-nginx-controller-7fd7d8df56-68qp5 1/1 Running 0 48sPrometheus
A következő két komponenst meglehetősen egyszerű telepíteni a Helm segítségével a chart repóból.
Megkeressük Prometheus, létrehozzuk a namespace-t, és telepítjük belé:
helm search repo stable | grep prometheus
kubectl create ns monitoring
helm install prometheus --namespace monitoring stable/prometheus --set server.ingress.enabled=True --set server.ingress.hosts={"prometheus.home.pi"}Alapértelmezés szerint a Prometheus 2 lemezt rendel: az egyiket a Prometheus adataihoz, a másikat az AlertManager adataihoz. Mivel a klaszterben nem létezik storage class, a lemezek nem lesznek lefoglalva, és a pod-ok nem fognak elindulni. A bare metal telepítéseknél gyakran a Ceph rbd-t használjuk, de Raspberry Pi esetén ez nyilvánvaló túlzás.
Emiatt létrehozunk egy egyszerű helyi tárolót hostpath segítségével. A prometheus-server és prometheus-alertmanager számára készült PV (persistent volume) manifesztumok egy fájlban találhatók: prometheus-pv.yaml be. . A PV-nek szánt könyvtárat előre kell létrehozni azon a csomóponton, amelyhez a Prometheust szeretnénk csatolni: a példában a használata a hostname pi-worker alapján készült, és rajta találhatóak a könyvtárak. /data/localstorage/prometheus-server és /data/localstorage/prometheus-alertmanager.
Letöltjük (klónozzuk) a manifesztet, és hozzáadjuk a Kuberneteshez:
kubectl create -f prometheus-pv.yamlEzen a ponton először találkoztam az ARM architektúra problémájával. A kube-state-metrics, amely alapértelmezés szerint telepítve van a Prometheus chartban, nem indult el. Hibát adott:
root@pi-control:~# kubectl -n monitoring logs prometheus-kube-state-metrics-c65b87574-l66d8
standard_init_linux.go:207: exec user process caused "exec format error"A probléma az, hogy a kube-state-metrics a CoreOS projekt képét használja, amely nem készült ARM-ra:
kubectl -n monitoring get deployments.apps prometheus-kube-state-metrics -o=jsonpath={.spec.template.spec.containers[].image}
quay.io/coreos/kube-state-metrics:v1.9.7Enyhe keresgélés után találtam például . Ahhoz, hogy használhassuk, frissítjük a kiadást, megadva, hogy melyik képet használja a kube-state-metrics:
helm upgrade prometheus --namespace monitoring stable/prometheus --set server.ingress.enabled=True --set server.ingress.hosts={"prometheus.home.pi"} --set kube-state-metrics.image.repository=carlosedp/kube-state-metrics --set kube-state-metrics.image.tag=v1.9.6Ellenőrizzük, hogy minden elindult:
root@pi-control:~# kubectl -n monitoring get po
NAME READY STATUS RESTARTS AGE
prometheus-alertmanager-df65d99d4-6d27g 2/2 Running 0 5m56s
prometheus-kube-state-metrics-5dc5fd89c6-ztmqr 1/1 Running 0 5m56s
prometheus-node-exporter-49zll 1/1 Running 0 5m51s
prometheus-node-exporter-vwl44 1/1 Running 0 4m20s
prometheus-pushgateway-c547cfc87-k28qx 1/1 Running 0 5m56s
prometheus-server-85666fd794-z9qnc 2/2 Running 0 4m52sGrafana és cert-manager
A grafikonokhoz és dashboardokhoz telepítjük a Grafanába:
helm install grafana --namespace monitoring stable/grafana --set ingress.enabled=true --set ingress.hosts={"grafana.home.pi"}A kimenet végén megmutatják, hogyan lehet megszerezni a hozzáféréshez szükséges jelszót:
kubectl get secret --namespace monitoring grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echoA tanúsítványok rendeléséhez telepítsük cert-manager. A telepítéshez forduljunk a , amely megfelelő parancsokat ajánl a Helmhez:
helm repo add jetstack https://charts.jetstack.io
helm install
cert-manager jetstack/cert-manager
--namespace cert-manager
--version v0.16.0
--set installCRDs=trueA házi használatra szánt önaláírt tanúsítványokhoz ez éppen elegendő. Ha azonban ugyanazt a Let’s Encrypt, akkor be kell állítani a cluster issuert is. A részleteket a cikkünkben találja "».
Én magam az alábbi példát választottam a , és úgy döntöttem, hogy a staging változat a LE-ből elegendő lesz. Módosítjuk a példa e-mail címét, elmentjük egy fájlba, és hozzáadjuk a klaszterhez ():
kubectl create -f cert-manager-cluster-issuer.yamlMost már lehet tanúsítványt rendelni például a Grafanának. Ehhez domén és külső hozzáférés szükséges a klaszterhez. Van doménem, és a forgalmat a 80-as és 443-as portok átirányításával állítottam be a házi routeremen az ingress-controller által létrehozott szolgáltatás szerint:
kubectl -n ingress-nginx get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx-controller NodePort 10.2.206.61 80:31303/TCP,443:30498/TCP 23dA 80-as port ebben az esetben a 31303-asra van irányítva, a 443-as pedig a 30498-asra. (A portok véletlenszerűen generálódnak, ezért önöknek mások lehetnek.)
Íme egy példa a tanúsítványra ():
apiVersion: cert-manager.io/v1alpha2
kind: Certificate
metadata:
name: grafana
namespace: monitoring
spec:
dnsNames:
- grafana.home.pi
secretName: grafana-tls
issuerRef:
kind: ClusterIssuer
name: letsencrypt-stagingHozzáadjuk a klaszterhez:
kubectl create -f cert-manager-grafana-certificate.yamlEzután létrejön egy Ingress erőforrás, amelyen keresztül a Let’s Encrypt érvényesíteni fog:
root@pi-control:~# kubectl -n monitoring get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
cm-acme-http-solver-rkf8l grafana.home.pi 192.168.88.31 80 72s
grafana grafana.home.pi 192.168.88.31 80 6d17h
prometheus-server prometheus.home.pi 192.168.88.31 80 8d Miután az érvényesítés megtörtént, láthatjuk, hogy az erőforrás certificate kész, és a fent említett titokban grafana-tls a tanúsítvány és a kulcs található. Azonnal ellenőrizhetjük, hogy ki állította ki a tanúsítványt:
root@pi-control:~# kubectl -n monitoring get certificate
NAME READY SECRET AGE
grafana True grafana-tls 13m
root@pi-control:~# kubectl -n monitoring get secrets grafana-tls -ojsonpath="{.data['tls.crt']}" | base64 -d | openssl x509 -issuer -noout
issuer=CN = Fake LE Intermediate X1Térjünk vissza a Grafanához. Kicsit módosítanunk kell a Helm-kiadását, hogy a TLS beállításokat a létrehozott tanúsítványhoz igazítsuk.
Ehhez töltse le a chartot, módosítsa és frissítse a helyi könyvtárból:
helm pull --untar stable/grafana Szerkesztjük a fájlt grafana/values.yaml TLS paraméterek:
tls:
- secretName: grafana-tls
hosts:
- grafana.home.pi Itt azonnal beállíthatja a telepített Prometheust is következőként: datasource:
datasources:
datasources.yaml:
apiVersion: 1
datasources:
- name: Prometheus
type: prometheus
url: http://prometheus-server:80
access: proxy
isDefault: trueMost frissítsük a Grafana chartot a helyi könyvtárból:
helm upgrade grafana --namespace monitoring ./grafana --set ingress.enabled=true --set ingress.hosts={"grafana.home.pi"} Ellenőrizzük, hogy az Ingress-en grafana a 443-as port hozzá lett adva, és van hozzáférés HTTPS-en:
root@pi-control:~# kubectl -n monitoring get ing grafana
NÉV OSZTÁLY HOSZTOK CÍM PORTOK KOR
grafana <none> grafana.home.pi 192.168.88.31 80, 443 63m
root@pi-control:~# curl -kI https://grafana.home.pi
HTTP/2 302
szerver: nginx/1.19.1
dátum: Kedd, 2020. július 28. 19:01:31 GMT
content-type: text/html; charset=utf-8
cache-control: no-cache
expires: -1
location: /login
pragma: no-cache
set-cookie: redirect_to=; Path=/; HttpOnly; SameSite=Lax
x-frame-options: deny
strict-transport-security: max-age=15724800; includeSubDomainsA Grafana működésének bemutatásához letöltheti és hozzáadhatja . Így néz ki:

Ajánlom, hogy adjon hozzá egy dashboardot a node exporterhez is: részletesen megmutatja, hogy mi történik a „málna” készülékekkel (CPU terhelés, memóriahasználat, hálózat, lemez stb.).
Ezután azt gondolom, hogy a klaszter készen áll az alkalmazások fogadására és futtatására!
Megjegyzés a felépítésről
ARM architektúrára történő alkalmazásépítéshez legalább két lehetőség van. Először is, ARM eszközön is építhetünk. Azonban, miután megnéztem a két Raspberry Pi aktuális kihasználtságát, rájöttem, hogy még az építést sem bírnák el. Ezért rendeltem egy új Raspberry Pi 4-et (erősebb és 4 GB RAM-jával rendelkezik) – ezen tervezem a buildelést.
A második lehetőség egy többarchitektúrás Docker-kép építése egy erősebb gépen. Ehhez van . Ha az alkalmazás fordítható nyelven íródott, akkor szükség lesz kereszt-kompilálásra ARM-ra. Nem fogom részletezni az összes beállítást ehhez az úthoz, mert ez egy külön cikket igényelne. E megközelítés megvalósításával „univerzális” képek érhetők el: a Docker, amely ARM gépen fut, automatikusan letölti a megfelelő architektúrához tartozó képet.
Zárás
A végrehajtott kísérlet felülmúlta minden elvárásomat: [legalább] a „vaníliás” Kubernetes a szükséges alappal jól működik ARM-on, és a konfigurálása során csupán néhány apróbb anomalitás adódott.
A Raspberry Pi 3B+ processzora elbírja a terhelést, azonban az SD kártyáik egyértelműen szűk keresztmetszetet képeznek. Kollégák jelezték, hogy bizonyos verziókban lehetőség van USB-ről bootolni, ahova SSD-t csatlakoztathatunk: ez esetleg javítja a helyzetet.
Itt van egy példa a CPU terhelésére a Grafana telepítésekor:

Kísérletezésre és „kipróbálásra” véleményem szerint a Raspberry Pi-n futó Kubernetes klaszter sokkal jobban tükrözi a használati élményeket, mint ugyanaz a Minikube, mert a klaszter minden komponense „felnőttként” települ és működik.
A jövőben van egy ötletem, hogy a klaszterhez teljes CI/CD ciklust adjak, amelyet teljesen Raspberry Pi-n valósítunk meg. Örömmel fogadnám, ha valaki megosztaná tapasztalatait K8s AWS Graviton-on történő beállításával kapcsolatban.
P.S. Igen, a „production” talán közelebb van, mint gondoltam:

P.P.S.
Olvasson további információkat a blogunkban:
- «».
Forrás: habr.com
