{"id":94739,"date":"2020-09-20T19:42:27","date_gmt":"2020-09-20T17:42:27","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes"},"modified":"2021-01-02T13:05:08","modified_gmt":"2021-01-02T11:05:08","slug":"prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","title":{"rendered":"Praktyczny przyk\u0142ad po\u0142\u0105czenia pami\u0119ci masowej opartej na Ceph w klastrze Kubernetes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Container Storage Interface (CSI) \u2013 to zunifikowany interfejs wsp\u00f3\u0142pracy Kubernetes z systemami pami\u0119ci masowej. Kr\u00f3tko o nim ju\u017c opowiadali\u015bmy<\/a><\/noindex>, a dzi\u015b dok\u0142adniej przyjrzymy si\u0119 powi\u0105zaniu CSI z Ceph: poka\u017cemy, jak pod\u0142\u0105czy\u0107 pami\u0119\u0107 Ceph<\/a><\/noindex> do klastra Kubernetes.
\nW artykule znajduje si\u0119 kilka rzeczywistych, cho\u0107 nieco uproszczonych dla \u0142atwiejszego przyswajania przyk\u0142ad\u00f3w. Instalacja i konfiguracja klastr\u00f3w Ceph i Kubernetes nie s\u0105 omawiane.<\/p>\n

Ciekawi ci\u0119, jak to dzia\u0142a?<\/p>\n

\"Praktyczny<\/p>\n

<\/a><\/noindex><\/p>\n

Zatem masz pod r\u0119k\u0105 klaster Kubernetes, na przyk\u0142ad kubespray<\/a><\/noindex>. Obok dzia\u0142a klaster Ceph \u2014 mo\u017cna go r\u00f3wnie\u017c zainstalowa\u0107, na przyk\u0142ad przy u\u017cyciu tego zestawu playbook\u00f3w<\/a><\/noindex>. Mam nadziej\u0119, \u017ce nie trzeba wspomina\u0107, \u017ce dla produkcji mi\u0119dzy nimi musi by\u0107 sie\u0107 o przepustowo\u015bci co najmniej 10 Gb\/s.<\/p>\n

Je\u015bli to wszystko masz, jed\u017amy dalej!<\/p>\n

Najpierw wejd\u017amy na jeden z w\u0119z\u0142\u00f3w klastra Ceph i sprawd\u017amy, czy wszystko w porz\u0105dku:<\/p>\n

ceph health\nceph -s<\/code><\/pre>\n
Nast\u0119pnie tutaj utworzymy pul\u0119 dla dysk\u00f3w RBD:<\/p>\n
ceph osd pool create kube 32\nceph osd pool application enable kube rbd<\/code><\/pre>\n
Przechodzimy do klastra Kubernetes. Tam najpierw zainstalujemy sterownik Ceph CSI dla RBD. Instalacj\u0119 przeprowadzimy, jak nale\u017cy, przez Helm.
\nDodajemy repozytorium z chartem i otrzymujemy zestaw zmiennych chartu ceph-csi-rbd:<\/p>\n
helm repo add ceph-csi https:\/\/ceph.github.io\/csi-charts\nhelm inspect values ceph-csi\/ceph-csi-rbd > cephrbd.yml<\/code><\/pre>\n
Teraz nale\u017cy wype\u0142ni\u0107 plik cephrbd.yml. W tym celu poznajmy identyfikator klastra i adresy IP monitor\u00f3w w Ceph:<\/p>\n
ceph fsid  # w ten spos\u00f3b poznamy clusterID\nceph mon dump  # a w ten spos\u00f3b zobaczymy adresy IP monitor\u00f3w<\/code><\/pre>\n
Otrzymane warto\u015bci wprowadzamy do pliku cephrbd.yml. Przy okazji w\u0142\u0105czamy tworzenie polityk PSP (Pod Security Policies). Opcje w sekcjach nodeplugin<\/strong> i provisioner<\/strong> s\u0105 ju\u017c w pliku, mo\u017cna je poprawi\u0107 w spos\u00f3b pokazany poni\u017cej:<\/p>\n
csiConfig:\n  - clusterID: \"bcd0d202-fba8-4352-b25d-75c89258d5ab\"\n    monitors:\n      - \"v2:172.18.8.5:3300\/0,v1:172.18.8.5:6789\/0\"\n      - \"v2:172.18.8.6:3300\/0,v1:172.18.8.6:6789\/0\"\n      - \"v2:172.18.8.7:3300\/0,v1:172.18.8.7:6789\/0\"\n\nnodeplugin:\n  podSecurityPolicy:\n    enabled: true\n\nprovisioner:\n  podSecurityPolicy:\n    enabled: true<\/code><\/pre>\n
Nast\u0119pnie wszystko, co musimy zrobi\u0107, to zainstalowa\u0107 chart w klastrze Kubernetes.<\/p>\n
helm upgrade -i ceph-csi-rbd ceph-csi\/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace<\/code><\/pre>\n
\u015awietnie, sterownik RBD dzia\u0142a!
\nUtw\u00f3rzmy w Kubernetes now\u0105 klas\u0119 StorageClass. W tym celu zn\u00f3w musimy troch\u0119 popracowa\u0107 z Ceph.<\/p>\n
Tworzymy nowego u\u017cytkownika w Ceph i przyznajemy mu prawa do zapisu w puli kube<\/strong>:<\/p>\n
ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'<\/code><\/pre>\n
A teraz sprawd\u017amy klucz dost\u0119pu tam samo:<\/p>\n
ceph auth get-key client.rbdkube<\/code><\/pre>\n
Polecenie zwr\u00f3ci co\u015b podobnego:<\/p>\n
AQCO9NJbhYipKRAAMqZsnqqS\/T8OYQX20xIa9A==<\/code><\/pre>\n
Zapiszemy t\u0119 warto\u015b\u0107 w Sekrecie w klastrze Kubernetes \u2014 tam, gdzie jest potrzebna userKey<\/strong>:<\/p>\n
---\napiVersion: v1\nkind: Secret\nmetadata:\n  name: csi-rbd-secret\n  namespace: ceph-csi-rbd\nstringData:\n  # Warto\u015bci kluczy odpowiadaj\u0105 nazwie u\u017cytkownika i jego kluczowi, jak podane w\n  # klastrze Ceph. ID u\u017cytkownika musi mie\u0107 dost\u0119p do puli,\n  # podanej w klasie storage\n  userID: rbdkube\n  userKey:<\/code><\/pre>\n
I tworzymy nasz sekret:<\/p>\n
kubectl apply -f secret.yaml<\/code><\/pre>\n
Nast\u0119pnie potrzebujemy mniej wi\u0119cej takiego manifestu StorageClass:<\/p>\n
---\napiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n   name: csi-rbd-sc\nprovisioner: rbd.csi.ceph.com\nparameters:\n   clusterID: \n   pool: kube\n\n   imageFeatures: layering\n\n   # Te sekrety powinny zawiera\u0107 dane do autoryzacji\n   # w twojej puli.\n   csi.storage.k8s.io\/provisioner-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/provisioner-secret-namespace: ceph-csi-rbd\n   csi.storage.k8s.io\/controller-expand-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/controller-expand-secret-namespace: ceph-csi-rbd\n   csi.storage.k8s.io\/node-stage-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/node-stage-secret-namespace: ceph-csi-rbd\n\n   csi.storage.k8s.io\/fstype: ext4\n\nreclaimPolicy: Delete\nallowVolumeExpansion: true\nmountOptions:\n  - discard<\/code><\/pre>\n
Nale\u017cy wprowadzi\u0107 clusterID<\/strong>, kt\u00f3ry ju\u017c poznali\u015bmy za pomoc\u0105 polecenia ceph fsid<\/em>, i zastosowa\u0107 ten manifest w klastrze Kubernetes:<\/p>\n
kubectl apply -f storageclass.yaml<\/code><\/pre>\n
Aby sprawdzi\u0107 wsp\u00f3\u0142prac\u0119 klastr\u00f3w, stw\u00f3rzmy taki PVC (Persistent Volume Claim):<\/p>\n
apiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  name: rbd-pvc\nspec:\n  accessModes:\n  - ReadWriteOnce\n  resources:\n    requests:\n      storage: 1Gi\n  storageClassName: csi-rbd-sc<\/code><\/pre>\n
Od razu sprawd\u017amy, jak Kubernetes utworzy\u0142 w Ceph \u017c\u0105dany wolumen:<\/p>\n
kubectl get pvc\nkubectl get pv<\/code><\/pre>\n
Wydaje si\u0119, \u017ce wszystko jest w porz\u0105dku! A jak to wygl\u0105da po stronie Ceph?
\nUzyskujemy list\u0119 wolumen\u00f3w w puli i przegl\u0105damy informacje o naszym wolumenie:<\/p>\n
rbd ls -p kube\nrbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # tu oczywi\u015bcie b\u0119dzie inny ID wolumenu, kt\u00f3ry podano w poprzednim poleceniu<\/code><\/pre>\n
Teraz sp\u00f3jrzmy, jak dzia\u0142a zmiana rozmiaru wolumenu RBD.
\nZmieni\u0107 rozmiar wolumenu w manife\u015bcie pvc.yaml na 2Gi i zastosowa\u0107 go:<\/p>\n
kubectl apply -f pvc.yaml<\/code><\/pre>\n
Poczekajmy, a\u017c zmiany wejd\u0105 w \u017cycie, i jeszcze raz sprawd\u017amy rozmiar wolumenu.<\/p>\n
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653\n\nkubectl get pv\nkubectl get pvc<\/code><\/pre>\n
Widzimy, \u017ce rozmiar PVC si\u0119 nie zmieni\u0142. Aby pozna\u0107 przyczyn\u0119, mo\u017cemy zapyta\u0107 Kubernetes o opis PVC w formacie YAML:<\/p>\n
kubectl get pvc rbd-pvc -o yaml<\/code><\/pre>\n
A oto problem:<\/p>\n
message: Waiting for user to (re-)start a pod to finish file system resize of volume on node. type: FileSystemResizePending<\/em><\/p>\n
To znaczy, \u017ce dysk si\u0119 zwi\u0119kszy\u0142, ale system plik\u00f3w na nim \u2014 nie.
\nAby zwi\u0119kszy\u0107 system plik\u00f3w, trzeba zamontowa\u0107 wolumen. Stworzony PVC\/PV obecnie w \u017caden spos\u00f3b nie jest u\u017cywany.<\/p>\n
Mo\u017cemy stworzy\u0107 testowy Pod, na przyk\u0142ad tak:<\/p>\n
---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: csi-rbd-demo-pod\nspec:\n  containers:\n    - name: web-server\n      image: nginx:1.17.6\n      volumeMounts:\n        - name: mypvc\n          mountPath: \/data\n  volumes:\n    - name: mypvc\n      persistentVolumeClaim:\n        claimName: rbd-pvc\n        readOnly: false<\/code><\/pre>\n
A teraz przyjrzyjmy si\u0119 PVC:<\/p>\n
kubectl get pvc<\/code><\/pre>\n
Rozmiar si\u0119 zmieni\u0142, wszystko w porz\u0105dku.<\/p>\n
W pierwszej cz\u0119\u015bci pracowali\u015bmy z urz\u0105dzeniem blokowym RBD (nazwa pochodzi od Rados Block Device), jednak nie jest to rozwi\u0105zanie, je\u015bli potrzebujemy jednoczesnej pracy z tym dyskiem r\u00f3\u017cnych mikrous\u0142ug. Do pracy z plikami, a nie obrazem dysku, znacznie lepiej nadaje si\u0119 CephFS.
\nNa przyk\u0142adzie klastr\u00f3w Ceph i Kubernetes skonfigurujemy CSI oraz inne konieczne zasoby do pracy z CephFS.<\/p>\n
Uzyskamy warto\u015bci z potrzebnego nam nowego Helm-charta:<\/p>\n
helm inspect values ceph-csi\/ceph-csi-cephfs > cephfs.yml<\/code><\/pre>\n
Ponownie musimy wype\u0142ni\u0107 plik cephfs.yml. Jak wcze\u015bniej, pomog\u0105 nam polecenia Ceph:<\/p>\n
ceph fsid\nceph mon dump<\/code><\/pre>\n
Wype\u0142niamy plik warto\u015bci w ten spos\u00f3b:<\/p>\n
csiConfig:\n  - clusterID: \"bcd0d202-fba8-4352-b25d-75c89258d5ab\"\n    monitors:\n      - \"172.18.8.5:6789\"\n      - \"172.18.8.6:6789\"\n      - \"172.18.8.7:6789\"\n\nnodeplugin:\n  httpMetrics:\n    enabled: true\n    containerPort: 8091\n  podSecurityPolicy:\n    enabled: true\n\nprovisioner:\n  replicaCount: 1\n  podSecurityPolicy:\n    enabled: true<\/code><\/pre>\n
Zauwa\u017c, \u017ce adresy monitor\u00f3w s\u0105 podawane w prostym formacie address:port. Aby zamontowa\u0107 cephfs na w\u0119\u017ale, te adresy s\u0105 przekazywane do modu\u0142u j\u0105dra, kt\u00f3ry jeszcze nie obs\u0142uguje protoko\u0142u monitor\u00f3w v2.
\nPort dla httpMetrics (tutaj Prometheus b\u0119dzie zbiera\u0107 metryki) zmieniamy, aby nie kolidowa\u0142 z nginx-proxy, kt\u00f3ry jest instalowany przez Kubespray. Mo\u017cliwe, \u017ce nie b\u0119dziesz tego potrzebowa\u0107.<\/p>\n
Instalujemy Helm-chart w klastrze Kubernetes:<\/p>\n
helm upgrade -i ceph-csi-cephfs ceph-csi\/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace<\/code><\/pre>\n
Przechodzimy do magazynu danych Ceph, aby utworzy\u0107 tam oddzielnego u\u017cytkownika. W dokumentacji wskazano, \u017ce prowizjoner CephFS potrzebuje uprawnie\u0144 administratora klastra. Jednak stworzymy oddzielnego u\u017cytkownika fs<\/em> z ograniczonymi prawami:<\/p>\n
ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'<\/code><\/pre>\n
I od razu sprawdzimy jego klucz dost\u0119pu, przyda nam si\u0119 p\u00f3\u017aniej:<\/p>\n
ceph auth get-key client.fs<\/code><\/pre>\n
Utworzymy oddzielne Secret i StorageClass.
\nNic nowego, ju\u017c to widzieli\u015bmy na przyk\u0142adzie RBD:<\/p>\n
---\napiVersion: v1\nkind: Secret\nmetadata:\n  name: csi-cephfs-secret\n  namespace: ceph-csi-cephfs\nstringData:\n  # Wymagane do dynamicznie tworzonych wolumen\u00f3w\n  adminID: fs\n  adminKey:<\/code><\/pre>\n
Zastosowujemy manifest:<\/p>\n
kubectl apply -f secret.yaml<\/code><\/pre>\n
A teraz \u2013 oddzielny StorageClass:<\/p>\n
---\napiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n  name: csi-cephfs-sc\nprovisioner: cephfs.csi.ceph.com\nparameters:\n  clusterID: \n\n  # Nazwa systemu plik\u00f3w CephFS, na kt\u00f3rym zostanie utworzony wolumin\n  fsName: cephfs\n\n  # (opcjonalnie) Pula Ceph, w kt\u00f3rej b\u0119d\u0105 przechowywane dane woluminu\n  # pool: cephfs_data\n\n  # (opcjonalnie) Opcje montowania dla Ceph-fuse, oddzielone przecinkami\n  # na przyk\u0142ad:\n  # fuseMountOptions: debug\n\n  # (opcjonalnie) Opcje montowania CephFS dla j\u0105dra, oddzielone przecinkami\n  # Zobacz man mount.ceph, aby uzyska\u0107 list\u0119 tych opcji. Na przyk\u0142ad:\n  # kernelMountOptions: readdir_max_bytes=1048576,norbytes\n\n  # Sekrety musz\u0105 zawiera\u0107 dost\u0119p dla administratora i\/lub u\u017cytkownika Ceph.\n  csi.storage.k8s.io\/provisioner-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/provisioner-secret-namespace: ceph-csi-cephfs\n  csi.storage.k8s.io\/controller-expand-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/controller-expand-secret-namespace: ceph-csi-cephfs\n  csi.storage.k8s.io\/node-stage-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/node-stage-secret-namespace: ceph-csi-cephfs\n\n  # (opcjonalnie) Sterownik mo\u017ce u\u017cywa\u0107 albo ceph-fuse (fuse), \n  # albo ceph kernelclient (kernel).\n  # Je\u015bli nie okre\u015blono, u\u017cywane b\u0119dzie domy\u015blne montowanie wolumin\u00f3w,\n  # kt\u00f3re okre\u015bla wyszukiwanie ceph-fuse i mount.ceph\n  # mounter: kernel\nreclaimPolicy: Delete\nallowVolumeExpansion: true\nmountOptions:\n  - debug<\/code><\/pre>\n
Wype\u0142nimy to tutaj clusterID<\/strong> i zastosujemy w Kubernetes:<\/p>\n
kubectl apply -f storageclass.yaml<\/code><\/pre>\n
Weryfikacja<\/h2>\n
Aby sprawdzi\u0107, jak w poprzednim przyk\u0142adzie, stworzymy PVC:<\/p>\n
---\napiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  name: csi-cephfs-pvc\nspec:\n  accessModes:\n    - ReadWriteMany\n  resources:\n    requests:\n      storage: 5Gi\n  storageClassName: csi-cephfs-sc<\/code><\/pre>\n
I sprawdzimy obecno\u015b\u0107 PVC\/PV:<\/p>\n
kubectl get pvc\nkubectl get pv<\/code><\/pre>\n
Je\u015bli chcesz zobaczy\u0107 pliki i katalogi w CephFS, mo\u017cesz zamontowa\u0107 ten system plik\u00f3w gdzie\u015b. Na przyk\u0142ad jak pokazano poni\u017cej.<\/p>\n
Wejd\u017a na jeden z w\u0119z\u0142\u00f3w klastra Ceph i wykonaj nast\u0119puj\u0105ce czynno\u015bci:<\/p>\n
# \u0422\u043e\u0447\u043a\u0430 \u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\nmkdir -p \/mnt\/cephfs\n\n# \u0421\u043e\u0437\u0434\u0430\u0451\u043c \u0444\u0430\u0439\u043b \u0441 \u043a\u043b\u044e\u0447\u043e\u043c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\nceph auth get-key client.admin >\/etc\/ceph\/secret.key\n\n# \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \/etc\/fstab\n# !! \u0418\u0437\u043c\u0435\u043d\u044f\u0435\u043c ip \u0430\u0434\u0440\u0435\u0441 \u043d\u0430 \u0430\u0434\u0440\u0435\u0441 \u043d\u0430\u0448\u0435\u0433\u043e \u0443\u0437\u043b\u0430\necho \"172.18.8.6:6789:\/ \/mnt\/cephfs ceph name=admin,secretfile=\/etc\/ceph\/secret.key,noatime,_netdev    0       2\" >> \/etc\/fstab\n\nmount \/mnt\/cephfs<\/code><\/pre>\n
Oczywi\u015bcie, takie montowanie FS na w\u0119\u017ale Ceph jest odpowiednie tylko do cel\u00f3w edukacyjnych, jakimi si\u0119 teraz zajmujemy w naszych kursach Slurm<\/a><\/noindex>. Nie s\u0105dz\u0119, \u017ceby kto\u015b to robi\u0142 w produkcji, du\u017ce ryzyko przypadkowego nadpisania wa\u017cnych plik\u00f3w.<\/p>\n
Na koniec sprawd\u017amy, jak wygl\u0105da sytuacja w przypadku CephFS ze zmian\u0105 rozmiar\u00f3w wolumin\u00f3w. Wracamy do Kubernetes i edytujemy nasz manifest dla PVC \u2014 zwi\u0119kszamy rozmiar, na przyk\u0142ad do 7Gi.<\/p>\n
Zastosujemy edytowany plik:<\/p>\n
kubectl apply -f pvc.yaml<\/code><\/pre>\n
Zobaczymy, jak zmieni\u0142a si\u0119 kwota w zamontowanym katalogu:<\/p>\n
getfattr -n ceph.quota.max_bytes<\/code><\/pre>\n
Aby u\u017cy\u0107 tej komendy, mo\u017cesz potrzebowa\u0107 zainstalowa\u0107 w systemie pakiet attr<\/strong>.<\/p>\n
Oczy strach, r\u0119ce dzia\u0142aj\u0105<\/h2>\n
Na pierwszy rzut oka wszystkie te zakl\u0119cia i d\u0142ugie manifesty YAML wydaj\u0105 si\u0119 skomplikowane, ale w praktyce studenci Slurma radz\u0105 sobie z nimi do\u015b\u0107 szybko.
\nW tym artykule nie zanurzyli\u015bmy si\u0119 w szczeg\u00f3\u0142y \u2014 na to jest oficjalna dokumentacja. Je\u015bli interesuj\u0105 Ci\u0119 szczeg\u00f3\u0142y konfiguracji przechowywania Ceph w po\u0142\u0105czeniu z klastrem Kubernetes, pomog\u0105 te linki:<\/p>\n
Og\u00f3lne zasady dzia\u0142ania Kubernetes z wolumenami<\/a><\/noindex>
\nDokumentacja RBD<\/a><\/noindex>
\nIntegracja RBD i Kubernetes z perspektywy Ceph<\/a><\/noindex>
\nIntegracja RBD i Kubernetes z perspektywy CSI<\/a><\/noindex>
\nOg\u00f3lna dokumentacja CephFS<\/a><\/noindex>
\nIntegracja CephFS i Kubernetes z perspektywy CSI<\/a><\/noindex><\/p>\n
Na kursie Slurma Kubernetes Podstawy<\/a><\/noindex> mo\u017cesz p\u00f3j\u015b\u0107 jeszcze krok dalej i uruchomi\u0107 w Kubernetes aplikacj\u0119, kt\u00f3ra b\u0119dzie wykorzystywa\u0107 CephFS jako magazyn dla plik\u00f3w. Poprzez \u017c\u0105dania GET\/POST b\u0119dziesz m\u00f3g\u0142 przesy\u0142a\u0107 pliki i je odbiera\u0107 z Ceph.<\/p>\n
A je\u015bli bardziej interesuje Ci\u0119 przechowywanie danych, zapisz si\u0119 na nowy kurs dotycz\u0105cy Ceph<\/a><\/noindex>. Podczas trwaj\u0105cych test\u00f3w beta kurs mo\u017cna zdoby\u0107 ze zni\u017ck\u0105 i wp\u0142yn\u0105\u0107 na jego zawarto\u015b\u0107.<\/p>\n
Autor artyku\u0142u: Aleksander Szwalow, in\u017cynier praktykuj\u0105cy Southbridge<\/a><\/noindex>, Certified Kubernetes Administrator, autor i tw\u00f3rca kurs\u00f3w Slurma.<\/em><\/p>\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
Container Storage Interface (CSI) \u2014 \u044d\u0442\u043e \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Kubernetes \u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u043a\u0440\u0430\u0442\u0446\u0435 \u043e \u043d\u0451\u043c \u043c\u044b \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438, \u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0432\u044f\u0437\u043a\u0443 CSI \u0438 Ceph: \u043f\u043e\u043a\u0430\u0436\u0435\u043c, \u043a\u0430\u043a \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 Ceph \u043a \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 Kubernetes. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435, \u0445\u043e\u0442\u044f \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u044b. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 Ceph \u0438 Kubernetes […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":94740,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-94739","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Praktyczny przyk\u0142ad pod\u0142\u0105czenia przechowywania opartego na Ceph w klastrze Kubernetes | ProHoster","description":"Container Storage Interface (CSI) to ujednolicony interfejs komunikacji mi\u0119dzy Kubernetes a systemami przechowywania danych.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 Ceph \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kubernetes | ProHoster","og:description":"Container Storage Interface (CSI) \u2014 \u044d\u0442\u043e \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Kubernetes \u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-20T17:42:27+00:00","article:modified_time":"2021-01-02T11:05:08+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"94739","title":null,"description":"","keywords":"","keyphrases":null,"primary_term":null,"canonical_url":"","og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:19:21","updated":"2022-09-30 10:03:10","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/94739","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=94739"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/94739\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/94740"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=94739"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=94739"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=94739"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}