{"id":94739,"date":"2020-09-20T19:42:27","date_gmt":"2020-09-20T17:42:27","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes"},"modified":"2021-01-02T13:05:08","modified_gmt":"2021-01-02T11:05:08","slug":"prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","title":{"rendered":"Ejemplo pr\u00e1ctico de conexi\u00f3n de almacenamiento basado en Ceph en un cl\u00faster de Kubernetes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

La Interfaz de Almacenamiento de Contenedores (CSI) es una interfaz unificada que permite la interacci\u00f3n entre Kubernetes y los sistemas de almacenamiento de datos. Ya hemos hablado brevemente sobre ella, hemos contado<\/a><\/noindex>y hoy examinaremos m\u00e1s a fondo la conexi\u00f3n entre CSI y Ceph: mostraremos c\u00f3mo conectar el almacenamiento Ceph<\/a><\/noindex> al cl\u00faster de Kubernetes.
\nEl art\u00edculo presenta ejemplos reales, aunque un poco simplificados para facilitar la comprensi\u00f3n. No abordamos la instalaci\u00f3n y configuraci\u00f3n de los cl\u00fasteres Ceph y Kubernetes.<\/p>\n

\u00bfTe interesa saber c\u00f3mo funciona?<\/p>\n

\"Ejemplo<\/p>\n

<\/a><\/noindex><\/p>\n

Entonces, tienes a mano un cl\u00faster de Kubernetes desplegado, por ejemplo, kubespray.<\/a><\/noindex>Cerca hay un cl\u00faster Ceph, que tambi\u00e9n se puede instalar, por ejemplo, con este conjunto de playbooks.<\/a><\/noindex>Espero que no sea necesario mencionar que para la producci\u00f3n, entre ellos debe haber una red con un ancho de banda de al menos 10 Gbit\/s.<\/p>\n

Si tienes todo esto, \u00a1vamos!<\/p>\n

Primero, accedamos a uno de los nodos del cl\u00faster Ceph y verifiquemos que todo est\u00e9 en orden:<\/p>\n

ceph health\nceph -s<\/code><\/pre>\n
A continuaci\u00f3n, crearemos un pool para discos RBD:<\/p>\n
ceph osd pool create kube 32\nceph osd pool application enable kube rbd<\/code><\/pre>\n
Pasamos al cl\u00faster de Kubernetes. All\u00ed, lo primero que haremos ser\u00e1 instalar el controlador Ceph CSI para RBD. Lo haremos, como corresponde, a trav\u00e9s de Helm.
\nAgregamos el repositorio con el chart y obtenemos un conjunto de variables del chart ceph-csi-rbd:<\/p>\n
helm repo add ceph-csi https:\/\/ceph.github.io\/csi-charts\nhelm inspect values ceph-csi\/ceph-csi-rbd > cephrbd.yml<\/code><\/pre>\n
Ahora necesitamos completar el archivo cephrbd.yml. Para hacer esto, averiguamos el ID del cl\u00faster y las direcciones IP de los monitores en Ceph:<\/p>\n
ceph fsid  # as\u00ed averiguamos el clusterID\nceph mon dump  # y as\u00ed veremos las direcciones IP de los monitores<\/code><\/pre>\n
Los valores obtenidos se ingresan en el archivo cephrbd.yml. A la vez, activamos la creaci\u00f3n de pol\u00edticas PSP (Pod Security Policies). Las opciones en las secciones nodeplugin<\/strong> y proveedor<\/strong> ya est\u00e1n en el archivo, se pueden corregir como se muestra a continuaci\u00f3n:<\/p>\n
csiConfig:\n  - clusterID: \"bcd0d202-fba8-4352-b25d-75c89258d5ab\"\n    monitors:\n      - \"v2:172.18.8.5:3300\/0,v1:172.18.8.5:6789\/0\"\n      - \"v2:172.18.8.6:3300\/0,v1:172.18.8.6:6789\/0\"\n      - \"v2:172.18.8.7:3300\/0,v1:172.18.8.7:6789\/0\"\n\nnodeplugin:\n  podSecurityPolicy:\n    enabled: true\n\nprovisioner:\n  podSecurityPolicy:\n    enabled: true<\/code><\/pre>\n
A continuaci\u00f3n, lo \u00fanico que nos queda es instalar el chart en el cl\u00faster de Kubernetes.<\/p>\n
helm upgrade -i ceph-csi-rbd ceph-csi\/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace<\/code><\/pre>\n
\u00a1Genial, el controlador RBD est\u00e1 funcionando!
\nCreemos una nueva StorageClass en Kubernetes. Para ello, ser\u00e1 necesario trabajar un poco m\u00e1s con Ceph.<\/p>\n
Crearemos un nuevo usuario en Ceph y le otorgaremos derechos de escritura en el pool kube.<\/strong>:<\/p>\n
ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'<\/code><\/pre>\n
Y ahora veamos la clave de acceso all\u00ed mismo:<\/p>\n
ceph auth get-key client.rbdkube<\/code><\/pre>\n
El comando devolver\u00e1 algo como esto:<\/p>\n
AQCO9NJbhYipKRAAMqZsnqqS\/T8OYQX20xIa9A==<\/code><\/pre>\n
Introduciremos este valor en un Secret en el cl\u00faster de Kubernetes, donde se necesita userKey<\/strong>:<\/p>\n
---\napiVersion: v1\nkind: Secret\nmetadata:\n  name: csi-rbd-secret\n  namespace: ceph-csi-rbd\nstringData:\n  # Los valores de las claves correspondan al nombre de usuario y su clave, como se indica en\n  # el cl\u00faster Ceph. El ID del usuario debe tener acceso al pool,\n  # especificado en la clase de almacenamiento\n  userID: rbdkube\n  userKey:<\/code><\/pre>\n
Y creamos nuestro secreto:<\/p>\n
kubectl apply -f secret.yaml<\/code><\/pre>\n
A continuaci\u00f3n, necesitamos un manifiesto StorageClass similar al siguiente:<\/p>\n
---\napiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n   name: csi-rbd-sc\nprovisioner: rbd.csi.ceph.com\nparameters:\n   clusterID: \n   pool: kube\n\n   imageFeatures: layering\n\n   # Estos secretos deben contener datos para la autorizaci\u00f3n\n   # en su pool.\n   csi.storage.k8s.io\/provisioner-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/provisioner-secret-namespace: ceph-csi-rbd\n   csi.storage.k8s.io\/controller-expand-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/controller-expand-secret-namespace: ceph-csi-rbd\n   csi.storage.k8s.io\/node-stage-secret-name: csi-rbd-secret\n   csi.storage.k8s.io\/node-stage-secret-namespace: ceph-csi-rbd\n\n   csi.storage.k8s.io\/fstype: ext4\n\nreclaimPolicy: Delete\nallowVolumeExpansion: true\nmountOptions:\n  - discard<\/code><\/pre>\n
Necesitamos llenar clusterID<\/strong>, que ya hemos obtenido con el comando ceph fsid<\/em>, y aplicar este manifiesto en el cl\u00faster de Kubernetes:<\/p>\n
kubectl apply -f storageclass.yaml<\/code><\/pre>\n
Para verificar el funcionamiento de los cl\u00fasteres en conjunto, crearemos un PVC (Persistent Volume Claim) como el siguiente:<\/p>\n
apiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  name: rbd-pvc\nspec:\n  accessModes:\n  - ReadWriteOnce\n  resources:\n    requests:\n      storage: 1Gi\n  storageClassName: csi-rbd-sc<\/code><\/pre>\n
Veamos de inmediato c\u00f3mo Kubernetes cre\u00f3 el volumen solicitado en Ceph:<\/p>\n
kubectl get pvc\nkubectl get pv<\/code><\/pre>\n
\u00a1Todo parece estar bien! \u00bfY c\u00f3mo se ve esto del lado de Ceph?
\nObtenemos una lista de vol\u00famenes en el pool y revisamos la informaci\u00f3n de nuestro volumen:<\/p>\n
rbd ls -p kube\nrbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # aqu\u00ed, por supuesto, habr\u00e1 un ID diferente del volumen que proporcion\u00f3 el comando anterior<\/code><\/pre>\n
Ahora veamos c\u00f3mo funciona el cambio de tama\u00f1o del volumen RBD.
\nCambiamos el tama\u00f1o del volumen en el manifiesto pvc.yaml a 2Gi y lo aplicamos:<\/p>\n
kubectl apply -f pvc.yaml<\/code><\/pre>\n
Esperemos a que los cambios surtan efecto y miremos nuevamente el tama\u00f1o del volumen.<\/p>\n
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653\n\nkubectl get pv\nkubectl get pvc<\/code><\/pre>\n
Vemos que el tama\u00f1o del PVC no ha cambiado. Para averiguar la raz\u00f3n, podemos solicitar a Kubernetes la descripci\u00f3n del PVC en formato YAML:<\/p>\n
kubectl get pvc rbd-pvc -o yaml<\/code><\/pre>\n
Y aqu\u00ed est\u00e1 el problema:<\/p>\n
message: Waiting for user to (re-)start a pod to finish file system resize of volume on node. type: FileSystemResizePending<\/em><\/p>\n
Es decir, el disco ha aumentado, pero el sistema de archivos en \u00e9l no.
\nPara aumentar el sistema de archivos, es necesario montar el volumen. El PVC\/PV que hemos creado no se est\u00e1 utilizando en este momento.<\/p>\n
Podemos crear un Pod de prueba, por ejemplo, de esta manera:<\/p>\n
---\napiversion: v1\nkind: Pod\nmetadata:\n  name: csi-rbd-demo-pod\nspec:\n  containers:\n    - name: web-server\n      image: nginx:1.17.6\n      volumeMounts:\n        - name: mypvc\n          mountPath: \/data\n  volumes:\n    - name: mypvc\n      persistentVolumeClaim:\n        claimName: rbd-pvc\n        readOnly: false<\/code><\/pre>\n
Y ahora veamos el PVC:<\/p>\n
kubectl get pvc<\/code><\/pre>\n
El tama\u00f1o ha cambiado, todo est\u00e1 bien.<\/p>\n
En la primera parte trabajamos con el dispositivo de bloque RBD (que se traduce como Rados Block Device), pero esto no se puede hacer si se requiere que diferentes microservicios trabajen con este disco al mismo tiempo. Para trabajar con archivos, en lugar de con la imagen del disco, CephFS es mucho m\u00e1s adecuado.
\nUsaremos los cl\u00fasteres Ceph y Kubernetes para configurar CSI y las otras entidades necesarias para trabajar con CephFS.<\/p>\n
Obtendremos los valores del nuevo Helm-chart que necesitamos:<\/p>\n
helm inspect values ceph-csi\/ceph-csi-cephfs > cephfs.yml<\/code><\/pre>\n
De nuevo, necesitamos completar el archivo cephfs.yml. Como antes, las \u00f3rdenes de Ceph ser\u00e1n \u00fatiles:<\/p>\n
ceph fsid\nceph mon dump<\/code><\/pre>\n
Completamos el archivo con los valores de la siguiente manera:<\/p>\n
csiConfig:\n  - clusterID: \"bcd0d202-fba8-4352-b25d-75c89258d5ab\"\n    monitors:\n      - \"172.18.8.5:6789\"\n      - \"172.18.8.6:6789\"\n      - \"172.18.8.7:6789\"\n\nnodeplugin:\n  httpMetrics:\n    enabled: true\n    containerPort: 8091\n  podSecurityPolicy:\n    enabled: true\n\nprovisioner:\n  replicaCount: 1\n  podSecurityPolicy:\n    enabled: true<\/code><\/pre>\n
Tenga en cuenta que las direcciones de los monitores se indican en la forma simple address:port. Para montar cephfs en el nodo, estas direcciones se pasan al m\u00f3dulo del n\u00facleo, que a\u00fan no puede trabajar con el protocolo de monitores v2.
\nCambiamos el puerto para httpMetrics (donde Prometheus ir\u00e1 a recoger m\u00e9tricas para la supervisi\u00f3n) para que no entre en conflicto con nginx-proxy, que se instala con Kubespray. Puede que esto no sea necesario para usted.<\/p>\n
Instalamos el Helm-chart en el cl\u00faster de Kubernetes:<\/p>\n
helm upgrade -i ceph-csi-cephfs ceph-csi\/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace<\/code><\/pre>\n
Vamos al almacenamiento de datos Ceph para crear un usuario separado. La documentaci\u00f3n indica que el provisionador de CephFS necesita derechos de acceso de administrador del cl\u00faster. Pero crearemos un usuario separado fs<\/em> con derechos limitados:<\/p>\n
ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'<\/code><\/pre>\n
Y de inmediato veremos su clave de acceso, que nos ser\u00e1 \u00fatil m\u00e1s adelante:<\/p>\n
ceph auth get-key client.fs<\/code><\/pre>\n
Crearemos un Secret y un StorageClass separados.
\nNada nuevo, ya lo hemos visto en el ejemplo de RBD:<\/p>\n
---\napiversion: v1\nkind: Secret\nmetadata:\n  name: csi-cephfs-secret\n  namespace: ceph-csi-cephfs\nstringData:\n  # Necesario para vol\u00famenes creados din\u00e1micamente\n  adminID: fs\n  adminKey:<\/code><\/pre>\n
Aplicamos el manifiesto:<\/p>\n
kubectl apply -f secret.yaml<\/code><\/pre>\n
Y ahora \u2013 un StorageClass separado:<\/p>\n
---\napiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n  name: csi-cephfs-sc\nprovisioner: cephfs.csi.ceph.com\nparameters:\n  clusterID: \n\n  # Nombre del sistema de archivos CephFS donde se crear\u00e1 el volumen\n  fsName: cephfs\n\n  # (opcional) Pool Ceph donde se almacenar\u00e1n los datos del volumen\n  # pool: cephfs_data\n\n  # (opcional) Opciones de montaje separadas por comas para Ceph-fuse\n  # por ejemplo:\n  # fuseMountOptions: debug\n\n  # (opcional) Opciones de montaje de CephFS para el n\u00facleo, separadas por comas\n  # Consulte man mount.ceph para obtener una lista de estas opciones. Por ejemplo:\n  # kernelMountOptions: readdir_max_bytes=1048576,norbytes\n\n  # Los secretos deben contener accesos para el administrador y\/o el usuario de Ceph.\n  csi.storage.k8s.io\/provisioner-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/provisioner-secret-namespace: ceph-csi-cephfs\n  csi.storage.k8s.io\/controller-expand-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/controller-expand-secret-namespace: ceph-csi-cephfs\n  csi.storage.k8s.io\/node-stage-secret-name: csi-cephfs-secret\n  csi.storage.k8s.io\/node-stage-secret-namespace: ceph-csi-cephfs\n\n  # (opcional) El controlador puede usar ceph-fuse (fuse) \n  # o ceph kernelclient (kernel).\n  # Si no se especifica, se utilizar\u00e1 el montaje de vol\u00famenes por defecto,\n  # lo cual se determina buscando ceph-fuse y mount.ceph\n  # mounter: kernel\nreclaimPolicy: Delete\nallowVolumeExpansion: true\nmountOptions:\n  - debug<\/code><\/pre>\n
Llenemos esto aqu\u00ed clusterID<\/strong> y aplicamos en Kubernetes:<\/p>\n
kubectl apply -f storageclass.yaml<\/code><\/pre>\n
Verificaci\u00f3n<\/h2>\n
Para verificar, como en el ejemplo anterior, crearemos un PVC:<\/p>\n
---\napiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  name: csi-cephfs-pvc\nspec:\n  accessModes:\n    - ReadWriteMany\n  resources:\n    requests:\n      storage: 5Gi\n  storageClassName: csi-cephfs-sc<\/code><\/pre>\n
Y verificamos la existencia de PVC\/PV:<\/p>\n
kubectl get pvc\nkubectl get pv<\/code><\/pre>\n
Si deseas ver los archivos y directorios en CephFS, puedes montar este sistema de archivos en alg\u00fan lugar. Por ejemplo, como se muestra a continuaci\u00f3n.<\/p>\n
Viajamos a uno de los nodos del cl\u00faster Ceph y realizamos las siguientes acciones:<\/p>\n
# \u0422\u043e\u0447\u043a\u0430 \u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\nmkdir -p \/mnt\/cephfs\n\n# \u0421\u043e\u0437\u0434\u0430\u0451\u043c \u0444\u0430\u0439\u043b \u0441 \u043a\u043b\u044e\u0447\u043e\u043c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\nceph auth get-key client.admin >\/etc\/ceph\/secret.key\n\n# \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \/etc\/fstab\n# !! \u0418\u0437\u043c\u0435\u043d\u044f\u0435\u043c ip \u0430\u0434\u0440\u0435\u0441 \u043d\u0430 \u0430\u0434\u0440\u0435\u0441 \u043d\u0430\u0448\u0435\u0433\u043e \u0443\u0437\u043b\u0430\necho \"172.18.8.6:6789:\/ \/mnt\/cephfs ceph name=admin,secretfile=\/etc\/ceph\/secret.key,noatime,_netdev    0       2\" >> \/etc\/fstab\n\nmount \/mnt\/cephfs<\/code><\/pre>\n
Por supuesto, este tipo de montaje de FS en un nodo Ceph es adecuado exclusivamente para fines de aprendizaje, que es lo que estamos haciendo en nuestros cursos de Slurm<\/a><\/noindex>. No creo que alguien haga esto en producci\u00f3n, ya que existe un alto riesgo de sobrescribir archivos importantes.<\/p>\n
Y para terminar, comprobemos c\u00f3mo se maneja el cambio de tama\u00f1o del volumen en el caso de CephFS. Volvemos a Kubernetes y editamos nuestro manifiesto para el PVC, aumentamos su tama\u00f1o, por ejemplo, a 7Gi.<\/p>\n
Aplicamos el archivo editado:<\/p>\n
kubectl apply -f pvc.yaml<\/code><\/pre>\n
Veamos en el directorio montado c\u00f3mo ha cambiado la cuota:<\/p>\n
getfattr -n ceph.quota.max_bytes<\/code><\/pre>\n
Para ejecutar este comando, es posible que necesites instalar el paquete attr<\/strong>.<\/p>\n
Los ojos tienen miedo, pero las manos lo hacen<\/h2>\n
A simple glance at all these spells and lengthy YAML manifests might seem daunting, but in practice, Slurm students manage to grasp them quite quickly.
\nIn this article, we haven't delved deep \u2014 for that, there is the official documentation. If you're interested in the details of configuring Ceph storage in conjunction with a Kubernetes cluster, these links will help:<\/p>\n
General principles of Kubernetes working with volumes<\/a><\/noindex>
\nRBD documentation<\/a><\/noindex>
\nIntegrating RBD and Kubernetes from the perspective of Ceph<\/a><\/noindex>
\nIntegrating RBD and Kubernetes from the perspective of CSI<\/a><\/noindex>
\nGeneral documentation on CephFS<\/a><\/noindex>
\nIntegrating CephFS and Kubernetes from the perspective of CSI<\/a><\/noindex><\/p>\n
In the Slurm course 8\u201310 de febrero de 2021. Y<\/a><\/noindex> you can go a step further and deploy a real application in Kubernetes that will use CephFS as its storage for files. Through GET\/POST requests, you will be able to transfer files to and retrieve them from Ceph.<\/p>\n
And if you are more interested in data storage, then sign up for the new Ceph course<\/a><\/noindex>. While the beta testing is ongoing, the course can be obtained at a discount and you can influence its content.<\/p>\n
Author of the article: Alexander Shvalov, practicing engineer Southbridge<\/a><\/noindex>, Certified Kubernetes Administrator, author and developer of Slurm courses.<\/em><\/p>\n
Fuente: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
Container Storage Interface (CSI) \u2014 \u044d\u0442\u043e \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Kubernetes \u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u043a\u0440\u0430\u0442\u0446\u0435 \u043e \u043d\u0451\u043c \u043c\u044b \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438, \u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0432\u044f\u0437\u043a\u0443 CSI \u0438 Ceph: \u043f\u043e\u043a\u0430\u0436\u0435\u043c, \u043a\u0430\u043a \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 Ceph \u043a \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 Kubernetes. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435, \u0445\u043e\u0442\u044f \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u044b. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 Ceph \u0438 Kubernetes […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":94740,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-94739","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Practical example of connecting Ceph-based storage in a Kubernetes cluster | ProHoster","description":"Container Storage Interface (CSI) is a unified interface for interaction between Kubernetes and storage systems.","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 Ceph \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kubernetes | ProHoster","og:description":"Container Storage Interface (CSI) \u2014 \u044d\u0442\u043e \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Kubernetes \u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/prakticheskij-primer-podklyucheniya-hranilishha-na-baze-ceph-v-klaster-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-20T17:42:27+00:00","article:modified_time":"2021-01-02T11:05:08+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"94739","title":null,"description":"","keywords":"","keyphrases":null,"primary_term":null,"canonical_url":"","og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:19:21","updated":"2022-09-30 10:03:10","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/94739","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=94739"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/94739\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media\/94740"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=94739"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=94739"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=94739"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}