রুক না টু রুক - এটাই প্রশ্ন

এই মাসের শুরুতে, 3 মে, "Kubernetes-এ বিতরণ করা ডেটা স্টোরেজের জন্য ম্যানেজমেন্ট সিস্টেম"-এর একটি বড় রিলিজ ঘোষণা করা হয়েছিল - রুক 1.0.0. এক বছরেরও বেশি আগে আমরা ইতিমধ্যেই প্রকাশিত রুকের সাধারণ ওভারভিউ। তারপর আমাদের তার অভিজ্ঞতা সম্পর্কে কথা বলতে বলা হয়েছিল অনুশীলনে ব্যবহার করুন — এবং এখন, প্রকল্পের ইতিহাসে এমন একটি গুরুত্বপূর্ণ মাইলফলকের জন্য ঠিক সময়ে, আমরা আমাদের সঞ্চিত ইমপ্রেশনগুলি ভাগ করে নিতে পেরে খুশি।

সংক্ষেপে, রুক একটি সেট অপারেটার Kubernetes-এর জন্য, যা Ceph, EdgeFS, Minio, Cassandra, CockroachDB এর মতো ডেটা স্টোরেজ সলিউশনের স্থাপনা, ব্যবস্থাপনা, স্বয়ংক্রিয় পুনরুদ্ধারের সম্পূর্ণ নিয়ন্ত্রণ নেয়।

এই মুহূর্তে সবচেয়ে উন্নত (এবং একমাত্র в স্থিতিশীল পর্যায়) সমাধান হয় rook-ceph-অপারেটর.

মন্তব্য: Ceph সম্পর্কিত Rook 1.0.0 প্রকাশের উল্লেখযোগ্য পরিবর্তনগুলির মধ্যে, আমরা Ceph Nautilus-এর সমর্থন এবং CephFS বা RGW বালতিগুলির জন্য NFS ব্যবহার করার ক্ষমতা নোট করতে পারি। অন্যদের মধ্যে যা আলাদা তা হল বিটা স্তরে এজএফএস সমর্থনের পরিপক্কতা।

সুতরাং, এই নিবন্ধে আমরা:

• কুবারনেটস ক্লাস্টারে Ceph মোতায়েন করার জন্য রুক ব্যবহার করে আমরা কী সুবিধা দেখতে পাই সে সম্পর্কে প্রশ্নের উত্তর দেওয়া যাক;
• আমরা উৎপাদনে Rook ব্যবহার করার আমাদের অভিজ্ঞতা এবং ইমপ্রেশন শেয়ার করব;
• আসুন আপনাকে বলি কেন আমরা রুককে "হ্যাঁ!" বলি এবং তার জন্য আমাদের পরিকল্পনা সম্পর্কে।

সাধারণ ধারণা এবং তত্ত্ব দিয়ে শুরু করা যাক।

"আমার একটি রুকের একটি সুবিধা আছে!" (অজানা দাবা খেলোয়াড়)

রুকের প্রধান সুবিধাগুলির মধ্যে একটি হল ডাটা স্টোরের সাথে মিথস্ক্রিয়া কুবারনেটস মেকানিজমের মাধ্যমে করা হয়। এর মানে হল যে কনসোলে শীট থেকে Ceph কনফিগার করার জন্য আপনাকে আর কমান্ড অনুলিপি করতে হবে না।

— আপনি কি একটি ক্লাস্টারে CephFS স্থাপন করতে চান? শুধু একটি YAML ফাইল লিখুন!
- কি? আপনি কি S3 API সহ একটি অবজেক্ট স্টোর স্থাপন করতে চান? শুধু একটি দ্বিতীয় YAML ফাইল লিখুন!

একটি সাধারণ অপারেটরের সমস্ত নিয়ম অনুসারে রুক তৈরি করা হয়। ব্যবহার করে তার সাথে মিথস্ক্রিয়া ঘটে CRD (কাস্টম রিসোর্স সংজ্ঞা), যেখানে আমরা Ceph সত্তাগুলির বৈশিষ্ট্যগুলি বর্ণনা করি যা আমাদের প্রয়োজন৷ (যেহেতু এটিই একমাত্র স্থিতিশীল বাস্তবায়ন, ডিফল্টরূপে এই নিবন্ধটি Ceph সম্পর্কে কথা বলবে, যদি না স্পষ্টভাবে অন্যথায় বলা হয়). নির্দিষ্ট পরামিতি অনুসারে, অপারেটর স্বয়ংক্রিয়ভাবে কনফিগারেশনের জন্য প্রয়োজনীয় কমান্ডগুলি চালাবে।

আসুন একটি অবজেক্ট স্টোর তৈরির উদাহরণ ব্যবহার করে স্পেসিফিকেশন দেখি, বা বরং - CephObjectStoreUser.

apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
  name: {{ .Values.s3.crdName }}
  namespace: kube-rook
spec:
  metadataPool:
    failureDomain: host
    replicated:
      size: 3
  dataPool:
    failureDomain: host
    erasureCoded:
      dataChunks: 2
      codingChunks: 1
  gateway:
    type: s3
    sslCertificateRef:
    port: 80
    securePort:
    instances: 1
    allNodes: false
---
apiVersion: ceph.rook.io/v1
kind: CephObjectStoreUser
metadata:
  name: {{ .Values.s3.crdName }}
  namespace: kube-rook
spec:
  store: {{ .Values.s3.crdName }}
  displayName: {{ .Values.s3.username }}

তালিকায় নির্দেশিত পরামিতিগুলি বেশ মানসম্পন্ন এবং খুব কমই মন্তব্যের প্রয়োজন, তবে টেমপ্লেট ভেরিয়েবলগুলিতে বরাদ্দকৃতদের প্রতি বিশেষ মনোযোগ দেওয়া মূল্যবান।

কাজের সাধারণ স্কিমটি এই সত্যে নেমে আসে যে আমরা একটি YAML ফাইলের মাধ্যমে সংস্থানগুলিকে "অর্ডার" করি, যার জন্য অপারেটর প্রয়োজনীয় আদেশগুলি কার্যকর করে এবং আমাদেরকে একটি "অত-আসল" গোপন ফেরত দেয় যার সাথে আমরা আরও কাজ করতে পারি (নিচে দেখ). এবং উপরে তালিকাভুক্ত ভেরিয়েবল থেকে, কমান্ড এবং গোপন নাম কম্পাইল করা হবে।

এটা কি ধরনের দল? অবজেক্ট স্টোরেজের জন্য ব্যবহারকারী তৈরি করার সময়, পডের অভ্যন্তরে রুক অপারেটর নিম্নলিখিতগুলি করবে:

radosgw-admin user create --uid="rook-user" --display-name="{{ .Values.s3.username }}"

এই কমান্ডটি কার্যকর করার ফলাফল একটি JSON কাঠামো হবে:

{
    "user_id": "rook-user",
    "display_name": "{{ .Values.s3.username }}",
    "keys": [
        {
           "user": "rook-user",
           "access_key": "NRWGT19TWMYOB1YDBV1Y",
           "secret_key": "gr1VEGIV7rxcP3xvXDFCo4UDwwl2YoNrmtRlIAty"
        }
    ],
    ...
}

Keys - S3 API এর মাধ্যমে অবজেক্ট স্টোরেজ অ্যাক্সেস করার জন্য ভবিষ্যতের অ্যাপ্লিকেশনগুলির কী প্রয়োজন হবে। রুক অপারেটর দয়া করে তাদের নির্বাচন করে এবং নাম সহ একটি গোপন আকারে তাদের নামস্থানে রাখে rook-ceph-object-user-{{ $.Values.s3.crdName }}-{{ $.Values.s3.username }}.

এই গোপন থেকে ডেটা ব্যবহার করতে, এটিকে পরিবেশের ভেরিয়েবল হিসাবে কন্টেইনারে যুক্ত করুন। একটি উদাহরণ হিসাবে, আমি কাজের জন্য একটি টেমপ্লেট দেব, যেখানে আমরা প্রতিটি ব্যবহারকারীর পরিবেশের জন্য স্বয়ংক্রিয়ভাবে বালতি তৈরি করি:

{{- range $bucket := $.Values.s3.bucketNames }}
apiVersion: batch/v1
kind: Job
metadata:
  name: create-{{ $bucket }}-bucket-job
  annotations:
    "helm.sh/hook": post-install
    "helm.sh/hook-weight": "2"
spec:
  template:
    metadata:
      name: create-{{ $bucket }}-bucket-job
    spec:
      restartPolicy: Never
      initContainers:
      - name: waitdns
        image: alpine:3.6
        command: ["/bin/sh", "-c", "while ! getent ahostsv4 rook-ceph-rgw-{{ $.Values.s3.crdName }}; do sleep 1; done" ]
      - name: config
        image: rook/ceph:v1.0.0
        command: ["/bin/sh", "-c"]
        args: ["s3cmd --configure --access_key=$(ACCESS-KEY) --secret_key=$(SECRET-KEY) -s --no-ssl --dump-config | tee /config/.s3cfg"]
        volumeMounts:
        - name: config
          mountPath: /config
        env:
        - name: ACCESS-KEY
          valueFrom:
            secretKeyRef:
              name: rook-ceph-object-user-{{ $.Values.s3.crdName }}-{{ $.Values.s3.username }}
              key: AccessKey
        - name: SECRET-KEY
          valueFrom:
            secretKeyRef:
              name: rook-ceph-object-user-{{ $.Values.s3.crdName }}-{{ $.Values.s3.username }}
              key: SecretKey
      containers:
      - name: create-bucket
        image: rook/ceph:v1.0.0
        command: 
        - "s3cmd"
        - "mb"
        - "--host=rook-ceph-rgw-{{ $.Values.s3.crdName }}"
        - "--host-bucket= "
        - "s3://{{ $bucket }}"
        ports:
        - name: s3-no-sll
          containerPort: 80
        volumeMounts:
        - name: config
          mountPath: /root
      volumes:
      - name: config
        emptyDir: {}
---
{{- end }}

এই কাজের তালিকাভুক্ত সমস্ত ক্রিয়া কুবারনেটসের কাঠামোর মধ্যে সম্পাদিত হয়েছিল। YAML ফাইলগুলিতে বর্ণিত কাঠামোগুলি একটি গিট সংগ্রহস্থলে সংরক্ষণ করা হয় এবং বহুবার পুনরায় ব্যবহার করা হয়। আমরা এটিকে DevOps ইঞ্জিনিয়ারদের জন্য একটি বিশাল প্লাস এবং সামগ্রিকভাবে CI/CD প্রক্রিয়া হিসাবে দেখি।

Rook এবং Rados সঙ্গে খুশি

Ceph + RBD সংমিশ্রণ ব্যবহার করে পডগুলিতে ভলিউম মাউন্ট করার উপর কিছু বিধিনিষেধ আরোপ করে।

বিশেষ করে, স্টেটফুল অ্যাপ্লিকেশানগুলি কাজ করার জন্য নামস্থানে অবশ্যই Ceph অ্যাক্সেস করার জন্য একটি গোপনীয়তা থাকতে হবে। আপনার যদি তাদের নামস্থানে 2-3টি পরিবেশ থাকে তবে এটি ঠিক আছে: আপনি নিজে গিয়ে গোপনটি অনুলিপি করতে পারেন। কিন্তু যদি প্রতিটি বৈশিষ্ট্যের জন্য ডেভেলপারদের জন্য নিজস্ব নামস্থান সহ একটি পৃথক পরিবেশ তৈরি করা হয়?

আমরা এই সমস্যাটি নিজেরাই ব্যবহার করে সমাধান করেছি শেল-অপারেটর, যা স্বয়ংক্রিয়ভাবে নতুন নামস্থানে গোপনীয়তাগুলি অনুলিপি করে (এই জাতীয় হুকের একটি উদাহরণে বর্ণিত হয়েছে এই নিবন্ধটি).

#! /bin/bash

if [[ $1 == “--config” ]]; then
   cat <<EOF
{"onKubernetesEvent":[
 {"name": "OnNewNamespace",
  "kind": "namespace",
  "event": ["add"]
  }
]}
EOF
else
    NAMESPACE=$(kubectl get namespace -o json | jq '.items | max_by( .metadata.creationTimestamp ) | .metadata.name')
    kubectl -n ${CEPH_SECRET_NAMESPACE} get secret ${CEPH_SECRET_NAME} -o json | jq ".metadata.namespace="${NAMESPACE}"" | kubectl apply -f -
fi

যাইহোক, রুক ব্যবহার করার সময় এই সমস্যাটি কেবল বিদ্যমান নয়। মাউন্টিং প্রক্রিয়ার উপর ভিত্তি করে নিজস্ব ড্রাইভার ব্যবহার করে ঘটে ফ্লেক্স ভলিউম বা সিএসআই (এখনও বিটা পর্যায়ে) এবং তাই গোপনীয়তার প্রয়োজন নেই।

রুক স্বয়ংক্রিয়ভাবে অনেক সমস্যার সমাধান করে, যা আমাদের নতুন প্রকল্পে এটি ব্যবহার করতে উৎসাহিত করে।

রুকের অবরোধ

আসুন রুক এবং সেফ স্থাপন করে ব্যবহারিক অংশটি সম্পূর্ণ করি যাতে আমরা আমাদের নিজস্ব পরীক্ষাগুলি পরিচালনা করতে পারি। এই দুর্ভেদ্য টাওয়ারে ঝড় তোলা সহজ করার জন্য, বিকাশকারীরা একটি হেলম প্যাকেজ প্রস্তুত করেছে। আসুন এটি ডাউনলোড করি:

$ helm fetch rook-master/rook-ceph --untar --version 1.0.0

ফাইলে rook-ceph/values.yaml আপনি বিভিন্ন সেটিংস খুঁজে পেতে পারেন। সবচেয়ে গুরুত্বপূর্ণ বিষয় হল এজেন্ট এবং অনুসন্ধানের জন্য সহনশীলতা নির্দিষ্ট করা। আমরা বিশদভাবে বর্ণনা করেছি যে কীসের জন্য কলঙ্ক/সহনশীলতা প্রক্রিয়া ব্যবহার করা যেতে পারে এই নিবন্ধটি.

সংক্ষেপে, আমরা ক্লায়েন্ট অ্যাপ্লিকেশন পডগুলি ডেটা স্টোরেজ ডিস্কগুলির মতো একই নোডে অবস্থিত করতে চাই না। কারণটি সহজ: এইভাবে রুক এজেন্টদের কাজ অ্যাপ্লিকেশনকে প্রভাবিত করবে না।

সুতরাং, ফাইলটি খুলুন rook-ceph/values.yaml আপনার প্রিয় সম্পাদকের সাথে এবং শেষে নিম্নলিখিত ব্লক যোগ করুন:

discover:
  toleration: NoExecute
  tolerationKey: node-role/storage
agent:
  toleration: NoExecute
  tolerationKey: node-role/storage
  mountSecurityMode: Any

ডেটা স্টোরেজের জন্য সংরক্ষিত প্রতিটি নোডের জন্য, সংশ্লিষ্ট কলঙ্ক যোগ করুন:

$ kubectl taint node ${NODE_NAME} node-role/storage="":NoExecute

তারপর কমান্ড সহ হেলম চার্ট ইনস্টল করুন:

$ helm install --namespace ${ROOK_NAMESPACE} ./rook-ceph

এখন আপনাকে একটি ক্লাস্টার তৈরি করতে হবে এবং অবস্থানটি নির্দিষ্ট করতে হবে ওএসডি:

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  clusterName: "ceph"
  finalizers:
  - cephcluster.ceph.rook.io
  generation: 1
  name: rook-ceph
spec:
  cephVersion:
    image: ceph/ceph:v13
  dashboard:
    enabled: true
  dataDirHostPath: /var/lib/rook/osd
  mon:
    allowMultiplePerNode: false
    count: 3
  network:
    hostNetwork: true
  rbdMirroring:
    workers: 1
  placement:
    all:
      tolerations:
      - key: node-role/storage
        operator: Exists
  storage:
    useAllNodes: false
    useAllDevices: false
    config:
      osdsPerDevice: "1"
      storeType: filestore
    resources:
      limits:
        memory: "1024Mi"
      requests:
        memory: "1024Mi"
    nodes:
    - name: host-1
      directories:
      - path: "/mnt/osd"
    - name: host-2
      directories:
      - path: "/mnt/osd"
    - name: host-3
      directories:
      - path: "/mnt/osd"

Ceph স্থিতি পরীক্ষা করা হচ্ছে - দেখতে আশা HEALTH_OK:

$ kubectl -n ${ROOK_NAMESPACE} exec $(kubectl -n ${ROOK_NAMESPACE} get pod -l app=rook-ceph-operator -o name -o jsonpath='{.items[0].metadata.name}') -- ceph -s

একই সময়ে, আসুন পরীক্ষা করে দেখি যে ক্লায়েন্ট অ্যাপ্লিকেশন সহ পডগুলি Ceph এর জন্য সংরক্ষিত নোডগুলিতে শেষ হয় না:

$ kubectl -n ${APPLICATION_NAMESPACE} get pods -o custom-columns=NAME:.metadata.name,NODE:.spec.nodeName

উপরন্তু, অতিরিক্ত উপাদান পছন্দসই হিসাবে কনফিগার করা যেতে পারে. তাদের সম্পর্কে আরো বিস্তারিত নির্দেশিত হয় ডকুমেন্টেশন. প্রশাসনের জন্য, আমরা দৃঢ়ভাবে ড্যাশবোর্ড এবং টুলবক্স ইনস্টল করার পরামর্শ দিই।

রুক এবং হুকস: রুক কি সবকিছুর জন্য যথেষ্ট?

আপনি দেখতে পাচ্ছেন, রুকের বিকাশ পুরোদমে চলছে। তবে এখনও এমন সমস্যা রয়েছে যা আমাদের Ceph এর ম্যানুয়াল কনফিগারেশন সম্পূর্ণরূপে পরিত্যাগ করতে দেয় না:

• নো রুক ড্রাইভার না পারেন মাউন্ট করা ব্লকের ব্যবহারে রপ্তানি মেট্রিক্স, যা আমাদের নজরদারি থেকে বঞ্চিত করে।
• ফ্লেক্সভলিউম এবং সিএসআই কিভাবে জানি না ভলিউমের আকার পরিবর্তন করুন (একই RBD এর বিপরীতে), তাই Rook একটি দরকারী (এবং কখনও কখনও সমালোচনামূলকভাবে প্রয়োজনীয়!) সরঞ্জাম থেকে বঞ্চিত হয়।
• রুক এখনও নিয়মিত সেফের মতো নমনীয় নয়। আমরা যদি CephFS মেটাডেটা SSD-এ সংরক্ষণ করার জন্য পুল কনফিগার করতে চাই, এবং ডেটা নিজেই HDD-এ সংরক্ষণ করতে চাই, তাহলে আমাদের CRUSH মানচিত্রে ম্যানুয়ালি ডিভাইসের আলাদা গ্রুপ নিবন্ধন করতে হবে।
• রুক-সেফ-অপারেটরকে স্থিতিশীল বলে মনে করা সত্ত্বেও, বর্তমানে 13 থেকে 14 সংস্করণে Ceph আপগ্রেড করার সময় কিছু সমস্যা রয়েছে।

তথ্যও

"এই মুহুর্তে রুককে প্যানদের দ্বারা বহির্বিশ্ব থেকে বন্ধ করা হয়েছে, কিন্তু আমরা বিশ্বাস করি যে একদিন সে খেলায় একটি সিদ্ধান্তমূলক ভূমিকা পালন করবে!" (উদ্ধৃতি এই নিবন্ধের জন্য বিশেষভাবে উদ্ভাবিত)

রুক প্রজেক্ট নিঃসন্দেহে আমাদের হৃদয় জয় করেছে - আমরা বিশ্বাস করি যে [এর সমস্ত সুবিধা এবং অসুবিধা সহ] এটি অবশ্যই আপনার মনোযোগের যোগ্য।

আমাদের ভবিষ্যৎ পরিকল্পনাগুলি রুক-সেফের জন্য একটি মডিউল তৈরি করার জন্য ফুটে উঠেছে অ্যাডন-অপারেটর, যা আমাদের অসংখ্য Kubernetes ক্লাস্টারে এর ব্যবহারকে আরও সহজ এবং আরও সুবিধাজনক করে তুলবে।

দ্রষ্টব্য

আমাদের ব্লগেও পড়ুন:

• «রুক - কুবারনেটসের জন্য "স্ব-সেবা" ডেটা গুদাম";
• «Ceph-এর উপর ভিত্তি করে Kubernetes-এ প্রভিশনিং সহ অবিরাম স্টোরেজ তৈরি করা";
• «ডাটাবেস এবং কুবারনেটস (ওভারভিউ এবং ভিডিও রিপোর্ট)";
• «শেল-অপারেটর প্রবর্তন করা হচ্ছে: Kubernetes-এর জন্য অপারেটর তৈরি করা আরও সহজ হয়েছে";
• «কুবারনেটসের জন্য অপারেটর: রাষ্ট্রীয় অ্যাপ্লিকেশনগুলি কীভাবে চালাতে হয়».

উত্স: www.habr.com