CEPH এর অভিজ্ঞতা

যখন একটি ডিস্কে ফিট করার চেয়ে বেশি ডেটা থাকে, তখন RAID সম্পর্কে চিন্তা করার সময়। ছোটবেলায়, আমি প্রায়ই আমার বড়দের কাছ থেকে শুনেছি: "একদিন RAID অতীতের জিনিস হয়ে যাবে, বস্তুর সঞ্চয়স্থান পৃথিবীকে পূর্ণ করবে, এবং আপনি এমনকি CEPH কী তা জানেন না," তাই আমার স্বাধীন জীবনের প্রথম জিনিস আমার নিজস্ব ক্লাস্টার তৈরি করা ছিল। পরীক্ষাটির উদ্দেশ্য ছিল সিফের অভ্যন্তরীণ কাঠামোর সাথে পরিচিত হওয়া এবং এর প্রয়োগের সুযোগ বোঝা। মাঝারি আকারের ব্যবসায় এবং ছোট ব্যবসায় সিফ বাস্তবায়ন কতটা ন্যায়সঙ্গত? বেশ কয়েক বছর অপারেশন এবং কিছু অপরিবর্তনীয় ডেটা ক্ষতির পরে, জটিলতার একটি বোঝার উদ্ভব হয়েছিল যে সবকিছু এত সহজ নয়। CEPH-এর বিশেষত্বগুলি এর ব্যাপক গ্রহণের ক্ষেত্রে বাধা সৃষ্টি করে এবং তাদের কারণে, পরীক্ষাগুলি শেষ পর্যায়ে পৌঁছেছে। নীচে গৃহীত সমস্ত পদক্ষেপের একটি বিবরণ, প্রাপ্ত ফলাফল এবং টানা উপসংহার। যদি জ্ঞানী ব্যক্তিরা তাদের অভিজ্ঞতা শেয়ার করেন এবং কিছু পয়েন্ট ব্যাখ্যা করেন, আমি কৃতজ্ঞ থাকব।

দ্রষ্টব্য: মন্তব্যকারীরা কিছু অনুমানে গুরুতর ত্রুটি চিহ্নিত করেছেন যেগুলির জন্য সম্পূর্ণ নিবন্ধের সংশোধন প্রয়োজন।

CEPH কৌশল

CEPH ক্লাস্টারটি নির্বিচারে আকারের ডিস্কগুলির একটি নির্বিচারে সংখ্যা K কে একত্রিত করে এবং সেগুলিতে ডেটা সঞ্চয় করে, প্রতিটি অংশকে (ডিফল্টরূপে 4 MB) একটি প্রদত্ত সংখ্যা N বার নকল করে।

আসুন দুটি অভিন্ন ডিস্ক সহ সবচেয়ে সহজ ক্ষেত্রে বিবেচনা করা যাক। তাদের থেকে আপনি হয় RAID 1 বা N=2 সহ একটি ক্লাস্টার একত্রিত করতে পারেন - ফলাফল একই হবে। যদি তিনটি ডিস্ক থাকে এবং সেগুলি বিভিন্ন আকারের হয়, তাহলে N=2 সহ একটি ক্লাস্টার একত্রিত করা সহজ: কিছু ডেটা 1 এবং 2 ডিস্কে থাকবে, কিছু ডিস্ক 1 এবং 3-এ থাকবে এবং কিছু হবে 2 এবং 3 এ, যখন RAID হবে না (আপনি এই ধরনের একটি RAID একত্র করতে পারেন, তবে এটি একটি বিকৃতি হবে)। যদি আরও বেশি ডিস্ক থাকে তবে RAID 5 তৈরি করা সম্ভব; CEPH এর একটি অ্যানালগ রয়েছে - erasure_code, যা বিকাশকারীদের প্রাথমিক ধারণার সাথে বিরোধিতা করে এবং তাই বিবেচনা করা হয় না। RAID 5 অনুমান করে যে অল্প সংখ্যক ড্রাইভ রয়েছে, যার সবকটিই ভাল অবস্থায় রয়েছে। একটি ব্যর্থ হলে, ডিস্কটি প্রতিস্থাপন করা এবং ডেটা পুনরুদ্ধার না হওয়া পর্যন্ত অন্যদের ধরে রাখতে হবে। CEPH, N>=3 সহ, পুরানো ডিস্কের ব্যবহারকে উৎসাহিত করে, বিশেষ করে, যদি আপনি একটি কপি ডেটা সংরক্ষণ করার জন্য বেশ কয়েকটি ভাল ডিস্ক রাখেন এবং বাকি দুই বা তিনটি কপি প্রচুর পরিমাণে পুরানো ডিস্কে সংরক্ষণ করেন, তাহলে তথ্য নিরাপদ হবে, যেহেতু আপাতত নতুন ডিস্কগুলি জীবিত রয়েছে - কোনও সমস্যা নেই, এবং যদি তাদের মধ্যে একটি ভেঙে যায়, তবে পাঁচ বছরেরও বেশি সময়ের পরিষেবা জীবন সহ তিনটি ডিস্কের একযোগে ব্যর্থতা, বিশেষত বিভিন্ন সার্ভার থেকে, একটি অত্যন্ত অসম্ভাব্য। ঘটনা

কপি বিতরণ একটি সূক্ষ্মতা আছে. ডিফল্টরূপে, ধারণা করা হয় যে ডেটা আরও বেশি (~100 প্রতি ডিস্ক) PG বিতরণ গোষ্ঠীতে বিভক্ত, যার প্রতিটি কিছু ডিস্কে নকল করা হয়েছে। ধরা যাক K=6, N=2, তাহলে যেকোন দুটি ডিস্ক ব্যর্থ হলে ডেটা হারিয়ে যাওয়ার নিশ্চয়তা রয়েছে, যেহেতু সম্ভাব্যতা তত্ত্ব অনুসারে, এই দুটি ডিস্কে অন্তত একটি পিজি থাকবে। এবং একটি গোষ্ঠীর ক্ষতি পুলের সমস্ত ডেটা অনুপলব্ধ করে তোলে। যদি ডিস্কগুলিকে তিনটি জোড়ায় ভাগ করা হয় এবং কেবলমাত্র এক জোড়ার মধ্যে ডিস্কগুলিতে ডেটা সংরক্ষণ করার অনুমতি দেওয়া হয়, তবে এই জাতীয় বিতরণ যে কোনও একটি ডিস্কের ব্যর্থতার জন্যও প্রতিরোধী, তবে যদি দুটি ডিস্ক ব্যর্থ হয় তবে ডেটা ক্ষতির সম্ভাবনা নেই। 100%, কিন্তু শুধুমাত্র 3/15, এবং এমনকি ব্যর্থতার ক্ষেত্রে তিনটি ডিস্ক - শুধুমাত্র 12/20। সুতরাং, ডেটা বিতরণে এনট্রপি ত্রুটি সহনশীলতায় অবদান রাখে না। এছাড়াও নোট করুন যে একটি ফাইল সার্ভারের জন্য, বিনামূল্যে RAM উল্লেখযোগ্যভাবে প্রতিক্রিয়া গতি বৃদ্ধি করে। প্রতিটি নোডে যত বেশি মেমরি, এবং সব নোডে যত বেশি মেমরি, তত দ্রুত হবে। এটি নিঃসন্দেহে একটি একক সার্ভারের উপর একটি ক্লাস্টারের একটি সুবিধা এবং আরও বেশি, একটি হার্ডওয়্যার NAS, যেখানে খুব অল্প পরিমাণে মেমরি তৈরি করা হয়।

এটি অনুসরণ করে যে CEPH হল একটি নির্ভরযোগ্য ডেটা স্টোরেজ সিস্টেম তৈরি করার একটি ভাল উপায় যেখানে দশ হাজার টিবি পুরানো যন্ত্রপাতি থেকে ন্যূনতম বিনিয়োগের সাথে স্কেল করার ক্ষমতা রয়েছে (এখানে, অবশ্যই, খরচ প্রয়োজন হবে, তবে বাণিজ্যিক স্টোরেজ সিস্টেমের তুলনায় কম)।

ক্লাস্টার বাস্তবায়ন

পরীক্ষার জন্য, চলুন একটি ডিকমিশন করা কম্পিউটার Intel DQ57TM + Intel core i3 540 + 16 GB RAM নেওয়া যাক৷ আমরা চারটি 2 টিবি ডিস্ককে RAID10 এর মতো কিছুতে সংগঠিত করব, একটি সফল পরীক্ষার পরে আমরা একটি দ্বিতীয় নোড এবং একই সংখ্যক ডিস্ক যুক্ত করব।

লিনাক্স ইনস্টল করা হচ্ছে। বিতরণের জন্য কাস্টমাইজ করার এবং স্থিতিশীল হওয়ার ক্ষমতা প্রয়োজন। ডেবিয়ান এবং সুস প্রয়োজনীয়তা পূরণ করে। সুসের একটি আরও নমনীয় ইনস্টলার রয়েছে যা আপনাকে যেকোনো প্যাকেজ নিষ্ক্রিয় করতে দেয়; দুর্ভাগ্যবশত, সিস্টেমের ক্ষতি না করে কোনটি ফেলে দেওয়া যেতে পারে তা আমি বুঝতে পারিনি। ডিবুটস্ট্র্যাপ বাস্টার ব্যবহার করে ডেবিয়ান ইনস্টল করুন। মিন-বেস বিকল্পটি একটি ভাঙা সিস্টেম ইনস্টল করে যাতে ড্রাইভারের অভাব থাকে। পূর্ণ সংস্করণের তুলনায় আকারের পার্থক্য এত বড় নয় যে বিরক্ত করার মতো। যেহেতু কাজটি একটি ফিজিক্যাল মেশিনে করা হয়, আমি ভার্চুয়াল মেশিনের মতো স্ন্যাপশট নিতে চাই। এই বিকল্পটি LVM বা btrfs (বা xfs, বা zfs - পার্থক্য বড় নয়) দ্বারা উপলব্ধ করা হয়। LVM স্ন্যাপশট একটি শক্তিশালী পয়েন্ট নয়। btrfs ইনস্টল করুন। আর বুটলোডার এমবিআর-এ থাকে। একটি 50 MB ডিস্ককে একটি FAT পার্টিশন সহ বিশৃঙ্খল করার কোন মানে নেই যখন আপনি এটিকে 1 MB পার্টিশন টেবিল এলাকায় ঠেলে দিতে পারেন এবং সিস্টেমের জন্য সমস্ত স্থান বরাদ্দ করতে পারেন। ডিস্কে 700 MB গ্রহণ করেছে। আমি মনে করি না বেসিক SUSE ইনস্টলেশনে কতটা আছে, আমি মনে করি এটি প্রায় 1.1 বা 1.4 GB।

CEPH ইনস্টল করুন। আমরা ডেবিয়ান রিপোজিটরিতে সংস্করণ 12 উপেক্ষা করি এবং 15.2.3 সাইট থেকে সরাসরি সংযোগ করি। আমরা নিম্নলিখিত সতর্কতা সহ "ম্যানুয়ালি CEPH ইনস্টল করুন" বিভাগের নির্দেশাবলী অনুসরণ করি:

• সংগ্রহস্থল সংযোগ করার আগে, আপনাকে অবশ্যই gnupg wget ca-শংসাপত্র ইনস্টল করতে হবে
• সংগ্রহস্থল সংযোগ করার পরে, কিন্তু ক্লাস্টার ইনস্টল করার আগে, প্যাকেজ ইনস্টল করা বাদ দেওয়া হয়: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
• CEPH ইনস্টল করার সময়, অজানা কারণে, এটি lvm2 ইনস্টল করার চেষ্টা করবে। নীতিগতভাবে, এটি দুঃখজনক নয়, তবে ইনস্টলেশন ব্যর্থ হয়, তাই CEPHও ইনস্টল করবে না।

  এই প্যাচ সাহায্য করেছে:

  cat << EOF >> /var/lib/dpkg/status
  Package: lvm2
  Status: install ok installed
  Priority: important
  Section: admin
  Installed-Size: 0
  Maintainer: Debian Adduser Developers <[email protected]>
  Architecture: all
  Multi-Arch: foreign
  Version: 113.118
  Description: No-install
  EOF
  

ক্লাস্টার ওভারভিউ

ceph-osd - ডিস্কে ডেটা সংরক্ষণের জন্য দায়ী। প্রতিটি ডিস্কের জন্য, একটি নেটওয়ার্ক পরিষেবা চালু করা হয় যা বস্তুগুলি পড়তে বা লেখার অনুরোধ গ্রহণ করে এবং কার্যকর করে। ডিস্কে দুটি পার্টিশন তৈরি করা হয়। তাদের মধ্যে একটিতে ক্লাস্টার, ডিস্ক নম্বর এবং ক্লাস্টারের কী সম্পর্কে তথ্য রয়েছে। একটি ডিস্ক যোগ করার সময় এই 1KB তথ্যটি একবার তৈরি করা হয় এবং কখনই পরিবর্তন করতে লক্ষ্য করা যায় নি। দ্বিতীয় পার্টিশনে কোনো ফাইল সিস্টেম নেই এবং CEPH বাইনারি ডেটা সঞ্চয় করে। পূর্ববর্তী সংস্করণে স্বয়ংক্রিয় ইনস্টলেশন পরিষেবা তথ্যের জন্য একটি 100MB xfs পার্টিশন তৈরি করেছে। আমি ডিস্কটিকে MBR তে রূপান্তর করেছি এবং শুধুমাত্র 16MB বরাদ্দ করেছি - পরিষেবাটি অভিযোগ করে না। আমি মনে করি xfs কোনো সমস্যা ছাড়াই ext দিয়ে প্রতিস্থাপিত হতে পারে। এই পার্টিশনটি /var/lib/… এ মাউন্ট করা হয়েছে, যেখানে পরিষেবাটি OSD সম্পর্কে তথ্য পড়ে এবং ব্লক ডিভাইসের একটি রেফারেন্স খুঁজে পায় যেখানে বাইনারি ডেটা সংরক্ষণ করা হয়। তাত্ত্বিকভাবে, আপনি অবিলম্বে সহায়ক ফাইলগুলি /var/lib/…-এ রাখতে পারেন এবং ডেটার জন্য সম্পূর্ণ ডিস্ক বরাদ্দ করতে পারেন। ceph-deploy-এর মাধ্যমে একটি OSD তৈরি করার সময়, /var/lib/…-এ পার্টিশন মাউন্ট করার জন্য একটি নিয়ম স্বয়ংক্রিয়ভাবে তৈরি হয়, এবং ceph ব্যবহারকারীকে পছন্দসই ব্লক ডিভাইস পড়ার অধিকারও বরাদ্দ করা হয়। আপনি যদি ম্যানুয়ালি ইনস্টল করেন তবে আপনাকে অবশ্যই এটি করতে হবে; ডকুমেন্টেশন এটি বলে না। এটি osd মেমরি টার্গেট প্যারামিটার নির্দিষ্ট করার পরামর্শ দেওয়া হয় যাতে যথেষ্ট শারীরিক মেমরি থাকে।

ceph-mds. একটি নিম্ন স্তরে, CEPH হল অবজেক্ট স্টোরেজ। স্টোরেজ ব্লক করার ক্ষমতা অবজেক্ট হিসাবে প্রতিটি 4MB ব্লক সঞ্চয় করার জন্য নেমে আসে। ফাইল স্টোরেজ একই নীতিতে কাজ করে। দুটি পুল তৈরি করা হয়েছে: একটি মেটাডেটার জন্য, অন্যটি ডেটার জন্য। তারা একটি ফাইল সিস্টেমে মিলিত হয়. এই মুহুর্তে, কিছু ধরণের রেকর্ড তৈরি করা হয়েছে, তাই আপনি যদি ফাইল সিস্টেম মুছে ফেলেন তবে উভয় পুল রাখেন, আপনি এটি পুনরুদ্ধার করতে সক্ষম হবেন না। ব্লক দ্বারা ফাইল নিষ্কাশন করার জন্য একটি পদ্ধতি আছে, আমি এটি পরীক্ষা করিনি। ceph-mds পরিষেবা ফাইল সিস্টেম অ্যাক্সেসের জন্য দায়ী। প্রতিটি ফাইল সিস্টেমের জন্য পরিষেবার একটি পৃথক উদাহরণ প্রয়োজন। একটি "সূচী" বিকল্প রয়েছে, যা আপনাকে একটিতে বেশ কয়েকটি ফাইল সিস্টেমের সাদৃশ্য তৈরি করতে দেয় - এটিও পরীক্ষিত নয়।

Ceph-mon - এই পরিষেবাটি ক্লাস্টারের একটি মানচিত্র সংরক্ষণ করে। এতে সমস্ত ওএসডি সম্পর্কে তথ্য রয়েছে, ওএসডি-তে পিজি বিতরণের জন্য একটি অ্যালগরিদম এবং সবচেয়ে গুরুত্বপূর্ণভাবে, সমস্ত অবজেক্ট সম্পর্কে তথ্য (এই প্রক্রিয়াটির বিবরণ আমার কাছে পরিষ্কার নয়: একটি ডিরেক্টরি রয়েছে /var/lib/ceph/mon/…/ store.db, এটিতে একটি বড় ফাইল রয়েছে 26MB, এবং 105K অবজেক্টের একটি ক্লাস্টারে, এটি প্রতি বস্তুর 256 বাইটের একটু বেশি হতে দেখা যায় - আমি মনে করি যে মনিটরটি সমস্ত অবজেক্ট এবং পিজিগুলির একটি তালিকা সংরক্ষণ করে তারা অবস্থিত)। এই ডিরেক্টরির ক্ষতির ফলে ক্লাস্টারের সমস্ত ডেটা নষ্ট হয়ে যায়। তাই উপসংহার টানা হয়েছিল যে CRUSH দেখায় কিভাবে PG গুলি OSD-এ অবস্থিত, এবং কিভাবে বস্তুগুলি PG-তে অবস্থিত - সেগুলি কেন্দ্রীয়ভাবে ডাটাবেসের ভিতরে সংরক্ষণ করা হয়, বিকাশকারীরা এই শব্দটিকে যতই এড়িয়ে যান না কেন। ফলস্বরূপ, প্রথমত, আমরা RO মোডে একটি ফ্ল্যাশ ড্রাইভে সিস্টেমটি ইনস্টল করতে পারি না, যেহেতু ডাটাবেসটি ক্রমাগত রেকর্ড করা হচ্ছে, এর জন্য একটি অতিরিক্ত ডিস্ক প্রয়োজন (কমই 1 গিগাবাইটের বেশি), দ্বিতীয়ত, এটি থাকা প্রয়োজন বাস্তব সময়ে এই বেস কপি. যদি বেশ কয়েকটি মনিটর থাকে, তবে ত্রুটি সহনশীলতা স্বয়ংক্রিয়ভাবে নিশ্চিত করা হয়, তবে আমাদের ক্ষেত্রে শুধুমাত্র একটি মনিটর রয়েছে, সর্বাধিক দুটি। ওএসডি ডেটার উপর ভিত্তি করে একটি মনিটর পুনরুদ্ধার করার জন্য একটি তাত্ত্বিক পদ্ধতি রয়েছে, আমি বিভিন্ন কারণে এটিকে তিনবার অবলম্বন করেছি এবং তিনবার কোনও ত্রুটির বার্তা ছিল না, পাশাপাশি কোনও ডেটা ছিল না। দুর্ভাগ্যক্রমে, এই প্রক্রিয়াটি কাজ করে না। হয় আমরা ওএসডি-তে একটি ক্ষুদ্র পার্টিশন পরিচালনা করি এবং ডাটাবেস সংরক্ষণ করার জন্য একটি RAID একত্রিত করি, যা অবশ্যই কার্যক্ষমতার উপর খুব খারাপ প্রভাব ফেলবে, অথবা আমরা অন্তত দুটি নির্ভরযোগ্য ফিজিক্যাল মিডিয়া বরাদ্দ করি, বিশেষত USB, যাতে পোর্টগুলি দখল না করে।

rados-gw - S3 প্রোটোকল এবং অনুরূপ মাধ্যমে অবজেক্ট স্টোরেজ রপ্তানি করে। অনেক পুল তৈরি করে, কেন তা স্পষ্ট নয়। আমি খুব বেশি পরীক্ষা নিরীক্ষা করিনি।

ceph-mgr - এই পরিষেবাটি ইনস্টল করার সময়, বেশ কয়েকটি মডিউল চালু করা হয়। তাদের মধ্যে একটি হল অটোস্কেল যা নিষ্ক্রিয় করা যাবে না। এটি PG/OSD-এর সঠিক পরিমাণ বজায় রাখার চেষ্টা করে। আপনি যদি অনুপাতটি ম্যানুয়ালি নিয়ন্ত্রণ করতে চান, আপনি প্রতিটি পুলের জন্য স্কেলিং অক্ষম করতে পারেন, তবে এই ক্ষেত্রে মডিউলটি 0 দ্বারা বিভাজন সহ ক্র্যাশ হয় এবং ক্লাস্টারের স্থিতি ERROR হয়ে যায়। মডিউলটি পাইথনে লেখা আছে, এবং আপনি যদি এতে প্রয়োজনীয় লাইনটি মন্তব্য করেন তবে এটি এটিকে নিষ্ক্রিয় করে দেয়। বিবরণ মনে রাখা খুব অলস.

ব্যবহৃত উত্সের তালিকা:

CEPH এর ইনস্টলেশন
একটি সম্পূর্ণ মনিটর ব্যর্থতা থেকে পুনরুদ্ধার

স্ক্রিপ্ট তালিকা:

ডিবুটস্ট্র্যাপের মাধ্যমে সিস্টেম ইনস্টল করা হচ্ছে

blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/

chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install

Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF

exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh  smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

একটি ক্লাস্টার তৈরি করুন

apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon

echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF

ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status

# dashboard

apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1

ওএসডি যোগ করা হচ্ছে (অংশ)

apt install ceph-osd

osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02  block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnum

সারাংশ

CEPH-এর প্রধান বিপণন সুবিধা হল CRUSH - ডেটার অবস্থান গণনা করার জন্য একটি অ্যালগরিদম। মনিটররা এই অ্যালগরিদমটি ক্লায়েন্টদের মধ্যে বিতরণ করে, যার পরে ক্লায়েন্টরা সরাসরি কাঙ্ক্ষিত নোড এবং কাঙ্খিত OSD-এর জন্য অনুরোধ করে। ক্রাশ কোন কেন্দ্রীকরণ নিশ্চিত করে না। এটি একটি ছোট ফাইল যা আপনি প্রিন্ট আউট করে দেয়ালে ঝুলিয়ে রাখতে পারেন। অনুশীলন দেখিয়েছে যে ক্রাশ একটি সম্পূর্ণ মানচিত্র নয়। আপনি যদি সমস্ত ওএসডি এবং ক্রাশ রেখে মনিটরগুলিকে ধ্বংস এবং পুনরায় তৈরি করেন, তবে এটি ক্লাস্টার পুনরুদ্ধার করার জন্য যথেষ্ট নয়। এটি থেকে এটি উপসংহারে আসে যে প্রতিটি মনিটর পুরো ক্লাস্টার সম্পর্কে কিছু মেটাডেটা সংরক্ষণ করে। এই মেটাডেটার সামান্য পরিমাণ ক্লাস্টারের আকারের উপর বিধিনিষেধ আরোপ করে না, তবে তাদের নিরাপত্তা নিশ্চিত করতে হবে, যা একটি ফ্ল্যাশ ড্রাইভে সিস্টেম ইনস্টল করার মাধ্যমে ডিস্কের সঞ্চয়কে বাদ দেয় এবং তিনটি নোডের কম সহ ক্লাস্টারগুলিকে বাদ দেয়। ঐচ্ছিক বৈশিষ্ট্য সংক্রান্ত বিকাশকারীর আগ্রাসী নীতি। minimalism থেকে দূরে. ডকুমেন্টেশনটি "আমাদের কাছে যা আছে তার জন্য আপনাকে ধন্যবাদ, কিন্তু এটি খুব, খুব কম।" নিম্ন স্তরে পরিষেবাগুলির সাথে ইন্টারঅ্যাক্ট করার ক্ষমতা প্রদান করা হয়েছে, তবে ডকুমেন্টেশনগুলি এই বিষয়টিকে খুব বাহ্যিকভাবে স্পর্শ করে, তাই এটি সম্ভবত হ্যাঁ না হওয়ার চেয়ে বেশি। জরুরী অবস্থা থেকে ডেটা পুনরুদ্ধারের কার্যত কোন সুযোগ নেই।

পরবর্তী পদক্ষেপের জন্য বিকল্পগুলি: CEPH ত্যাগ করুন এবং ব্যানাল মাল্টি-ডিস্ক btrfs (বা xfs, zfs) ব্যবহার করুন, CEPH সম্পর্কে নতুন তথ্য খুঁজে বের করুন, যা আপনাকে নির্দিষ্ট শর্তে এটি পরিচালনা করার অনুমতি দেবে, আপনার নিজস্ব স্টোরেজকে উন্নত হিসাবে লেখার চেষ্টা করুন প্রশিক্ষণ

উত্স: www.habr.com