ఒక డిస్క్‌లో సరిపోయే దానికంటే ఎక్కువ డేటా ఉన్నప్పుడు, RAID గురించి ఆలోచించాల్సిన సమయం వచ్చింది. చిన్నతనంలో, నేను నా పెద్దల నుండి తరచుగా విన్నాను: “ఒక రోజు RAID గతానికి సంబంధించినది, వస్తువు నిల్వ ప్రపంచాన్ని నింపుతుంది మరియు CEPH అంటే ఏమిటో కూడా మీకు తెలియదు,” కాబట్టి నా స్వతంత్ర జీవితంలో మొదటి విషయం నా స్వంత క్లస్టర్‌ని సృష్టించడం. ప్రయోగం యొక్క ఉద్దేశ్యం సెఫ్ యొక్క అంతర్గత నిర్మాణాన్ని తెలుసుకోవడం మరియు దాని అప్లికేషన్ యొక్క పరిధిని అర్థం చేసుకోవడం. మధ్య తరహా వ్యాపారాలు మరియు చిన్న వాటిలో ceph అమలు ఎంతవరకు సమర్థించబడుతోంది? చాలా సంవత్సరాల ఆపరేషన్ మరియు కోలుకోలేని కొన్ని డేటా నష్టాల తరువాత, ప్రతిదీ అంత సులభం కాదని చిక్కులపై అవగాహన ఏర్పడింది. CEPH యొక్క ప్రత్యేకతలు దాని విస్తృత స్వీకరణకు అడ్డంకులుగా ఉన్నాయి మరియు వాటి కారణంగా, ప్రయోగాలు చివరి దశకు చేరుకున్నాయి. క్రింద తీసుకున్న అన్ని దశల వివరణ, పొందిన ఫలితం మరియు డ్రా అయిన ముగింపులు. పరిజ్ఞానం ఉన్నవారు తమ అనుభవాన్ని పంచుకుని, కొన్ని అంశాలను వివరిస్తే, నేను కృతజ్ఞురాలిని.
గమనిక: వ్యాఖ్యాతలు మొత్తం వ్యాసం యొక్క పునర్విమర్శ అవసరమయ్యే కొన్ని అంచనాలలో తీవ్రమైన లోపాలను గుర్తించారు.
CEPH వ్యూహం
CEPH క్లస్టర్ ఏకపక్ష పరిమాణంలోని డిస్క్‌ల యొక్క ఏకపక్ష సంఖ్య Kని మిళితం చేస్తుంది మరియు వాటిపై డేటాను నిల్వ చేస్తుంది, ప్రతి భాగాన్ని (డిఫాల్ట్‌గా 4 MB) ఇచ్చిన సంఖ్య N సార్లు నకిలీ చేస్తుంది.
రెండు ఒకేలాంటి డిస్క్‌లతో సరళమైన కేసును పరిశీలిద్దాం. వాటి నుండి మీరు RAID 1 లేదా N=2 తో క్లస్టర్‌ని సమీకరించవచ్చు - ఫలితం ఒకే విధంగా ఉంటుంది. మూడు డిస్క్‌లు ఉంటే మరియు అవి వేర్వేరు పరిమాణాలలో ఉంటే, N=2తో క్లస్టర్‌ను సమీకరించడం సులభం: కొన్ని డేటా డిస్క్‌లు 1 మరియు 2లో ఉంటుంది, కొన్ని డిస్క్‌లు 1 మరియు 3లో ఉంటాయి మరియు కొన్ని 2 మరియు 3 లలో, RAID చేయదు (మీరు అటువంటి RAIDని సమీకరించవచ్చు, కానీ అది వక్రబుద్ధి అవుతుంది). ఇంకా ఎక్కువ డిస్క్‌లు ఉంటే, అప్పుడు RAID 5ని సృష్టించడం సాధ్యమవుతుంది; CEPH ఒక అనలాగ్‌ను కలిగి ఉంది - erasure_code, ఇది డెవలపర్‌ల ప్రారంభ భావనలకు విరుద్ధంగా ఉంటుంది మరియు అందువల్ల పరిగణించబడదు. RAID 5 తక్కువ సంఖ్యలో డ్రైవ్‌లు ఉన్నాయని ఊహిస్తుంది, అవన్నీ మంచి స్థితిలో ఉన్నాయి. ఒకటి విఫలమైతే, డిస్క్ రీప్లేస్ చేయబడి, దానికి డేటా పునరుద్ధరించబడే వరకు మిగిలినవి తప్పనిసరిగా పట్టుకోవాలి. CEPH, N>=3, పాత డిస్క్‌ల వినియోగాన్ని ప్రోత్సహిస్తుంది, ప్రత్యేకించి, మీరు ఒక డేటా కాపీని నిల్వ చేయడానికి అనేక మంచి డిస్క్‌లను ఉంచి, మిగిలిన రెండు లేదా మూడు కాపీలను పెద్ద సంఖ్యలో పాత డిస్క్‌లలో నిల్వ చేస్తే, అప్పుడు సమాచారం సురక్షితంగా ఉంటుంది, ఎందుకంటే ప్రస్తుతానికి కొత్త డిస్క్‌లు సజీవంగా ఉన్నాయి - సమస్యలు లేవు మరియు వాటిలో ఒకటి విచ్ఛిన్నమైతే, ఐదు సంవత్సరాల కంటే ఎక్కువ సేవా జీవితంతో మూడు డిస్క్‌ల ఏకకాల వైఫల్యం, ప్రాధాన్యంగా వివిధ సర్వర్‌ల నుండి, చాలా అసంభవం. సంఘటన.
కాపీల పంపిణీలో ఒక సూక్ష్మభేదం ఉంది. డిఫాల్ట్‌గా, డేటా మరిన్ని (డిస్క్‌కి ~100) PG పంపిణీ సమూహాలుగా విభజించబడిందని భావించబడుతుంది, వీటిలో ప్రతి ఒక్కటి కొన్ని డిస్క్‌లలో నకిలీ చేయబడుతుంది. K=6, N=2 అనుకుందాం, అప్పుడు ఏదైనా రెండు డిస్క్‌లు విఫలమైతే, డేటా కోల్పోవడం గ్యారెంటీ, ఎందుకంటే సంభావ్యత సిద్ధాంతం ప్రకారం, ఈ రెండు డిస్క్‌లలో కనీసం ఒక PG ఉంటుంది. మరియు ఒక సమూహం యొక్క నష్టం పూల్‌లోని మొత్తం డేటాను అందుబాటులో లేకుండా చేస్తుంది. డిస్క్‌లను మూడు జతలుగా విభజించి, డేటాను ఒక జతలోని డిస్క్‌లలో మాత్రమే నిల్వ చేయడానికి అనుమతించబడితే, ఈ పంపిణీ ఏదైనా ఒక డిస్క్ యొక్క వైఫల్యానికి కూడా నిరోధకతను కలిగి ఉంటుంది, అయితే రెండు డిస్క్‌లు విఫలమైతే, డేటా నష్టం సంభావ్యత 100 కాదు. %, కానీ 3/15 మాత్రమే, మరియు వైఫల్యం విషయంలో కూడా మూడు డిస్క్‌లు - 12/20 మాత్రమే. అందువల్ల, డేటా పంపిణీలో ఎంట్రోపీ తప్పు సహనానికి దోహదం చేయదు. ఫైల్ సర్వర్ కోసం, ఉచిత RAM ప్రతిస్పందన వేగాన్ని గణనీయంగా పెంచుతుందని కూడా గమనించండి. ప్రతి నోడ్‌లో ఎక్కువ మెమరీ, మరియు అన్ని నోడ్‌లలో ఎక్కువ మెమరీ, అది వేగంగా ఉంటుంది. ఇది నిస్సందేహంగా ఒకే సర్వర్‌పై క్లస్టర్ యొక్క ప్రయోజనం మరియు ఇంకా ఎక్కువగా, హార్డ్‌వేర్ NAS, ఇక్కడ చాలా తక్కువ మొత్తంలో మెమరీ అంతర్నిర్మితంగా ఉంటుంది.
కాలం చెల్లిన పరికరాల నుండి తక్కువ పెట్టుబడితో స్కేల్ చేయగల సామర్థ్యంతో పదుల TB కోసం విశ్వసనీయ డేటా నిల్వ వ్యవస్థను రూపొందించడానికి CEPH ఒక మంచి మార్గం అని ఇది అనుసరిస్తుంది (ఇక్కడ, వాస్తవానికి, ఖర్చులు అవసరం, కానీ వాణిజ్య నిల్వ వ్యవస్థలతో పోలిస్తే చిన్నవి).
క్లస్టర్ అమలు
ప్రయోగం కోసం, ఉపసంహరించుకున్న కంప్యూటర్ Intel DQ57TM + Intel కోర్ i3 540 + 16 GB RAMని తీసుకుందాం. మేము RAID2 వంటి నాలుగు 10 TB డిస్క్‌లను నిర్వహిస్తాము, విజయవంతమైన పరీక్ష తర్వాత మేము రెండవ నోడ్ మరియు అదే సంఖ్యలో డిస్క్‌లను జోడిస్తాము.
Linuxని ఇన్‌స్టాల్ చేస్తోంది. పంపిణీకి అనుకూలీకరించడానికి మరియు స్థిరంగా ఉండే సామర్థ్యం అవసరం. డెబియన్ మరియు సూసే అవసరాలను తీరుస్తాయి. Suse మీరు ఏదైనా ప్యాకేజీని నిలిపివేయడానికి అనుమతించే మరింత సౌకర్యవంతమైన ఇన్‌స్టాలర్‌ను కలిగి ఉంది; దురదృష్టవశాత్తు, సిస్టమ్ దెబ్బతినకుండా ఏవి విసిరివేయబడతాయో నేను గుర్తించలేకపోయాను. డీబూట్‌స్ట్రాప్ బస్టర్‌ని ఉపయోగించి డెబియన్‌ని ఇన్‌స్టాల్ చేయండి. మిన్-బేస్ ఎంపిక డ్రైవర్లు లేని విరిగిన సిస్టమ్‌ను ఇన్‌స్టాల్ చేస్తుంది. పూర్తి వెర్షన్‌తో పోలిస్తే పరిమాణంలో తేడా ఇబ్బంది కలిగించేంత పెద్దది కాదు. పని భౌతిక మెషీన్‌లో నిర్వహించబడుతుంది కాబట్టి, నేను వర్చువల్ మెషీన్‌ల మాదిరిగా స్నాప్‌షాట్‌లను తీయాలనుకుంటున్నాను. ఈ ఐచ్చికము LVM లేదా btrfs (లేదా xfs, లేదా zfs - తేడా పెద్దది కాదు) ద్వారా అందించబడుతుంది. LVM స్నాప్‌షాట్‌లు బలమైన అంశం కాదు. btrfsని ఇన్‌స్టాల్ చేయండి. మరియు బూట్‌లోడర్ MBRలో ఉంది. 50 MB డిస్క్‌ను FAT విభజనతో అస్తవ్యస్తం చేయడంలో ఎటువంటి ప్రయోజనం లేదు, మీరు దానిని 1 MB విభజన పట్టిక ప్రాంతంలోకి నెట్టవచ్చు మరియు సిస్టమ్ కోసం మొత్తం స్థలాన్ని కేటాయించవచ్చు. డిస్క్‌లో 700 MBని తీసుకున్నారు. ప్రాథమిక SUSE ఇన్‌స్టాలేషన్ ఎంత ఉందో నాకు గుర్తు లేదు, ఇది 1.1 లేదా 1.4 GB అని నేను అనుకుంటున్నాను.
CEPHని ఇన్‌స్టాల్ చేయండి. మేము డెబియన్ రిపోజిటరీలో వెర్షన్ 12ని విస్మరిస్తాము మరియు 15.2.3 సైట్ నుండి నేరుగా కనెక్ట్ చేస్తాము. మేము కింది హెచ్చరికలతో “CEPHని మాన్యువల్‌గా ఇన్‌స్టాల్ చేయండి” విభాగంలోని సూచనలను అనుసరిస్తాము:
- రిపోజిటరీని కనెక్ట్ చేసే ముందు, మీరు తప్పనిసరిగా gnupg wget ca-సర్టిఫికేట్‌లను ఇన్‌స్టాల్ చేయాలి
- రిపోజిటరీని కనెక్ట్ చేసిన తర్వాత, క్లస్టర్‌ను ఇన్‌స్టాల్ చేసే ముందు, ప్యాకేజీలను ఇన్‌స్టాల్ చేయడం విస్మరించబడుతుంది: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
- CEPHని ఇన్‌స్టాల్ చేస్తున్నప్పుడు, తెలియని కారణాల వల్ల, అది lvm2ని ఇన్‌స్టాల్ చేయడానికి ప్రయత్నిస్తుంది. సూత్రప్రాయంగా, ఇది జాలి కాదు, కానీ ఇన్‌స్టాలేషన్ విఫలమవుతుంది, కాబట్టి CEPH కూడా ఇన్‌స్టాల్ చేయబడదు.
ఈ ప్యాచ్ సహాయపడింది:
cat << EOF >> /var/lib/dpkg/status Package: lvm2 Status: install ok installed Priority: important Section: admin Installed-Size: 0 Maintainer: Debian Adduser Developers <[email protected]> Architecture: all Multi-Arch: foreign Version: 113.118 Description: No-install EOF
క్లస్టర్ అవలోకనం
ceph-osd - డిస్క్‌లో డేటాను నిల్వ చేయడానికి బాధ్యత వహిస్తుంది. ప్రతి డిస్క్ కోసం, ఆబ్జెక్ట్‌లను చదవడానికి లేదా వ్రాయడానికి అభ్యర్థనలను అంగీకరించి మరియు అమలు చేసే నెట్‌వర్క్ సేవ ప్రారంభించబడుతుంది. డిస్క్‌లో రెండు విభజనలు సృష్టించబడతాయి. వాటిలో ఒకటి క్లస్టర్, డిస్క్ నంబర్ మరియు క్లస్టర్‌కి సంబంధించిన కీల గురించి సమాచారాన్ని కలిగి ఉంటుంది. ఈ 1KB సమాచారం డిస్క్‌ను జోడించేటప్పుడు ఒకసారి సృష్టించబడుతుంది మరియు మార్చడం ఎన్నడూ గుర్తించబడలేదు. రెండవ విభజన ఫైల్ సిస్టమ్ లేదు మరియు CEPH బైనరీ డేటాను నిల్వ చేస్తుంది. మునుపటి సంస్కరణల్లో ఆటోమేటిక్ ఇన్‌స్టాలేషన్ సేవా సమాచారం కోసం 100MB xfs విభజనను సృష్టించింది. నేను డిస్క్‌ను MBRకి మార్చాను మరియు 16MB మాత్రమే కేటాయించాను - సేవ ఫిర్యాదు చేయదు. ఎటువంటి సమస్యలు లేకుండా xfsని extతో భర్తీ చేయవచ్చని నేను భావిస్తున్నాను. ఈ విభజన /var/lib/...లో మౌంట్ చేయబడింది, ఇక్కడ సేవ OSD గురించి సమాచారాన్ని చదువుతుంది మరియు బైనరీ డేటా నిల్వ చేయబడిన బ్లాక్ పరికరానికి సూచనను కూడా కనుగొంటుంది. సిద్ధాంతపరంగా, మీరు వెంటనే సహాయక ఫైళ్లను /var/lib/...లో ఉంచవచ్చు మరియు డేటా కోసం మొత్తం డిస్క్‌ను కేటాయించవచ్చు. ceph-deploy ద్వారా OSDని సృష్టించేటప్పుడు, /var/lib/...లో విభజనను మౌంట్ చేయడానికి ఒక నియమం స్వయంచాలకంగా సృష్టించబడుతుంది మరియు ceph వినియోగదారుకు కావలసిన బ్లాక్ పరికరాన్ని చదవడానికి హక్కులు కూడా కేటాయించబడతాయి. మీరు మాన్యువల్‌గా ఇన్‌స్టాల్ చేస్తే, మీరు దీన్ని మీరే చేయాలి; డాక్యుమెంటేషన్ దీన్ని చెప్పలేదు. osd మెమరీ లక్ష్య పరామితిని పేర్కొనడం కూడా మంచిది, తద్వారా తగినంత భౌతిక మెమరీ ఉంటుంది.
ceph-mds. తక్కువ స్థాయిలో, CEPH అనేది వస్తువు నిల్వ. నిల్వను నిరోధించే సామర్థ్యం ప్రతి 4MB బ్లాక్‌ను ఒక వస్తువుగా నిల్వ చేయడానికి వస్తుంది. ఫైల్ నిల్వ అదే సూత్రంపై పనిచేస్తుంది. రెండు పూల్స్ సృష్టించబడ్డాయి: ఒకటి మెటాడేటా కోసం, మరొకటి డేటా కోసం. అవి ఫైల్ సిస్టమ్‌లో మిళితం చేయబడతాయి. ఈ సమయంలో, ఒక రకమైన రికార్డ్ సృష్టించబడుతుంది, కాబట్టి మీరు ఫైల్ సిస్టమ్‌ను తొలగిస్తే, కానీ రెండు పూల్‌లను ఉంచినట్లయితే, మీరు దాన్ని పునరుద్ధరించలేరు. బ్లాక్‌ల ద్వారా ఫైల్‌లను సంగ్రహించడానికి ఒక విధానం ఉంది, నేను దానిని పరీక్షించలేదు. ఫైల్ సిస్టమ్‌కు ప్రాప్యత కోసం ceph-mds సేవ బాధ్యత వహిస్తుంది. ప్రతి ఫైల్ సిస్టమ్ సేవ యొక్క ప్రత్యేక ఉదాహరణ అవసరం. "ఇండెక్స్" ఎంపిక ఉంది, ఇది ఒకదానిలో అనేక ఫైల్ సిస్టమ్‌ల పోలికను సృష్టించడానికి మిమ్మల్ని అనుమతిస్తుంది - కూడా పరీక్షించబడలేదు.
Ceph-mon - ఈ సేవ క్లస్టర్ యొక్క మ్యాప్‌ను నిల్వ చేస్తుంది. ఇది అన్ని OSDల గురించిన సమాచారాన్ని కలిగి ఉంటుంది, OSDలలో PGలను పంపిణీ చేయడానికి ఒక అల్గారిథమ్ మరియు, ముఖ్యంగా, అన్ని ఆబ్జెక్ట్‌ల గురించిన సమాచారం (ఈ మెకానిజం యొక్క వివరాలు నాకు స్పష్టంగా తెలియవు: డైరెక్టరీ /var/lib/ceph/mon/.../ ఉంది. store.db, ఇది పెద్ద ఫైల్‌ను కలిగి ఉంది 26MB, మరియు 105K ఆబ్జెక్ట్‌ల క్లస్టర్‌లో, ఇది ఒక్కో వస్తువుకు 256 బైట్‌ల కంటే కొంచెం ఎక్కువగా ఉంటుంది - మానిటర్ అన్ని వస్తువులు మరియు PGల జాబితాను నిల్వ చేస్తుందని నేను భావిస్తున్నాను. అవి ఉన్నాయి). ఈ డైరెక్టరీకి జరిగిన నష్టం క్లస్టర్‌లోని మొత్తం డేటాను కోల్పోతుంది. కాబట్టి OSDలో PGలు ఎలా ఉన్నాయి మరియు PGలలో ఆబ్జెక్ట్‌లు ఎలా ఉన్నాయో CRUSH చూపిస్తుంది - డెవలపర్లు ఈ పదానికి ఎంత దూరంగా ఉన్నప్పటికీ అవి డేటాబేస్ లోపల కేంద్రంగా నిల్వ చేయబడతాయి. ఫలితంగా, మొదట, మేము సిస్టమ్‌ను RO మోడ్‌లోని ఫ్లాష్ డ్రైవ్‌లో ఇన్‌స్టాల్ చేయలేము, డేటాబేస్ నిరంతరం రికార్డ్ చేయబడుతోంది కాబట్టి, వీటికి అదనపు డిస్క్ అవసరం (1 GB కంటే ఎక్కువ), రెండవది, ఇది అవసరం నిజ సమయంలో ఈ ఆధారాన్ని కాపీ చేయండి. అనేక మానిటర్లు ఉంటే, అప్పుడు తప్పు సహనం స్వయంచాలకంగా నిర్ధారిస్తుంది, కానీ మా విషయంలో ఒక మానిటర్ మాత్రమే ఉంది, గరిష్టంగా రెండు. OSD డేటా ఆధారంగా మానిటర్‌ను పునరుద్ధరించడానికి సైద్ధాంతిక విధానం ఉంది, నేను వివిధ కారణాల వల్ల మూడుసార్లు ఆశ్రయించాను మరియు మూడు సార్లు దోష సందేశాలు లేవు, అలాగే డేటా లేదు. దురదృష్టవశాత్తు, ఈ యంత్రాంగం పనిచేయదు. మేము OSDలో సూక్ష్మ విభజనను ఆపరేట్ చేస్తాము మరియు డేటాబేస్ను నిల్వ చేయడానికి RAIDని సమీకరించాము, ఇది ఖచ్చితంగా పనితీరుపై చాలా చెడు ప్రభావాన్ని కలిగి ఉంటుంది లేదా పోర్ట్‌లను ఆక్రమించకుండా ఉండటానికి మేము కనీసం రెండు విశ్వసనీయ భౌతిక మాధ్యమాలను, ప్రాధాన్యంగా USBని కేటాయిస్తాము.
rados-gw - S3 ప్రోటోకాల్ ద్వారా ఆబ్జెక్ట్ స్టోరేజ్‌ని ఎగుమతి చేస్తుంది. అనేక కొలనులను సృష్టిస్తుంది, ఎందుకు అనేది అస్పష్టంగా ఉంది. నేను పెద్దగా ప్రయోగాలు చేయలేదు.
ceph-mgr - ఈ సేవను వ్యవస్థాపించేటప్పుడు, అనేక మాడ్యూల్స్ ప్రారంభించబడతాయి. వాటిలో ఒకటి డిసేబుల్ చేయలేని ఆటోస్కేల్. ఇది సరైన మొత్తంలో PG/OSDని నిర్వహించడానికి కృషి చేస్తుంది. మీరు నిష్పత్తిని మాన్యువల్‌గా నియంత్రించాలనుకుంటే, మీరు ప్రతి పూల్‌కు స్కేలింగ్‌ను నిలిపివేయవచ్చు, అయితే ఈ సందర్భంలో మాడ్యూల్ 0 ద్వారా విభజనతో క్రాష్ అవుతుంది మరియు క్లస్టర్ స్థితి లోపం అవుతుంది. మాడ్యూల్ పైథాన్‌లో వ్రాయబడింది మరియు మీరు దానిలో అవసరమైన లైన్‌ను వ్యాఖ్యానిస్తే, ఇది దాని డిసేబుల్‌కు దారి తీస్తుంది. వివరాలు గుర్తుంచుకోవడానికి చాలా సోమరితనం.
ఉపయోగించిన మూలాల జాబితా:
స్క్రిప్ట్ జాబితాలు:
డీబూట్‌స్ట్రాప్ ద్వారా సిస్టమ్‌ను ఇన్‌స్టాల్ చేస్తోంది
blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/
chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6
apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6క్లస్టర్‌ను సృష్టించండి
apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon
echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF
ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status
# dashboard
apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1OSD (భాగం) జోడిస్తోంది
apt install ceph-osd
osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02 block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnumసారాంశం
CEPH యొక్క ప్రధాన మార్కెటింగ్ ప్రయోజనం క్రష్ - డేటా స్థానాన్ని లెక్కించడానికి ఒక అల్గోరిథం. మానిటర్లు ఈ అల్గారిథమ్‌ను క్లయింట్‌లకు పంపిణీ చేస్తాయి, ఆ తర్వాత క్లయింట్లు నేరుగా కోరుకున్న నోడ్ మరియు కావలసిన OSDని అభ్యర్థిస్తారు. క్రష్ కేంద్రీకరణను నిర్ధారిస్తుంది. ఇది మీరు ప్రింట్ అవుట్ చేసి గోడపై వేలాడదీయగల చిన్న ఫైల్. క్రష్ అనేది సమగ్రమైన మ్యాప్ కాదని ప్రాక్టీస్ చూపించింది. మీరు మానిటర్‌లను నాశనం చేసి, పునఃసృష్టి చేస్తే, అన్ని OSD మరియు క్రష్‌లను ఉంచుకుంటే, క్లస్టర్‌ను పునరుద్ధరించడానికి ఇది సరిపోదు. దీని నుండి ప్రతి మానిటర్ మొత్తం క్లస్టర్ గురించి కొంత మెటాడేటాను నిల్వ చేస్తుందని నిర్ధారించబడింది. ఈ మెటాడేటా యొక్క చిన్న మొత్తం క్లస్టర్ పరిమాణంపై పరిమితులను విధించదు, కానీ వారి భద్రతను నిర్ధారించడం అవసరం, ఇది ఫ్లాష్ డ్రైవ్‌లో సిస్టమ్‌ను ఇన్‌స్టాల్ చేయడం ద్వారా డిస్క్ పొదుపులను తొలగిస్తుంది మరియు మూడు నోడ్‌ల కంటే తక్కువ ఉన్న క్లస్టర్‌లను మినహాయిస్తుంది. ఐచ్ఛిక లక్షణాలకు సంబంధించి డెవలపర్ యొక్క దూకుడు విధానం. మినిమలిజానికి దూరంగా. డాక్యుమెంటేషన్ "మా వద్ద ఉన్నదానికి ధన్యవాదాలు, కానీ ఇది చాలా చాలా తక్కువ" స్థాయిలో ఉంది. తక్కువ స్థాయిలో సేవలతో పరస్పర చర్య చేసే సామర్థ్యం అందించబడింది, అయితే డాక్యుమెంటేషన్ ఈ అంశంపై చాలా ఉపరితలంగా తాకుతుంది, కాబట్టి ఇది అవును కంటే కాదు అని చెప్పవచ్చు. అత్యవసర పరిస్థితి నుండి డేటాను పునరుద్ధరించడానికి ఆచరణాత్మకంగా ఎటువంటి అవకాశం లేదు.
తదుపరి చర్య కోసం ఎంపికలు: CEPHని విడిచిపెట్టి, సామాన్యమైన బహుళ-డిస్క్ btrfs (లేదా xfs, zfs)ని ఉపయోగించండి, CEPH గురించిన కొత్త సమాచారాన్ని కనుగొనండి, ఇది పేర్కొన్న పరిస్థితులలో దీన్ని ఆపరేట్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది, మీ స్వంత నిల్వను అధునాతనంగా వ్రాయడానికి ప్రయత్నించండి శిక్షణ.
మూలం: www.habr.com