Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Ulimwengu uliona mfano wa kwanza wa uhifadhi wa kitu mnamo 1996. Katika miaka 10, Huduma za Wavuti za Amazon zitazindua Amazon S3, na ulimwengu utaanza kuwa wazimu kwa utaratibu na nafasi ya anwani ya gorofa. Shukrani kwa kufanya kazi na metadata na uwezo wake wa kupima bila kushuka chini ya mzigo, hifadhi ya kitu haraka ikawa kiwango cha huduma nyingi za hifadhi ya data ya wingu, na si hivyo tu. Kipengele kingine muhimu ni kwamba inafaa kwa kuhifadhi kumbukumbu na faili zinazofanana ambazo hazitumiwi sana. Kila mtu aliyehusika katika kuhifadhi data alifurahi na kuvaa teknolojia mpya mikononi mwao.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Lakini uvumi wa watu ulikuwa umejaa uvumi kwamba uhifadhi wa kitu ni juu ya mawingu makubwa tu, na ikiwa hauitaji suluhisho kutoka kwa mabepari waliolaaniwa, basi itakuwa ngumu sana kutengeneza yako mwenyewe. Mengi tayari yameandikwa juu ya kupeleka wingu lako mwenyewe, lakini hakuna habari ya kutosha juu ya kuunda kinachojulikana kama suluhisho zinazolingana na S3.

Kwa hivyo, leo tutagundua ni chaguo gani kuna "Ili iwe kama watu wazima, sio CEPH na faili kubwa," tutapeleka moja yao, na tutaangalia ikiwa kila kitu kinafanya kazi kwa kutumia Hifadhi Nakala ya Veeam & Replication. Inadai kuwa inasaidia kufanya kazi na hifadhi zinazooana na S3, na tutajaribu dai hili.

Je, wengine?

Ninapendekeza kuanza na muhtasari mdogo wa soko na chaguzi za kuhifadhi vitu. Kiongozi anayetambuliwa kwa ujumla na kiwango ni Amazon S3. Wafuatiliaji wawili wa karibu zaidi ni Hifadhi ya Microsoft Azure Blob na Uhifadhi wa Kitu cha Wingu cha IBM.

Ni hayo tu? Kweli hakuna washindani wengine? Bila shaka, kuna washindani, lakini wengine huenda kwa njia zao wenyewe, kama Hifadhi ya Google Cloud au Oracle Cloud Object, na usaidizi usio kamili kwa API ya S3. Baadhi hutumia matoleo ya zamani ya API, kama vile Baidu Cloud. Na zingine, kama Hitachi Cloud, zinahitaji mantiki maalum, ambayo hakika itasababisha shida zake. Kwa hali yoyote, kila mtu analinganishwa na Amazon, ambayo inaweza kuchukuliwa kuwa kiwango cha sekta.

Lakini katika suluhisho la msingi kuna chaguo zaidi, kwa hivyo wacha tuonyeshe vigezo ambavyo ni muhimu kwetu. Kimsingi, mbili tu zinatosha: msaada kwa API ya S3 na utumiaji wa kutia saini kwa v4. Kwa mkono kwa moyo, sisi, kama mteja wa baadaye, tunavutiwa tu na miingiliano ya mwingiliano, na hatuvutii sana jikoni la ndani la kituo cha kuhifadhi yenyewe.

Suluhisho nyingi zinafaa hali hizi rahisi. Kwa mfano, uzani wa juu wa kampuni:

  • DellEMC ECS
  • NetApp S3 StorageGrid
  • Ndoo za Nutanix
  • FlashBlade safi ya Uhifadhi na StorReduce
  • Hifadhi ya Fusion ya Huawei

Kuna niche ya suluhisho za programu tu ambazo hufanya kazi nje ya boksi:

  • Kofia Nyekundu Ceph
  • Hifadhi ya Biashara ya SUSE
  • Cloudian

Na hata wale ambao wanapenda kuweka faili kwa uangalifu baada ya kusanyiko hawakukasirika:

  • CEPH katika hali yake safi
  • Minio (toleo la Linux, kwa sababu kuna maswali mengi kuhusu toleo la Windows)

Orodha ni mbali na kukamilika, inaweza kujadiliwa katika maoni. Usisahau tu kuangalia utendaji wa mfumo pamoja na uoanifu wa API kabla ya utekelezaji. Jambo la mwisho unalotaka ni kupoteza terabaiti za data kwa sababu ya hoja zilizokwama. Kwa hivyo usiwe na aibu na vipimo vya mzigo. Kwa ujumla, programu zote za watu wazima zinazofanya kazi na kiasi kikubwa cha data zina angalau ripoti za uoanifu. Katika kesi ya Veeam kuna mpango mzima juu ya kupima kuheshimiana, ambayo inaruhusu sisi kutangaza kwa ujasiri utangamano kamili wa bidhaa zetu na vifaa maalum. Hii tayari ni kazi ya njia mbili, sio haraka kila wakati, lakini tunapanua kila wakati orodha ufumbuzi uliojaribiwa.

Kukusanya msimamo wetu

Ningependa kuzungumza kidogo kuhusu kuchagua somo la mtihani.

Kwanza, nilitaka kupata chaguo ambalo lingefanya kazi nje ya boksi. Kweli, au angalau na uwezekano mkubwa kwamba itafanya kazi bila hitaji la kufanya harakati zisizo za lazima. Kucheza na tari na kucheza na console usiku ni ya kusisimua sana, lakini wakati mwingine unataka ifanye kazi mara moja. Na uaminifu wa jumla wa ufumbuzi huo ni kawaida juu. Na ndiyo, roho ya adventurism imetoweka ndani yetu, tuliacha kupanda kwenye madirisha ya wanawake wetu wapendwa, nk (c).

Pili, kuwa waaminifu, hitaji la kufanya kazi na uhifadhi wa kitu hutokea katika makampuni makubwa, kwa hivyo hii ndio kesi wakati kutafuta suluhisho la kiwango cha biashara sio tu sio aibu, lakini hata kuhimizwa. Kwa hali yoyote, bado sijui mifano yoyote ya mtu yeyote aliyefukuzwa kazi kwa kununua suluhu kama hizo.

Kulingana na yote hapo juu, chaguo langu lilianguka Toleo la Jumuiya ya Dell EMC ECS. Huu ni mradi wa kuvutia sana, na ninaona ni muhimu kukuambia kuhusu hilo.

Jambo la kwanza linalokuja akilini unapoona nyongeza Toleo la Jumuiya - kwamba hii ni nakala tu ya ECS kamili iliyo na vizuizi kadhaa ambavyo huondolewa kwa kununua leseni. Kwa hivyo hapana!

Kumbuka:

!!!Toleo la Jumuiya ni mradi tofauti ulioundwa kwa majaribio, na bila usaidizi wa kiufundi kutoka kwa Dell!!
Na haiwezi kugeuzwa kuwa ECS kamili, hata ikiwa unataka kweli.

Hebu tufikirie

Watu wengi wanaamini kuwa Dell EMC ECS ndio suluhisho bora zaidi ikiwa unahitaji kuhifadhi kitu. Miradi yote iliyo chini ya chapa ya ECS, ikijumuisha biashara na ushirika, inategemea github. Aina ya ishara ya nia njema kutoka kwa Dell. Na pamoja na programu inayotumika kwenye maunzi yao yenye chapa, kuna toleo la chanzo huria ambalo linaweza kutumwa kwenye wingu, kwenye mashine pepe, kwenye kontena, au kwenye maunzi yako yoyote. Kuangalia mbele, kuna hata toleo la OVA, ambalo tutatumia.
Toleo la Jumuiya ya DELL ECS lenyewe ni toleo dogo la programu kamili inayotumika kwenye seva zenye chapa ya Dell EMC ECS.

Niligundua tofauti kuu nne:

  • Hakuna usaidizi wa usimbaji fiche. Ni aibu, lakini sio muhimu.
  • Safu ya kitambaa haipo. Jambo hili linawajibika kwa kujenga vikundi, usimamizi wa rasilimali, sasisho, ufuatiliaji na kuhifadhi picha za Docker. Hapa ndipo tayari inakera sana, lakini Dell pia anaweza kueleweka.
  • Matokeo ya kuchukiza zaidi ya hatua ya awali: ukubwa wa node hauwezi kupanuliwa baada ya ufungaji kukamilika.
  • Hakuna usaidizi wa kiufundi. Hii ni bidhaa ya majaribio, ambayo si marufuku kutumika katika mitambo ndogo, lakini mimi binafsi singethubutu kupakia petabytes ya data muhimu huko. Lakini kitaalam hakuna mtu anayeweza kukuzuia kufanya hivi.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Ni nini katika toleo kubwa?

Hebu tutembee mbio kote Ulaya na kupitia suluhu za chuma ili kuwa na uelewa kamili zaidi wa mfumo ikolojia.

Sitathibitisha au kukanusha taarifa kwamba DELL ECS ndiyo hifadhi bora zaidi ya kitu kwenye prem, lakini ikiwa una chochote cha kusema kuhusu mada hii, nitafurahi kuisoma kwenye maoni. Angalau kulingana na toleo IDC MarketScape 2018 Dell EMC ni miongoni mwa viongozi watano wakuu wa soko la OBS. Ingawa suluhisho za msingi wa wingu hazizingatiwi hapo, haya ni mazungumzo tofauti.

Kwa mtazamo wa kiufundi, ECS ni hifadhi ya kitu ambayo hutoa ufikiaji wa data kwa kutumia itifaki za uhifadhi wa wingu. Inasaidia AWS S3 na OpenStack Swift. Kwa ndoo zinazowezeshwa na faili, ECS inasaidia NFSv3 kwa usafirishaji wa faili kwa faili.

Mchakato wa kurekodi habari ni wa kawaida kabisa, haswa baada ya mifumo ya uhifadhi wa block ya classical.

  • Data mpya inapowasili, kitu kipya kinaundwa ambacho kina jina, data yenyewe na metadata.
  • Vitu vimegawanywa katika vipande 128 MB, na kila chunk imeandikwa kwa nodi tatu mara moja.
  • Faili ya faharasa inasasishwa, ambapo vitambulisho na maeneo ya hifadhi hurekodiwa.
  • Faili ya logi (ingizo la logi) inasasishwa na pia imeandikwa kwa nodi tatu.
  • Ujumbe kuhusu kurekodi kwa mafanikio hutumwa kwa mteja
    Nakala zote tatu za data zimeandikwa kwa usawa. Uandishi unachukuliwa kuwa umefanikiwa ikiwa tu nakala zote tatu ziliandikwa kwa mafanikio.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Kusoma ni rahisi zaidi:

  • Mteja anaomba data.
  • Faharasa hutafuta mahali data imehifadhiwa.
  • Data inasomwa kutoka nodi moja na kutumwa kwa mteja.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Kuna seva chache zenyewe, kwa hivyo wacha tuangalie ndogo zaidi ya Dell EMC ECS EX300. Huanzia 60TB, ikiwa na uwezo wa kukua hadi 1,5PB. Na kaka yake mkubwa, Dell EMC ECS EX3000, hukuruhusu kuhifadhi hadi 8,6PB kwa kila rack.

Weka

Kitaalam, Dell ECS CE inaweza kutumwa kwa ukubwa upendavyo. Kwa hali yoyote, sikupata vikwazo vyovyote vilivyo wazi. Walakini, ni rahisi kufanya kuongeza viwango vyote kwa kuunda nodi ya kwanza, ambayo tunahitaji:

  • 8 vCPU
  • 64GB RAM
  • 16GB kwa OS
  • 1TB hifadhi ya moja kwa moja
  • Toleo la hivi karibuni la CentOS ndogo

Hili ni chaguo wakati unataka kusakinisha kila kitu mwenyewe tangu mwanzo. Chaguo hili sio muhimu kwetu, kwa sababu ... Nitatumia picha ya OVA kwa kupelekwa.

Lakini kwa hali yoyote, mahitaji ni mabaya sana hata kwa node moja, na ikiwa unafuata madhubuti barua ya sheria, basi unahitaji nodes nne hizo.

Walakini, watengenezaji wa ECS CE wanaishi katika ulimwengu wa kweli, na usakinishaji unafanikiwa hata kwa nodi moja, na mahitaji ya chini ni:

  • 4 vCPU
  • 16 GB RAM
  • GB 16 kwa OS
  • Hifadhi ya GB 104 yenyewe

Hizi ndizo nyenzo zinazohitajika ili kupeleka picha ya OVA. Tayari zaidi ya kibinadamu na ya kweli.

Node ya ufungaji yenyewe inaweza kupatikana kutoka kwa afisa github. Pia kuna nyaraka za kina juu ya upelekaji wa kila mmoja, lakini pia unaweza kusoma kwenye rasmi soma hati. Kwa hivyo, hatutakaa kwa undani juu ya kufunuliwa kwa OVA, hakuna hila huko. Jambo kuu ni kwamba kabla ya kuianzisha, usisahau kupanua diski kwa kiasi kinachohitajika, au ambatisha zile muhimu.
Tunaanzisha mashine, fungua koni na utumie vitambulisho bora zaidi:

  • kuingia: admin
  • nenosiri: ChangeMe

Kisha tunaendesha sudo nmtui na kusanidi interface ya mtandao - IP / mask, DNS na lango. Kwa kuzingatia kwamba CentOS ndogo haina zana za mtandao, tunaangalia mipangilio kupitia ip addr.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Na kwa kuwa tu jasiri hushinda bahari, tunafanya sasisho la yum, baada ya hapo tunaanzisha upya. Ni salama kabisa kwa sababu... upelekaji wote unafanywa kupitia vitabu vya kucheza, na vifurushi vyote muhimu vya docker vimefungwa kwa toleo la sasa.

Sasa ni wakati wa kuhariri hati ya usakinishaji. Hakuna madirisha maridadi au UI bandia kwako - kila kitu hufanywa kupitia kihariri chako cha maandishi unachokipenda. Kitaalam, kuna njia mbili: unaweza kuendesha kila amri kwa mikono au kuzindua mara moja kisanidi cha videoploy. Itafungua tu usanidi katika vim, na ikitoka itaanza kuiangalia. Lakini haipendezi kurahisisha maisha yako kwa makusudi, basi hebu tuendeshe amri mbili zaidi. Ingawa hii haina maana, nilikuonya =)

Kwa hivyo, tufanye vim ECS-CommunityEdition/deploy.xml na tufanye mabadiliko bora zaidi ili ECS ifanye kazi. Orodha ya vigezo inaweza kufupishwa, lakini nilifanya kama hii:

  • licensed_accepted: true Hufai kuibadilisha, basi wakati wa kupeleka utaombwa waziwazi kuikubali na utaonyeshwa kifungu kizuri cha maneno. Labda hii ni hata yai ya Pasaka.
    Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe
  • Toa maoni kwa mistari otomatiki: na maalum: Ingiza angalau jina moja unalotaka la nodi - jina la mpangishaji litabadilishwa wakati wa usakinishaji.
  • install_node: 192.168.1.1 Taja IP halisi ya nodi. Kwa upande wetu, tunaonyesha sawa na katika nmtui
  • dns_domain: ingiza kikoa chako.
  • dns_servers: ingiza dns yako.
  • ntp_servers: unaweza kutaja yoyote. Nilichukua ya kwanza niliyokutana nayo kutoka kwa bwawa 0.pool.ntp.org (ilikua 91.216.168.42)
  • autonaming: desturi Usipotoa maoni, mwezi utaitwa Luna.
  • ecs_block_devices:
    / dev / sdb
    Kwa sababu zisizojulikana, kunaweza kuwa na kifaa kisichokuwepo /dev/vda
  • hifadhi_mabwawa:
    wanachama:
    192.168.1.1 Hapa tena tunaonyesha IP halisi ya nodi
  • ecs_block_devices:
    /dev/sdb Tunarudia operesheni ya kukata vifaa visivyopo.

Kwa ujumla, faili nzima imeelezewa kwa kina sana katika nyaraka, lakini ni nani atakayeisoma katika wakati wa taabu kama hii. Inasema pia kwamba kiwango cha chini cha kutosha ni kutaja IP na mask, lakini katika maabara yangu seti kama hiyo ilianza vibaya, na ilinibidi kuipanua hadi ile iliyoainishwa hapo juu.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Baada ya kuondoka kwenye kihariri, unahitaji kuendesha update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, na ikiwa kila kitu kimefanywa kwa usahihi, hii itaripotiwa kwa uwazi.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Kisha bado unapaswa kukimbia videoploy, kusubiri mazingira ya kusasisha, na unaweza kuanza ufungaji yenyewe na ova-step1 amri, na baada ya kukamilika kwa mafanikio, amri ya ova-step2. Muhimu: usisitishe maandishi kwa mkono! Baadhi ya hatua zinaweza kuchukua muda mwingi, huenda zisikamilike kwenye jaribio la kwanza, na zinaweza kuonekana kama kila kitu kimeharibika. Kwa hali yoyote, unahitaji kusubiri hati ili kukamilisha kawaida. Mwishoni unapaswa kuona ujumbe sawa na huu.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Sasa tunaweza hatimaye kufungua paneli dhibiti ya WebUI kwa kutumia IP tunayoijua. Ikiwa usanidi haukubadilishwa katika hatua, akaunti chaguo-msingi itakuwa root/ChangeMe. Unaweza kutumia hifadhi yetu inayooana na S3 mara moja. Inapatikana kwenye bandari 9020 kwa HTTP, na 9021 kwa HTTPS. Tena, ikiwa hakuna kilichobadilishwa, basi access_key: object_admin1 na secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.

Lakini tusijitangulie sana na tuanze kwa utaratibu.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Unapoingia kwa mara ya kwanza, utalazimika kubadilisha nenosiri lako kwa moja ya kutosha, ambayo ni sahihi kabisa. Dashibodi kuu iko wazi sana, kwa hivyo tufanye jambo la kuvutia zaidi kuliko kueleza vipimo dhahiri. Kwa mfano, hebu tuunde mtumiaji ambaye tutamtumia kufikia hifadhi. Katika ulimwengu wa watoa huduma, hawa huitwa wapangaji. Hii inafanywa katika Dhibiti > Watumiaji > Mtumiaji wa Kitu Kipya

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Wakati wa kuunda mtumiaji, tunaulizwa kutaja nafasi ya jina. Kitaalam, hakuna kitu kinachotuzuia kuunda nyingi kama vile kuna watumiaji. Na kinyume chake. Hii inakuwezesha kudhibiti rasilimali kwa kujitegemea kwa kila mpangaji.

Ipasavyo, tunachagua kazi tunazohitaji na kutoa funguo za mtumiaji. S3/Atmos itanitosha. Na usisahau kuhifadhi ufunguo πŸ˜‰

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Mtumiaji ameundwa, sasa ni wakati wa kutenga ndoo kwake. Nenda kwa Dhibiti > Ndoo na ujaze sehemu zinazohitajika. Kila kitu ni rahisi hapa.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Sasa tuna kila kitu tayari kwa matumizi ya vita ya hifadhi yetu ya S3.

Kuanzisha Veeam

Kwa hivyo, kama tunavyokumbuka, moja ya matumizi kuu ya uhifadhi wa kitu ni uhifadhi wa muda mrefu wa habari ambayo haipatikani sana. Mfano bora ni hitaji la kuhifadhi nakala kwenye tovuti ya mbali. Katika Veeam Backup & Replication kipengele hiki kinaitwa Capacity Tier.

Hebu tuanze kusanidi kwa kuongeza Dell ECS CE yetu kwenye kiolesura cha Veeam. Kwenye kichupo cha Miundombinu ya Hifadhi, uzindua Mchawi wa Ongeza Mpya na uchague Hifadhi ya Kitu.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Wacha tuchague ilianza kwa nini - S3 Inapatana.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Katika dirisha inayoonekana, andika jina linalohitajika na uende kwenye hatua ya Akaunti. Hapa unahitaji kutaja hatua ya Huduma katika fomu https://your_IP:9021, eneo linaweza kuachwa kama lilivyo na mtumiaji aliyeundwa anaweza kuongezwa. Seva ya lango ni muhimu ikiwa hifadhi yako iko kwenye tovuti ya mbali, lakini hii tayari ni mada ya kuboresha miundombinu na makala tofauti, ili uweze kuiruka hapa kwa usalama.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Ikiwa kila kitu kimeelezwa na kusanidiwa kwa usahihi, onyo kuhusu cheti litaonekana na kisha dirisha na ndoo ambapo unaweza kuunda folda kwa faili zetu.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Tunapitia mchawi hadi mwisho na kufurahia matokeo.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Hatua inayofuata ni ama kuunda Hifadhi Nakala mpya ya Scale-out, au kuongeza S3 yetu kwa iliyopo - itatumika kama Kiwango cha Uwezo kwa hifadhi ya kumbukumbu. Hakuna chaguo za kukokotoa kutumia hifadhi inayooana na S3 moja kwa moja, kama hazina ya kawaida, katika toleo la sasa. Shida nyingi sana zisizo dhahiri zinahitaji kutatuliwa ili hii ifanyike, lakini chochote kinawezekana.
Nenda kwa mipangilio ya hazina na uwashe Kiwango cha Uwezo. Kila kitu ni wazi hapo, lakini kuna nuance ya kuvutia: ikiwa unataka data yote kutumwa kwa hifadhi ya kitu haraka iwezekanavyo, tu kuweka kwa siku 0.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Baada ya kupitia mchawi, ikiwa hutaki kusubiri, unaweza kubonyeza ctrl+RMB kwenye hifadhi, uzindua kwa nguvu kazi ya Tiering na uangalie grafu kutambaa.

Hifadhi ya kitu kwenye chumba cha nyuma, au Jinsi ya kuwa mtoa huduma wako mwenyewe

Ni hayo tu kwa sasa. Nadhani nilifaulu katika kazi ya kuonyesha kuwa uhifadhi wa block sio wa kutisha kama watu wanavyofikiria. Ndiyo, kuna ufumbuzi na chaguo kwa gari na gari ndogo, lakini huwezi kufunika kila kitu katika makala moja. Kwa hivyo wacha tushiriki uzoefu wetu katika maoni.

Chanzo: mapenzi.com

Kuongeza maoni