Stòradh ann an Kubernetes: OpenEBS vs Rook (Ceph) vs Rancher Longhorn vs StorageOS vs Robin vs Portworx vs Linstor

Ùraich!. Anns na beachdan, mhol aon de na leughadairean feuchainn Linstor (is dòcha gu bheil e ag obair air e fhèin) agus mar sin tha mi air earrann a chuir ris mun fhuasgladh seo. Sgrìobh mi cuideachd post air mar a stàlaicheas tu e, oir tha am pròiseas glè eadar-dhealaichte bhon chòrr.

Gus a bhith onarach, leig mi seachad agus thug mi suas Kubernetes (co-dhiù airson an-dràsta). Cleachdaidh mi Heroku. Carson? Air sgàth stòradh! Cò bhiodh air smaoineachadh gum bithinn a’ tinker barrachd le stòradh na le Kubernetes fhèin. Bidh mi a 'cleachdadh Sgòthan Hetzneroir tha e saor agus tha an coileanadh math agus bhon fhìor thoiseach tha mi air a bhith a 'cleachdadh chlàran a' cleachdadh Rancher. Cha do dh’ fheuch mi ri seirbheisean Kubernetes a riaghladh bho Google/Amazon/Microsoft/DigitalOcean, msaa, msaa, oir bha mi airson a h-uile càil ionnsachadh mi-fhìn. Tha mi frugal cuideachd.

Mar sin tha, chuir mi seachad tòrr ùine a’ feuchainn ri co-dhùnadh dè an stòradh a thaghas mi nuair a bha mi a’ measadh stac Kubernetes a dh’ fhaodadh a bhith ann. Is fheàrr leam fuasglaidhean stòr fosgailte, chan ann a-mhàin air sgàth a’ phrìs, ach tha mi air coimhead a-steach do dhà roghainn pàighte a-mach à feòrachas oir tha dreachan an-asgaidh aca le crìochan. Tha mi air àireamhan bho dheuchainnean o chionn ghoirid a sgrìobhadh sìos nuair a rinn mi coimeas eadar diofar roghainnean, agus is dòcha gum biodh iad inntinneach don fheadhainn a tha ag ionnsachadh mu stòradh Kubernetes. Ged a tha mi gu pearsanta air soraidh slàn le Kubernetes airson a-nis. Tha mi cuideachd airson iomradh a thoirt air Driver airson CSI, a dh'fhaodas leabhraichean Hetzner Cloud a sholarachadh gu dìreach, ach cha do dh'fheuch mi e fhathast. Choimhead mi a-steach do stòradh a chaidh a mhìneachadh le bathar-bog sgòthan oir bha feum agam air ath-riochdachadh agus an comas meudan seasmhach a chuir suas gu sgiobalta air nód sam bith, gu sònraichte ma dh’ fhàillig nodan agus suidheachaidhean eile den aon seòrsa. Bidh cuid de fhuasglaidhean a’ tabhann dealbhan puing-ann-ùine agus cùl-taic far-làraich, a tha goireasach.

Rinn mi deuchainn air fuasglaidhean stòraidh 6-7:

FosgailEBS

Mar a thuirt mi mu thràth ann am post roimheAn dèidh deuchainn a dhèanamh air a’ mhòr-chuid de na roghainnean bhon liosta, shocraich mi air OpenEBS an toiseach. Tha OpenEBS gu math furasta a chuir a-steach agus a chleachdadh, ach a bhith onarach, às deidh deuchainn le fìor dàta fo luchd, bha mi tàmailteach le a choileanadh. Is e stòr fosgailte a tha seo, agus tha an luchd-leasachaidh leotha fhèin Sianal slaodach an-còmhnaidh glè chuideachail nuair a bha feum agam air cuideachadh. Gu mì-fhortanach, tha coileanadh glè ìosal aige an taca ri roghainnean eile, agus mar sin dh'fheumadh na deuchainnean a bhith air an ruith a-rithist. Tha 3 einnseanan stòraidh aig OpenEBS an-dràsta, ach tha mi a’ postadh toraidhean slat-tomhais airson cStor. Chan eil àireamhan agam airson Jiva agus LocalPV fhathast.

Ann an ùine ghoirid, tha Jiva beagan nas luaithe, agus tha LocalPV sa chumantas luath, gun a bhith nas miosa na slat-tomhais diosc gu dìreach. Is e an duilgheadas le LocalPV nach fhaighear a-steach don tomhas-lìonaidh ach air an nód far an deach ullachadh, agus chan eil ath-riochdachadh idir ann. Bha duilgheadasan agam le bhith ag ath-nuadhachadh cùl-taic tro Bàta seòlaidh air braisle ùr oir bha ainmean nan nodan eadar-dhealaichte. Ma bhios sinn a’ bruidhinn mu dheidhinn cùl-taic, tha cStor Plugin airson Velero, leis an urrainn dhut cùl-taic de dhealbhan a dhèanamh far-làraich aig àm sònraichte, a tha nas freagarraiche na cùl-taic ìre faidhle le Velero-Restic. sgrìobh mi grunn sgriobtaichean, gus a dhèanamh nas fhasa cùl-taic agus ath-nuadhachadh a riaghladh leis a’ plugan seo. Gu h-iomlan, is toil leam OpenEBS gu mòr, ach tha a choileanadh ...

Ròc

Tha Rook cuideachd fosgailte agus tha e eadar-dhealaichte bhon chòrr de na roghainnean air an liosta leis gu bheil e na orcastra stòraidh a bhios a’ coileanadh gnìomhan riaghlaidh stòraidh iom-fhillte le diofar backends, me. ceph, IomallFS agus cuid eile, a tha gu mòr a' sìmpleachadh na h-oibre. Bha duilgheadasan agam le EfgeFS nuair a dh’ fheuch mi e o chionn beagan mhìosan, agus mar sin rinn mi deuchainn sa mhòr-chuid le Ceph. Chan e a-mhàin gu bheil Ceph a’ tabhann stòradh bloca, ach cuideachd stòradh stuthan a tha co-chosmhail ri S3/Swift agus siostam faidhle sgaoilte. Is e an rud as toil leam mu Ceph an comas dàta meud a sgaoileadh thairis air ioma diosc gus an urrainn don tomhas-lìonaidh barrachd àite diosc a chleachdadh na dh’ fhaodadh a bhith air aon diosc. Tha e cofhurtail. Is e feart fionnar eile nuair a chuireas tu diosgan ri brabhsair, bidh e gu fèin-ghluasadach ag ath-sgaoileadh dàta thairis air a h-uile diosc.

Tha dealbhan aig Ceph, ach cho fad ‘s as aithne dhomh, chan urrainnear an cleachdadh gu dìreach ann an Rook/Kubernetes. Fìor, cha deach mi gu domhainn a-steach don seo. Ach chan eil cùl-taic taobh a-muigh na làraich ann, mar sin feumaidh tu rudeigin a chleachdadh le Velero / Restic, ach chan eil ann ach cùl-taic ìre faidhle, chan e dealbhan puing-ann-ùine. Is e an rud a chòrd rium gu mòr mu Rook cho furasta ‘s a tha e a bhith ag obair le Ceph - bidh e a’ falach cha mhòr a h-uile stuth toinnte agus a ’tabhann innealan airson bruidhinn ri Ceph gu dìreach airson fuasgladh cheistean. Gu mì-fhortanach, rè an deuchainn cuideam air meudan Ceph, bha duilgheadasan agam le an trioblaid seo, a bheir air Ceph fàs neo-sheasmhach. Chan eil e soilleir fhathast an e biast a tha seo ann an Ceph fhèin no duilgheadas leis an dòigh anns a bheil Rook a’ riaghladh Ceph. Rinn mi tinkered leis na roghainnean cuimhne, agus dh’ fhàs e na b’ fheàrr, ach cha deach an duilgheadas fhuasgladh gu tur. Tha coileanadh math aig Ceph, mar a chì thu anns na slatan-tomhais gu h-ìosal. Tha clàr math aige cuideachd.

Rancher Longhorn

Is fìor thoil leam Longhorn. Nam bheachd-sa, is e fuasgladh gealltanach a tha seo. Fìor, tha an luchd-leasachaidh fhèin (Rancher Labs) ag aideachadh nach eil e fhathast freagarrach airson na h-àrainneachd obrach, agus tha seo a 'sealltainn. Tha e fosgailte agus tha coileanadh math aige (ged nach eil iad air a mheudachadh fhathast), ach bheir na leabhraichean ùine mhòr airson ceangal ris a’ pod, agus anns na cùisean as miosa bheir e 15-16 mionaidean, gu sònraichte às deidh cùl-taic mòr ath-nuadhachadh no ag àrdachadh an t-uallach obrach. Tha dealbhan ann agus cùl-taic far-làraich de na dealbhan sin, ach chan eil iad a’ buntainn ach ri meudan, agus mar sin bidh feum agad fhathast air rudeigin mar Velero gus cùl-taic a dhèanamh de ghoireasan eile. Tha cùl-taic agus ath-nuadhachadh gu math earbsach, ach gu mì-fhortanach slaodach. Gu dona, dìreach gu math slaodach. Bidh cleachdadh CPU agus eallach siostam gu tric a’ snìomh nuair a bhios iad ag obair le tomhas meadhanach de dhàta ann an Longhorn. Tha deas-bhòrd goireasach ann airson Longhorn a riaghladh. Tha mi air a ràdh mar-thà gur toil leam Longhorn, ach tha feum air beagan obrach.

StòradhOS

Is e StorageOS a’ chiad toradh pàighte air an liosta. Tha dreach leasaiche aige le meud stòraidh cuibhrichte de 500GB, ach chan eil mi a’ smaoineachadh gu bheil crìoch air an àireamh de nodan. Dh’ innis an roinn reic dhomh gu bheil a’ chosgais a’ tòiseachadh aig $125 gach mìos airson 1 TB, ma chuimhnicheas mi gu ceart. Tha deas-bhòrd bunaiteach agus CLI goireasach, ach tha rudeigin neònach a’ dol air adhart leis a’ choileanadh: ann an cuid de shlatan-tomhais tha e gu math reusanta, ach anns an deuchainn cuideam meud cha do chòrd an astar rium idir. San fharsaingeachd, chan eil fios agam dè a chanas mi. Mar sin cha robh mi a’ tuigsinn mòran. Chan eil cùl-taic taobh a-muigh na làraich an seo agus feumaidh tu cuideachd Velero a chleachdadh le Restic gus meudan cùl-taic a dhèanamh. Tha e neònach, oir tha an toradh air a phàigheadh. Agus cha robh an luchd-leasachaidh deònach conaltradh a dhèanamh air Slack.

Robin

Dh’ ionnsaich mi mu Robin air Reddit bhon stiùiriche teignigeach aca. Cha robh mi air cluinntinn mu dheidhinn roimhe. Is dòcha air sgàth gu robh mi a’ coimhead airson fuasglaidhean an-asgaidh, ach tha Robin air a phàigheadh. Tha dreach gu math fialaidh an-asgaidh aca le 10TB de stòradh agus trì nodan. Gu h-iomlan, tha an toradh gu math reusanta agus tha feartan math aige. Tha CLI sgoinneil ann, ach is e an rud as fhuaire gun urrainn dhut dealbh a dhèanamh den tagradh gu lèir agus cùl-taic a dhèanamh den tagradh gu lèir (anns an neach-taghaidh stòrais canar fiosan Helm ris an seo no “aplacaidean sùbailte”), a’ toirt a-steach leabhraichean agus goireasan eile, gus an urrainn dhut a dhèanamh às aonais Velero. Agus bhiodh a h-uile dad mìorbhaileach mura h-eil airson mion-fhiosrachadh beag: ma bheir thu air ais (no “in-mhalairt”, mar a chanar ris ann an Robin) tagradh air buidheann ùr - mar eisimpleir, ma thig thu air ais bho mhòr-thubaist - ath-nuadhachadh, gu dearbh, bidh e ag obair, ach lean ort a’ toirt taic don tagradh tha e toirmisgte. Gu sìmplidh chan eil seo comasach san fhoillseachadh seo, mar a tha an luchd-leasachaidh air dearbhadh. Tha seo, airson a chuir gu socair, neònach, gu sònraichte a’ beachdachadh air na buannachdan eile (mar eisimpleir, cùl-taic agus ath-nuadhachadh gu math luath). Tha an luchd-leasachaidh a’ gealltainn a h-uile càil a chàradh ron ath fhoillseachadh. Tha coileanadh math san fharsaingeachd, ach mhothaich mi neònach: ma ruitheas mi an slat-tomhais gu dìreach air tomhas-lìonaidh ceangailte ris an aoigh, tha an astar leughaidh fada nas luaithe na bhith a’ ruith an aon leabhar bhon taobh a-staigh den pod. Tha a h-uile toradh eile co-ionann, ach ann an teòiridh cha bu chòir eadar-dhealachadh sam bith a bhith ann. Ged a tha iad ag obair air, bha mi troimh-chèile mun duilgheadas le ath-nuadhachadh agus cùl-taic - shaoil ​​​​mi gu robh mi air fuasgladh iomchaidh a lorg mu dheireadh, agus bha mi eadhon deònach pàigheadh ​​​​air a shon nuair a bha feum agam air barrachd àite no barrachd luchd-frithealaidh.

portworx

Chan eil mòran agam ri ràdh an seo. Is e toradh pàighte a tha seo, a cheart cho fionnar agus daor. Tha an coileanadh dìreach iongantach. Is e seo an comharra as fheàrr gu ruige seo. Thuirt Slack rium gu bheil prìsean a’ tòiseachadh aig $205 gach mìos gach nód, mar a tha air a liostadh ann am Margaidh GKE aig Google. Chan eil fios agam am bi e nas saoire ma cheannaicheas tu gu dìreach. Chan urrainn dhomh sin a phàigheadh ​​co-dhiù, agus mar sin bha mi glè, glè bhriseadh-dùil gu bheil cead an leasaiche (suas ri 1 TB agus nodan 3) gu ìre mhòr gun fheum le Kubernetes mura h-eil thu riaraichte le solar statach. Bha mi an dòchas gun deidheadh ​​​​an cead meud sìos gu fèin-ghluasadach gu leasaiche aig deireadh na h-ùine deuchainn, ach cha do thachair sin. Chan urrainnear cead an leasaiche a chleachdadh gu dìreach le Docker, agus tha an rèiteachadh ann an Kubernetes gu math trom agus cuibhrichte. Gu dearbh, is fheàrr leam stòr fosgailte, ach nam biodh an t-airgead agam, bhithinn gu cinnteach a’ taghadh Portworx. Gu ruige seo, chan eil a choileanadh dìreach an coimeas ri roghainnean eile.

Linstor

Chuir mi an earrann seo ris an dèidh don phost a bhith air fhoillseachadh, nuair a mhol leughadair feuchainn ri Linstor. Dh’fheuch mi e agus chòrd e rium! Ach feumaidh mi beagan a bharrachd cladhach a dhèanamh. Airson a-nis, is urrainn dhomh a ràdh gu bheil an coileanadh gu math math (chuir mi na toraidhean coimeas ris gu h-ìosal). Gu dearbh, fhuair mi an aon choileanadh ri coimeas diosc dìreach, gun chosgais sam bith. (Na faighnich carson a tha àireamhan Portworx nas fheàrr na an coimeas diosc dìreach. Chan eil beachd agam. Draoidheachd, tha mi creidsinn.) Mar sin, tha Linstor a’ coimhead gu math èifeachdach gu ruige seo. Chan eil e gu math duilich a stèidheachadh, ach chan eil e cho furasta ri roghainnean eile. An toiseach, dh'fheumadh mi Linstor a stàladh (modal kernel agus innealan / seirbheisean) agus LVM a stèidheachadh airson solar tana agus taic snapshot taobh a-muigh Kubernetes, gu dìreach air an aoigh, agus an uairsin na goireasan a chruthachadh a bha a dhìth gus an stòradh bho Kubernetes a chleachdadh. Cha robh mi toilichte nach do dh’obraich e air CentOS agus dh'fheumadh e cleachdadh UbuntuChan e cùis mhòr a th’ ann, gu dearbh, ach tha e beagan draghail leis gu bheil an sgrìobhainneachd (a tha sàr-mhath, co-dhiù) a’ toirt iomradh air grunn phasganan nach eil rim faighinn anns na stòran-tasgaidh Epel ainmichte. Tha dealbhan-sgrìn aig Linstor, ach chan eil cùl-taicean far-làraich ann, agus mar sin dh’fheumadh mi Velero a chleachdadh le Restic a-rithist airson cùl-taicean meud. B’ fheàrr leam dealbhan-sgrìn na cùl-taicean aig ìre faidhle, ach tha sin fulangach ma tha am fuasgladh èifeachdach agus earbsach. Tha Linstor na stòr fosgailte, ach tha taic pàighte ann. Ma tha mi a’ tuigsinn gu ceart, faodaidh tu a chleachdadh gun chuingealachaidhean eadhon ged nach eil cùmhnant taic agad, ach dh’fheumadh mi sùil a thoirt air sin. Chan eil fhios agam dè cho deuchainneach ‘s a tha Linstor airson Kubernetes, ach tha an ìre stòraidh fhèin taobh a-muigh Kubernetes, agus tha e coltach gu bheil e air a bhith timcheall airson greis, agus mar sin is dòcha gu bheil e air a dhearbhadh mu thràth ann an suidheachaidhean fìor. A bheil fuasgladh an seo a bheireadh orm m’ inntinn atharrachadh agus tilleadh gu Kubernetes? Chan eil fhios agam. Feumaidh mi beagan a bharrachd rannsachaidh a dhèanamh agus ionnsachadh mu ath-riochdachadh. Chì sinn. Ach tha a’ chiad bheachd math. B’ fheàrr leam gu cinnteach na cruinneachaidhean Kubernetes agam fhèin a chleachdadh an àite Heroku airson barrachd saorsa agus airson rudan ùra ionnsachadh. Leis nach eil Linstor cho furasta a stàladh ri feadhainn eile, sgrìobhaidh mi post mu dheidhinn sin a dh’ aithghearr.

Comharran-tomhais

Gu mì-fhortanach, cha do chùm mi mòran notaichean mun choimeas oir cha robh mi a’ smaoineachadh gun sgrìobhadh mi mu dheidhinn. Chan eil agam ach toraidhean bho na slatan-tomhais fio bunaiteach agus dìreach airson cruinneachaidhean aon nód, agus mar sin chan eil àireamhan agam airson rèiteachaidhean ath-aithris fhathast. Ach bho na toraidhean sin gheibh thu beachd garbh air na bu chòir a bhith an dùil bho gach roghainn, oir rinn mi coimeas eadar iad air na h-aon luchd-frithealaidh sgòthan, 4 cores, 16 GB de RAM, le diosc 100 GB a bharrachd airson na meudan deuchainn. Ruith mi na slatan-tomhais trì tursan airson gach fuasgladh agus rinn mi obrachadh a-mach an toradh cuibheasach, agus ath-shuidhich mi roghainnean an fhrithealaiche airson gach toradh. Tha seo uile gu tur neo-eòlach, dìreach airson beachd coitcheann a thoirt dhut. Ann an deuchainnean eile, rinn mi leth-bhreac de 38 GB de dhealbhan agus bhideothan bhon tomhas-lìonaidh gus leughadh agus sgrìobhadh a dhearbhadh, ach, gu mì-fhortanach, cha do shàbhail mi na h-àireamhan. Ann an ùine ghoirid: bha Portworkx fada nas luaithe.

Airson an slat-tomhais tomhas-lìonaidh chleachd mi am foillseachadh seo:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: dbench
spec:
  storageClassName: ...
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
  name: dbench
spec:
  template:
    spec:
      containers:
      - name: dbench
        image: sotoaster/dbench:latest
        imagePullPolicy: IfNotPresent
        env:
          - name: DBENCH_MOUNTPOINT
            value: /data
          - name: FIO_SIZE
            value: 1G
        volumeMounts:
        - name: dbench-pv
          mountPath: /data
      restartPolicy: Never
      volumes:
      - name: dbench-pv
        persistentVolumeClaim:
          claimName: dbench
  backoffLimit: 4

Chruthaich mi leabhar an toiseach leis a’ chlas stòraidh iomchaidh agus an uairsin ruith mi an obair le fio air cùl na seallaidhean. Thug mi 1 GB airson tuairmse a dhèanamh air a’ choileanadh agus gun a bhith a’ feitheamh ro fhada. Seo na toraidhean:

Tha mi air an luach as fheàrr a chomharrachadh airson gach meatrach ann an uaine agus an luach as miosa ann an dearg.

co-dhùnadh

Mar a chì thu, sa mhòr-chuid de chùisean rinn Portworx nas fheàrr na feadhainn eile. Ach dhòmhsa tha e daor. Chan eil fios agam dè a chosgas Robin, ach tha dreach math an-asgaidh aca, mar sin ma tha thu ag iarraidh toradh pàighte, faodaidh tu feuchainn air (an dòchas gun socraich iad an duilgheadas le ath-nuadhachadh agus cùl-taic a dh’ aithghearr). De na trì feadhainn an-asgaidh, bha na duilgheadasan as lugha agam le OpenEBS, ach tha a choileanadh mì-mhodhail. Tha e duilich nach do shàbhail mi barrachd thoraidhean, ach tha mi an dòchas gun cuidich na h-àireamhan agus na beachdan agam thu.

Source: www.habr.com