Aġġorna!. Fil-kummenti, wieħed mill-qarrejja ssuġġerixxa li jipprova (forsi qed jaħdem fuqha hu stess) għalhekk żidt taqsima dwar din is-soluzzjoni. Jien ktibt ukoll , għax il-proċess huwa differenti ħafna mill-bqija.
Biex inkun onest, ċedi u ċeda (għall-inqas għalissa). Jien se nuża . Għaliex? Minħabba l-ħażna! Min kien jaħseb li nagħmel aktar bil-ħażna milli ma 'Kubernetes innifsu. jien nuża minħabba li huwa rħas u l-prestazzjoni hija tajba u mill-bidu nett I ġew skjerament clusters bl-użu . Ma ppruvajtx servizzi mmexxija ta' Kubernetes minn Google/Amazon/Microsoft/DigitalOcean, eċċ., eċċ., għax ridt nitgħallem kollox jien. Jien ukoll frugali.
Allura iva, qattajt ħafna ħin nipprova niddeċiedi liema ħażna nagħżel meta kont qed nevalwa munzell possibbli ta 'Kubernetes. Nippreferi soluzzjonijiet ta 'sors miftuħ, mhux biss minħabba l-prezz, iżda ħarist lejn ftit għażliet imħallsa mill-kurżità minħabba li għandhom verżjonijiet b'xejn b'limitazzjonijiet. Jien ktibt xi numri minn testijiet riċenti meta qabbilt għażliet differenti, u jistgħu jkunu ta 'interess għal dawk li qed jitgħallmu dwar il-ħażna ta' Kubernetes. Għalkemm jien personalment għedt addiju lil Kubernetes għalissa. Irrid insemmi wkoll , li jistgħu jipprovdu direttament volumi Hetzner Cloud, iżda għadni ma ppruvajtx. Fittixt il-ħażna definita mis-software tas-sħab għax kelli bżonn replikazzjoni u l-abbiltà li mmunta malajr volumi persistenti fuq kwalunkwe node, speċjalment f'każ ta 'fallimenti ta' nodi u sitwazzjonijiet oħra simili. Xi soluzzjonijiet joffru snapshots fil-ħin u backups barra mis-sit, li huwa konvenjenti.
Ittestjajt 6-7 soluzzjonijiet ta 'ħażna:
Kif diġà għidt Wara li ttestjajt il-biċċa l-kbira tal-għażliet mil-lista, inizjalment issetiljajt fuq OpenEBS. OpenEBS huwa faċli ħafna biex tinstalla u tuża, iżda biex inkun onest, wara li ttestja b'dejta reali taħt tagħbija, kont diżappuntat bil-prestazzjoni tiegħu. Dan huwa sors miftuħ, u l-iżviluppaturi huma waħedhom dejjem utli ħafna meta kelli bżonn l-għajnuna. Sfortunatament, għandha prestazzjoni fqira ħafna meta mqabbla ma 'għażliet oħra, għalhekk it-testijiet kellhom jerġgħu jsiru. OpenEBS bħalissa għandu 3 magni tal-ħażna, iżda qed inpoġġi riżultati ta' referenza għal cStor. Għadni m'għandix numri għal Jiva u LocalPV.
Fil-qosor, Jiva huwa ftit aktar mgħaġġel, u LocalPV ġeneralment huwa mgħaġġel, mhux agħar mill-benchmark tad-diska direttament. Il-problema ma 'LocalPV hija li l-volum jista' jiġi aċċessat biss fuq in-node fejn kien ippreparat, u m'hemm l-ebda replikazzjoni għal kollox. Kelli xi problemi nirrestawra backup permezz fuq cluster ġdid minħabba li l-ismijiet tan-nodi kienu differenti. Jekk nitkellmu dwar backups, cStor għandu , li biha tista 'tagħmel backups barra mis-sit ta' snapshots f'punt fiż-żmien, li huwa aktar konvenjenti minn backups fil-livell tal-fajl b'Velero-Restic. jien ktibt , biex tagħmilha aktar faċli biex timmaniġġja backups u restawr b'dan il-plugin. B'mod ġenerali, inħobb ħafna OpenEBS, iżda l-prestazzjoni tiegħu...
Rook huwa wkoll sors miftuħ, u dak li jiddistingwih mill-bqija tal-għażliet fuq il-lista huwa li huwa orkestratur tal-ħażna li jieħu ħsieb kompiti kumplessi ta 'ġestjoni tal-ħażna b'backends differenti, eż. , u oħrajn, li jissimplifika bil-kbir ix-xogħol. Kelli problemi b'EfgeFS meta ppruvajt ftit xhur ilu, għalhekk ittestjajt prinċipalment b'Ceph. Ceph mhux biss joffri ħażna ta 'blokk, iżda wkoll ħażna ta' oġġetti kompatibbli ma 'S3/Swift u sistema ta' fajl distribwit. Dak li jogħġobni dwar Ceph hija l-abbiltà li tinfirex id-dejta tal-volum fuq diski multipli sabiex il-volum ikun jista 'juża aktar spazju fuq disk milli jista' joqgħod fuq disk wieħed. Huwa komdu. Karatteristika oħra friska hija li meta żżid diski ma 'cluster, awtomatikament tqassam mill-ġdid id-data madwar id-diski kollha.
Ceph għandu snapshots, iżda sa fejn naf jien, ma jistgħux jintużaw direttament f'Rook/Kubernetes. Veru, ma dħaltx fil-fond f'dan. Iżda m'hemm l-ebda backups barra mis-sit, għalhekk ikollok tuża xi ħaġa ma 'Velero/Restic, iżda hemm biss backups fil-livell tal-fajl, mhux snapshots fil-ħin. Dak li għoġobni ħafna dwar Rook kien kemm huwa faċli li taħdem ma 'Ceph - jaħbi kważi l-affarijiet ikkumplikati kollha u joffri għodda biex tkellem lil Ceph direttament biex issolvi l-problemi. Sfortunatament, waqt it-test tal-istress tal-volumi Ceph, bqajt ikolli problemi bihom , li tikkawża lil Ceph isir instabbli. Għadu mhux ċar jekk dan hux bug f'Ceph innifsu jew problema fil-mod kif Rook jimmaniġġja Ceph. Ħajt is-settings tal-memorja, u marret aħjar, iżda l-problema ma ġietx solvuta kompletament. Ceph għandu prestazzjoni deċenti, kif tistgħu taraw fil-benchmarks hawn taħt. Għandu wkoll dashboard tajjeb.
Inħobb ħafna l-Longhorn. Fl-opinjoni tiegħi, din hija soluzzjoni promettenti. Veru, l-iżviluppaturi nfushom (Rancher Labs) jammettu li għadu mhux adattat għall-ambjent tax-xogħol, u dan juri. Huwa sors miftuħ u għandu prestazzjoni deċenti (għalkemm għadhom ma ottimizzawhiex), iżda l-volumi jieħdu żmien twil ħafna biex jgħaqqdu mal-pod, u fl-agħar każijiet jieħdu 15-16-il minuta, speċjalment wara li jirrestawraw backup kbir jew it-titjib tal-ammont tax-xogħol. Għandu snapshots u backups barra mis-sit ta 'dawn l-istampar, iżda dawn japplikaw biss għal volumi, għalhekk xorta jkollok bżonn xi ħaġa bħal Velero biex tagħmel backup ta' riżorsi oħra. Il-backups u r-restawr huma affidabbli ħafna, iżda bil-mod indeċenti. Serjament, biss oerhört bil-mod. L-użu tas-CPU u t-tagħbija tas-sistema spiss jiżdiedu meta taħdem ma 'ammont medju ta' dejta f'Longhorn. Hemm dashboard konvenjenti biex timmaniġġja Longhorn. Diġà għedt li nħobb il-Longhorn, iżda jeħtieġ xi xogħol.
StorageOS huwa l-ewwel prodott imħallas fil-lista. Għandha verżjoni ta 'żviluppatur b'daqs limitat ta' ħażna ġestita ta '500GB, iżda ma naħsibx li hemm limitu fuq in-numru ta' nodi. Id-dipartiment tal-bejgħ qalli li l-ispiża tibda minn $125 fix-xahar għal 1 TB, jekk niftakar sew. Hemm dashboard bażiku u CLI konvenjenti, iżda xi ħaġa stramba għaddejja bil-prestazzjoni: f'xi punti ta 'referenza hija pjuttost deċenti, iżda fit-test tal-istress tal-volum ma għoġbitni l-veloċità xejn. B'mod ġenerali, ma nafx x'ngħid. Allura ma tantx fhimt. M'hemm l-ebda backups barra mis-sit hawn u jkollok ukoll tuża Velero b'Restic biex tagħmel backup tal-volumi. Hija stramba, għax il-prodott jitħallas. U l-iżviluppaturi ma kinux ħerqana li jikkomunikaw fuq Slack.
Tgħallimt dwar Robin fuq Reddit mid-direttur tekniku tagħhom. Qatt ma kont smajt bih qabel. Forsi għax kont qed infittex soluzzjonijiet b'xejn, imma Robin jitħallas. Huma għandhom verżjoni ħielsa pjuttost ġeneruża b'10TB ta 'ħażna u tliet nodi. B'mod ġenerali, il-prodott huwa pjuttost deċenti u għandu karatteristiċi sbieħ. Hemm CLI kbir, iżda l-aktar ħaġa sabiħa hija li tista 'tagħmel snapshot u tagħmel backup tal-applikazzjoni kollha (fil-selettur tar-riżorsi dan jissejjaħ Helm releases jew "flex apps"), inklużi volumi u riżorsi oħra, sabiex tkun tista' tagħmel mingħajr Velero. U kollox ikun meraviljuż jekk mhux għal dettall żgħir wieħed: jekk tirrestawra (jew "importazzjoni", kif tissejjaħ f'Robin) applikazzjoni fuq cluster ġdid - pereżempju, f'każ ta 'rkupru minn diżastru - ir-restawr, ovvjament, jaħdem, iżda tkompli tagħmel backup tal-applikazzjoni hija pprojbita. Dan sempliċement mhux possibbli f'dan ir-rilaxx, kif kkonfermaw l-iżviluppaturi. Dan huwa, biex ngħiduha ħafif, stramba, speċjalment meta wieħed iqis il-vantaġġi l-oħra (per eżempju, backups u restawr oerhört veloċi). L-iżviluppaturi jwiegħdu li jirranġaw kollox sal-rilaxx li jmiss. Il-prestazzjoni hija ġeneralment tajba, iżda ndunajt strambità: jekk inmexxi l-benchmark direttament fuq volum imwaħħal mal-host, il-veloċità tal-qari hija ħafna aktar mgħaġġla milli tmexxi l-istess volum minn ġewwa l-pod. Ir-riżultati l-oħra kollha huma identiċi, iżda fit-teorija m'għandux ikun hemm differenza. Għalkemm qed jaħdmu fuqha, kont imdejjaq bil-problema tar-restawr u l-backup - ħsibt li fl-aħħar kont sibt soluzzjoni xierqa, u saħansitra kont lest li nħallas għaliha meta kelli bżonn aktar spazju jew aktar servers.
M'għandix ħafna xi ngħid hawn. Dan huwa prodott imħallas, ugwalment frisk u għali. Il-prestazzjoni hija sempliċiment aqwa. Dan huwa l-aħjar indikatur s'issa. Slack qalli li l-ipprezzar jibda minn $205 fix-xahar għal kull nodu, kif elenkat fis-Suq GKE ta 'Google. Ma nafx jekk ikunx irħas jekk tixtri direttament. Ma niflaħx dan xorta waħda, għalhekk kont diżappuntat ħafna, ħafna li l-liċenzja tal-iżviluppatur (sa 1 TB u 3 nodi) hija prattikament inutli ma 'Kubernetes sakemm ma tkunx ikkuntentat b'forniment statiku. Kont qed nittama li l-liċenzja tal-volum awtomatikament tiddegrada għal iżviluppatur fl-aħħar tal-perjodu ta 'prova, iżda dan ma seħħx. Il-liċenzja tal-iżviluppatur tista 'tintuża biss direttament ma' Docker, u l-konfigurazzjoni f'Kubernetes hija diffiċli ħafna u limitata. Naturalment, nippreferi open source, imma kieku kelli l-flus, żgur nagħżel Portworx. S'issa, il-prestazzjoni tagħha sempliċement ma tqabbilx ma' għażliet oħra.
Żidt din it-taqsima wara li ġiet ippubblikata l-kariga, meta qarrej issuġġerixxa li nipprova Linstor. Ippruvajtha u għoġbitni! Imma rrid nagħmel aktar riċerka. Għalissa, nista' ngħid li l-prestazzjoni hija pjuttost tajba (żidt ir-riżultati tal-benchmark hawn taħt). Fil-fatt, ksibt l-istess prestazzjoni bħal bil-benchmark tad-diska diretta, mingħajr ebda overhead. (Tistaqsix għaliex in-numri ta' Portworx huma aħjar mill-benchmark tad-diska diretta. M'għandi l-ebda idea. Maġija, naħseb.) Allura, Linstor jidher effettiv ħafna s'issa. It-twaqqif tiegħu mhuwiex eżattament diffiċli, imma mhux faċli daqs għażliet oħra. L-ewwel, kelli ninstalla Linstor (modulu tal-kernel u għodod/servizzi) u nwaqqaf LVM għal thin provisioning u appoġġ ta' snapshots barra minn Kubernetes, direttament fuq il-host, u mbagħad noħloq ir-riżorsi meħtieġa biex nuża l-ħażna minn Kubernetes. Ma kontx kuntent li ma ħadmitx fuq CentOS u kellu juża UbuntuMhijiex problema kbira, ovvjament, imma hija daqsxejn tedjanti għax id-dokumentazzjoni (li hija eċċellenti, mill-mod) issemmi diversi pakketti li mhumiex disponibbli fir-repożitorji Epel speċifikati. Linstor għandu snapshots, imma l-ebda backups barra mis-sit, għalhekk kelli nuża Velero ma' Restic mill-ġdid għal backups tal-volum. Nippreferi snapshots milli backups fil-livell tal-fajl, imma dan huwa tollerabbli jekk is-soluzzjoni tkun effiċjenti u affidabbli. Linstor huwa open source, imma hemm appoġġ imħallas. Jekk nifhem sew, tista' tużah mingħajr restrizzjonijiet anke jekk m'għandekx kuntratt ta' appoġġ, imma jkolli niċċekkja dan. Ma nafx kemm Linstor huwa ttestjat għal Kubernetes, imma s-saff tal-ħażna nnifsu huwa barra minn Kubernetes, u jidher li ilu jeżisti għal xi żmien, allura probabbilment diġà ġie ttestjat f'kundizzjonijiet tad-dinja reali. Hemm xi soluzzjoni hawn li ġġagħalni nibdel fehmti u nerġa' lura għal Kubernetes? Ma nafx. Irrid inħaffer ftit iktar u nitgħallem dwar ir-replikazzjoni. Naraw. Imma l-ewwel impressjoni hija tajba. Żgur nippreferi nuża l-clusters ta' Kubernetes tiegħi stess minflok Heroku għal aktar libertà u biex nitgħallem affarijiet ġodda. Peress li Linstor mhuwiex faċli biex tinstallah daqs oħrajn, se nikteb post dwar dan dalwaqt.
Benchmarks
Sfortunatament, ma żammejtx ħafna noti dwar il-paragun għax ma ħsibtx li se nikteb dwaru. Għandi biss riżultati mill-benchmarks bażiċi tal-fio u biss għal clusters ta 'nodi wieħed, għalhekk għad m'għandix numri għal konfigurazzjonijiet replikati. Iżda minn dawn ir-riżultati tista 'tieħu idea approssimattiva ta' x'għandek tistenna minn kull għażla, għax qabbilhom fuq l-istess servers tas-sħab, 4 cores, 16 GB ta 'RAM, ma' disk addizzjonali ta '100 GB għall-volumi ttestjati. Jien għamilt il-benchmarks tliet darbiet għal kull soluzzjoni u kkalkulajt ir-riżultat medju, flimkien ma 'reset is-settings tas-server għal kull prodott. Dan kollu huwa kompletament mhux xjentifiku, biss biex jagħtik idea ġenerali. F'testijiet oħra, ikkupjajt 38 GB ta 'ritratti u vidjows mill-volum u ttestjajt il-qari u l-kitba, iżda, sfortunatament, ma salvajtx in-numri. Fil-qosor: Portworkx kien ħafna aktar mgħaġġel.
Għall-benchmark tal-volum użajt dan il-manifest:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: dbench
spec:
storageClassName: ...
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
name: dbench
spec:
template:
spec:
containers:
- name: dbench
image: sotoaster/dbench:latest
imagePullPolicy: IfNotPresent
env:
- name: DBENCH_MOUNTPOINT
value: /data
- name: FIO_SIZE
value: 1G
volumeMounts:
- name: dbench-pv
mountPath: /data
restartPolicy: Never
volumes:
- name: dbench-pv
persistentVolumeClaim:
claimName: dbench
backoffLimit: 4L-ewwel ħloqt volum bil-klassi tal-ħażna xierqa u mbagħad ħadt ix-xogħol b'fio wara l-kwinti. Ħadt 1 GB biex nistma l-prestazzjoni u ma nistennax wisq. Hawn huma r-riżultati:
Stajt enfasizzat l-aħjar valur għal kull metrika bl-aħdar u l-agħar bl-aħmar.
Konklużjoni
Kif tistgħu taraw, f'ħafna każijiet Portworx għamel prestazzjoni aħjar minn oħrajn. Imma għalija hija għalja. Ma nafx kemm jiswa Robin, iżda għandhom verżjoni b'xejn kbira, allura jekk trid prodott imħallas, tista 'tipprovah (nittamaw li jiffissaw il-problema b'restawr u backups dalwaqt). Mit-tlieta b'xejn, kelli l-inqas problemi b'OpenEBS, iżda l-prestazzjoni tiegħu hija abysmal. Ħasra li ma salvajtx aktar riżultati, imma nittama li n-numri u l-kummenti tiegħi jgħinuk.
Sors: www.habr.com
