Aġġorna!. Fil-kummenti, wieħed mill-qarrejja ssuġġerixxa li jipprova (forsi qed jaħdem fuqha hu stess) għalhekk żidt taqsima dwar din is-soluzzjoni. Jien ktibt ukoll , għax il-proċess huwa differenti ħafna mill-bqija.
Biex inkun onest, ċedi u ċeda (għall-inqas għalissa). Jien se nuża . Għaliex? Minħabba l-ħażna! Min kien jaħseb li nagħmel aktar bil-ħażna milli ma 'Kubernetes innifsu. jien nuża minħabba li huwa rħas u l-prestazzjoni hija tajba u mill-bidu nett I ġew skjerament clusters bl-użu . Ma ppruvajtx servizzi mmexxija ta' Kubernetes minn Google/Amazon/Microsoft/DigitalOcean, eċċ., eċċ., għax ridt nitgħallem kollox jien. Jien ukoll frugali.
Allura iva, qattajt ħafna ħin nipprova niddeċiedi liema ħażna nagħżel meta kont qed nevalwa munzell possibbli ta 'Kubernetes. Nippreferi soluzzjonijiet ta 'sors miftuħ, mhux biss minħabba l-prezz, iżda ħarist lejn ftit għażliet imħallsa mill-kurżità minħabba li għandhom verżjonijiet b'xejn b'limitazzjonijiet. Jien ktibt xi numri minn testijiet riċenti meta qabbilt għażliet differenti, u jistgħu jkunu ta 'interess għal dawk li qed jitgħallmu dwar il-ħażna ta' Kubernetes. Għalkemm jien personalment għedt addiju lil Kubernetes għalissa. Irrid insemmi wkoll , li jistgħu jipprovdu direttament volumi Hetzner Cloud, iżda għadni ma ppruvajtx. Fittixt il-ħażna definita mis-software tas-sħab għax kelli bżonn replikazzjoni u l-abbiltà li mmunta malajr volumi persistenti fuq kwalunkwe node, speċjalment f'każ ta 'fallimenti ta' nodi u sitwazzjonijiet oħra simili. Xi soluzzjonijiet joffru snapshots fil-ħin u backups barra mis-sit, li huwa konvenjenti.
Ittestjajt 6-7 soluzzjonijiet ta 'ħażna:
Kif diġà għidt Wara li ttestjajt il-biċċa l-kbira tal-għażliet mil-lista, inizjalment issetiljajt fuq OpenEBS. OpenEBS huwa faċli ħafna biex tinstalla u tuża, iżda biex inkun onest, wara li ttestja b'dejta reali taħt tagħbija, kont diżappuntat bil-prestazzjoni tiegħu. Dan huwa sors miftuħ, u l-iżviluppaturi huma waħedhom dejjem utli ħafna meta kelli bżonn l-għajnuna. Sfortunatament, għandha prestazzjoni fqira ħafna meta mqabbla ma 'għażliet oħra, għalhekk it-testijiet kellhom jerġgħu jsiru. OpenEBS bħalissa għandu 3 magni tal-ħażna, iżda qed inpoġġi riżultati ta' referenza għal cStor. Għadni m'għandix numri għal Jiva u LocalPV.
Fil-qosor, Jiva huwa ftit aktar mgħaġġel, u LocalPV ġeneralment huwa mgħaġġel, mhux agħar mill-benchmark tad-diska direttament. Il-problema ma 'LocalPV hija li l-volum jista' jiġi aċċessat biss fuq in-node fejn kien ippreparat, u m'hemm l-ebda replikazzjoni għal kollox. Kelli xi problemi nirrestawra backup permezz fuq cluster ġdid minħabba li l-ismijiet tan-nodi kienu differenti. Jekk nitkellmu dwar backups, cStor għandu , li biha tista 'tagħmel backups barra mis-sit ta' snapshots f'punt fiż-żmien, li huwa aktar konvenjenti minn backups fil-livell tal-fajl b'Velero-Restic. jien ktibt , biex tagħmilha aktar faċli biex timmaniġġja backups u restawr b'dan il-plugin. B'mod ġenerali, inħobb ħafna OpenEBS, iżda l-prestazzjoni tiegħu...
Rook huwa wkoll sors miftuħ, u dak li jiddistingwih mill-bqija tal-għażliet fuq il-lista huwa li huwa orkestratur tal-ħażna li jieħu ħsieb kompiti kumplessi ta 'ġestjoni tal-ħażna b'backends differenti, eż. , u oħrajn, li jissimplifika bil-kbir ix-xogħol. Kelli problemi b'EfgeFS meta ppruvajt ftit xhur ilu, għalhekk ittestjajt prinċipalment b'Ceph. Ceph mhux biss joffri ħażna ta 'blokk, iżda wkoll ħażna ta' oġġetti kompatibbli ma 'S3/Swift u sistema ta' fajl distribwit. Dak li jogħġobni dwar Ceph hija l-abbiltà li tinfirex id-dejta tal-volum fuq diski multipli sabiex il-volum ikun jista 'juża aktar spazju fuq disk milli jista' joqgħod fuq disk wieħed. Huwa komdu. Karatteristika oħra friska hija li meta żżid diski ma 'cluster, awtomatikament tqassam mill-ġdid id-data madwar id-diski kollha.
Ceph għandu snapshots, iżda sa fejn naf jien, ma jistgħux jintużaw direttament f'Rook/Kubernetes. Veru, ma dħaltx fil-fond f'dan. Iżda m'hemm l-ebda backups barra mis-sit, għalhekk ikollok tuża xi ħaġa ma 'Velero/Restic, iżda hemm biss backups fil-livell tal-fajl, mhux snapshots fil-ħin. Dak li għoġobni ħafna dwar Rook kien kemm huwa faċli li taħdem ma 'Ceph - jaħbi kważi l-affarijiet ikkumplikati kollha u joffri għodda biex tkellem lil Ceph direttament biex issolvi l-problemi. Sfortunatament, waqt it-test tal-istress tal-volumi Ceph, bqajt ikolli problemi bihom , li tikkawża lil Ceph isir instabbli. Għadu mhux ċar jekk dan hux bug f'Ceph innifsu jew problema fil-mod kif Rook jimmaniġġja Ceph. Ħajt is-settings tal-memorja, u marret aħjar, iżda l-problema ma ġietx solvuta kompletament. Ceph għandu prestazzjoni deċenti, kif tistgħu taraw fil-benchmarks hawn taħt. Għandu wkoll dashboard tajjeb.
Inħobb ħafna l-Longhorn. Fl-opinjoni tiegħi, din hija soluzzjoni promettenti. Veru, l-iżviluppaturi nfushom (Rancher Labs) jammettu li għadu mhux adattat għall-ambjent tax-xogħol, u dan juri. Huwa sors miftuħ u għandu prestazzjoni deċenti (għalkemm għadhom ma ottimizzawhiex), iżda l-volumi jieħdu żmien twil ħafna biex jgħaqqdu mal-pod, u fl-agħar każijiet jieħdu 15-16-il minuta, speċjalment wara li jirrestawraw backup kbir jew it-titjib tal-ammont tax-xogħol. Għandu snapshots u backups barra mis-sit ta 'dawn l-istampar, iżda dawn japplikaw biss għal volumi, għalhekk xorta jkollok bżonn xi ħaġa bħal Velero biex tagħmel backup ta' riżorsi oħra. Il-backups u r-restawr huma affidabbli ħafna, iżda bil-mod indeċenti. Serjament, biss oerhört bil-mod. L-użu tas-CPU u t-tagħbija tas-sistema spiss jiżdiedu meta taħdem ma 'ammont medju ta' dejta f'Longhorn. Hemm dashboard konvenjenti biex timmaniġġja Longhorn. Diġà għedt li nħobb il-Longhorn, iżda jeħtieġ xi xogħol.
StorageOS huwa l-ewwel prodott imħallas fil-lista. Għandha verżjoni ta 'żviluppatur b'daqs limitat ta' ħażna ġestita ta '500GB, iżda ma naħsibx li hemm limitu fuq in-numru ta' nodi. Id-dipartiment tal-bejgħ qalli li l-ispiża tibda minn $125 fix-xahar għal 1 TB, jekk niftakar sew. Hemm dashboard bażiku u CLI konvenjenti, iżda xi ħaġa stramba għaddejja bil-prestazzjoni: f'xi punti ta 'referenza hija pjuttost deċenti, iżda fit-test tal-istress tal-volum ma għoġbitni l-veloċità xejn. B'mod ġenerali, ma nafx x'ngħid. Allura ma tantx fhimt. M'hemm l-ebda backups barra mis-sit hawn u jkollok ukoll tuża Velero b'Restic biex tagħmel backup tal-volumi. Hija stramba, għax il-prodott jitħallas. U l-iżviluppaturi ma kinux ħerqana li jikkomunikaw fuq Slack.
Tgħallimt dwar Robin fuq Reddit mid-direttur tekniku tagħhom. Qatt ma kont smajt bih qabel. Forsi għax kont qed infittex soluzzjonijiet b'xejn, imma Robin jitħallas. Huma għandhom verżjoni ħielsa pjuttost ġeneruża b'10TB ta 'ħażna u tliet nodi. B'mod ġenerali, il-prodott huwa pjuttost deċenti u għandu karatteristiċi sbieħ. Hemm CLI kbir, iżda l-aktar ħaġa sabiħa hija li tista 'tagħmel snapshot u tagħmel backup tal-applikazzjoni kollha (fil-selettur tar-riżorsi dan jissejjaħ Helm releases jew "flex apps"), inklużi volumi u riżorsi oħra, sabiex tkun tista' tagħmel mingħajr Velero. U kollox ikun meraviljuż jekk mhux għal dettall żgħir wieħed: jekk tirrestawra (jew "importazzjoni", kif tissejjaħ f'Robin) applikazzjoni fuq cluster ġdid - pereżempju, f'każ ta 'rkupru minn diżastru - ir-restawr, ovvjament, jaħdem, iżda tkompli tagħmel backup tal-applikazzjoni hija pprojbita. Dan sempliċement mhux possibbli f'dan ir-rilaxx, kif kkonfermaw l-iżviluppaturi. Dan huwa, biex ngħiduha ħafif, stramba, speċjalment meta wieħed iqis il-vantaġġi l-oħra (per eżempju, backups u restawr oerhört veloċi). L-iżviluppaturi jwiegħdu li jirranġaw kollox sal-rilaxx li jmiss. Il-prestazzjoni hija ġeneralment tajba, iżda ndunajt strambità: jekk inmexxi l-benchmark direttament fuq volum imwaħħal mal-host, il-veloċità tal-qari hija ħafna aktar mgħaġġla milli tmexxi l-istess volum minn ġewwa l-pod. Ir-riżultati l-oħra kollha huma identiċi, iżda fit-teorija m'għandux ikun hemm differenza. Għalkemm qed jaħdmu fuqha, kont imdejjaq bil-problema tar-restawr u l-backup - ħsibt li fl-aħħar kont sibt soluzzjoni xierqa, u saħansitra kont lest li nħallas għaliha meta kelli bżonn aktar spazju jew aktar servers.
M'għandix ħafna xi ngħid hawn. Dan huwa prodott imħallas, ugwalment frisk u għali. Il-prestazzjoni hija sempliċiment aqwa. Dan huwa l-aħjar indikatur s'issa. Slack qalli li l-ipprezzar jibda minn $205 fix-xahar għal kull nodu, kif elenkat fis-Suq GKE ta 'Google. Ma nafx jekk ikunx irħas jekk tixtri direttament. Ma niflaħx dan xorta waħda, għalhekk kont diżappuntat ħafna, ħafna li l-liċenzja tal-iżviluppatur (sa 1 TB u 3 nodi) hija prattikament inutli ma 'Kubernetes sakemm ma tkunx ikkuntentat b'forniment statiku. Kont qed nittama li l-liċenzja tal-volum awtomatikament tiddegrada għal iżviluppatur fl-aħħar tal-perjodu ta 'prova, iżda dan ma seħħx. Il-liċenzja tal-iżviluppatur tista 'tintuża biss direttament ma' Docker, u l-konfigurazzjoni f'Kubernetes hija diffiċli ħafna u limitata. Naturalment, nippreferi open source, imma kieku kelli l-flus, żgur nagħżel Portworx. S'issa, il-prestazzjoni tagħha sempliċement ma tqabbilx ma' għażliet oħra.
Żidt din it-taqsima wara l-pubblikazzjoni tal-post, meta qarrej wieħed issuġġerixxa li jipprova Linstor. Ippruvajt u għoġobni! Imma xorta rridu nħaffru aktar fil-fond. Issa nista 'ngħid li l-prestazzjoni mhix ħażina (żidt ir-riżultati tal-benchmark hawn taħt). Essenzjalment, sibt l-istess prestazzjoni bħad-diska direttament, mingħajr ebda overhead. (M'għandekx tistaqsi għaliex Portworx għandu numri aħjar mill-benchmark tas-sewqan direttament. M'għandi l-ebda idea. Magic, I guess.) Allura Linstor jidher effettiv ħafna s'issa. Mhuwiex daqshekk diffiċli biex tinstalla, iżda mhux faċli daqs għażliet oħra. L-ewwel kelli ninstalla Linstor (modulu tal-kernel u għodod/servizzi) u kkonfigura LVM għal forniment irqiq u appoġġ ta 'snapshot barra minn Kubernetes, direttament fuq il-host, u mbagħad noħloq ir-riżorsi meħtieġa biex tuża l-ħażna minn Kubernetes. Ma għoġobnix li ma ħadimx fuq CentOS u kelli nuża Ubuntu. Mhux terribbli, ovvjament, iżda ftit tedjanti, minħabba li d-dokumentazzjoni (li hija eċċellenti, bil-mod) issemmi diversi pakketti li ma jistgħux jinstabu fir-repożitorji speċifikati tal-Epel. Linstor għandu snapshots, iżda mhux backups barra mis-sit, għalhekk għal darb'oħra kelli nuża Velero b'Restic biex tagħmel backup tal-volumi. Nippreferi snapshots minflok backups fil-livell tal-fajls, iżda dan jista 'jiġi tollerat jekk is-soluzzjoni tkun performanta u affidabbli. Linstor huwa sors miftuħ iżda ħallas appoġġ. Jekk nifhem sew, jista' jintuża mingħajr restrizzjonijiet, anki jekk m'għandekx kuntratt ta' appoġġ, iżda dan jeħtieġ li jiġi ċċarat. Ma nafx kemm huwa ttestjat Linstor għal Kubernetes, iżda s-saff tal-ħażna innifsu huwa barra minn Kubernetes u, apparentement, is-soluzzjoni ma dehritx ilbieraħ, għalhekk probabbilment diġà ġiet ittestjata f'kundizzjonijiet reali. Hemm soluzzjoni hawn li se ġġiegħli nbiddel fehmi u mmur lura għal Kubernetes? Ma nafx. Għad irridu nħaffru aktar fil-fond u nistudjaw ir-replikazzjoni. Ejja naraw. Iżda l-ewwel impressjoni hija tajba. Żgur nippreferi nuża l-clusters tiegħi ta' Kubernetes minflok Heroku biex ikolli aktar libertà u nitgħallem affarijiet ġodda. Peress li Linstor mhuwiex faċli biex jiġi installat daqs oħrajn, dalwaqt se nikteb post dwarha.
Benchmarks
Sfortunatament, ma żammejtx ħafna noti dwar il-paragun għax ma ħsibtx li se nikteb dwaru. Għandi biss riżultati mill-benchmarks bażiċi tal-fio u biss għal clusters ta 'nodi wieħed, għalhekk għad m'għandix numri għal konfigurazzjonijiet replikati. Iżda minn dawn ir-riżultati tista 'tieħu idea approssimattiva ta' x'għandek tistenna minn kull għażla, għax qabbilhom fuq l-istess servers tas-sħab, 4 cores, 16 GB ta 'RAM, ma' disk addizzjonali ta '100 GB għall-volumi ttestjati. Jien għamilt il-benchmarks tliet darbiet għal kull soluzzjoni u kkalkulajt ir-riżultat medju, flimkien ma 'reset is-settings tas-server għal kull prodott. Dan kollu huwa kompletament mhux xjentifiku, biss biex jagħtik idea ġenerali. F'testijiet oħra, ikkupjajt 38 GB ta 'ritratti u vidjows mill-volum u ttestjajt il-qari u l-kitba, iżda, sfortunatament, ma salvajtx in-numri. Fil-qosor: Portworkx kien ħafna aktar mgħaġġel.
Għall-benchmark tal-volum użajt dan il-manifest:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: dbench
spec:
storageClassName: ...
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
name: dbench
spec:
template:
spec:
containers:
- name: dbench
image: sotoaster/dbench:latest
imagePullPolicy: IfNotPresent
env:
- name: DBENCH_MOUNTPOINT
value: /data
- name: FIO_SIZE
value: 1G
volumeMounts:
- name: dbench-pv
mountPath: /data
restartPolicy: Never
volumes:
- name: dbench-pv
persistentVolumeClaim:
claimName: dbench
backoffLimit: 4L-ewwel ħloqt volum bil-klassi tal-ħażna xierqa u mbagħad ħadt ix-xogħol b'fio wara l-kwinti. Ħadt 1 GB biex nistma l-prestazzjoni u ma nistennax wisq. Hawn huma r-riżultati:
Stajt enfasizzat l-aħjar valur għal kull metrika bl-aħdar u l-agħar bl-aħmar.
Konklużjoni
Kif tistgħu taraw, f'ħafna każijiet Portworx għamel prestazzjoni aħjar minn oħrajn. Imma għalija hija għalja. Ma nafx kemm jiswa Robin, iżda għandhom verżjoni b'xejn kbira, allura jekk trid prodott imħallas, tista 'tipprovah (nittamaw li jiffissaw il-problema b'restawr u backups dalwaqt). Mit-tlieta b'xejn, kelli l-inqas problemi b'OpenEBS, iżda l-prestazzjoni tiegħu hija abysmal. Ħasra li ma salvajtx aktar riżultati, imma nittama li n-numri u l-kummenti tiegħi jgħinuk.
Sors: www.habr.com