Fanavaozana!. Ao amin'ny fanehoan-kevitra, ny iray amin'ireo mpamaky dia nanoro hevitra hanandrana (mety izy mihitsy no miasa amin'io) ka nampiako fizarana momba io vahaolana io. Nanoratra koa aho , satria tsy mitovy amin'ny hafa ny fizotrany.
Raha ny marina dia nilavo lefona aho ary nilavo lefona (farafaharatsiny amin'izao fotoana izao). Hampiasaiko . Nahoana? Noho ny fitahirizana! Iza no nihevitra fa hieritreritra bebe kokoa momba ny fitahirizana aho noho ny amin'ny Kubernetes mihitsy. ampiasaiko satria tsy lafo ary tsara ny fampisehoana ary hatramin'ny voalohany dia efa nampiasa cluster aho . Tsy nanandrana tolotra Kubernetes mitantana avy amin'ny Google/Amazon/Microsoft/DigitalOcean, sns., sns., sns., satria te hianatra ny zava-drehetra aho. Mitsitsy koa aho.
Ka eny, nandany fotoana be aho nanandrana nanapa-kevitra hoe inona no fitehirizana hofidiana rehefa manombana ny mety ho antontam-bato Kubernetes. Aleoko ny vahaolana open source, tsy noho ny vidiny ihany, fa nijery safidy roa karama aho noho ny fahalianana satria manana dikan-teny maimaim-poana misy fetra izy ireo. Nanoratra isa vitsivitsy avy amin'ny fitsapana vao haingana aho rehefa nampitaha ireo safidy samihafa, ary mety hahaliana ireo izay mianatra momba ny fitahirizana Kubernetes. Na dia nanao veloma an'i Kubernetes manokana aza aho amin'izao fotoana izao. Te-hilaza koa aho , izay afaka manome mivantana ny boky Hetzner Cloud, saingy mbola tsy nanandrana izany aho. Nijery ny fitahirizana voafaritry ny rindrambaiko rahona aho satria mila replication sy ny fahafahana mametraka haingana ireo boky maharitra amin'ny node rehetra, indrindra raha misy ny tsy fahombiazan'ny node sy ny toe-javatra mitovy amin'izany. Ny vahaolana sasany dia manolotra sary an-tsary amin'ny fotoana sy backup ivelan'ny tranokala, izay mety.
Nanandrana vahaolana fitahirizana 6-7 aho:
Araka ny efa nolazaiko Rehefa avy nanandrana ny ankamaroan'ny safidy avy amin'ny lisitra aho dia nanorim-ponenana tao amin'ny OpenEBS tamin'ny voalohany. Ny OpenEBS dia tena mora ny mametraka sy mampiasa, fa raha ny marina, rehefa avy nitsapa ny tena angona eo ambany entana, dia diso fanantenana tamin'ny zava-bitany. Loharanom-baovao misokatra ity, ary irery ny mpamorona tena manampy foana rehefa nila fanampiana aho. Indrisy anefa fa tena ratsy ny fahombiazany raha oharina amin'ny safidy hafa, ka tsy maintsy naverina naverina ny fitsapana. OpenEBS dia manana motera fitahirizana 3 amin'izao fotoana izao, fa mamoaka valiny benchmark ho an'ny cStor aho. Mbola tsy manana laharana Jiva sy LocalPV aho.
Raha fintinina dia somary haingana kokoa ny Jiva, ary ny LocalPV amin'ny ankapobeny dia haingana, tsy ratsy noho ny benchmark kapila mivantana. Ny olana amin'ny LocalPV dia ny volume dia tsy azo idirana afa-tsy amin'ny node izay nanomana azy, ary tsy misy replication mihitsy. Nanana olana vitsivitsy aho tamin'ny famerenana ny backup amin'ny alΓ lan'ny amin'ny cluster vaovao satria hafa ny anaran'ny node. Raha miresaka momba ny backup isika dia manana ny cStor , izay ahafahanao manao backups an-tranonkala amin'ny fotoana iray, izay mety kokoa noho ny backup amin'ny alΓ lan'ny Velero-Restic. Nanoratra aho , mba hanamora ny fitantanana ny backups sy ny famerenana amin'ny alalan'ity plugin ity. Amin'ny ankapobeny, tena tiako ny OpenEBS, fa ny fahombiazany ...
Loharanom-baovao misokatra ihany koa ny Rook ary tsy mitovy amin'ireo safidy hafa ao amin'ny lisitra satria izy io dia orkestra fitahirizana izay manao asa fitantanana fitahirizana be pitsiny miaraka amin'ny backends samihafa, ohatra. , sy ny hafa, izay tena manatsotra ny asa. Nanana olana tamin'ny EfgeFS aho tamin'ny nanandrana azy volana vitsivitsy lasa izay, noho izany dia nanandrana tamin'ny Ceph indrindra aho. Ceph dia tsy manolotra fitehirizana sakana fotsiny, fa koa fitehirizana zavatra mifanaraka amin'ny S3/Swift sy rafitra fichier mizara. Ny tiako indrindra amin'ny Ceph dia ny fahafahana manaparitaka angon-drakitra amin'ny kapila marobe mba hahafahan'ny volume mampiasa habaka kapila bebe kokoa noho izay mety ho ao anaty kapila tokana. Mampahazo aina. Ny endri-javatra mahafinaritra iray hafa dia ny hoe rehefa manampy disks amin'ny cluster ianao dia mizara ho azy ny angona amin'ny disks rehetra.
Ceph dia manana snapshot, fa raha ny fahalalako azy dia tsy azo ampiasaina mivantana ao amin'ny Rook/Kubernetes. Marina fa tsy niditra lalina tamin'izany aho. Saingy tsy misy backups ivelan'ny tranokala, noho izany dia tsy maintsy mampiasa zavatra miaraka amin'i Velero/Restic ianao, fa tsy misy afa-tsy backups amin'ny alΓ lan'ny rakitra, fa tsy sary an-tsary. Ny tena tiako momba an'i Rook dia ny mora ny miara-miasa amin'i Ceph - manafina saika ny zavatra sarotra rehetra izy ary manolotra fitaovana hiresahana mivantana amin'i Ceph ho famahana olana. Indrisy anefa, nandritra ny fitsapana adin-tsaina momba ny boky Ceph, dia nanana olana foana aho , izay mahatonga anβi Cef tsy hilamina. Tsy mbola fantatra mazava na bibikely ao amin'ny Ceph mihitsy io na olana amin'ny fomba fitantanana an'i Rook Ceph. Nodinihiko tamin'ny fametahana fahatsiarovana, ary nihatsara izany, saingy tsy voavaha tanteraka ny olana. Ceph dia manana fampisehoana mendrika, araka ny hitanao amin'ny benchmark etsy ambany. Izy io koa dia manana dashboard tsara.
Tena tiako i Longhorn. Raha ny hevitro dia vahaolana mampanantena izany. Marina fa ny mpamorona ny tenany (Rancher Labs) dia miaiky fa mbola tsy mety amin'ny tontolon'ny asa izany, ary mampiseho izany. Loharanom-baovao misokatra izy io ary manana fampisehoana mendrika (na dia mbola tsy nanatsara izany aza izy ireo), fa ny volume dia mitaky fotoana be vao mifandray amin'ny pod, ary amin'ny tranga ratsy indrindra dia mila 15-16 minitra, indrindra rehefa avy namerina ny backup lehibe na fanavaozana ny enta-mavesatra. Manana snapshots sy backups ivelan'ny tranokala an'ireo sary ireo izy ireo, saingy mihatra amin'ny volume ihany izy ireo, ka mbola mila zavatra toa an'i Velero ianao mba hamerenana loharano hafa. Ny backups sy ny famerenana dia tena azo itokisana, saingy miadana. Tena miadana tokoa. Ny fampiasana CPU sy ny enta-mavesatry ny rafitra dia mihamitombo matetika rehefa miasa miaraka amin'ny angon-drakitra antonony ao Longhorn. Misy dashboard mety hitantana an'i Longhorn. Efa nilaza aho fa tiako ny Longhorn, saingy mila asa izany.
StorageOS no vokatra karama voalohany amin'ny lisitra. Izy io dia manana kinova developer miaraka amin'ny haben'ny fitahirizana voafetra 500GB, saingy heveriko fa tsy misy fetra ny isan'ny nodes. Nilaza tamiko ny departemantan'ny varotra fa manomboka amin'ny $125 isam-bolana ny vidiny ho an'ny 1 TB, raha tadidiko tsara. Misy dashboard fototra sy CLI mety, fa misy zavatra hafahafa mitranga amin'ny fampisehoana: amin'ny benchmark sasany dia mendrika izany, fa amin'ny fitsapana ny adin-tsaina dia tsy tiako mihitsy ny hafainganam-pandeha. Amin'ny ankapobeny, tsy fantatro izay holazaina. Ka tsy dia azoko loatra. Tsy misy backups ivelan'ny tranokala eto ary tsy maintsy mampiasa Velero miaraka amin'ny Restic koa ianao amin'ny volan'ny backup. Hafahafa, satria ny vokatra dia karama. Ary tsy nazoto nifandray tamin'ny Slack ny mpamorona.
Nianatra momba an'i Robin tao amin'ny Reddit avy amin'ny talen'ny teknikany aho. Mbola tsy nandre momba azy mihitsy aho. Angamba satria nitady vahaolana maimaim-poana aho, fa i Robin dia karamaina. Manana dikan-teny malalaka be izy ireo miaraka amin'ny fitahirizana 10TB ary node telo. Amin'ny ankapobeny, ny vokatra dia tena mendrika ary manana endri-javatra tsara. Misy CLI lehibe, fa ny zavatra mahafinaritra indrindra dia ny azonao atao ny maka sary sy mamerina ny rindranasa manontolo (ao amin'ny mpifidy loharano antsoina hoe famoahana Helm na "fampiharana flex"), ao anatin'izany ny boky sy loharano hafa, mba hahafahanao manao tsy misy Velero. Ary ny zava-drehetra dia hahafinaritra raha tsy amin'ny antsipiriany kely: raha mamerina (na "manafatra", araka ny iantsoana azy ao amin'ny Robin) fampiharana amin'ny cluster vaovao - ohatra, raha misy ny fanarenana ny loza - ny famerenana amin'ny laoniny, mazava ho azy, miasa, fa manohy manohana ny fampiharana fa voarara. Tsy azo atao tsotra izao izany amin'ity famoahana ity, araka ny nohamafisin'ny mpamorona. Izany dia, raha lazaina amin'ny fomba malefaka, hafahafa, indrindra raha jerena ny tombontsoa hafa (ohatra, ny famerenana haingana sy famerenana amin'ny laoniny). Mampanantena ireo mpamorona fa hanamboatra ny zava-drehetra amin'ny famoahana manaraka. Amin'ny ankapobeny dia tsara ny fampisehoana, saingy nahatsikaritra hafahafa aho: raha mihazakazaka mivantana ny mari-pamantarana amin'ny boky mipetaka amin'ny mpampiantrano aho, dia haingana kokoa ny hafainganam-pandehan'ny famakiana raha oharina amin'ny fampandehanana ny volume mitovy avy ao anaty pod. Ny vokatra hafa rehetra dia mitovy, fa amin'ny teoria dia tsy tokony hisy fahasamihafana. Na dia miasa amin'izany aza izy ireo, dia tezitra aho noho ny olana amin'ny famerenana sy ny backup - nihevitra aho fa nahita vahaolana mety tamin'ny farany, ary vonona ny handoa izany aza aho rehefa mila toerana bebe kokoa na mpizara bebe kokoa.
Tsy manan-kolazaina betsaka aho eto. Ity dia vokatra karama, mangatsiatsiaka sy lafo. Mahagaga tsotra izao ny fampisehoana. Ity no famantarana tsara indrindra hatreto. Nilaza tamiko i Slack fa ny vidiny dia manomboka amin'ny $205 isam-bolana isaky ny node, araka ny voatanisa ao amin'ny Google's GKE Marketplace. Tsy haiko na ho mora kokoa raha mividy mivantana. Tsy zakako anefa izany, ka tena diso fanantenana aho fa ny fahazoan-dΓ lana mpamorona (hatramin'ny 1 TB sy 3 nodes) dia tsy misy ilΓ na azy amin'ny Kubernetes raha tsy hoe afa-po amin'ny fanomezana static ianao. Nanantena aho fa hidina ho azy ho developer amin'ny fiafaran'ny fotoam-pitsarana ny fahazoan-dΓ lana volume, saingy tsy nitranga izany. Ny fahazoan-dΓ lana mpamorona dia tsy azo ampiasaina mivantana amin'ny Docker, ary ny fanamafisana ao amin'ny Kubernetes dia tena sarotra sy voafetra. Mazava ho azy fa aleoko loharano misokatra, fa raha manam-bola aho dia tena hifidy ny Portworx. Hatreto, tsy ampitahaina amin'ny safidy hafa ny zava-bitany.
Nampiako ity fizarana ity taorian'ny famoahana ny lahatsoratra, raha nisy mpamaky nanoro hevitra hanandrana an'i Linstor. Nanandrana aho ary tiako! Mbola mila mihady lalina kokoa anefa isika. Ankehitriny dia afaka milaza aho fa tsy ratsy ny fampisehoana (nampiako ny valin'ny benchmark etsy ambany). Amin'ny ankapobeny, nahazo ny fampisehoana mitovy amin'ny kapila mivantana aho, tsy misy overhead. (Aza manontany hoe nahoana ny Portworx no manana isa tsara kokoa noho ny mari-pamantarana fiara mivantana. Tsy manana hevitra aho. Mahagaga, heveriko fa.) Noho izany dia toa tena mandaitra i Linstor hatreto. Tsy dia sarotra ny fametrahana azy, fa tsy mora toy ny safidy hafa. Voalohany dia tsy maintsy nametraka Linstor (module kernel sy fitaovana/serivisy) aho ary nanamboatra LVM ho an'ny famatsiana manify sy fanohanana snapshot ivelan'ny Kubernetes, mivantana amin'ny mpampiantrano, ary avy eo mamorona ny loharano ilaina hampiasana fitahirizana avy amin'ny Kubernetes. Tsy tiako ny tsy nandeha tamin'ny CentOS ary tsy maintsy nampiasa Ubuntu aho. Tsy mahagaga, mazava ho azy, fa somary manelingelina, satria ny antontan-taratasy (izay tena tsara, raha ny marina) dia manonona fonosana maromaro izay tsy hita ao amin'ny tahiry Epel voatondro. Linstor dia manana snapshots, fa tsy backups ivelan'ny tranokala, ka eto indray dia tsy maintsy nampiasa an'i Velero miaraka amin'i Restic aho mba hamerenana ny volume. Tiako kokoa ny snapshots fa tsy ny backup-file, saingy azo leferina izany raha toa ka mahomby sy azo itokisana ny vahaolana. Loharanom-baovao misokatra i Linstor saingy nahazo fanohanana nandoa vola. Raha azoko tsara dia azo ampiasaina tsy misy fameperana na dia tsy manana contrat de support aza fa mila hazavaina io. Tsy fantatro hoe manao ahoana ny fitsapana an'i Linstor ho an'ny Kubernetes, fa ny sosona fitehirizana azy dia ivelan'ny Kubernetes ary, toa, tsy niseho omaly ny vahaolana, ka mety efa voasedra amin'ny toe-javatra tena izy. Misy vahaolana ve eto ka hanova ny saiko ary hiverina amin'ny Kubernetes? Tsy fantatro. Mbola mila mihady lalindalina kokoa sy mandalina ny kopia isika. Andao hojerena. Saingy tsara ny fahatsapana voalohany. Tiako tokoa ny mampiasa ny cluster Kubernetes manokana fa tsy Heroku mba hanana fahalalahana bebe kokoa sy hianatra zava-baovao. Satria tsy mora ny fametrahana an'i Linstor tahaka ny hafa, hanoratra lahatsoratra momba izany aho tsy ho ela.
Benchmarks
Indrisy anefa fa tsy nitazona naoty firy momba ny fampitahana aho satria tsy nieritreritra ny hanoratra momba izany aho. Tsy manana valiny avy amin'ny mari-pamantarana fototra fio aho ary ho an'ny kluster node tokana ihany, noho izany dia mbola tsy manana isa ho an'ny fanamafisana averina aho. Saingy avy amin'ireo valiny ireo dia afaka mahazo hevitra henjana momba ny zavatra andrasana amin'ny safidy tsirairay aho, satria nampitaha azy ireo tamin'ny lohamilina rahona mitovy aho, 4 cores, 16 GB an'ny RAM, miaraka amin'ny kapila 100 GB fanampiny ho an'ireo boky voasedra. Nihazakazaka in-telo ho an'ny vahaolana tsirairay aho ary nanao kajy ny vokatra antonony, miampy avereno indray ny firafitry ny mpizara ho an'ny vokatra tsirairay. Tsy siantifika tanteraka izany rehetra izany, mba hanomezana hevitra ankapobeny fotsiny. Tamin'ny fitsapana hafa dia nandika sary sy horonan-tsary 38 GB avy amin'ny volume aho mba hitsapana ny famakiana sy fanoratana, saingy indrisy, tsy nitahiry ny isa aho. Raha fintinina: haingana kokoa ny Portworkx.
Ho an'ny benchmark volume dia nampiasa ity manifestation ity aho:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: dbench
spec:
storageClassName: ...
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
name: dbench
spec:
template:
spec:
containers:
- name: dbench
image: sotoaster/dbench:latest
imagePullPolicy: IfNotPresent
env:
- name: DBENCH_MOUNTPOINT
value: /data
- name: FIO_SIZE
value: 1G
volumeMounts:
- name: dbench-pv
mountPath: /data
restartPolicy: Never
volumes:
- name: dbench-pv
persistentVolumeClaim:
claimName: dbench
backoffLimit: 4Namorona boky miaraka amin'ny kilasy fitahirizana mety aho aloha ary avy eo dia nihazakazaka niaraka tamin'ny fio tao ambadiky ny sehatra. Naka 1 GB aho hanombatombana ny zava-bita ary tsy niandry ela. Ireto ny valiny:
Nasongadiko ny sanda tsara indrindra ho an'ny metrika tsirairay amin'ny maitso ary ny ratsy indrindra amin'ny mena.
famaranana
Araka ny hitanao, amin'ny ankamaroan'ny tranga dia nanao tsara kokoa noho ny hafa i Portworx. Fa amiko lafo. Tsy haiko hoe ohatrinona ny vidin'i Robin, fa manana version malalaka be izy ireo, ka raha mila vokatra karama ianao dia azonao atao ny manandrana azy (enga anie izy ireo hamaha ny olana amin'ny famerenana sy ny backup tsy ho ela). Amin'ireo telo maimaim-poana, dia nanana olana kely indrindra aho tamin'ny OpenEBS, fa ny fahombiazany dia ratsy. Mampalahelo fa tsy nitahiry vokatra bebe kokoa aho, fa manantena aho fa hanampy anao ny isa sy ny fanehoan-kevitra.
Source: www.habr.com