Fanavaozana!. Ao amin'ny fanehoan-kevitra, ny iray amin'ireo mpamaky dia nanoro hevitra hanandrana (mety izy mihitsy no miasa amin'io) ka nampiako fizarana momba io vahaolana io. Nanoratra koa aho , satria tsy mitovy amin'ny hafa ny fizotrany.
Raha ny marina dia nilavo lefona aho ary nilavo lefona (farafaharatsiny amin'izao fotoana izao). Hampiasaiko . Nahoana? Noho ny fitahirizana! Iza no nihevitra fa hieritreritra bebe kokoa momba ny fitahirizana aho noho ny amin'ny Kubernetes mihitsy. ampiasaiko satria tsy lafo ary tsara ny fampisehoana ary hatramin'ny voalohany dia efa nampiasa cluster aho . Tsy nanandrana tolotra Kubernetes mitantana avy amin'ny Google/Amazon/Microsoft/DigitalOcean, sns., sns., sns., satria te hianatra ny zava-drehetra aho. Mitsitsy koa aho.
Ka eny, nandany fotoana be aho nanandrana nanapa-kevitra hoe inona no fitehirizana hofidiana rehefa manombana ny mety ho antontam-bato Kubernetes. Aleoko ny vahaolana open source, tsy noho ny vidiny ihany, fa nijery safidy roa karama aho noho ny fahalianana satria manana dikan-teny maimaim-poana misy fetra izy ireo. Nanoratra isa vitsivitsy avy amin'ny fitsapana vao haingana aho rehefa nampitaha ireo safidy samihafa, ary mety hahaliana ireo izay mianatra momba ny fitahirizana Kubernetes. Na dia nanao veloma an'i Kubernetes manokana aza aho amin'izao fotoana izao. Te-hilaza koa aho , izay afaka manome mivantana ny boky Hetzner Cloud, saingy mbola tsy nanandrana izany aho. Nijery ny fitahirizana voafaritry ny rindrambaiko rahona aho satria mila replication sy ny fahafahana mametraka haingana ireo boky maharitra amin'ny node rehetra, indrindra raha misy ny tsy fahombiazan'ny node sy ny toe-javatra mitovy amin'izany. Ny vahaolana sasany dia manolotra sary an-tsary amin'ny fotoana sy backup ivelan'ny tranokala, izay mety.
Nanandrana vahaolana fitahirizana 6-7 aho:
Araka ny efa nolazaiko Rehefa avy nanandrana ny ankamaroan'ny safidy avy amin'ny lisitra aho dia nanorim-ponenana tao amin'ny OpenEBS tamin'ny voalohany. Ny OpenEBS dia tena mora ny mametraka sy mampiasa, fa raha ny marina, rehefa avy nitsapa ny tena angona eo ambany entana, dia diso fanantenana tamin'ny zava-bitany. Loharanom-baovao misokatra ity, ary irery ny mpamorona tena manampy foana rehefa nila fanampiana aho. Indrisy anefa fa tena ratsy ny fahombiazany raha oharina amin'ny safidy hafa, ka tsy maintsy naverina naverina ny fitsapana. OpenEBS dia manana motera fitahirizana 3 amin'izao fotoana izao, fa mamoaka valiny benchmark ho an'ny cStor aho. Mbola tsy manana laharana Jiva sy LocalPV aho.
Raha fintinina dia somary haingana kokoa ny Jiva, ary ny LocalPV amin'ny ankapobeny dia haingana, tsy ratsy noho ny benchmark kapila mivantana. Ny olana amin'ny LocalPV dia ny volume dia tsy azo idirana afa-tsy amin'ny node izay nanomana azy, ary tsy misy replication mihitsy. Nanana olana vitsivitsy aho tamin'ny famerenana ny backup amin'ny alàlan'ny amin'ny cluster vaovao satria hafa ny anaran'ny node. Raha miresaka momba ny backup isika dia manana ny cStor , izay ahafahanao manao backups an-tranonkala amin'ny fotoana iray, izay mety kokoa noho ny backup amin'ny alàlan'ny Velero-Restic. Nanoratra aho , mba hanamora ny fitantanana ny backups sy ny famerenana amin'ny alalan'ity plugin ity. Amin'ny ankapobeny, tena tiako ny OpenEBS, fa ny fahombiazany ...
Loharanom-baovao misokatra ihany koa ny Rook ary tsy mitovy amin'ireo safidy hafa ao amin'ny lisitra satria izy io dia orkestra fitahirizana izay manao asa fitantanana fitahirizana be pitsiny miaraka amin'ny backends samihafa, ohatra. , sy ny hafa, izay tena manatsotra ny asa. Nanana olana tamin'ny EfgeFS aho tamin'ny nanandrana azy volana vitsivitsy lasa izay, noho izany dia nanandrana tamin'ny Ceph indrindra aho. Ceph dia tsy manolotra fitehirizana sakana fotsiny, fa koa fitehirizana zavatra mifanaraka amin'ny S3/Swift sy rafitra fichier mizara. Ny tiako indrindra amin'ny Ceph dia ny fahafahana manaparitaka angon-drakitra amin'ny kapila marobe mba hahafahan'ny volume mampiasa habaka kapila bebe kokoa noho izay mety ho ao anaty kapila tokana. Mampahazo aina. Ny endri-javatra mahafinaritra iray hafa dia ny hoe rehefa manampy disks amin'ny cluster ianao dia mizara ho azy ny angona amin'ny disks rehetra.
Ceph dia manana snapshot, fa raha ny fahalalako azy dia tsy azo ampiasaina mivantana ao amin'ny Rook/Kubernetes. Marina fa tsy niditra lalina tamin'izany aho. Saingy tsy misy backups ivelan'ny tranokala, noho izany dia tsy maintsy mampiasa zavatra miaraka amin'i Velero/Restic ianao, fa tsy misy afa-tsy backups amin'ny alàlan'ny rakitra, fa tsy sary an-tsary. Ny tena tiako momba an'i Rook dia ny mora ny miara-miasa amin'i Ceph - manafina saika ny zavatra sarotra rehetra izy ary manolotra fitaovana hiresahana mivantana amin'i Ceph ho famahana olana. Indrisy anefa, nandritra ny fitsapana adin-tsaina momba ny boky Ceph, dia nanana olana foana aho , izay mahatonga an’i Cef tsy hilamina. Tsy mbola fantatra mazava na bibikely ao amin'ny Ceph mihitsy io na olana amin'ny fomba fitantanana an'i Rook Ceph. Nodinihiko tamin'ny fametahana fahatsiarovana, ary nihatsara izany, saingy tsy voavaha tanteraka ny olana. Ceph dia manana fampisehoana mendrika, araka ny hitanao amin'ny benchmark etsy ambany. Izy io koa dia manana dashboard tsara.
Tena tiako i Longhorn. Raha ny hevitro dia vahaolana mampanantena izany. Marina fa ny mpamorona ny tenany (Rancher Labs) dia miaiky fa mbola tsy mety amin'ny tontolon'ny asa izany, ary mampiseho izany. Loharanom-baovao misokatra izy io ary manana fampisehoana mendrika (na dia mbola tsy nanatsara izany aza izy ireo), fa ny volume dia mitaky fotoana be vao mifandray amin'ny pod, ary amin'ny tranga ratsy indrindra dia mila 15-16 minitra, indrindra rehefa avy namerina ny backup lehibe na fanavaozana ny enta-mavesatra. Manana snapshots sy backups ivelan'ny tranokala an'ireo sary ireo izy ireo, saingy mihatra amin'ny volume ihany izy ireo, ka mbola mila zavatra toa an'i Velero ianao mba hamerenana loharano hafa. Ny backups sy ny famerenana dia tena azo itokisana, saingy miadana. Tena miadana tokoa. Ny fampiasana CPU sy ny enta-mavesatry ny rafitra dia mihamitombo matetika rehefa miasa miaraka amin'ny angon-drakitra antonony ao Longhorn. Misy dashboard mety hitantana an'i Longhorn. Efa nilaza aho fa tiako ny Longhorn, saingy mila asa izany.
StorageOS no vokatra karama voalohany amin'ny lisitra. Izy io dia manana kinova developer miaraka amin'ny haben'ny fitahirizana voafetra 500GB, saingy heveriko fa tsy misy fetra ny isan'ny nodes. Nilaza tamiko ny departemantan'ny varotra fa manomboka amin'ny $125 isam-bolana ny vidiny ho an'ny 1 TB, raha tadidiko tsara. Misy dashboard fototra sy CLI mety, fa misy zavatra hafahafa mitranga amin'ny fampisehoana: amin'ny benchmark sasany dia mendrika izany, fa amin'ny fitsapana ny adin-tsaina dia tsy tiako mihitsy ny hafainganam-pandeha. Amin'ny ankapobeny, tsy fantatro izay holazaina. Ka tsy dia azoko loatra. Tsy misy backups ivelan'ny tranokala eto ary tsy maintsy mampiasa Velero miaraka amin'ny Restic koa ianao amin'ny volan'ny backup. Hafahafa, satria ny vokatra dia karama. Ary tsy nazoto nifandray tamin'ny Slack ny mpamorona.
Nianatra momba an'i Robin tao amin'ny Reddit avy amin'ny talen'ny teknikany aho. Mbola tsy nandre momba azy mihitsy aho. Angamba satria nitady vahaolana maimaim-poana aho, fa i Robin dia karamaina. Manana dikan-teny malalaka be izy ireo miaraka amin'ny fitahirizana 10TB ary node telo. Amin'ny ankapobeny, ny vokatra dia tena mendrika ary manana endri-javatra tsara. Misy CLI lehibe, fa ny zavatra mahafinaritra indrindra dia ny azonao atao ny maka sary sy mamerina ny rindranasa manontolo (ao amin'ny mpifidy loharano antsoina hoe famoahana Helm na "fampiharana flex"), ao anatin'izany ny boky sy loharano hafa, mba hahafahanao manao tsy misy Velero. Ary ny zava-drehetra dia hahafinaritra raha tsy amin'ny antsipiriany kely: raha mamerina (na "manafatra", araka ny iantsoana azy ao amin'ny Robin) fampiharana amin'ny cluster vaovao - ohatra, raha misy ny fanarenana ny loza - ny famerenana amin'ny laoniny, mazava ho azy, miasa, fa manohy manohana ny fampiharana fa voarara. Tsy azo atao tsotra izao izany amin'ity famoahana ity, araka ny nohamafisin'ny mpamorona. Izany dia, raha lazaina amin'ny fomba malefaka, hafahafa, indrindra raha jerena ny tombontsoa hafa (ohatra, ny famerenana haingana sy famerenana amin'ny laoniny). Mampanantena ireo mpamorona fa hanamboatra ny zava-drehetra amin'ny famoahana manaraka. Amin'ny ankapobeny dia tsara ny fampisehoana, saingy nahatsikaritra hafahafa aho: raha mihazakazaka mivantana ny mari-pamantarana amin'ny boky mipetaka amin'ny mpampiantrano aho, dia haingana kokoa ny hafainganam-pandehan'ny famakiana raha oharina amin'ny fampandehanana ny volume mitovy avy ao anaty pod. Ny vokatra hafa rehetra dia mitovy, fa amin'ny teoria dia tsy tokony hisy fahasamihafana. Na dia miasa amin'izany aza izy ireo, dia tezitra aho noho ny olana amin'ny famerenana sy ny backup - nihevitra aho fa nahita vahaolana mety tamin'ny farany, ary vonona ny handoa izany aza aho rehefa mila toerana bebe kokoa na mpizara bebe kokoa.
Tsy manan-kolazaina betsaka aho eto. Ity dia vokatra karama, mangatsiatsiaka sy lafo. Mahagaga tsotra izao ny fampisehoana. Ity no famantarana tsara indrindra hatreto. Nilaza tamiko i Slack fa ny vidiny dia manomboka amin'ny $205 isam-bolana isaky ny node, araka ny voatanisa ao amin'ny Google's GKE Marketplace. Tsy haiko na ho mora kokoa raha mividy mivantana. Tsy zakako anefa izany, ka tena diso fanantenana aho fa ny fahazoan-dàlana mpamorona (hatramin'ny 1 TB sy 3 nodes) dia tsy misy ilàna azy amin'ny Kubernetes raha tsy hoe afa-po amin'ny fanomezana static ianao. Nanantena aho fa hidina ho azy ho developer amin'ny fiafaran'ny fotoam-pitsarana ny fahazoan-dàlana volume, saingy tsy nitranga izany. Ny fahazoan-dàlana mpamorona dia tsy azo ampiasaina mivantana amin'ny Docker, ary ny fanamafisana ao amin'ny Kubernetes dia tena sarotra sy voafetra. Mazava ho azy fa aleoko loharano misokatra, fa raha manam-bola aho dia tena hifidy ny Portworx. Hatreto, tsy ampitahaina amin'ny safidy hafa ny zava-bitany.
Nampidiriko ity fizarana ity taorian'ny namoahana ny lahatsoratra, rehefa nanolo-kevitra ny hanandramana ny Linstor ny mpamaky iray. Nanandrana izany aho ary tiako izany! Saingy mila mikaroka bebe kokoa aho. Amin'izao fotoana izao, afaka milaza aho fa tena tsara ny fampisehoana (nampidiriko eto ambany ny valin'ny benchmark). Raha ny marina, nahazo fampisehoana mitovy amin'ny benchmark disk mivantana aho, tsy nisy fandaniana fanampiny. (Aza manontany hoe nahoana ny isa an'i Portworx no tsara kokoa noho ny benchmark disk mivantana. Tsy fantatro mihitsy. Majika angamba.) Koa toa tena mahomby ny Linstor hatreto. Tsy dia sarotra loatra ny fametrahana azy, fa tsy mora toy ny safidy hafa. Voalohany, tsy maintsy nametraka Linstor (module kernel sy fitaovana/serivisy) aho ary nametraka LVM ho an'ny thin provisioning sy fanohanana snapshot ivelan'ny Kubernetes, mivantana amin'ny host, ary avy eo namorona ny loharano ilaina hampiasana ny fitahirizana avy amin'ny Kubernetes. Tsy faly aho fa tsy niasa tamin'ny CentOS ary tsy maintsy nampiasa UbuntuMazava ho azy fa tsy dia olana lehibe loatra izany, fa somary manelingelina ihany satria ny antontan-taratasy (izay tena tsara, raha ny marina) dia miresaka fonosana maromaro izay tsy hita ao amin'ny tahiry Epel voafaritra. Manana snapshots ny Linstor, saingy tsy misy backups ivelan'ny tranonkala, ka tsy maintsy nampiasa Velero niaraka tamin'ny Restic indray aho ho an'ny backup volume. Aleoko kokoa ny snapshots toy izay ny backups amin'ny ambaratongan'ny rakitra, saingy azo leferina izany raha toa ka mahomby sy azo itokisana ny vahaolana. Open source ny Linstor, saingy misy fanohanana karamaina. Raha azoko tsara, azonao ampiasaina tsy misy fameperana izany na dia tsy manana fifanarahana fanohanana aza ianao, fa tsy maintsy hojeriko izany. Tsy fantatro hoe hatraiza ny fitsapana ny Linstor ho an'ny Kubernetes, fa ny sosona fitahirizana mihitsy dia ivelan'ny Kubernetes, ary toa efa elaela ihany izy io, ka mety efa nosedraina tamin'ny toe-javatra tena izy. Misy vahaolana ve eto izay hahatonga ahy hanova hevitra ary hiverina amin'ny Kubernetes? Tsy fantatro. Mila mikaroka bebe kokoa momba ny famerenana aho. Ho hita eo. Saingy tsara ny fahatsapana voalohany. Aleoko kokoa mampiasa ny Kubernetes clusters-ko manokana toy izay Heroku mba hahazoana fahalalahana bebe kokoa sy hianarana zavatra vaovao. Koa satria tsy mora apetraka tahaka ny hafa ny Linstor, dia hanoratra lahatsoratra momba izany tsy ho ela aho.
Benchmarks
Indrisy anefa fa tsy nitazona naoty firy momba ny fampitahana aho satria tsy nieritreritra ny hanoratra momba izany aho. Tsy manana valiny avy amin'ny mari-pamantarana fototra fio aho ary ho an'ny kluster node tokana ihany, noho izany dia mbola tsy manana isa ho an'ny fanamafisana averina aho. Saingy avy amin'ireo valiny ireo dia afaka mahazo hevitra henjana momba ny zavatra andrasana amin'ny safidy tsirairay aho, satria nampitaha azy ireo tamin'ny lohamilina rahona mitovy aho, 4 cores, 16 GB an'ny RAM, miaraka amin'ny kapila 100 GB fanampiny ho an'ireo boky voasedra. Nihazakazaka in-telo ho an'ny vahaolana tsirairay aho ary nanao kajy ny vokatra antonony, miampy avereno indray ny firafitry ny mpizara ho an'ny vokatra tsirairay. Tsy siantifika tanteraka izany rehetra izany, mba hanomezana hevitra ankapobeny fotsiny. Tamin'ny fitsapana hafa dia nandika sary sy horonan-tsary 38 GB avy amin'ny volume aho mba hitsapana ny famakiana sy fanoratana, saingy indrisy, tsy nitahiry ny isa aho. Raha fintinina: haingana kokoa ny Portworkx.
Ho an'ny benchmark volume dia nampiasa ity manifestation ity aho:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: dbench
spec:
storageClassName: ...
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
name: dbench
spec:
template:
spec:
containers:
- name: dbench
image: sotoaster/dbench:latest
imagePullPolicy: IfNotPresent
env:
- name: DBENCH_MOUNTPOINT
value: /data
- name: FIO_SIZE
value: 1G
volumeMounts:
- name: dbench-pv
mountPath: /data
restartPolicy: Never
volumes:
- name: dbench-pv
persistentVolumeClaim:
claimName: dbench
backoffLimit: 4Namorona boky miaraka amin'ny kilasy fitahirizana mety aho aloha ary avy eo dia nihazakazaka niaraka tamin'ny fio tao ambadiky ny sehatra. Naka 1 GB aho hanombatombana ny zava-bita ary tsy niandry ela. Ireto ny valiny:
Nasongadiko ny sanda tsara indrindra ho an'ny metrika tsirairay amin'ny maitso ary ny ratsy indrindra amin'ny mena.
famaranana
Araka ny hitanao, amin'ny ankamaroan'ny tranga dia nanao tsara kokoa noho ny hafa i Portworx. Fa amiko lafo. Tsy haiko hoe ohatrinona ny vidin'i Robin, fa manana version malalaka be izy ireo, ka raha mila vokatra karama ianao dia azonao atao ny manandrana azy (enga anie izy ireo hamaha ny olana amin'ny famerenana sy ny backup tsy ho ela). Amin'ireo telo maimaim-poana, dia nanana olana kely indrindra aho tamin'ny OpenEBS, fa ny fahombiazany dia ratsy. Mampalahelo fa tsy nitahiry vokatra bebe kokoa aho, fa manantena aho fa hanampy anao ny isa sy ny fanehoan-kevitra.
Source: www.habr.com
