Leru le le leng - boemo ba setsi sa data ho Odnoklassniki

Aloha, batho! Lebitso la ka ke Oleg Anastasyev, ke sebetsa Odnoklassniki sehlopheng sa Platform. Ntle le 'na, ho na le lisebelisoa tse ngata tse sebetsang ho Odnoklassniki. Re na le litsi tse 'ne tsa data tse nang le li-racks tse ka bang 500 tse nang le li-server tse fetang likete tse 8. Ka nako e itseng, re ile ra hlokomela hore ho hlahisoa ha tsamaiso e ncha ho tla re lumella ho laela thepa ka mokhoa o atlehileng haholoanyane, ho nolofatsa tsamaiso ea phihlello, ho tsamaisa (bocha) kabo ea lisebelisoa tsa komporo, ho potlakisa ho qala lits'ebeletso tse ncha, le ho potlakisa likarabo. ho isa dikotsing tse kgolo.

Ho hlahile eng ka eona?

Ntle le 'na le sehlopha sa lisebelisoa, ho boetse ho na le batho ba sebetsang le hardware ena: baenjiniere ba teng ka ho toba litsing tsa data; li-networkers tse thehang software ea marang-rang; balaoli, kapa li-SRE, tse fanang ka botsitso ba litšebeletso tsa motheo; le lihlopha tsa nts'etsopele, e 'ngoe le e' ngoe ea tsona e ikarabella bakeng sa karolo ea mesebetsi ea portal. Software eo ba e etsang e sebetsa ka tsela e kang ena:

Likopo tsa basebelisi li amoheloa ka bobeli mahlakoreng a portal e kholo www.ok.ru, le ho tse ling, ka mohlala ho li-front tsa 'mino oa API. Ho sebetsana le mohopolo oa khoebo, ba bitsa seva ea kopo, eo, ha e sebetsana le kopo, e bitsang li-microservices tse khethehileng tse hlokahalang - graph e le 'ngoe (graph of social connections), user-cache (cache of user profiles), joalo-joalo.

E 'ngoe le e' ngoe ea litšebeletso tsena e sebelisoa mechine e mengata, 'me e' ngoe le e 'ngoe ea tsona e na le bahlahisi ba ikarabellang ba ikarabellang bakeng sa ts'ebetso ea li-module, ts'ebetso ea bona le nts'etsopele ea theknoloji. Litšebeletso tsena kaofela li sebetsa ho li-server tsa hardware, 'me ho fihlela morao tjena re ile ra qala mosebetsi o le mong ka seva, ke hore, e ne e khethehile bakeng sa mosebetsi o itseng.

Hobaneng ha ho le joalo? Mokhoa ona o ne o e-na le melemo e mengata:

• Phomotse tsamaiso ya bongata. Ha re re mosebetsi o hloka lilaeborari tse ling, litlhophiso tse ling. 'Me joale seva se abeloa sehlopha se le seng hantle, pholisi ea cfengine bakeng sa sehlopha sena e hlalositsoe (kapa e se e hlalositsoe),' me tlhophiso ena e kenngoa bohareng le ka boomo ho li-server tsohle tsa sehlopha sena.
• Nolofalitsoe tlhatlhobo. Ha re re u sheba mojaro o ntseng o eketseha ho processor e bohareng mme o hlokomela hore mojaro ona o ka hlahisoa feela ke mosebetsi o sebetsang ho processor ena ea lisebelisoa. Ho batla motho ea molato ho fela kapele haholo.
• Nolofalitsoe tlhokomelo. Haeba ho na le ho hong ho phoso ka seva, sebali se tlaleha, 'me u tseba hantle hore na ke mang ea molato.

Tšebeletso e nang le likopi tse 'maloa e abetsoe li-server tse' maloa - e le 'ngoe bakeng sa e' ngoe le e 'ngoe. Ebe sesebelisoa sa komporo sa ts'ebeletso se abeloa ka mokhoa o bonolo haholo: palo ea li-server tseo tšebeletso e nang le tsona, boholo ba lisebelisoa tseo e ka li jang. "Ho bonolo" mona ha ho bolele hore ho bonolo ho e sebelisa, empa ka kutloisiso ea hore kabo ea lisebelisoa e etsoa ka letsoho.

Mokhoa ona o boetse o re lumella ho etsa joalo litlhophiso tse khethehileng tsa tšepe bakeng sa mosebetsi o sebetsang ho seva sena. Haeba mosebetsi o boloka boitsebiso bo bongata, joale re sebelisa seva sa 4U se nang le chassis e nang le li-disk tse 38. Haeba mosebetsi e le oa computational feela, re ka reka seva e theko e tlaase ea 1U. Sena se sebetsa hantle ka mokhoa oa computationally. Har'a tse ling, mokhoa ona o re lumella ho sebelisa mechine e fokolang ka makhetlo a mane e nang le mojaro o ka bapisoang le sebaka se le seng sa metsoalle se botsoalle.

Tšebeliso e joalo ea ts'ebeliso ea lisebelisoa tsa k'homphieutha e boetse e lokela ho netefatsa katleho ea moruo, haeba re tsoela pele ho tloha tabeng ea hore ntho e theko e boima ka ho fetisisa ke li-server. Ka nako e telele, hardware e ne e le theko e boima ka ho fetisisa, 'me re ile ra ikitlaelletsa ho fokotsa theko ea thepa ea thepa, ho tla le li-algorithms tsa ho mamella liphoso ho fokotsa litlhoko tsa botšepehi ba hardware. 'Me kajeno re fihlile boemong boo theko ea seva e khaolitseng ho ba ea makhaola-khang. Haeba u sa nahane ka li-exotics tsa morao-rao, joale tlhophiso e khethehileng ea li-server ka rack ha e na taba. Hona joale re na le bothata bo bong - theko ea sebaka se nkiloeng ke seva setsing sa data, ke hore, sebaka sa rack.

Ha re hlokomela hore ho joalo, re ile ra etsa qeto ea ho bala hore na re sebelisa liraka ka katleho hakae.
Re nkile theko ea seva e matla ka ho fetisisa ho tse nang le mabaka a utloahalang a moruo, re bala hore na ke li-server tse kae tseo re ka li behang ka li-racks, hore na re tla etsa mesebetsi e kae ho bona ho latela mohlala oa khale "server e le 'ngoe = mosebetsi o le mong" le hore na ho joalo hakae. mesebetsi e ka sebelisoa lisebelisoa. Ba bala ba tsholola dikeledi. Ho ile ha fumaneha hore katleho ea rona ea ho sebelisa liraka ke hoo e ka bang 11%. Qeto e hlakile: re hloka ho eketsa bokhoni ba ho sebelisa litsi tsa data. Ho ka bonahala eka tharollo e hlakile: o hloka ho etsa mesebetsi e mengata ho seva se le seng hang-hang. Empa ke hona moo mathata a qalang teng.

Phetoho ea bongata e ba thata haholo - joale ha ho khonehe ho abela sehlopha se le seng ho seva. Ntle le moo, joale mesebetsi e mengata ea litaelo tse fapaneng e ka hlahisoa ho seva se le seng. Ho feta moo, tlhophiso e kanna ea fapana bakeng sa lits'ebetso tse fapaneng. Tlhahlobo e boetse e ba thata le ho feta: haeba u bona ho eketseha ha CPU kapa ts'ebeliso ea disk ho seva, ha u tsebe hore na ke mosebetsi ofe o bakang mathata.

Empa ntho e ka sehloohong ke hore ha ho na khethollo pakeng tsa mesebetsi e sebetsang mochine o le mong. Mona, mohlala, ke graph ea nako e tloaelehileng ea karabelo ea mosebetsi oa seva pele le ka mor'a hore kopo e 'ngoe ea computational e qalisoa ho seva se le seng, ho hang ha se amane le sa pele - nako ea karabelo ea mosebetsi o ka sehloohong e eketsehile haholo.

Ho hlakile hore o hloka ho tsamaisa mesebetsi ka har'a linkho kapa ka mechini ea sebele. Kaha hoo e ka bang mesebetsi eohle ea rona e sebetsa tlas'a OS e le 'ngoe (Linux) kapa e ikamahanya le eona, ha ho hlokahale hore re tšehetse mekhoa e mengata e fapaneng ea ho sebetsa. Ka hona, virtualization ha e hlokehe; ka lebaka la holimo holimo, e ke ke ea sebetsa hantle ho feta lisebelisoa.

E le ts'ebetsong ea lijana bakeng sa ho tsamaisa mesebetsi ka kotloloho ho li-server, Docker ke mokhethoa ea hloahloa: litšoantšo tsa sistimi ea faele li rarolla mathata ka litlhophiso tse hanyetsanang hantle. Taba ea hore litšoantšo li ka etsoa ka lihlopha tse 'maloa li re lumella ho fokotsa haholo palo ea lintlha tse hlokahalang ho li sebelisa mohahong oa motheo, ho arola likarolo tse tloaelehileng ka likarolo tse fapaneng tsa motheo. Ebe likarolo tsa mantlha (le tse matla ka ho fetesisa) li tla bolokoa kapele ka mokhoa o ts'oanelang ts'ebetsong eohle, 'me ho fana ka mefuta e mengata e fapaneng ea lits'ebetso le liphetolelo, ho tla hlokahala hore ho fetisetsoe likarolo tse nyane feela.

Hape, ngoliso e entsoeng e lokiselitsoe le ho tšoaea litšoantšo ho Docker e re fa li-primitives tse lokiselitsoeng bakeng sa ho fetolela le ho fana ka khoutu ho tlhahiso.

Docker, joalo ka mahlale a mang a ts'oanang, e re fa boemo bo itseng ba ho itšehla thajana ka ntle ho lebokose. Ka mohlala, ho itšehla thajana ho hopola - setshelo se seng le se seng se fuoa moeli oa tšebeliso ea mohopolo oa mochine, ho feta moo o ke keng oa o ja. U ka boela ua arola lijana ho latela ts'ebeliso ea CPU. Leha ho le joalo, ho rōna, ho koala sekheo se tloaelehileng ho ne ho sa lekana. Empa ho feta moo ka tlase.

Ho tsamaisa lijana ka kotloloho ho li-server ke karolo feela ea bothata. Karolo e 'ngoe e amana le ho amohela lijana ho li-server. U hloka ho utloisisa hore na ke setshelo sefe se ka behoang ho seva sefe. Sena ha se mosebetsi o bonolo hakana, hobane lijana li hloka ho beoa ho li-server ka bongata kamoo ho ka khonehang ntle le ho fokotsa lebelo la tsona. Ho beoa ho joalo ho ka boela ha ba thata ho latela pono ea ho mamella liphoso. Hangata re batla ho beha li-replicas tsa ts'ebeletso e le 'ngoe ka li-racks tse fapaneng kapa esita le likamoreng tse fapaneng tsa setsi sa data, e le hore haeba rack kapa kamore e hlōleha, re se ke ra lahleheloa ke li-replicas tsohle tsa tšebeletso hang-hang.

Ho tsamaisa lijana ka letsoho ha se khetho ha u na le li-server tse likete tse 8 le lijana tse likete tse 8-16.

Ho feta moo, re ne re batla ho fa bahlahisi boikemelo bo eketsehileng mabapi le kabo ea lisebelisoa e le hore ba ka amohela litšebeletso tsa bona ka bobona, ntle le thuso ea motsamaisi. Ka nako e ts'oanang, re ne re batla ho boloka taolo e le hore litšebeletso tse ling tse nyenyane li se ke tsa ja lisebelisoa tsohle tsa litsi tsa rona tsa data.

Ho hlakile hore re hloka lera la taolo le tla etsa sena ka bohona.

Kahoo re ile ra fihla setšoantšong se bonolo le se utloisisoang seo litsebi tsohle tsa meralo li se ratang: lisekoere tse tharo.

One-cloud masters ke sehlopha sa failover se ikarabellang bakeng sa 'mino oa maru. Moqapi o romela pontšo ho mong'a eona, e nang le lintlha tsohle tse hlokahalang ho amohela tšebeletso. E ipapisitse le eona, monghali o fana ka litaelo ho bahlankana ba khethiloeng (mechini e etselitsoeng ho tsamaisa lijana). Barekisi ba na le moemeli oa rona, ea amohelang taelo, o fana ka litaelo tsa hae ho Docker, 'me Docker e hlophisa kernel ea linux ho qala setshelo se lumellanang. Ntle le ho phethahatsa litaelo, moemeli o lula a tlaleha ho mong'a lona ka liphetoho tsa boemo ba mochini oa minion le lijana tse sebetsang ho ona.

Kabo ea Lisebelisoa

Joale ha re shebeng bothata ba kabo e rarahaneng ea lisebelisoa bakeng sa bahlankana ba bangata.

Sesebelisoa sa komporo ho leru le le leng ke:

• Palo ea matla a processor a sebelisoang ke mosebetsi o itseng.
• Palo ea memori e fumanehang bakeng sa mosebetsi.
• Sephethephethe sa marang-rang. E 'ngoe le e' ngoe ea li-minion e na le sebopeho se itseng sa marang-rang se nang le marang-rang a fokolang, kahoo ho ke ke ha khoneha ho aba mesebetsi ntle le ho ela hloko palo ea data eo ba e fetisang holim'a marang-rang.
• Disks. Ntle le moo, ho hlakile, sebakeng sa mesebetsi ena, re boetse re abela mofuta oa disk: HDD kapa SSD. Li-disk li ka fana ka palo e lekanyelitsoeng ea likopo motsotsoana - IOPS. Ka hona, bakeng sa mesebetsi e hlahisang IOPS e ngata ho feta disk e le 'ngoe e ka sebetsanang le eona, re fana ka "spindles" - ke hore, lisebelisoa tsa disk tse lokelang ho bolokeloa mosebetsi oo feela.

Ebe bakeng sa ts'ebeletso e itseng, mohlala bakeng sa cache ea mosebelisi, re ka rekota lisebelisoa tse sebelisitsoeng ka tsela ena: 400 processor cores, 2,5 TB of memory, 50 Gbit/s traffic ka mahlakore ka bobeli, 6 TB ea HDD sebaka se fumanehang ho 100 spindles . Kapa ka mokhoa o tsebahalang haholoanyane tjena:

alloc:
    cpu: 400
    mem: 2500
    lan_in: 50g
    lan_out: 50g
    hdd:100x6T

Lisebelisoa tsa ts'ebeletso ea cache ea basebelisi li sebelisa feela karolo ea lisebelisoa tsohle tse fumanehang litsing tsa tlhahiso. Ka hona, ke batla ho etsa bonnete ba hore ka tšohanyetso, ka lebaka la phoso ea opareitara kapa che, cache ea mosebelisi ha e sebelise lisebelisoa tse ngata ho feta tse fanoeng ho eona. Ke hore, re tlameha ho fokotsa mehloli. Empa re ne re ka kopanya quota ho eng?

Ha re khutleleng setšoantšong sa rona se nolofalitsoeng haholo sa tšebelisano ea likarolo ebe re se taka hape ka lintlha tse ling - tse kang tsena:

Se u khahlang:

• Sebaka sa marang-rang sa marang-rang le 'mino li sebelisa lihlopha tse ikhethileng tsa seva e tšoanang ea ts'ebeliso.
• Re ka khetholla likarolo tse utloahalang tseo lihlopha tsena li leng ho tsona: li-fronts, li-cache, polokelo ea data le lera la tsamaiso.
• Karolo e ka pele e fapane; e na le likaroloana tse fapaneng tse sebetsang.
• Li-cache le tsona li ka hasana ho pholletsa le subsystem eo data ea eona ba e bolokang.

Ha re toroeng setšoantšo hape:

Bah! E, re bona sehlopha se phahameng! Sena se bolela hore o ka aba lisebelisoa ka likotoana tse kholoanyane: abela mohlahlami ea ikarabellang sebakeng sa sehlopha sena sa maemo se tsamaellanang le sistimi e sebetsang (joalo ka "'mino" setšoantšong), 'me u kenye karolo e itseng boemong bo tšoanang ba sehlopha. Tsamaiso ena e boetse e re fa monyetla oa ho hlophisa lits'ebeletso ka mokhoa o bonolo haholoanyane bakeng sa taolo e bonolo. Mohlala, re arola marang-rang kaofela, kaha sena ke sehlopha se seholo haholo sa li-server, ka lihlopha tse nyane tse 'maloa, tse bonts'itsoeng setšoantšong e le sehlopha1, sehlopha2.

Ka ho tlosa mela e meng, re ka ngola node e 'ngoe le e 'ngoe ea setšoantšo sa rona ka mokhoa o bataletseng: sehlopha1.web.ka pele, api.music.front, mosebedisi-cache.cache.

Ke ka tsela ena re fihlang mohopolong oa "hierarchical queue". E na le lebitso le kang "group1.web.front". E abetsoe quota ea lisebelisoa le litokelo tsa basebelisi. Re tla fa motho ea tsoang ho DevOps litokelo tsa ho romela tšebeletso mokolokong, 'me mosebeletsi ea joalo a ka qala ntho e itseng moleng,' me motho ea tsoang OpsDev o tla ba le litokelo tsa tsamaiso, 'me hona joale o khona ho laola queue, a abe batho moo, fa batho bana litokelo, joalo-joalo. Litšebeletso tse sebetsang moleng ona li tla sebetsa ka har'a quota ea queue. Haeba palo ea komporo ea queue e sa lekana ho phethahatsa lits'ebeletso tsohle ka nako e le ngoe, li tla phethisoa ka tatellano, ka hona ho etsa queue ka boeona.

Ha re shebeng litšebeletso ka botebo. Tšebeletso e na le lebitso le tšoanelehang ka botlalo, le kenyelletsang lebitso la mokoloko kamehla. Joale tšebeletso ea pele ea websaete e tla ba le lebitso ok-web.group1.web.front. 'Me tšebeletso ea seva ea kopo eo e e fumanang e tla bitsoa ok-app.group1.web.front. Tšebeletso e 'ngoe le e' ngoe e na le pontšo, e hlalosang tlhahisoleseding eohle e hlokahalang bakeng sa ho behoa mochine o itseng: ke lisebelisoa tse kae tseo mosebetsi ona o li sebelisang, ke tlhophiso efe e hlokahalang bakeng sa eona, hore na ho na le li-replicas tse kae, thepa ea ho sebetsana le mefokolo ea tšebeletso ena. 'Me ka mor'a hore tšebeletso e behoe ka ho toba mechineng, maemo a eona a hlaha. Li boetse li bitsoa ka mokhoa o hlakileng - joalo ka nomoro ea mohlala le lebitso la ts'ebeletso: 1.ok-web.group1.web.front, 2.ok-web.group1.web.front, …

Sena se bonolo haholo: ka ho sheba feela lebitso la setshelo se mathang, re ka tseba haholo hanghang.

Joale a re hlahlobeng ka hloko hore na liketsahalo tsena li hlile li etsa eng: mesebetsi.

Litlelase tsa ho Ikhetholla Mosebetsing

Mesebetsi eohle e ho OK (mme, mohlomong, hohle) e ka aroloa ka lihlopha:

• Mesebetsi e Khutšoanyane ea Latency - prod. Bakeng sa mesebetsi le lits'ebeletso tse joalo, ho lieha ho arabela (latency) ho bohlokoa haholo, hore na e 'ngoe le e' ngoe ea likopo e tla sebetsoa kapele hakae ke sistimi. Mehlala ea mesebetsi: libaka tsa marang-rang, li-cache, li-server tsa ts'ebeliso, polokelo ea OLTP, joalo-joalo.
• Mathata a lipalo - batch. Mona, lebelo la ts'ebetso ea kopo e 'ngoe le e' ngoe e khethehileng ha ea bohlokoa. Bakeng sa bona, ke habohlokoa hore na ke lipalo tse kae tseo mosebetsi ona o tla li etsa ka nako e itseng (e telele) (ho feta). Tsena e tla ba mesebetsi efe kapa efe ea MapReduce, Hadoop, ho ithuta ka mochini, lipalo.
• Mesebetsi e ka morao - e sa sebetse. Bakeng sa mesebetsi e joalo, ha ho latency kapa throughput bohlokoa haholo. Sena se kenyelletsa liteko tse fapaneng, ho falla, ho bala hape, le phetolo ea data ho tloha mofuteng o mong ho ea ho o mong. Ka lehlakoreng le leng, li tšoana le tse baloang, ka lehlakoreng le leng, ha ho tsotellehe hore na li phethoa kapele hakae.

Ha re boneng hore na mesebetsi e joalo e sebelisa lisebelisoa joang, mohlala, processor e bohareng.

Mesebetsi e khutšoanyane ea ho lieha. Mosebetsi o joalo o tla ba le mokhoa oa tšebeliso ea CPU o ts'oanang le ona:

Kopo e tsoang ho mosebelisi e amoheloa bakeng sa ts'ebetso, mosebetsi o qala ho sebelisa li-cores tsohle tse teng tsa CPU, oa e sebetsa, o khutlisa karabo, o emetse kopo e latelang ebe o emisa. Kopo e latelang e ile ea fihla - hape re ile ra khetha ntho e 'ngoe le e' ngoe e neng e le teng, ra e bala, 'me re emetse e latelang.

Ho netefatsa bonyane ba latency bakeng sa mosebetsi o joalo, re tlameha ho nka lisebelisoa tse ngata tseo re li jang le ho boloka palo e hlokahalang ea li-cores ho minion (mochini o tla etsa mosebetsi). Ebe mokhoa oa peheletso bakeng sa bothata ba rona e tla ba ka tsela e latelang:

alloc: cpu = 4 (max)

'me haeba re na le mochine oa minion o nang le li-cores tse 16, joale mesebetsi e mene e joalo e ka behoa ho eona. Re hlokomela ka ho khetheha hore tšebeliso e tloaelehileng ea processor ea mesebetsi e joalo hangata e tlase haholo - e leng ntho e hlakileng, kaha karolo e kholo ea nako eo mosebetsi o emelang kopo mme ha o etse letho.

Mesebetsi ea lipalo. Mohlala oa bona o tla fapana hanyane:

Ka karolelano tšebeliso ea lisebelisoa tsa CPU bakeng sa mesebetsi e joalo e phahame haholo. Hangata re batla hore mosebetsi oa ho bala o phethehe ka nako e itseng, kahoo re hloka ho boloka palo e fokolang ea li-processor tseo e li hlokang e le hore palo eohle e phethoe ka nako e amohelehang. Mokhoa oa eona oa ho boloka o tla shebahala tjena:

alloc: cpu = [1,*)

Ka kopo, e behe holim'a minion moo bonyane ho nang le konokono e le 'ngoe ea mahala, ebe e ngata kamoo e leng teng, e tla ja tsohle."

Mona katleho ea ts'ebeliso e se e ntse e le betere ho feta mesebetsing e nang le tieho e khutšoane. Empa phaello e tla ba kholo haholo haeba o kopanya mefuta e 'meli ea mesebetsi mochining o le mong oa minion mme o aba lisebelisoa tsa eona ha o ntse o tsamaea. Ha mosebetsi o nang le tieho e khuts'oane o hloka processor, e e amohela hang-hang, 'me ha lisebelisoa li se li sa hlokahale, li fetisetsoa mosebetsing oa computational, ke hore, ntho e kang ena:

Empa ho etsa joalo joang?

Pele, a re shebeng prod le alloc ea eona: cpu = 4. Re hloka ho boloka li-cores tse 'nè. Ho Docker, sena se ka etsoa ka litsela tse peli:

• Ho sebelisa khetho --cpuset=1-4, ke hore, abela li-cores tse 'ne mochining ho ea mosebetsing.
• Sebelisa --cpuquota=400_000 --cpuperiod=100_000, fana ka quota bakeng sa nako ea processor, ke hore, bonts'a hore nako e 'ngoe le e 'ngoe ea 100 ms ea nako ea sebele mosebetsi ha o sebelise nako e fetang 400 ms ea nako ea processor. Ho fumanoa li-cores tse 'nè tse tšoanang.

Empa ke efe ho mekhoa ee e loketseng?

cpuset e shebahala e khahleha haholo. Mosebetsi o na le li-cores tse 'ne tse inehetseng, ho bolelang hore li-cache tsa processor li tla sebetsa hantle kamoo ho ka khonehang. Sena se boetse se na le bothata: re tla tlameha ho nka mosebetsi oa ho aba lipalo ho li-cores tse sa laolloang tsa mochini ho fapana le OS, 'me ona ke mosebetsi o seng bobebe, haholo haeba re leka ho beha mesebetsi ea batch sebakeng se joalo. mochini. Liteko li bonts'itse hore khetho e nang le quota e loketse hantle mona: ka tsela ena sistimi ea ts'ebetso e na le bolokolohi bo bongata ba ho khetha mantlha ho etsa mosebetsi hona joale mme nako ea processor e ajoa ka mokhoa o atlehileng haholoanyane.

Ha re boneng mokhoa oa ho etsa lipehelo ho Docker ho latela palo e tlase ea li-cores. Karolo ea mesebetsi ea batch ha e sa sebetsa, hobane ha ho na tlhoko ea ho fokotsa boholo, ho lekane ho netefatsa bonyane. 'Me mona khetho e lumellana hantle docker run --cpushares.

Re lumellane hore haeba batch e hloka tiisetso bakeng sa bonyane motheo o le mong, joale re bontša --cpushares=1024, 'me haeba ho na le bonyane li-cores tse peli, joale re bontša --cpushares=2048. Likabelo tsa Cpu ha li kena-kenane ka tsela leha e le efe le kabo ea nako ea processor ha feela e ntse e lekana. Kahoo, haeba prod ha e sebelise li-cores tsohle tsa eona tse 'ne hajoale, ha ho na letho le fokotsang mesebetsi ea batch,' me ba ka sebelisa nako e eketsehileng ea processor. Empa maemong ao ho nang le khaello ea li-processor, haeba prod e sebelisitse li-cores tsohle tse 'ne' me e fihletse palo ea eona, nako e setseng ea processor e tla aroloa ka ho lekana le li-cpushares, ke hore, maemong a li-cores tse tharo tsa mahala, e 'ngoe e tla ba fuoe mosebetsi o nang le li-cpushare tse 1024, 'me ba babeli ba setseng ba tla fuoa mosebetsi ka 2048 cpushares.

Empa ho sebelisa quota le shares ha hoa lekana. Re hloka ho etsa bonnete ba hore mosebetsi o nang le tieho e khutšoane o tla pele ho mosebetsi oa sehlopha ha o fana ka nako ea processor. Ntle le ho etelletsa pele joalo, mosebetsi oa batch o tla nka nako eohle ea processor ka nako eo e hlokoang ke prod. Ha ho na likhetho tsa ho etelletsa pele lijana ho Docker run, empa melaoana ea kemiso ea Linux CPU e ea sebetsa. U ka bala ka tsona ka botlalo mona, 'me ka har'a moralo oa sengoloa sena re tla bua ka bona ka bokhutšoanyane:

• SCHED_OTHER
  Ka ho sa feleng, lits'ebetso tsohle tse tloaelehileng tsa mosebelisi mochining oa Linux lia amoheloa.
• SCHED_BATCH
  E etselitsoe bakeng sa ts'ebetso e matla ea lisebelisoa. Ha ho etsoa mosebetsi ho processor, ho hlahisoa kotlo e bitsoang activation: mosebetsi o joalo o na le monyetla o fokolang oa ho fumana lisebelisoa tsa processor ha joale o sebelisoa ke SCHED_OTHER.
• SCHED_IDLE
  Ts'ebetso ea morao-rao e nang le boemo bo tlase haholo, esita le bo tlase ho feta -19. Re sebelisa laeborari ea rona ea mohloli o bulehileng ngoe-nio, e le ho beha leano le hlokahalang ha u qala setshelo ka ho letsetsa

one.nio.os.Proc.sched_setscheduler( pid, Proc.SCHED_IDLE )

Empa leha o sa kenele Java, ntho e tšoanang e ka etsoa ho sebelisa taelo ea chrt:

chrt -i 0 $pid

Ha re akaretseng maemo ohle a rona a ho itšehla thajana ka tafole e le 'ngoe bakeng sa ho hlaka:

Sehlopha sa insulation
Alloc mohlala
Likhetho tsa ho tsamaisa Docker
sched_setscheduler chrt*

prod
cpu = 4
--cpuquota=400000 --cpuperiod=100000
SCHED_OTHER

Sehlopha
Cpu = [1, *)
--cpushares=1024
SCHED_BATCH

E ne e sa sebetse
Cpu= [2, *)
--cpushares=2048
SCHED_IDLE

* Haeba u etsa chrt ka har'a sets'oants'o, u kanna ua hloka bokhoni ba sys_nice, hobane ka kamehla Docker e tlosa bokhoni bona ha e qala setshelo.

Empa mesebetsi ha e je feela processor, empa le sephethephethe, se amang latency ea mosebetsi oa marang-rang le ho feta kabo e fosahetseng ea lisebelisoa tsa processor. Ka hona, ka tlhaho re batla ho fumana setšoantšo se ts'oanang hantle bakeng sa sephethephethe. Ke hore, ha mosebetsi oa prod o romella lipakete tse ling marang-rang, re fokotsa lebelo le phahameng (formula alloc: lan=[*,500mbps) ), eo prod e ka etsang sena ka eona. 'Me bakeng sa batch re tiisa feela bonyane ba ho feta, empa u se ke ua fokotsa boholo (formula alloc: lan=[10Mbps,*) ) Tabeng ena, sephethephethe sa prod se lokela ho tla pele ho feta mesebetsi ea lihlopha.
Mona Docker ha e na li-primitives tseo re ka li sebelisang. Empa hoa re thusa Linux Traffic Control. Re ile ra khona ho finyella sephetho se lakatsehang ka thuso ea taeo Hierarchical Fair Service Curve. Ka thuso ea eona, re khetholla mefuta e 'meli ea sephethephethe: prod ea pele-pele le batch ea pele-pele. Ka lebaka leo, tlhophiso ea sephethephethe se tsoang e tjena:

mona 1:0 ke "motso qdisc" oa taeo ea hsfc; 1: 1 - sehlopha sa bana sa hsfc se nang le moeli oa kakaretso oa bandwidth oa 8 Gbit / s, moo lihlopha tsa bana tsa lijana tsohle li behoang; 1:2 - sehlopha sa bana sa hsfc se tloaelehile mesebetsing eohle ea lihlopha le tse sa sebetseng tse nang le moeli oa "matla", o tšohloang ka tlase. Litlelase tse setseng tsa hsfc tsa bana ke litlelase tse inehetseng bakeng sa lik'hontheinara tse sebetsang hajoale tse nang le meeli e tsamaellanang le li-manifest tsa tsona - 450 le 400 Mbit/s. Sehlopha se seng le se seng sa hsfc se abeloa qdisc queue fq kapa fq_codel, ho latela mofuta oa Linux kernel, ho qoba tahlehelo ea pakete nakong ea ho phatloha ha sephethephethe.

Ka tloaelo, litloaelo tsa tc li sebeletsa ho etelletsa pele sephethephethe se tsoang feela. Empa re batla ho etelletsa sephethephethe se tlang pele - ka mor'a tsohle, mosebetsi o mong oa batch o ka khetha mocha oohle o kenang habonolo, ho amohela, mohlala, bongata bo boholo ba lintlha tsa ho kenya 'mapa le ho fokotsa. Bakeng sa sena re sebelisa module haebab, e hlahisang sebopeho sa sebopeho sa ifbX bakeng sa sebopeho se seng le se seng sa marang-rang le ho tsamaisa sephethephethe se kenang ho tloha ho sebopeho ho ea ho sephethephethe se tsoang ho ifbX. Ho feta moo, bakeng sa ifbX, litloaelo tsohle tse tšoanang li sebetsa ho laola sephethephethe se tsoang, seo hsfc e leng sona e tla tšoana haholo:

Nakong ea liteko, re fumane hore hsfc e bonts'a liphetho tse ntle ka ho fetisisa ha sehlopha sa 1:2 sa sephethe-phethe se sa etelletseng pele se lekantsoe ka mechini ea minion ho feta tsela e itseng ea mahala. Ho seng joalo, sephethephethe se seng sa pele se na le tšusumetso e ngata ho latency ea mesebetsi ea prod. miniond e etsa qeto ea palo ea hajoale ea bandwidth ea mahala motsotsoana o mong le o mong, e lekanya karolelano ea tšebeliso ea sephethephethe ea mesebetsi eohle ea prod ea minion e fanoeng. le ho e tlosa ho tswa ho marang-rang a marang-rang a marang-rang ka moeli o monyenyane, i.e.

Lihlopha li hlalosoa ka mokhoa o ikemetseng bakeng sa sephethephethe se kenang le se tsoang. 'Me ho ea ka litekanyetso tse ncha, miniond e tsosolosa moeli oa sehlopha se seng sa pele 1: 2.

Kahoo, re kentse tšebetsong lihlopha tsohle tse tharo tsa ho itšehla thajana: prod, batch le idle. Lihlopha tsena li susumetsa haholo litšobotsi tsa ts'ebetso ea mesebetsi. Ka hona, re nkile qeto ea ho beha tšobotsi ena kaholimo ho bolaoli, e le hore ha re sheba lebitso la letoto la maemo a phahameng, ho hlake hang-hang hore na re sebetsana le eng:

Metsoalle ea rona kaofela ho web и mino mahlakore a ntan'o behoa boemong bo phahameng ka tlas'a prod. Ka mohlala, tlas'a batch, ha re behe tšebeletso lethathamo la mmino, eo nako le nako e bokellang lethathamo la lipina ho tsoa sehlopheng sa lifaele tsa mp3 tse kentsoeng ho Odnoklassniki. Mohlala oa ts'ebeletso e sa sebetseng e ka ba sesebelisoa sa mmino, e leng ho tloaelehileng boemo ba molumo oa 'mino.

Ha mela e meng e tlositsoe hape, re ka ngola mabitso a lits'ebeletso tsa rona ka mokhoa o hlakileng ka ho eketsa sehlopha sa ho itšehla thajana ho fihlela qetellong ea lebitso le felletseng la litšebeletso: web.front.prod, catalog.music.batch, transformer.music.idle.

'Me joale, ha re sheba lebitso la tšebeletso, ha re utloisise feela hore na e etsa mosebetsi ofe, empa hape le sehlopha sa eona sa ho itšehla thajana, se bolelang bohlokoa ba eona, joalo-joalo.

Ntho e 'ngoe le e' ngoe e ntle, empa ho na le 'nete e le' ngoe e bohloko. Ha ho khonehe ho arola ka botlalo mesebetsi e sebetsang mochining o le mong.

Seo re khonneng ho se fihlela: haeba batch e ja haholo feela Lisebelisoa tsa CPU, joale kemiso ea Linux CPU e hahelletsoeng ka hare e etsa mosebetsi oa eona hantle haholo, 'me ha ho na tšusumetso mosebetsing oa prod. Empa haeba mosebetsi ona oa batch o qala ho sebetsa ka mafolofolo ka mohopolo, joale tšusumetso e tšoanang e se e ntse e hlaha. Sena se etsahala hobane mosebetsi oa prod "o hlatsoitsoe" ho li-memori tsa processor - ka lebaka leo, liphoso tsa cache lia eketseha, 'me processor e sebetsa butle butle. Mosebetsi o joalo oa batch o ka eketsa latency ea sejana sa rona se tloaelehileng sa prod ka 10%.

Ho khetholla sephethephethe ho thata le ho feta ka lebaka la hore likarete tsa sejoale-joale tsa marang-rang li na le mokoloko oa ka hare oa lipakete. Haeba pakete e tsoang mosebetsing oa batch e fihla moo pele, joale e tla ba ea pele ea ho fetisoa ka mohala, 'me ha ho letho le ka etsoang ka eona.

Ho phaella moo, ho fihlela joale re khonne ho rarolla bothata ba ho beha sephethephethe sa TCP pele: mokhoa oa hsfc ha o sebetse bakeng sa UDP. 'Me esita le tabeng ea sephethephethe sa TCP, haeba mosebetsi oa batch o hlahisa sephethephethe se ngata, sena se boetse se fana ka keketseho ea 10% ea ho lieha ha mosebetsi oa prod.

mamello ea liphoso

E 'ngoe ea lipheo tsa ho theha leru le le leng e ne e le ho ntlafatsa mamello ea liphoso ea Odnoklassniki. Ka hona, ka mor'a moo ke rata ho nahana ka ho qaqileng haholoanyane ka maemo a ka bang teng a ho hlōleha le likotsi. A re qaleng ka boemo bo bonolo - ho hlōleha ha setshelo.

Setshelo ka boeona se ka hlōleha ka litsela tse 'maloa. Sena e ka ba teko ea mofuta o itseng, phoso kapa phoso ho manifest, ka lebaka leo mosebetsi oa prod o qalang ho sebelisa lisebelisoa tse ngata ho feta tse bontšitsoeng ho manifest. Re ne re e-na le nyeoe: moqapi o ile a kenya ts'ebetsong algorithm e le 'ngoe e rarahaneng, a e sebetsa hape ka makhetlo a mangata, a iphapanyetsa' me a ferekanngoa hoo qetellong bothata bo ileng ba kena mocheng o sa reng letho. Mme kaha mosebetsi oa prod o etelletsoe pele ho feta tse ling kaofela ho li-minion tse tšoanang, o ile oa qala ho sebelisa lisebelisoa tsohle tse teng tsa processor. Boemong bona, ho itšehla thajana, kapa ho fapana le nako ea CPU, ho bolokile letsatsi. Haeba mosebetsi o abetsoe quota, mosebetsi o ke ke oa ja ho feta. Ka hona, batch le mesebetsi e meng ea prod e neng e sebetsa mochining o le mong ha ea ka ea hlokomela letho.

Bothata ba bobeli bo ka bang teng ke hore setshelo se oa. Mona maano a ho qala bocha a re pholosa, e mong le e mong oa a tseba, Docker ka boeona e etsa mosebetsi o motle. Hoo e ka bang mesebetsi eohle ea prod e na le leano la kamehla la ho qala bocha. Ka nako e 'ngoe re sebelisa on_falure bakeng sa mesebetsi ea batch kapa ho lokisa lijana tsa prod.

U ka etsa'ng haeba sehlopha sohle se sa fumanehe?

Ho hlakile, tsamaisa setshelo mochining o mong. Karolo e khahlisang mona ke se etsahalang ka (li) aterese ea IP e abetsoeng setshelo.

Re ka abela lijana liaterese tse tšoanang tsa IP joalo ka mechini e nyane eo lijana tsena li sebetsang ho eona. Joale, ha setshelo se qalisoa mochine o mong, aterese ea eona ea IP e fetoha, 'me bareki bohle ba tlameha ho utloisisa hore setshelo se falla,' me joale ba hloka ho ea atereseng e fapaneng, e hlokang tšebeletso e fapaneng ea Ts'ebeletso ea Ts'ebeletso.

Ho fumaneha ha litšebeletso ho bonolo. Ho na le litharollo tse ngata 'marakeng tsa maemo a fapaneng a mamello ea liphoso bakeng sa ho hlophisa registry ea litšebeletso. Hangata litharollo tse joalo li kenya tšebetsong logic ea balancer logic, boloka tlhophiso e eketsehileng ka mokhoa oa polokelo ea KV, joalo-joalo.
Leha ho le joalo, re ka rata ho qoba tlhokahalo ea ho kenya ts'ebetsong ngoliso e arohaneng, hobane sena se tla bolela ho hlahisa tsamaiso ea bohlokoa e sebelisoang ke litšebeletso tsohle tsa tlhahiso. Sena se bolela hore ena ke ntlha e ka 'nang ea hlōleha,' me u lokela ho khetha kapa ho hlahisa tharollo e mamellang liphoso haholo, eo ho hlakileng hore e thata haholo, e jang nako ebile e theko e boima.

Le tšitiso e 'ngoe e kholo: e le hore meaho ea rona ea khale e sebetse le e ncha, re tla tlameha ho ngola mesebetsi eohle hape ho sebelisa mofuta o mong oa sistimi ea Ts'ebetso ea Ts'ebeletso. Ho na le mosebetsi o mongata, 'me libakeng tse ling ho batla ho sa khonehe ha ho tluoa tabeng ea lisebelisoa tse tlaase tse sebetsang boemong ba OS kernel kapa ka ho toba ka hardware. Ts'ebetsong ea ts'ebetso ena ho sebelisoa mekhoa ea tharollo e thehiloeng, joalo ka koloi e ka thoko ho ne ho tla bolela libakeng tse ling mojaro o eketsehileng, ho tse ling - complication ea ts'ebetso le maemo a eketsehileng a ho hloleha. Re ne re sa batle ho thatafatsa lintho, kahoo re ile ra etsa qeto ea ho sebelisa Service Discovery ka boikhethelo.

Ka leru le le leng, IP e latela setshelo, ke hore, ketsahalo ka 'ngoe ea mosebetsi e na le aterese ea eona ea IP. Aterese ena ke "static": e fuoa ketsahalo e 'ngoe le e' ngoe ha tšebeletso e qala ho romeloa lerung. Haeba tšebeletso e ne e e-na le palo e fapaneng ea liketsahalo nakong ea bophelo ba eona, joale qetellong e tla fuoa liaterese tse ngata tsa IP joalokaha ho bile le maemo a mangata.

Ka mor'a moo, liaterese tsena ha li fetohe: li abeloa hanngoe 'me li tsoela pele ho ba teng bophelong bohle ba tšebeletso ea tlhahiso. Liaterese tsa IP li latela lits'oants'o tsa marang-rang. Haeba setshelo se fetisetsoa ho minion e 'ngoe, joale aterese e tla e latela.

Kahoo, 'mapa oa lebitso la tšebeletso lethathamong la liaterese tsa IP e fetoha ka seoelo. Haeba u sheba hape mabitso a maemo a litšebeletso ao re a boletseng qalong ea sengoloa (1.ok-web.group1.web.front.prod, 2.ok-web.group1.web.front.prod, …), re tla hlokomela hore li tšoana le li-FQDN tse sebelisoang ho DNS. Ho lokile, ho etsa 'mapa oa mabitso a litšebeletso ho liaterese tsa bona tsa IP, re sebelisa protocol ea DNS. Ho feta moo, DNS ena e khutlisa liaterese tsohle tsa IP tse bolokiloeng tsa lijana tsohle - ka bobeli li sebetsa ebile li emisitsoe (ha re re ho sebelisitsoe likopi tse tharo, 'me re na le liaterese tse hlano tse bolokiloeng moo - tse hlano kaofela li tla khutlisoa). Bareki, ha ba se ba fumane tlhahisoleseling ena, ba tla leka ho theha khokahano le likopi tse hlano - mme ka hona ba tsebe hore na ba sebetsang. Khetho ena ea ho fumana boteng e ka tšeptjoa haholoanyane; ha e akarelletse DNS kapa Service Discovery, ho bolelang hore ha ho na mathata a thata ho rarolla ho netefatsa bohlokoa ba tlhahisoleseling le mamello ea liphoso tsa litsamaiso tsena. Ho feta moo, lits'ebeletso tse mahlonoko tseo ts'ebetso ea portal eohle e itšetlehileng ka tsona, re ke ke ra sebelisa DNS ho hang, empa feela kenya liaterese tsa IP ho tlhophiso.

Ho kenya ts'ebetsong phetisetso e joalo ea IP ka morao ho lijana e ka ba ntho e sa reng letho - mme re tla sheba hore na e sebetsa joang ka mohlala o latelang:

Ha re re mong'a leru le le leng o fana ka taelo ho minion M1 ho matha 1.ok-web.group1.web.front.prod le aterese 1.1.1.1. E sebetsa ho minion NONYANE, e phatlalatsang aterese ena ho li-server tse khethehileng sebonela-tsela. Ba morao-rao ba na le seboka sa BGP le lisebelisoa tsa marang-rang, moo tsela ea aterese 1.1.1.1 ho M1 e fetoletsoeng. Lipakete tsa litsela tsa M1 ka har'a setshelo li sebelisa Linux. Ho na le li-server tse tharo tse bonts'ang tsela, kaha ena ke karolo ea bohlokoa haholo ea lisebelisoa tsa leru le le leng - ntle le tsona, marang-rang a leru le le leng a ke ke a sebetsa. Re li kenya ka har'a li-racks tse fapaneng, haeba ho khoneha li fumaneha likamoreng tse fapaneng tsa setsi sa data, ho fokotsa monyetla oa hore bohle ba bararo ba hlōlehe ka nako e le 'ngoe.

Joale a re nke hore kamano pakeng tsa monghali oa leru le le leng le M1 minion e lahlehile. Hona joale mong'a leru le le leng o tla nka khato ka maikutlo a hore M1 e hlōlehile ka ho feletseng. Ke hore, e tla fana ka taelo ho minion ea M2 ho qala web.group1.web.front.prod ka aterese e tšoanang 1.1.1.1. Hona joale re na le litsela tse peli tse hanyetsanang marang-rang bakeng sa 1.1.1.1: ho M1 le M2. E le ho rarolla likhohlano tse joalo, re sebelisa Multi Exit Discriminator, e boletsoeng phatlalatsong ea BGP. Ena ke nomoro e bontšang boima ba tsela e bapalitsoeng. Har'a litsela tse hanyetsanang, tsela e nang le boleng bo tlaase ba MED e tla khethoa. Mong'a leru le le leng o tšehetsa MED e le karolo ea bohlokoa ea liaterese tsa IP tsa setshelo. Ka lekhetlo la pele, aterese e ngotsoe ka MED e lekaneng e lekaneng = 1 000. Boemong ba ho fetisoa ha sejana se joalo sa tšohanyetso, monghali o fokotsa MED, 'me M000 o se a ntse a fumana taelo ea ho phatlalatsa aterese ea 2 le MED = 1.1.1.1 999. Mohlala o mathang ka M999 o tla sala o le teng tabeng ena ha ho na kamano, ‘me qetello ea hae e ntse e re khahla hanyane ho fihlela khokahano le mong’a eona e tsosolositsoe, ha a tla emisoa joalo ka nkoe ea khale.

likotsi

Litsamaiso tsohle tsa tsamaiso ea setsi sa data li lula li sebetsana le liphoso tse nyane ka mokhoa o amohelehang. Ho phalla ha setshelo ke ntho e tloaelehileng hoo e ka bang hohle.

Ha re shebeng hore na re sebetsana joang le maemo a tšohanyetso, joalo ka ho tima motlakase phaposing e le 'ngoe kapa ho feta setsing sa data.

Kotsi e bolela'ng bakeng sa tsamaiso ea setsi sa data? Pele ho tsohle, hona ke ho hloleha ho hoholo ha nako e le 'ngoe ha mechini e mengata, mme sistimi ea taolo e hloka ho fallisa lijana tse ngata ka nako e le ngoe. Empa haeba koluoa ​​​​e le khōlō haholo, joale ho ka 'na ha etsahala hore mesebetsi eohle e ke ke ea abeloa hape ho basebeletsi ba bang, hobane matla a lisebelisoa tsa setsi sa data a theoha ka tlase ho 100% ea mojaro.

Hangata likotsi li tsamaisana le ho hlōleha ha lera la taolo. Sena se ka etsahala ka lebaka la ho hlōleha ha thepa ea eona, empa hangata ka lebaka la hore likotsi ha li lekoe, 'me lera la taolo ka boeona le oela ka lebaka la mojaro o eketsehileng.

U ka etsa'ng ka see sohle?

Ho falla ha batho ba bangata ho bolela hore ho na le palo e kholo ea mesebetsi, ho falla, le ho tsamaisoa ho etsahalang meahong ea motheo. E 'ngoe le e 'ngoe ea ho falla e ka nka nako e hlokahalang ho isa le ho manolla litšoantšo tsa sets'oants'o, ho qala le ho qala lijana, joalo-joalo. Ka hona, ke ntho e lakatsehang hore mesebetsi ea bohlokoa haholo e qalisoe pele e sa bohlokoa haholo.

Ha re shebeng hape sehlopha sa litšebeletso tseo re li tloaetseng 'me re leke ho etsa qeto ea hore na re batla ho etsa mesebetsi efe pele.

Ehlile, tsena ke lits'ebetso tse amehang ka kotloloho ts'ebetsong ea likopo tsa basebelisi, ke hore, prod. Re bontša sena ka ho beha pele - nomoro e ka abeloang moleng. Haeba mokoloko o e-na le bohlokoa bo phahameng, litšebeletso tsa oona li behoa pele.

Ho prod re beha lintho tse tlang pele, 0; ka batch - e ka tlase hanyane, 100; ka ho se sebetse - esita le tlase, 200. Lintho tse tlang pele li sebelisoa ka mokhoa o hlophisitsoeng. Mesebetsi eohle e tlase sehlopheng sa maemo a phahameng e tla ba le eona e tlang pele. Haeba re batla hore li-cache tse ka hare ho prod li hlahisoe pele ho li-frontends, joale re abela lintho tse tlang pele ho cache = 0 le ho li-subqueues tse ka pele = 1. Haeba, ka mohlala, re batla hore "portal" e kholo e thakholoe ho tloha ka pele, 'me 'mino o ka pele feela. joale, ebe re ka beha ntho e tlang pele ho ea morao-rao - 10.

Bothata bo latelang ke khaello ea lisebelisoa. Kahoo, lisebelisoa tse ngata, liholo tsohle tsa setsi sa data, li ile tsa hlōleha, 'me re ile ra tsosolosa litšebeletso tse ngata hoo hona joale ho seng ho se na lisebelisoa tse lekaneng bakeng sa bohle. U hloka ho etsa qeto ea hore na ke mesebetsi efe eo u lokelang ho e tela e le hore u boloke litšebeletso tsa bohlokoahali li ntse li sebetsa.

Ho fapana le ho beha lintho pele, re ke ke ra tela mesebetsi eohle ea batch ntle le khethollo; tse ling tsa tsona li bohlokoa bakeng sa ts'ebetso ea portal. Ka hona, re totobalitse ka thoko tokollo pele mesebetsi. Ha e behiloe, mosebetsi oa pele o ka etella pele, ke hore, ho emisa, mosebetsi oa bohlokoa bo tlase haeba ho se ho se na metsoalle ea mahala. Tabeng ena, mosebetsi o nang le boemo bo tlaase mohlomong o tla lula o sa behoa, ke hore, ha ho sa tla hlola ho e-ba le minion e loketseng e nang le lisebelisoa tse lekaneng tsa mahala.

Sehlopheng sa rona sa maemo a holimo, ho bonolo haholo ho hlakisa ntho e tlang pele pele ho nako e kang ea hore mesebetsi ea prod le batch e etelle pele kapa e emise mesebetsi e sa sebetseng, empa eseng e mong le e mong, ka ho hlakisa ntho e tlang pele bakeng sa ho se sebetse e lekanang le 200. Joalo ka ha ho beoa pele, re e ka sebelisa bolaoli ba rona ho hlalosa melao e thata haholoanyane. Mohlala, ha re bonts'a hore re tela ts'ebetso ea 'mino haeba re sena lisebelisoa tse lekaneng bakeng sa portal ea mantlha ea webo, re beha lintho tse tlang pele bakeng sa li-node tse tsamaellanang tlase: 10.

Likotsi tsohle tsa DC

Hobaneng ha setsi sa data kaofela se ka hloleha? Element. E ne e le poso e ntle leholiotsoana le ile la ama mosebetsi oa setsi sa data. Lintho li ka nkoa e le batho ba se nang bolulo ba kileng ba chesa li-optics ka bongata, 'me setsi sa data se ile sa lahleheloa ka ho feletseng le libaka tse ling. Lebaka la ho hlōleha hape e ka ba ntho ea motho: mosebeletsi o tla fana ka taelo e joalo hore setsi sa data kaofela se tla oa. Sena se ka etsahala ka lebaka la bothata bo boholo. Ka kakaretso, ho oa ha litsi tsa data ho tloaelehile. Sena se etsahala ho rona hang ka mor'a likhoeli tse 'maloa.

'Me sena ke seo re se etsang ho thibela mang kapa mang ho tweeting #alive.

Leano la pele ke ho itšehla thajana. Ketsahalo e 'ngoe le e' ngoe ea leru le le leng e arohane 'me e khona ho laola mechine setsing se le seng sa data. Ke hore, tahlehelo ea leru ka lebaka la likokoana-hloko kapa litaelo tse fosahetseng tsa opareitara ke tahlehelo ea setsi se le seng feela sa data. Re itokiselitse sena: re na le leano la ho fokotsa mosebetsi moo replicas ea kopo le data e leng teng litsing tsohle tsa data. Re sebelisa li-database tse mamellang liphoso 'me nako le nako re etsa liteko bakeng sa ho hloleha.
Kaha kajeno re na le litsi tse 'ne tsa data, ho bolelang hore ho na le liketsahalo tse' nè tse arohaneng, tse arohaneng ka ho feletseng tsa leru le le leng.

Mokhoa ona ha o sireletse feela khahlanong le ho hlōleha ha 'mele, empa o ka boela oa sireletsa khahlanong le phoso ea opareitara.

Ke eng hape e ka etsoang ka ntlha ea motho? Ha mosebeletsi a fa leru taelo e makatsang kapa e ka bang kotsi, ka tšohanyetso a ka ’na a kōptjoa hore a rarolle bothata bo bonyenyane ho bona hore na o ne a nahanne hantle hakae. Mohlala, haeba ona e le mofuta o mong oa ho emisa ha bongata ba likopi tse ngata kapa taelo e makatsang - ho fokotsa palo ea likopi kapa ho fetola lebitso la setšoantšo, eseng feela nomoro ea mofuta ho ponts'o e ncha.

Liphello

Likarolo tse ikhethang tsa leru le le leng:

• Sekema sa maemo a holimo le a pono bakeng sa lits'ebeletso le lijana, e leng se u lumellang hore u fumane kapele haholo hore na mosebetsi ke ofe, hore na o amana joang le hore na o sebetsa joang le hore na ke mang ea ikarabellang bakeng sa oona.
• Re sebelisa tsa rona mokhoa oa ho kopanya prod- le batch-mesebetsi ho bahlankana ho ntlafatsa katleho ea ho arolelana mochini. Sebakeng sa cpuset re sebelisa li-quotas tsa CPU, likarolo, maano a kemiso ea CPU le Linux QoS.
• Ho ne ho sa khonehe ho arola ka botlalo lijana tse tsamaeang mochining o le mong, empa tšusumetso ea tsona e tšoanang e ntse e le ka har'a 20%.
• Ho hlophisa lits'ebeletso ho ba sehlopha sa maemo ho thusa ka ho hlaphoheloa ha likoluoa ​​ka mokhoa o itekanetseng ho beha le ho se be teng pele.

LBH

Hobaneng re sa ka ra nka tharollo e seng e entsoe?

• Likarolo tse fapaneng tsa ho arola mesebetsi li hloka mohopolo o fapaneng ha o behiloe ho metsoalle. Haeba mesebetsi ea prod e ka etsoa ka ho boloka lisebelisoa feela, ebe ho tlameha ho beoa mesebetsi ea batch le e sa sebetseng, ho latela ts'ebeliso ea 'nete ea lisebelisoa mochining o monyane.
• Tlhokahalo ea ho ela hloko lisebelisoa tse sebelisoang ke mesebetsi, joalo ka:
  • marang-rang a marang-rang;
  • mefuta le "spindles" tsa li-disk.
• Tlhokahalo ea ho bonts'a lintho tse tlang pele ho lits'ebeletso nakong ea karabelo ea tšohanyetso, litokelo le li-quotas tsa litaelo tsa lisebelisoa, tse rarolloang ho sebelisoa mela ea maemo a holimo ka leru le le leng.
• Tlhokahalo ea ho reha linkho mabitso a batho ho fokotsa nako ea ho arabela likotsing le liketsahalong
• Ho se khonehe ha ts'ebetsong ea nako e le 'ngoe e pharaletseng ea Ts'ebetso ea Ts'ebeletso; tlhokahalo ea ho phelisana ka nako e telele le mesebetsi e tšoaroang ho mabotho a hardware - ntho e rarolloang ke liaterese tsa "static" tsa IP tse latelang lijana, 'me, ka lebaka leo, tlhokahalo ea ho kopanya ka mokhoa o ikhethang le mohaho o moholo oa marang-rang.

Mesebetsi ena kaofela e ne e tla hloka liphetoho tse kholo tsa litharollo tse teng ho re tšoanela, 'me, ha re se re hlahlobile boholo ba mosebetsi, re ile ra hlokomela hore re ka iketsetsa tharollo ea rona ka litšenyehelo tse lekanang tsa basebetsi. Empa tharollo ea hau e tla ba bonolo haholo ho e sebetsa le ho e nts'etsapele - ha e na likhatiso tse sa hlokahaleng tse tšehetsang ts'ebetso eo re sa e hlokeng.

Ho ba balang mela ea ho qetela, ke leboha mamello le tlhokomelo ea hau!

Source: www.habr.com