Artem Denisov , )
Badoo ke saete e kholo ka ho fetisisa lefatšeng ea ho ratana. Hajoale re na le basebelisi ba ngolisitsoeng ba ka bang limilione tse 330 lefatšeng ka bophara. Empa se bohlokoa haholo moelelong oa moqoqo oa rona kajeno ke hore re boloka li-petabyte tse ka bang 3 tsa lifoto tsa basebelisi. Letsatsi le letsatsi basebelisi ba rona ba kenya linepe tse ncha tse ka bang limilione tse 3,5, 'me palo ea ho bala e batla e le teng Likopo tse likete tse 80 motsotsoana. Sena se ngata haholo bakeng sa backend ea rona, mme ka linako tse ling ho na le mathata ka sena.
Ke tla bua ka moralo oa tsamaiso ena, e bolokang le ho romela lifoto ka kakaretso, 'me ke tla e sheba ho tloha ka pono ea moqapi. Ho tla ba le ponelo-pele e khuts'oane ea hore na e ntlafalitse joang, moo ke tla hlalosa liketsahalo tsa bohlokoa, empa ke tla bua ka botlalo feela ka litharollo tseo re li sebelisang hona joale.
Joale ha re qaleng.
Joalokaha ke boletse, sena e tla ba ponelo-pele, 'me e le ho e qala kae-kae, a re nke mohlala o tloaelehileng haholo.
Re na le mosebetsi o tšoanang, re hloka ho amohela, ho boloka le ho romella linepe tsa basebelisi. Ka foromo ena, mosebetsi o akaretsa, re ka sebelisa eng kapa eng:
- polokelo ea leru ea sejoale-joale,
- tharollo e nang le mabokose, eo le eona e leng ngata hona joale;
- Re ka theha mechini e mengata setsing sa rona sa data mme ra beha li-hard drive tse kholo ho tsona le ho boloka linepe moo.
Badoo nalaneng - nako le nako (ka nako eo e neng e sa tsoa qala) - e phela ka li-server tsa eona, ka har'a li-DC tsa rona. Ka hona, khetho ena e ne e le molemo ho rona.
Re sa tsoa nka mechine e mengata, re e bitsa "lifoto", 'me re na le sehlopha se bolokang lifoto. Empa ho bonahala eka ho na le ntho e haellang. E le hore tsena tsohle li sebetse, re hloka ho tseba ka tsela e itseng hore na re tla boloka lifoto life mochineng ofe. 'Me mona, hape, ha ho hlokahale ho bula Amerika.
Re kenya karolo e itseng polokelong ea rona ka tlhahisoleseling mabapi le basebelisi. Sena e tla ba senotlolo sa ho arola. Tabeng ea rona, re e bitsitse place_id, 'me id ea sebaka sena e supa moo linepe tsa basebelisi li bolokiloeng teng. Re etsa limmapa.
Boemong ba pele, sena se ka etsoa le ka letsoho - re re foto ea mosebelisi ea nang le sebaka se joalo e tla lula ho seva e joalo. Ka lebaka la 'mapa ona, re lula re tseba ha mosebelisi a kenya senepe, hore na a ka se boloka hokae, 'me re tseba moo re ka se fang teng.
Ena ke morero o sa reng letho, empa o na le melemo e mengata haholo. Ea pele ke hore e bonolo, joalo ka ha ke boletse, 'me ea bobeli ke hore ka mokhoa ona re ka khona ho pharalla habonolo ka ho fana ka likoloi tse ncha le ho li kenyelletsa' mapa. Ha ho hlokahale hore u etse letho le leng.
Ho bile joalo ho rona ka nako e itseng.
Sena se etsahetse ka 2009. Ba ile ba tlisa likoloi, ba tsamaisa ...
'Me ka nako e' ngoe re ile ra qala ho hlokomela hore morero ona o na le mefokolo e itseng. Ke mefokolo efe?
Pele ho tsohle, ho na le bokhoni bo fokolang. Ha re khone ho kenya li-hard drive tse ngata ho seva se le seng kamoo re ka ratang kateng. 'Me sena se fetohile bothata bo itseng ka nako le ka kholo ea dataset.
Le ea bobeli. Ena ke tlhophiso e sa tloaelehang ea mechini, kaha mechini e joalo ho thata ho e sebelisa hape ka lihlopha tse ling; e hlakile haholo, ke hore. ba lokela ho fokola ts'ebetsong, empa ka nako e ts'oanang le hard drive e kholo.
Sena sohle e ne e le sa 2009, empa, ha e le hantle, litlhoko tsena li ntse li sebetsa le kajeno. Re na le retrospective, kahoo ka 2009 ntho e 'ngoe le e' ngoe e ne e le mpe ka ho feletseng ka sena.
'Me ntlha ea ho qetela ke theko.
Theko e ne e le holimo haholo ka nako eo, 'me ho ne ho hlokahala hore re batle mekhoa e meng. Tseo. re ne re hloka ho sebelisa sebaka se ka har'a lits'ebeletso tsa data le li-server tsa 'mele moo sena sohle se leng teng. Mme baenjiniere ba rona ba sistimi ba ile ba qala thuto e kholo moo ba ileng ba hlahloba mefuta e mengata ea likhetho tse fapaneng. Ba boetse ba shebile lits'ebetso tsa lifaele tse kopaneng tse kang PolyCeph le Luster. Ho bile le mathata a ts'ebetso le ts'ebetso e thata haholo. Ba ile ba hana. Re lekile ho beha dataset kaofela ka NFS koloing e 'ngoe le e' ngoe e le hore ka tsela e itseng re e phahamise. Ho bala le hona ho tsamaile hampe, re lekile litharollo tse fapaneng ho tsoa ho barekisi ba fapaneng.
Qetellong, re ile ra ikemisetsa ho sebelisa seo ho thoeng ke Storage Area Network.
Tsena ke li-SHD tse kholo tse etselitsoeng ka ho khetheha ho boloka lintlha tse ngata. Ke lishelefo tse nang le li-disk tse kentsoeng mochining oa ho qetela oa optical output. Seo. re na le mofuta o mong oa letamo la mechini, e nyane haholo, le li-SHD tsena, tse hlakileng ho logic ea rona ea ho romella, ke hore. bakeng sa nginx ea rona kapa mang kapa mang ho fana ka likopo tsa linepe tsena.
Qeto ena e ne e e-na le melemo e totobetseng. Sena ke SHD. E reretsoe ho boloka linepe. Sena se sebetsa ka theko e tlase ho feta feela ho hlomella mechini e nang le li-hard drive.
Mmoho ea bobeli.
Sena ke hore bokhoni bo fetohile bo boholo haholo, i.e. re ka amohela polokelo e ngata haholo ka bolumo e nyane haholo.
Empa ho ne ho boetse ho na le mefokolo e ileng ea hlaha kapele haholo. Ha palo ea basebelisi le mojaro tsamaisong ena e ntse e eketseha, mathata a ts'ebetso a ile a qala ho hlaha. 'Me bothata mona bo totobetse - SHD leha e le efe e etselitsoeng ho boloka lifoto tse ngata ka molumo o monyenyane, e le molao, e na le bothata ba ho bala ka matla. Sena ke 'nete bakeng sa polokelo efe kapa efe ea leru kapa eng kapa eng. Hona joale ha re na polokelo e nepahetseng e ka senyehang ka ho sa feleng, u ka kenya eng kapa eng ho eona, 'me e ka mamella ho baloa hantle haholo. Haholo-holo ho bala ho tloaelehileng.
Joalo ka ha ho le joalo ka lifoto tsa rona, hobane linepe li kopuoa ka mokhoa o sa tsitsang, 'me sena se tla ama ts'ebetso ea bona haholo.
Esita le ho ea ka lipalo tsa kajeno, haeba re fumana kae-kae ho feta 500 RPS bakeng sa lifoto mochine oo polokelo e hokahaneng ho oona, mathata a se a ntse a qala. 'Me ho ne ho le mpe ho rona, hobane palo ea basebelisi e ntse e eketseha, lintho li tla mpefala. Sena se hloka ho ntlafatsoa ka tsela e itseng.
E le ho ntlafatsa, re ile ra etsa qeto ka nako eo, ho hlakile, ho sheba boemo ba mojaro - ke eng, ka kakaretso, e etsahalang, e lokelang ho ntlafatsoa.
'Me mona tsohle li bapala matsohong a rona.
Ke se ke boletse ho slide ea pele: re na le likopo tsa ho bala tse likete tse 80 motsotsoana ka li-upload tse limilione tse 3,5 feela ka letsatsi. Ke hore, ena ke phapang ea litaelo tse tharo tsa boholo. Ho hlakile hore ho bala ho hloka ho ntlafatsoa 'me ho hlakile hore na joang.
Ho na le ntlha e 'ngoe hape e nyane. Litlhaloso tsa ts'ebeletso ke tsa hore motho a ingolise, a kenye foto, ebe o qala ho sheba batho ba bang ka mafolofolo, joalo ka bona, 'me o bontšoa batho ba bang ka mafolofolo. Ebe o fumana molekane kapa ha a fumane molekane, ho itšetlehile ka hore na ho etsahala joang, ebe o khaotsa ho sebelisa tšebeletso ka nakoana. Ka nako ena, ha a e sebelisa, lifoto tsa hae li chesa haholo - li batloa, batho ba bangata ba li sheba. Hang ha a khaotsa ho etsa sena, ka potlako o tlohela ho pepesehela batho ba bang haholo joalo ka ha a ne a etsa pele, 'me linepe tsa hae ha li kōpuoe.
Tseo. Re na le dataset e nyane haholo e chesang. Empa ka nako e ts'oanang ho na le likōpo tse ngata bakeng sa hae. 'Me tharollo e hlakileng ka ho feletseng mona ke ho eketsa cache.
Cache e nang le LRU e tla rarolla mathata ohle a rona. Re etsang?
Re eketsa e 'ngoe e batlang e le nyane ka pel'a sehlopha sa rona se seholo se nang le polokelo, e bitsoang photocaches. Ha e le hantle, sena ke proxy feela ea caching.
E sebetsa joang ho tsoa kahare? Mona ke mosebelisi oa rona, mona ke polokelo. Lintho tsohle li tšoana le pele. Re kenyelletsa eng lipakeng?
Ke mochini o nang le disk ea lehae ea 'mele, e potlakileng. Sena se sebetsa le SSD, mohlala. 'Me mofuta o mong oa cache oa lehae o bolokiloe ho disk ena.
E shebahala joang? Mosebedisi o romela kopo ya foto. NGINX e e batla pele ka har'a cache ea lehae. Haeba ho se joalo, feela proxy_pass ho polokelo ea rona, khoasolla foto ho tloha moo 'me u e fe mosebelisi.
Empa ena e banal haholo mme ha e hlake hore na ho etsahalang ka hare. E sebetsa ntho e kang ena.
Cache e arotsoe ka mokhoa o utloahalang ka likarolo tse tharo. Ha ke re "mekhahlelo e meraro", sena ha se bolele hore ho na le mofuta o itseng oa tsamaiso e rarahaneng. Che, tsena ke li-directory tse tharo feela tsamaisong ea lifaele:
- Sena ke buffer moo linepe tse sa tsoa khoasolla ho tsoa proxy ho ea.
- Ena ke cache e chesang e bolokang linepe tse batloang hajoale.
- Le cache e batang, moo lifoto li sutumetsoang butle-butle ka ntle ho cache e chesang ha likopo tse fokolang li fihla ho tsona.
Hore sena se sebetse, re hloka ho laola cache ena ka tsela e itseng, re hloka ho hlophisa bocha linepe tse ho eona, joalo-joalo. Hona hape ke ts'ebetso ea khale haholo.
Nginx e ngolla feela RAMDisk access.log bakeng sa kopo e 'ngoe le e' ngoe, eo ho eona e bonts'ang tsela ea setšoantšo seo e se sebelelitseng hona joale (tsela e amanang le eona), le hore na e ile ea fuoa karohano efe. Tseo. e kanna ea re "senepe sa 1" mme ebe ke buffer, kapa cache e chesang, kapa cache e batang, kapa proxy.
Ho itšetlehile ka sena, re hloka ho etsa qeto ka tsela e itseng hore na re etse eng ka foto.
Re na le daemon e nyane e sebetsang mochining o mong le o mong o lulang o bala sengoloa sena le ho boloka lipalo-palo mabapi le ts'ebeliso ea linepe tse itseng mohopolong oa eona.
O bokella feela moo, o boloka li-counter mme nako le nako o etsa tse latelang. O tsamaisa lifoto tse kōptjoang ka mafolofolo, tseo ho tsona ho nang le likopo tse ngata, ho ea ho cache e chesang, kae kapa kae moo ba leng teng.
Lifoto tse kopiloeng ka seoelo, 'me li kopuoe khafetsa, butle-butle li ntšoa ka har'a cache e chesang ho ea ho e batang.
'Me ha re felloa ke sebaka ka har'a cache, re qala feela ho hlakola ntho e' ngoe le e 'ngoe ho cache e batang re sa khethe. 'Me ka tsela, sena se sebetsa hantle.
E le hore foto e bolokehe hang-hang ha u e sebelisa ho buffer, re sebelisa proxy_store directive le buffer hape ke RAMDisk, ke hore. bakeng sa mosebedisi e sebetsa ka potlako haholo. Sena se ama ba ka hare ho seva sa caching ka boeona.
Potso e setseng ke mokhoa oa ho aba likopo ho li-server tsena.
Ha re re ho na le sehlopha sa mechine ea polokelo e mashome a mabeli le li-server tse tharo tsa caching (ke kamoo e etsahetseng kateng).
Re hloka ho etsa qeto ka tsela e itseng hore na ke likopo life tsa lifoto le hore na re ka li beha hokae.
Khetho e tloaelehileng haholo ke Round Robin. Kapa na e etsahetse ka tsietsi?
Ho hlakile hore sena se na le mathata a mangata hobane re tla be re sebelisa cache ka mokhoa o sa sebetseng maemong a joalo. Likopo li tla fihla mecheng e meng e sa reroang: mona e ne e bolokiloe, empa ho e latelang ha e sa le eo. 'Me haeba tsena tsohle li sebetsa, ho tla ba hobe haholo. Le ka palo e nyane ea mechini ka har'a sehlopha.
Re hloka ho tseba ka mokhoa o sa tsitsang hore na ke seva sefe se tla tlisa kopo efe.
Ho na le tsela ea banal. Re nka hashe ho tsoa ho URL kapa hashe ho senotlolo sa rona sa sharding, se ho URL, ebe re e arola ka palo ea li-server. E tla sebetsa? Thato.
Tseo. Re na le kopo ea 2%, mohlala, bakeng sa "example_url" e 'ngoe e tla lula e le ho seva ka index "XNUMX",' me cache e tla lula e lahloa ka hohle kamoo ho ka khonehang.
Empa ho na le bothata ba ho arolelana bocha morerong o joalo. Resharding - Ke bolela ho fetola palo ea li-server.
Ha re nke hore sehlopha sa rona sa caching ha se sa khona ho sebetsana le boemo mme re etsa qeto ea ho eketsa mochini o mong.
Ha re eketse.
Hona joale ntho e 'ngoe le e' ngoe e aroloa eseng ka tse tharo, empa ka tse 'nè. Kahoo, hoo e batlang e le linotlolo tsohle tseo re neng re e-na le tsona, hoo e batlang e le li-URL tsohle hona joale li phela ho li-server tse ling. Cache kaofela e ne e sa sebetse ka nakoana feela. Likopo tsohle li ile tsa oela sehlopheng sa rona sa polokelo, ea fetoha e sa pheleng hantle, ho hloleha ha litšebeletso le basebelisi ba sa khotsofalang. Ha ke batle ho etsa joalo.
Khetho ena le rona ha e re tšoanele.
Seo. re lokela ho etsang? Ka tsela e itseng re tlameha ho sebelisa cache ka nepo, re fane ka kopo e tšoanang khafetsa ho seva e le 'ngoe, empa re hana ho arolelana hape. 'Me ho na le tharollo e joalo, ha e thata hakaalo. E bitsoa consistent hashing.
E shebahala joang?
Re nka ts'ebetso e itseng ho tsoa ho senotlolo sa sharding ebe re hasa boleng ba eona ho selikalikoe. Tseo. ntlheng ea 0, litekanyetso tsa eona tse tlase le tse phahameng lia kopana. Ka mor'a moo, re beha li-server tsohle tsa rona selikalikoeng se le seng ka tsela ena:
Seva e 'ngoe le e' ngoe e hlalosoa ke ntlha e le 'ngoe,' me lekala le eang ho eona ka nako e nepahetseng, ka hona, le sebeletsoa ke moeti enoa. Ha likōpo li tla ho rona, hang-hang re bona hore, ka mohlala, kopa A - e na le hash moo - 'me e sebeletsoa ke seva 2. Kopa B - ka seva 3. Joalo joalo.
Ho etsahala'ng boemong boo nakong ea ho arolelana hape?
Ha re nyenyefatse cache eohle, joalo ka pele, 'me ha re fetole linotlolo tsohle, empa re suthela karolo e' ngoe le e 'ngoe sebaka se khuts'oane e le hore, ha re bua, seva sa rona sa botšelela, seo re batlang ho se eketsa, se kenelle sebakeng sa mahala, le re e eketsa moo.
Ha e le hantle, boemong bo joalo linotlolo le tsona lia tsoa. Empa ba tsamaea ba fokola haholo ho feta pele. 'Me rea bona hore linotlolo tsa rona tse peli tsa pele li ile tsa sala ho li-server tsa tsona,' me seva sa caching se fetohile feela bakeng sa senotlolo sa ho qetela. Sena se sebetsa hantle, 'me haeba u eketsa mabotho a macha ka ho eketseha, ha ho na bothata bo boholo mona. U eketsa le ho eketsa hanyenyane ka nako, emela ho fihlela cache e tletse hape, 'me ntho e' ngoe le e 'ngoe e sebetsa hantle.
Potso feela e sala ka ho hana. A re nke hore mofuta o mong oa koloi o tsoile taolong.
'Me ha re batle ho tsosolosa' mapa ona ka nako ena, ho senya karolo ea cache, joalo-joalo, haeba, ka mohlala, mochine o ile oa tsosolosoa, 'me re hloka ho etsa likopo tsa tšebeletso ka tsela e itseng. Re boloka cache e le 'ngoe feela ea bekapo sebakeng se seng le se seng, se sebetsang e le sebaka sa mochini ofe kapa ofe o seng o theohile hajoale. 'Me haeba ka tšohanyetso e' ngoe ea li-server tsa rona e sa fumanehe, sephethephethe se ea moo. Ka tlhaho, ha re na cache leha e le efe moo, i.e. hoa bata, empa bonyane likopo tsa basebelisi li ntse li sebetsoa. Haeba sena e le nako e khuts'oane, joale re e fumana ka khutso ka botlalo. Ho na le moroalo o mongata feela polokelong. Haeba nako ena e le telele, joale re ka se re entse qeto - ho tlosa seva sena 'mapeng kapa che, kapa mohlomong re nkele e 'ngoe sebaka.
Sena se mabapi le sistimi ea caching. Ha re shebeng litholoana.
Ho ka bonahala eka ha ho letho le rarahaneng mona. Empa mokhoa ona oa ho laola cache o re file sekhahla sa maqiti se ka bang 98%. Tseo. ho tsena likopo tse likete tse 80 motsotsoana, ke 1600 feela e fihlang polokelong, 'me sena ke mojaro o tloaelehileng, ba o mamella ka khutso, re lula re e-na le sebaka sa polokelo.
Re behile li-server tsena ho li-DC tsa rona tse tharo, mme ra fumana lintlha tse tharo tsa boteng - Prague, Miami le Hong Kong.
Seo. li fumaneha sebakeng sa heno ho e 'ngoe le e 'ngoe ea limmaraka tseo re li batlang.
'Me joalo ka bonase e ntle, re na le proxy ena ea caching, eo CPU e hlileng e sa sebetseng, hobane ha e hlokehe hakaalo ho fana ka litaba. Ha re le moo, re sebelisa NGINX+ Lua, re kentse ts'ebetso e ngata ea logic ea lisebelisoa.
Mohlala, re ka etsa liteko ka webp kapa jpeg e tsoelang pele (tsena ke lifomate tse sebetsang hantle tsa sejoale-joale), ra bona hore na e ama sephethephethe joang, ra etsa liqeto tse itseng, ra e nolofalletsa linaha tse itseng, joalo-joalo; etsa dynamic resize kapa lijalo linepe hang-hang.
Ena ke ts'ebeliso e ntle ha, mohlala, u na le sesebelisoa sa mohala se bonts'ang linepe, 'me sesebelisoa sa mehala ha se batle ho senya CPU ea moreki ka ho kopa foto e kholo ebe o e fetola boholo bo itseng hore o e sutumelletse ho eona. pono. Re ka hlakisa maemo a mang ho URL ea maemo a UPort, 'me cache ea lifoto e tla fetola boholo ba foto ka boeona. Ha e le molao, e tla khetha boholo boo re nang le bona ka disk, e haufi ka hohle kamoo ho ka khonehang ho e kōptjoang, 'me re e theole ka lihokela tse itseng.
Ka tsela ena, re entse hore lirekoto tsa video li fumanehe phatlalatsa tsa lilemo tse hlano tse fetileng tsa kopano ea baetsi ba litsamaiso tse boima haholo. . Shebella, ithute, arolelana le ho ingolisa ho .
Re ka boela ra eketsa lintlha tse ngata tsa sehlahisoa moo. Mohlala, re ka eketsa li-watermark tse fapaneng re sebelisa li-parameter tsa URL, re ka fifatsa, ra fifatsa kapa ra ba le linepe tsa pixelate. Mona ke ha re batla ho bonts'a foto ea motho, empa ha re batle ho bontša sefahleho sa hae, sena se sebetsa hantle, tsohle li kenngoa ts'ebetsong mona.
Re fumane eng? Re na le lintlha tse tharo tsa boteng, sekhahla se setle sa maqheka, 'me ka nako e ts'oanang ha re na CPU e sa sebetseng mochining ona. Ho hlakile hore joale o se a le bohlokoa ho feta pele. Re hloka ho ipha likoloi tse matla, empa ho bohlokoa.
Sena se ama ho khutla ha linepe. Ntho e 'ngoe le e 'ngoe mona e hlakile ebile e hlakile. Ke nahana hore ha kea fumana Amerika, hoo e batlang e le CDN leha e le efe e sebetsa ka tsela ena.
'Me, mohlomong, momameli ea rarahaneng a ka ba le potso: ke hobane'ng ha u sa fetole ntho e' ngoe le e 'ngoe ho CDN? E ka ba ntho e ts'oanang; li-CDN tsohle tsa sejoale-joale li ka etsa sena. Mme ho na le mabaka a mangata.
Ea pele ke lifoto.
Ena ke e 'ngoe ea lintlha tsa bohlokoa tsa meralo ea rona ea motheo, 'me re hloka taolo e ngata kamoo ho ka khonehang. Haeba ena ke mofuta oa tharollo e tsoang ho morekisi oa motho oa boraro, 'me ha u na matla holim'a eona, ho tla ba thata haholo ho uena ho phela le eona ha u na le dataset e kholo, le ha u na le phallo e kholo haholo. ea likopo tsa basebelisi.
E-re ke u fe mohlala. Hona joale, ka lisebelisoa tsa rona tsa motheo, re ka etsa mohlala, haeba ho na le mathata a itseng kapa ho kokota ka tlas'a lefatše, re ea mochineng 'me ra senya moo, ha re bua. Re ka eketsa pokello ea metrics e meng eo re e hlokang feela, re ka etsa liteko ka tsela e itseng, ra bona hore na sena se ama li-graph joang, joalo-joalo. Hona joale lipalo-palo tse ngata li ntse li bokelloa sehlopheng sena sa caching. 'Me re e sheba nako le nako' me re qeta nako e telele re hlahloba lintho tse ling tse sa tloaelehang. Haeba e ne e le ka lehlakoreng la CDN, ho ne ho tla ba thata haholo ho laola. Kapa, ka mohlala, haeba kotsi ea mofuta o itseng e hlaha, rea tseba se etsahetseng, re tseba ho phela le eona le kamoo re ka e hlōlang kateng. Ena ke qeto ea pele.
Qeto ea bobeli e boetse e na le histori, hobane tsamaiso e 'nile ea tsoela pele ka nako e telele,' me ho ne ho e-na le litlhoko tse ngata tse fapaneng tsa khoebo ka mekhahlelo e fapaneng, 'me ha li lumellane kamehla le khopolo ea CDN.
'Me ntlha e latelang ho tloha ho e fetileng ke
Sena ke hobane ho li-cache tsa lifoto re na le lintlha tse ngata tse hlakileng, tse ke keng tsa eketsoa ka kopo kamehla. Ha ho na monyetla oa hore CDN efe kapa efe e tla u ekelletsa lintho tse ling tsa moetlo ka kopo ea hau. Mohlala, ho ngola li-URL haeba u sa batle hore moreki a khone ho fetola ho hong. Na u batla ho fetola URL ho seva le ho e patala, ebe u romella likarolo tse ling tse matla mona.
See se fana ka maikutlo afe? Tabeng ea rona, CDN ha se khetho e ntle haholo.
'Me molemong oa hau, haeba u na le litlhoko tse ikhethileng tsa khoebo, u ka sebelisa seo ke u bontšitseng sona habonolo. 'Me sena se tla sebetsa ka mokhoa o phethahetseng le profil e tšoanang ea mojaro.
Empa haeba u na le mofuta o itseng oa tharollo e akaretsang, 'me mosebetsi ha o o tobileng haholo, o ka nka CDN ka mokhoa o sireletsehileng. Kapa haeba nako le lisebelisoa li bohlokoa ho uena ho feta taolo.
'Me li-CDN tsa morao-rao li na le hoo e ka bang tsohle tseo ke u boleletseng tsona hona joale. Ntle le ho kopanya kapa ho tlosa likarolo tse ling.
Sena se mabapi le ho fana ka linepe.
Ha re tsoeleng pele hanyenyane ka morao-rao re bue ka polokelo.
2013 e ne e feta.
Li-server tsa caching li kentsoe, mathata a ts'ebetso a ile a fela. Tsohle di lokile. Dataset ea eketseha. Ho tloha ka 2013, re ne re e-na le li-server tse ka bang 80 tse hokahaneng le polokelo, le tse ka bang 40 tsa caching ho DC ka 'ngoe. Ena ke 560 terabytes ea data ho DC ka 'ngoe, ke hore. e ka bang petabyte ka kakaretso.
'Me ka kholo ea dataset, litšenyehelo tsa ts'ebetso li ile tsa qala ho phahama haholo. See se ne se bolela’ng?
Setšoantšong sena se toroiloeng - se nang le SAN, se nang le mechine le li-cache tse amanang le eona - ho na le lintlha tse ngata tsa ho hlōleha. Haeba re ne re se re ntse re sebetsana le ho hlōleha ha li-server tsa caching pele, ntho e 'ngoe le e' ngoe e ne e le ntho e sa lebelloang le e utloisisoang, empa ka lehlakoreng la polokelo ntho e 'ngoe le e' ngoe e ne e le mpe haholo.
Ntlha ea pele, Storage Area Network (SAN) ka boeona, e ka hlōlehang.
Taba ea bobeli, e hokahane ka li-optics ho ea ho mechini ea ho qetela. Ho ka ba le mathata ka likarete tsa optical le spark plugs.
Ehlile, ha ho na tse ngata tsa tsona joalo ka SAN ka boeona, empa, leha ho le joalo, tsena le tsona ke lintlha tsa ho hloleha.
E latelang ke mochine ka boeona, o hokahaneng le polokelo. E ka boela ea hlōleha.
Ka kakaretso, re na le lintlha tse tharo tsa ho hlōleha.
Ho feta moo, ho phaella lintlheng tsa ho hlōleha, ho na le tlhokomelo e boima ea polokelo ka boeona.
Ena ke sistimi e rarahaneng ea likarolo tse ngata, 'me baenjiniere ba sistimi ba ka ba le bothata ba ho sebetsa le eona.
'Me ntlha ea ho qetela, ea bohlokoa ka ho fetisisa. Haeba ho hloleha ho etsahala ho efe kapa efe ea lintlha tsena tse tharo, re na le monyetla oa ho lahleheloa ke data ea mosebelisi hobane sistimi ea faele e ka senyeha.
Ha re re sistimi ea rona ea lifaele e robehile. Ntlha ea pele, ho hlaphoheloa ha eona ho nka nako e telele - ho ka nka beke ka palo e kholo ea data. Taba ea bobeli, qetellong re tla qetella re e-na le sehlopha sa lifaele tse sa utloisiseheng tse tla hloka ho kopanngoa ka tsela e itseng ho ba lifoto tsa basebelisi. 'Me re kotsing ea ho lahleheloa ke data. Kotsi e kholo haholo. 'Me hangata maemo a joalo a etsahala,' me ha mathata a ntse a eketseha ka ketane ena kaofela, kotsi ena e phahame.
Ho ne ho lokela ho etsoa ho hong ka sena. Mme re nkile qeto ya hore re hloka feela ho boloka data. Ha e le hantle ena ke tharollo e hlakileng le e ntle. Re entseng?
Sena ke seo seva sa rona se neng se shebahala ka sona ha se ne se hokahantsoe le polokelo pele. Ena ke karolo e le 'ngoe e kholo, ke sesebelisoa sa block se hlileng se emelang thaba bakeng sa polokelo e hole ka li-optics.
Re sa tsoa eketsa karolo ea bobeli.
Re behile polokelo ea bobeli haufi le eona (ka lehlohonolo, ha e theko e boima hakaalo ka chelete), 'me ra e bitsa karohano ea "backup". E boetse e hokahane ka optics mme e fumaneha mochining o le mong. Empa re hloka ho hokahanya data ka tsela e itseng lipakeng tsa bona.
Mona re etsa queuous asynchronous haufinyane.
Ha a phathahane haholo. Rea tseba hore ha re na lirekoto tse lekaneng. Lethathamo ke tafole feela ho MySQL moo mela e kang "o hloka ho boloka foto ena" e ngotsoe. Ka phetoho efe kapa efe kapa ho kenya, re kopitsa ho tloha karolong e ka sehloohong ho ea ho "backup" ka mokhoa o sa tloaelehang kapa mofuta o itseng oa basebetsi ba morao-rao.
'Me ka hona re lula re e-na le likarolo tse peli tse lumellanang. Esita le haeba karolo e le 'ngoe ea tsamaiso ena e hlōleha, re ka lula re fetola karohano e kholo ka ho boloka,' me ntho e 'ngoe le e' ngoe e tla tsoela pele ho sebetsa.
Empa ka lebaka la sena, mojaro oa ho bala o eketseha haholo, hobane ... ho phaella ho bareki ba balang ho tloha karolong e ka sehloohong, hobane ba qala ho sheba foto moo (e sa tsoa feta moo), ebe ba e batla ho boloka, haeba ba e-s'o e fumane (empa NGINX e etsa sena feela), sistimi ea rona e boetse e le "backup" e baloang ho tsoa karolong e kholo. Ha se hore sena e ne e le botlolo, empa ke ne ke sa batle ho eketsa mojaro, haholo-holo, joalo feela.
Mme re kentse disk ea boraro, e leng SSD e nyane, mme ra e bitsa buffer.
E sebetsa joang hona joale.
Mosebelisi o kenya foto ho buffer, ebe ketsahalo e lahleloa moleng e bontšang hore e hloka ho kopitsoa likarolong tse peli. E kopitsoe, 'me foto e lula ka har'a buffer ka nako e itseng (e re, ka letsatsi),' me ke ka nako eo feela e hloekisoang moo. Sena se ntlafatsa haholo boiphihlelo ba mosebelisi, hobane mosebelisi o kenya foto, joalo ka molao, likopo li qala ho latela hang-hang, kapa eena ka boeena o nchafalitse leqephe leo mme a le khatholla. Empa tsohle li ipapisitse le ts'ebeliso e etsang upload.
Kapa, ka mohlala, batho ba bang bao a ileng a qala ho iponahatsa ho bona hang-hang ba romela likōpo ka mor'a setšoantšo sena. Ha e so ka e bolokoa; kopo ea pele e etsahala kapele haholo. Ha e le hantle ho tšoana le ho tsoa ho cache ea lifoto. Ho boloka butle ha ho na karolo ho sena ho hang. 'Me ha letsatsi hamorao e hloekisoa, e se e ntse e le ka har'a caching layer ea rona, kapa, mohlomong, ha ho motho ea e hlokang. Tseo. Boiphihlelo ba mosebelisi mona bo holile hantle haholo ka lebaka la maano a bonolo joalo.
Hantle, 'me ho bohlokoa ka ho fetisisa: re khaotse ho lahleheloa ke data.
Ha re re re ile ra emisa ka kgonehang lahleheloa ke data, hobane ha rea ka ra lahleheloa ke eona. Empa ho ne ho e-na le kotsi. Rea bona hore tharollo ena, ehlile, e ntle, empa e batla e tšoana le ho batalatsa matšoao a bothata, ho fapana le ho bo rarolla ka botlalo. 'Me mathata a mang a sala mona.
Taba ea pele, ena ke ntlha ea ho hloleha ka sebopeho sa moamoheli oa 'mele oo mochini ona kaofela o sebetsang ho oona; ha e so tsamaee.
Taba ea bobeli, ho ntse ho na le mathata ka li-SAN, tlhokomelo e boima ea tsona, joalo-joalo. E ne e se hore e ne e le ntlha e mahlonoko, empa ke ne ke batla ho leka ka tsela e itseng ho phela ntle le eona.
'Me re entse phetolelo ea boraro (ha e le hantle, ea bobeli ha e le hantle) - phetolelo ea ho boloka. E ne e shebahala joang?
Sena ke seo e neng e le sona -
Mathata a rona a mantlha ke taba ea hore enoa ke moamoheli oa 'mele.
Taba ea pele, re tlosa li-SAN hobane re batla ho etsa liteko, re batla ho leka li-drive tsa lehae feela.
Sena se se se ntse se le 2014-2015, 'me ka nako eo boemo ba li-disks le bokhoni ba bona ho moeti a le mong bo ile ba ntlafala haholo. Re ile ra etsa qeto ea hore na ke hobane'ng ha re sa e leke.
Ebe re nka karolo ea rona ea "backup" ebe re e fetisetsa mochining o fapaneng.
Kahoo, re fumana setšoantšo sena. Re na le likoloi tse peli tse bolokang li-dataset tse tšoanang. Ba tšehetsana ka botlalo 'me ba hokahanya data holim'a marang-rang ka tatellano ea asynchronous ho MySQL e tšoanang.
Hobaneng sena se sebetsa hantle ke hobane re na le lirekoto tse fokolang. Tseo. haeba ho ngola ho ne ho ka bapisoa le ho bala, mohlomong re ne re tla ba le mofuta o itseng oa marang-rang le mathata. Ho na le ho ngola ho fokolang, ho bala haholo - mokhoa ona o sebetsa hantle, i.e. Ha se hangata re kopitsang linepe lipakeng tsa li-server tsena tse peli.
Sena se sebetsa joang, haeba u sheba ka ho qaqileng haholoanyane.
Kenya. Balancer ba khetha feela li-host tse nang le para le ho li kenya ho eona. Ka nako e ts'oanang, ka tlhaho o hlahloba bophelo bo botle 'me o etsa bonnete ba hore koloi ha e oe. Tseo. o kenya linepe feela ho seva e phelang, ebe ka tatellano e sa tsitsang li kopitsoa ho moahelani oa hae. Ka upload, tsohle li bonolo haholo.
Mosebetsi o batla o le boima haholoanyane.
Lua e re thusitse mona, hobane ho ka ba thata ho etsa logic e joalo ho vanilla NGINX. Re qala ho etsa kopo ho seva sa pele, bona hore na foto e teng, hobane mohlomong e ka beoa, ka mohlala, ho moahelani, empa ha e e-s'o fihle mona. Haeba senepe se le teng, ho lokile. Hang-hang re e fa mofani, 'me mohlomong, re e boloka.
Haeba e le sieo, re etsa kopo ho moahelani oa rona 'me re tiisetsoa hore re tla e amohela ho tloha moo.
Seo. hape re ka re: ho ka 'na ha e-ba le mathata ka ts'ebetso, hobane ho na le maeto a kamehla a ho potoloha - foto e ile ea kenngoa, ha e eo mona, re etsa likōpo tse peli ho e-na le e le' ngoe, sena se lokela ho sebetsa butle-butle.
Boemong ba rona, sena ha se sebetse butle.
Re bokella metrics e mengata tsamaisong ena, 'me tekanyo e bohlale ea maemo a mochine o joalo e ka ba 95%. Tseo. Sekhahla sa "backup" sena se nyane, 'me ka lebaka lena re se re tiiselitsoe, ka mor'a hore foto e kenngoe, re tla e nka ka lekhetlo la pele' me re ke ke ra tlameha ho ea kae kapa kae habeli.
Joale ke eng hape eo re nang le eona e ntle haholo?
Pejana, re ne re e-na le karolo ea mantlha ea "backup", 'me re bala ho tsoa ho eona ka tatellano. Tseo. Re ne re lula re batlisisa ho ea mantlha pele, ebe ka mor'a bekapo. E ne e le mohato o le mong.
Hona joale re sebelisa ho bala ho tsoa mechini e 'meli ka nako e le ngoe. Re aba likopo re sebelisa Round Robin. Karolong e nyane ea linyeoe re etsa likopo tse peli. Empa ka kakaretso, joale re na le setoko sa ho bala habeli ho feta seo re neng re e-na le sona pele. 'Me mojaro o ne o fokotsehile haholo ka bobeli mechineng e romelang le ka ho toba mechine ea polokelo, eo le rona re neng re e-na le eona ka nako eo.
Ha e le ho mamella liphoso. Ha e le hantle, sena ke seo re neng re se loanela haholo-holo. Ka mamello ea liphoso, tsohle li ile tsa tsamaea hantle mona.
Koloi e le 'ngoe ea robeha.
Ha ho bothata! Moenjiniere oa tsamaiso a ka 'na a se ke a tsoha le bosiu, o tla ema ho fihlela hoseng, ha ho letho le lebe le tla etsahala.
Haeba le haeba mochini ona o hloleha, mokoloko o tsoile taolong, ha ho na mathata, logong e tla bokelloa pele mochining o phelang, ebe e eketsoa moleng, ebe e fetela koloing e tlang. kena tshebetsong ka mora nako e itseng.
Hoa tšoana le ka tlhokomelo. Re mpa re tima mochini o mong, ka letsoho re o ntša matamong ohle, o emisa ho amohela traffic, re etsa maintenance ea mofuta o itseng, re lokisa ho hong, ebe re o khutlisetsa ts'ebetsong, 'me backup ena e ts'oara kapele. Tseo. ka letsatsi, nako ea ho theoha ha koloi e le 'ngoe e fihla ka mor'a metsotso e seng mekae. Sena se hlile se nyane haholo. Ka mamello ea liphoso, ke re hape, ntho e 'ngoe le e' ngoe e pholile mona.
Ke liqeto life tse ka fihleloang ho tsoa morerong ona oa khaello ea mesebetsi?
Re ile ra mamella liphoso.
Ho bonolo ho e sebelisa. Kaha mechini e na le li-drive tse thata tsa lehae, sena se bonolo haholoanyane ho latela pono ea ts'ebetso bakeng sa baenjiniere ba sebetsang le eona.
Re ile ra fumana chelete ea ho bala habeli.
Ena ke bonase e ntle haholo ntle le mamello ea liphoso.
Empa ho boetse ho na le mathata. Hona joale re na le tsoelo-pele e rarahaneng haholo ea likarolo tse ling tse amanang le sena, hobane tsamaiso e fetohile 100% qetellong e tsitsitseng.
Re tlameha, re re, mosebetsing o mong oa morao-rao, re lule re nahana: "Re sebetsa ho seva sefe hona joale?", "Na ehlile ho na le foto ea hajoale?" etc. Sena, ehlile, se phuthetsoe kaofela, 'me bakeng sa moqapi ea ngolang mohopolo oa khoebo, e hlakile. Empa, leha ho le joalo, ho hlahile lera lena le leholo le rarahaneng. Empa re itokiselitse ho mamella sena e le phapanyetsano bakeng sa lintho tse molemo tseo re li fumaneng ho eona.
'Me mona hape ho hlaha likhohlano tse ling.
Ke boletse qalong hore ho boloka ntho e 'ngoe le e' ngoe ho li-hard drive tsa lehae ho fosahetse. Mme jwale ke re re e ratile.
E, ka sebele, ha nako e ntse e feta boemo bo fetohile haholo, 'me hona joale mokhoa ona o na le melemo e mengata. Taba ea pele, re fumana ts'ebetso e bonolo haholoanyane.
Taba ea bobeli, e hlahisa litholoana haholoanyane, hobane ha re na li-controller tsena tse ikemetseng kapa likhokahano ho lishelefo tsa disk.
Ho na le mechine e mengata haholo moo, 'me tsena ke li-disk tse seng kae feela tse bokelletsoeng mona mochineng ho hlasela.
Empa ho boetse ho na le mefokolo.
Sena se bitsa chelete e ngata makhetlo a 1,5 ho feta ho sebelisa li-SAN le ka litheko tsa kajeno. Ka hona, re ile ra etsa qeto ea ho se fetole sehlopha sa rona se seholo ka sebete likoloi tse nang le li-hard drive tsa lehae mme ra etsa qeto ea ho tlohela tharollo ea lebasetere.
Halofo ea mechini ea rona e sebetsa ka li-drive tse thata (hantle, eseng halofo - mohlomong liperesente tse 30). 'Me tse ling kaofela ke likoloi tsa khale tse neng li e-na le morero oa pele oa ho boloka. Re ile ra li beha hape, kaha re ne re sa hloke data e ncha kapa eng kapa eng, re ile ra tlosa lithapo ho tloha ho motho a le mong ho ea ho tse peli.
Mme jwale re na le palo e kgolo ya ho bala, mme re e atolositse. Haeba pejana re ne re kentse polokelo e le 'ngoe mochining o le mong, joale re beha tse' nè, mohlala, ka para e le 'ngoe. Mme e sebetsa hantle.
A re ke re hlahlobeng ka bokhutšoanyane seo re se finyeletseng, seo re ileng ra se loanela le hore na re ile ra atleha kapa che.
Liphello
Re na le basebelisi - ba ka bang limilione tse 33.
Re na le lintlha tse tharo tsa boteng - Prague, Miami, Hong Kong.
Li na le lera la caching, le nang le likoloi tse nang le li-disks tsa libaka tse potlakileng (SSDs), tseo ho tsona mechine e bonolo e tsoang ho NGINX, access.log le Python daemons e sebetsang, e sebetsanang le sena sohle le ho laola cache.
Haeba u lakatsa, u projekeng ea hau, haeba linepe li se bohlokoa ho uena joalo ka ha li le bohlokoa ho rona, kapa haeba taolo ea khoebo khahlanong le lebelo la nts'etsopele le litšenyehelo tsa lisebelisoa li le ka lehlakoreng le leng bakeng sa hau, joale u ka li khutlisa ka mokhoa o sireletsehileng. ka CDN, li-CDN tsa sejoale-joale li sebetsa hantle.
Ka mor'a moo ho tla lera la polokelo, leo ho lona re nang le lihlopha tsa lipara tsa mechini tse tšehetsanang, lifaele li kopitsoa ka mokhoa o sa tsitsang ho tloha ho o mong ho ea ho o mong neng kapa neng ha li fetoha.
Ho feta moo, e meng ea mechini ena e sebetsa ka li-hard drive tsa lehae.
E meng ea mechini ena e hoketsoe ho li-SAN.
'Me, ka lehlakoreng le leng, ho bonolo ho e sebelisa le ho hlahisa litholoana, ka lehlakoreng le leng, ho loketse ho latela boima ba ho beoa le theko ka gigabyte.
Ena ke kakaretso e khuts'oane ea meralo ea seo re se fumaneng le hore na se tsoetse pele joang.
Litlhahiso tse ling tse 'maloa tse tsoang ho motsamaisi, tse bonolo haholo.
Ntlha ea pele, haeba ka tšohanyetso u etsa qeto ea hore u hloka ho ntlafatsa ka potlako ntho e 'ngoe le e' ngoe ea lisebelisoa tsa hau tsa lifoto, lekanya pele, hobane mohlomong ha ho letho le hlokang ho ntlafatsoa.
E-re ke u fe mohlala. Re na le sehlopha sa mechini e romellang linepe ho tsoa ho li-attachments lipuisanong, 'me morero ona esale o sebetsa moo ho tloha ka 2009,' me ha ho motho ea nang le bothata ba oona. Motho e mong le e mong o lokile, bohle ba rata ntho e nngwe le e nngwe.
E le hore u lekanye, qala ka ho fanyeha metrics e mengata, e shebe, ebe u etsa qeto ea hore na u sa thaba le eng e lokelang ho ntlafatsoa. E le ho lekanya sena, re na le sesebelisoa se pholileng se bitsoang Pinba.
E u lumella ho bokella lipalo-palo tse qaqileng haholo ho tsoa ho NGINX bakeng sa kopo e 'ngoe le e 'ngoe le likhoutu tsa karabo, le kabo ea linako - eng kapa eng eo u e batlang. E na le litlamo ho mefuta eohle ea litsamaiso tse fapaneng tsa analytics, 'me joale u ka e sheba ka bokhabane.
Re qala ka ho e lekanya, ebe re e ntlafatsa.
Ho feta moo. Re ntlafatsa ho bala ka cache, ho ngola ka sharding, empa ena ke ntlha e hlakileng.
Ho feta moo. Haeba u sa tsoa qala ho theha sistimi ea hau, ho molemo haholo ho etsa linepe joalo ka lifaele tse ke keng tsa fetoha. Hobane hang-hang u lahleheloa ke sehlopha sa mathata ka ho se sebetse ha cache, ka hore na logic e lokela ho fumana mofuta o nepahetseng oa foto joang, joalo-joalo.
Ha re re u kentse tse lekholo, ebe ua li potoloha, ua li etsa hore e be faele e fapaneng ea 'mele. Tseo. ha ho hlokahale hore u nahane: joale ke tla boloka sebaka se senyenyane, se ngolle faeleng e le 'ngoe, fetola phetolelo. Hangata sena ha se sebetse hantle mme se baka hlooho e ngata hamorao.
Ntlha e latelang. Hoo e ka bang resize ka fofa.
Nakong e fetileng, ha basebelisi ba ne ba kenya foto, hang-hang re ile ra khaola bongata bo boholo bakeng sa liketsahalo tsohle, bakeng sa bareki ba fapaneng, 'me kaofela li ne li le disk. Joale re lahlile sena.
Re siile tsa boholo tse tharo feela: tse nyane, tse mahareng le tse kholo. Re fokotsa ntho e 'ngoe le e 'ngoe ho tloha ka boholo bo ka morao ho eo re e kopiloeng Uport, re mpa re etsa maemo a tlaase ebe re e fa mosebedisi.
CPU ea "caching layer" mona e bonahala e le theko e tlase haholo ho feta haeba re ne re lula re nchafatsa boholo bona polokelong ka 'ngoe. Ha re re re batla ho eketsa e ncha, sena se tla nka khoeli - tsamaisa script hohle e neng e tla etsa sena sohle ka makhethe, ntle le ho senya sehlopha. Tseo. Haeba u na le monyetla oa ho khetha hona joale, ho molemo ho etsa boholo bo fokolang ba 'mele ka hohle kamoo ho ka khonehang, empa e le hore bonyane kabo e itseng, e re, tse tharo. 'Me ntho e' ngoe le e 'ngoe e ka fokotsoa habonolo ka fofa ho sebelisa li-module tse entsoeng hantle. Tsohle li bonolo ebile lia fumaneha hona joale.
Mme bekapo e ntseng e eketseha ea asynchronous e ntle.
Joalokaha mokhoa oa rona o bontšitse, morero ona o sebetsa hantle ka ho lieha ho kopitsa lifaele tse fetotsoeng.
Ntlha ea ho qetela le eona e hlakile. Haeba lisebelisoa tsa hau tsa motheo li se na mathata a joalo hona joale, empa ho na le ntho e ka senyang, ka sebele e tla robeha ha e fetoha e nyenyane haholoanyane. Ka hona, ho molemo ho nahana ka sena esale pele mme u se ke ua ba le mathata ka eona. Ke phetho seo ke neng ke batla ho se bua.
mabitso
»
»
Tlaleho ena ke sengoloa sa e 'ngoe ea lipuo tse ntle ka ho fetisisa kopanong ea baetsi ba litsamaiso tse boima bo phahameng . Ho setse nako e ka tlase ho khoeli pele ho kopano ea HighLoad++ 2017.
Re se re ntse re e lokisitse , kemiso e se e ntse e etsoa ka mafolofolo.
Selemong sena re tsoela pele ho hlahloba sehlooho sa meralo ea meralo le sekala:
- / Igor Vasiliev
- / Dmitry Egorov
- / Anatoly Plaskovsky
- / Roman Shekhovtsov, Alexey Gromatchikov
- / Philip Delgado
Re boetse re sebelisa tse ling tsa lisebelisoa tsena thupelong ea rona ea inthanete mabapi le ho theha litsamaiso tse boima haholo ke letoto la mangolo a khethiloeng ka ho khetheha, lingoliloeng, lisebelisoa, livideo. Buka ea rona e se e ntse e na le lisebelisoa tse fetang 30 tse ikhethang. Hokela!
Source: www.habr.com