Ho hlophisoa ha data ho ipapisitseng le litaba ke bothata bo bulehileng. Mekhoa ea setso ea thibelo ea tahlehelo ea data (DLP) e rarolla bothata bona ka ho hatisa lintlha tse amehang le ho beha leihlo lintlha tsa ho qetela tsa ho hatisa menoana. Ka lebaka la palo e kholo ea lisebelisoa tsa data tse lulang li fetoha ho Facebook, mokhoa ona ha se feela hore o ka senyeha, empa hape ha o na thuso ho fumana hore na data e lula hokae. Pampiri ena e tsepamisitse maikutlo tsamaisong ea ho qetela-ho-qetellong e hahiloeng ho bona mefuta e hlokolosi ea semantic ho Facebook ka tekanyo le ho kenya ts'ebetsong polokelo ea data le taolo ea phihlello.
Mokhoa o hlalositsoeng mona ke mokhoa oa rona oa pele oa ho qetela oa boinotši o lekang ho rarolla bothata bona ka ho kenyelletsa matšoao a data, ho ithuta ka mochine, le mekhoa e tloaelehileng ea ho hatisa menoana ho etsa 'mapa le ho arola lintlha tsohle ho Facebook. Sistimi e hlalositsoeng e sebetsa tikolohong ea tlhahiso, e fihlelang palo e tloaelehileng ea F2 ea 0,9+ ho pholletsa le litlelase tse fapaneng tsa lekunutu ha e ntse e sebetsana le lisebelisoa tse ngata tsa data libakeng tse ngata tsa polokelo. E hlahisa phetolelo ea pampiri ea ArXiv ea Facebook mabapi le likarolo tsa data tse scalable bakeng sa ts'ireletso le boinotšing bo ipapisitseng le thuto ea mochini.
Selelekela
Kajeno, mekhatlo e bokella le ho boloka data e ngata ka mefuta le libaka tse fapaneng [1], ebe data e sebelisoa libakeng tse ngata, ka linako tse ling e kopitsoa kapa e bolokoe ka makhetlo a mangata, e leng se etsang hore tlhahisoleseling ea bohlokoa le e hlokolosi ea khoebo e hasane ho data e mengata ea likhoebo. mabenkele. Ha mokhatlo o hlokeha ho finyella litlhoko tse itseng tsa molao kapa tsa tsamaiso, tse kang ho latela melao ea tsamaiso ea linyeoe, hoa hlokahala ho bokella lintlha tse mabapi le sebaka sa boitsebiso bo hlokahalang. Ha molao oa lekunutu o bolela hore mokhatlo o tlameha ho pata Linomoro tsohle tsa Ts'ireletso ea Sechaba (SSNs) ha o arolelana tlhahisoleseling le mekhatlo e sa lumelloeng, mohato oa pele oa tlhaho ke ho batla li-SSN tsohle mabenkeleng a data a mokhatlo. Tlas'a maemo a joalo, ho hlophisoa ha data ho ba bohlokoa [1]. Sistimi ea likarolo e tla lumella mekhatlo hore e sebelise maano a lekunutu le ts'ireletso ka bo eona, joalo ka maano a ho nolofalletsa phihlello, ho boloka data. Facebook e hlahisa mokhoa oo re o hahileng ho Facebook o sebelisang matshwao a mangata a data, meralo ea scalable system, le ho ithuta ka mochini ho sibolla mefuta e hlokolosi ea data ea semantic.
Ho sibolloa ha data le ho hlopha ke mokhoa oa ho fumana le ho ngola data e le hore tlhahisoleseling e nepahetseng e ka khutlisoa kapele le ka nepo ha ho hlokahala. Ts'ebetso ea hajoale ke ea tlhaho ebile e kenyelletsa ho hlahloba melao kapa melaoana e amehang, ho khetha hore na ke mefuta efe ea tlhaiso-leseling e lokelang ho nkuoa e le bobebe le hore na maemo a fapaneng a kutlo ke afe, ebe o theha lihlopha le maano a lihlopha ho latela [1]. Thibelo ea tahlehelo ea data (DLP) ebe e nka lintlha tsa menoana ebe e beha leihlo lintlha tse tlase ho fumana menoana. Ha o sebetsana le polokelo e boima ea thepa e nang le li-petabyte tsa data, mokhoa ona ha o lekane.
Sepheo sa rona ke ho aha mokhoa oa ho hlophisa boitsebiso bo lekanang le boitsebiso bo matla le ba nakoana, ntle le lithibelo tse ling mabapi le mofuta kapa mokhoa oa boitsebiso. Ena ke sepheo se bohlale, 'me ka tlhaho se tla le mathata. Rekoto ea data e fanoeng e ka ba litlhaku tse likete.
Setšoantšo sa 1. Phallo ea ponelopele ea inthaneteng le kantle ho marang-rang
Ka hona, re tlameha ho e emela ka katleho re sebelisa sete e tloaelehileng ea likarolo tseo hamorao li ka kopanngoang le ho sisinyeha habonolo. Likarolo tsena ha lia lokela ho fana ka likarolo tse nepahetseng feela, empa hape li fana ka maemo le katoloso ea ho eketsa habonolo le ho fumana mefuta e mecha ea data nakong e tlang. Taba ea bobeli, o hloka ho sebetsana le litafole tse kholo tse kantle ho naha. Lintlha tse tšoarellang li ka bolokoa litafoleng tse nang le boholo ba li-petabyte tse ngata. Sena se ka etsa hore ho be le lebelo le tlase la ho skena. Taba ea boraro, re tlameha ho ikamahanya le maemo a thata a SLA mabapi le data e sa fetoheng. Sena se qobella sistimi hore e sebetse hantle, e potlake ebile e nepahale. Qetellong, re tlameha ho fana ka likarolo tse tlase tsa data tsa latency bakeng sa data e feto-fetohang ho etsa likarolo tsa nako ea nnete hammoho le linyeoe tsa tšebeliso ea Marang-rang.
Pampiri ena e hlalosa kamoo re ileng ra sebetsana le liphephetso tse ka holimo 'me e fana ka tsamaiso e potlakileng le e qhekellang ea ho arola likarolo tsa data tsa mefuta eohle, lifomate le mehloli e thehiloeng ho sehlopha se tloaelehileng sa likarolo. Re atolositse meralo ea sistimi mme ra theha mofuta oa ho ithuta oa mochini ho hlophisa kapele data e kantle ho naha le inthaneteng. Pampiri ena e hlophisitsoe ka tsela e latelang: Karolo ea 2 e fana ka moralo oa kakaretso oa sistimi. Karolo ea 3 e bua ka likarolo tsa sistimi ea ho ithuta ka mochini. Karolo ea 4 le ea 5 e totobatsa mosebetsi o amanang le ho fana ka litaelo tsa nako e tlang tsa mosebetsi.
mehaho
Ho sebetsana le liphephetso tsa data e tsitsitseng le ea Facebook-scale online, tsamaiso ea lihlopha e na le melapo e 'meli e arohaneng, eo re tla e tšohla ka ho qaqileng.
Lintlha tse tsitsitseng
Qalong, sistimi e tlameha ho ithuta ka matlotlo a mangata a tlhahisoleseling a Facebook. Bakeng sa polokelo ka 'ngoe, lintlha tse ling tsa motheo lia bokelloa, joalo ka setsi sa data se nang le data eo, sistimi e nang le data eo, le thepa e fumanehang sebakeng se itseng sa polokelo ea data. Sena se theha lethathamo la metadata le lumellang sistimi ho fumana lintlha ka nepo ntle le ho jarisa bareki le lisebelisoa tse sebelisoang ke baenjiniere ba bang.
Lethathamo lena la metadata le fana ka mohloli o nang le matla bakeng sa thepa eohle e hlahlobiloeng, 'me e u lumella ho lekola boemo ba matlotlo a fapaneng. Ho sebelisoa tlhahisoleseling ena, ho hlophisoa lintho tse tlang pele ho ipapisitse le lintlha tse bokelletsoeng le tlhaiso-leseling ea kahare ho sistimi, joalo ka nako eo letlotlo le ileng la hlahlojoa ka katleho ka katleho le nako eo le entsoeng ka eona, hammoho le mohopolo o fetileng le litlhoko tsa CPU bakeng sa letlotlo leo haeba e kile ea hlahlojoa pele. Joale, bakeng sa mohloli o mong le o mong oa data (ha lisebelisoa li ntse li fumaneha), mosebetsi o bitsoa ho hlahloba mohloli.
Mosebetsi o mong le o mong ke faele ea binary e hlophisitsoeng e etsang sampole ea Bernoulli ho data ea morao-rao e fumanehang bakeng sa letlotlo ka leng. Letlotlo le arotsoe ka likholomo ka bomong, moo sephetho sa lihlopha tsa kholomo ka 'ngoe se sebetsoang ka boikemelo. Ho feta moo, sistimi e sheba data efe kapa efe e felletseng ka har'a likholomo. JSON, li-arrays, libopeho tse kentsoeng, URLs, base 64 serialized data, le tse ling kaofela li hlahlojoa. Sena se ka eketsa haholo nako ea ts'ebetso ea skena hobane tafole e le 'ngoe e ka ba le likholomo tse likete tse behiloeng ka har'a blob. json.
Bakeng sa mola o mong le o mong o khethiloeng letlotlong la data, sistimi ea likarolo e ntša lintho tse phaphametseng le tse ngotsoeng ho tsoa ho litaba ebe e amahanya ntho ka 'ngoe ho kholomo eo e nkiloeng ho eona. Sephetho sa mohato oa ho ntša karolo ke 'mapa oa likarolo tsohle bakeng sa kholomo e' ngoe le e 'ngoe e fumanoang letlotlong la data.
Lipontšo ke tsa eng?
Khopolo ea litšoaneleho ke ea bohlokoa. Sebakeng sa litšoaneleho tsa float le mongolo, re ka fetisa lisampole tsa likhoele tse tala tse nkiloeng ka kotloloho mohloling o mong le o mong oa data. Ho feta moo, mefuta ea ho ithuta ka mochini e ka koetlisoa ka kotloloho ho sampole e 'ngoe le e 'ngoe, ho fapana le lipalo tse makholo tse lekang ho lekanya sampole feela. Ho na le mabaka a 'maloa a sena:
- Lekunutu pele: Habohlokoa le ho feta, mohopolo oa likarolo o re lumella ho boloka mohopolong feela lipaterone tseo re li fumanang. Sena se tiisa hore re boloka lisampole ka morero o le mong 'me ha ho mohla re li ngollang ka boiteko ba rona. Sena se bohlokoa haholo bakeng sa data e feto-fetohang, kaha ts'ebeletso e tlameha ho boloka boemo bo itseng pele e fana ka ponelopele.
- Khopotso: Mehlala e meng e ka ba bolelele ba litlhaku tse likete. Ho boloka data e joalo le ho e fetisetsa likarolong tsa tsamaiso ho sa hlokahale ho ja li-byte tse ngata tse eketsehileng. Lintlha tsena tse peli li ka kopana ha nako e ntse e ea, kaha ho na le lisebelisoa tse ngata tsa data tse nang le likholomo tse likete.
- Kakaretso ea likarolo: Likarolo li bontša ka ho hlaka liphetho tsa skena ka seng ka sete ea likarolo, e lumellang sistimi ho kopanya liphetho tsa tlhahlobo ea nakong e fetileng ea mohloli o tšoanang oa data ka tsela e bonolo. Sena se ka thusa ho kopanya liphetho tsa skena ho tsoa mohloling o le mong oa data ho matha a mangata.
Likarolo li romelloa ho ts'ebeletso ea ho bolela esale pele moo re sebelisang likarolo tse thehiloeng ho melao le ho ithuta ka mochini ho bolela esale pele lileibole tsa data kholomong ka 'ngoe. Ts'ebeletso e its'etleha ho lihlopha tsa melao le ho ithuta ka mochini mme e khetha ponelopele e ntle ka ho fetesisa e fanoeng ho tsoa nthong e 'ngoe le e 'ngoe e boletsoeng esale pele.
Li-classifiers tsa melao ke li-heuristics tsa letsoho, li sebelisa lipalo le li-coefficients ho etsa hore ntho e tloaelehe ho tloha ho 0 ho isa ho 100. Hang ha lintlha tse joalo tsa pele li hlahisoa bakeng sa mofuta o mong le o mong oa data le lebitso la kholomo e amanang le data eo, ha e kenyelelitsoe ho "thibelo" efe kapa efe. lists", The rule classifier e khetha lintlha tse phahameng ka ho fetisisa tse tloaelehileng har'a mefuta eohle ea data.
Ka lebaka la ho rarahana ha lihlopha, ho itšetleha feela ka tataiso ea matsoho ho fella ka ho nepahala ha lihlopha, haholo-holo bakeng sa boitsebiso bo sa hlophisoang. Ka lebaka lena, re thehile sistimi ea ho ithuta ka mochini ho sebetsa le ho hlophisa lintlha tse sa hlophisoang joalo ka litaba tsa mosebelisi le aterese. Ho ithuta ka mochini ho entse hore ho khonehe ho qala ho tloha ho li-heuristics tsa letsoho le ho sebelisa matšoao a eketsehileng a data (mohlala, mabitso a likholomo, tlhahiso ea data), ho ntlafatsa haholo ho nepahala ha ho fumanoa. Re tla kenella hare ho meralo ea rona ea ho ithuta ka mochini hamorao.
Ts'ebeletso ea ho bolela esale pele e boloka liphetho tsa kholomo ka 'ngoe hammoho le metadata mabapi le nako le boemo ba skena. Bareki leha e le bafe le mekhoa e tlaase e itšetlehileng ka boitsebiso bona ba ka e bala ho tswa ho dataset e hatisitsoeng letsatsi le letsatsi. Sehlopha sena se kopanya liphetho tsa mesebetsi ena kaofela ea scan ninete, kapa Li-API tsa Lethathamo la Nako ea 'Nete. Likhakanyo tse phatlalalitsoeng ke motheo oa ho kenya ts'ebetsong melaoana ea lekunutu le ts'ireletso.
Qetellong, ka mor'a hore tšebeletso ea ho bolela esale pele e ngole lintlha tsohle 'me lintho tsohle tse boletsoeng esale pele li bolokiloe, API ea rona ea Data Catalog e ka khutlisa likhakanyo tsohle tsa mofuta oa data bakeng sa sesebelisoa ka nako ea nnete. Letsatsi le leng le le leng sistimi e phatlalatsa pokello ea data e nang le likhakanyo tsa morao-rao tsa letlotlo ka leng.
Lintlha tse feto-fetohang
Le ha ts'ebetso e kaholimo e etselitsoe matlotlo a tsoelang pele, sephethephethe se sa phehelleng le sona se nkuoa e le karolo ea lintlha tsa mokhatlo mme e ka ba bohlokoa. Ka lebaka lena, sistimi e fana ka API ea inthaneteng bakeng sa ho hlahisa likhakanyo tsa nako ea 'nete bakeng sa sephethephethe sefe kapa sefe sa nakoana. Sistimi ea ponelopele ea nako ea 'nete e sebelisoa haholo ho arola sephethephethe se tsoang, sephethephethe se kenang ka har'a mefuta ea ho ithuta ka mochini le data ea babapatsi.
Mona API e nka likhang tse peli tse kholo: senotlolo sa lihlopha le data e tala e lokelang ho boleloa esale pele. Ts'ebeletso e etsa ntho e ts'oanang ea ho khutlisa ntho joalo ka ha e hlalositsoe kaholimo 'me e kopanya lintho hammoho bakeng sa senotlolo se le seng. Likarolo tsena li boetse li tšehelitsoe ka har'a cache ea ho phehella bakeng sa ho hloleha ho hlaphoheloa. Bakeng sa senotlolo se seng le se seng sa lihlopha, tšebeletso e tiisa hore e bone lisampole tse lekaneng pele e bitsa tšebeletso ea ho bolela esale pele, ho latela mokhoa o hlalositsoeng ka holimo.
Ntlafatso
Ho hlahloba tse ling tsa polokelo, re sebelisa lilaebrari le mekhoa ea ho ntlafatsa ho bala ho tloha polokelong e chesang [2] le ho netefatsa hore ha ho na litšitiso ho tsoa ho basebelisi ba bang ba kenang polokelong e tšoanang.
Bakeng sa litafole tse kholo haholo (li-petabyte tse 50+), leha ho na le ntlafatso le bokhoni ba memori, sistimi e sebetsa ho lekola le ho bala ntho e ngoe le e ngoe pele e felloa ke mohopolo. Ntle le moo, scan ninete e baloa ka botlalo mohopolong mme ha e bolokoe nakong ea scan. Haeba litafole tse kholo li na le likholomo tse likete tse nang le lintlha tse ngata tse sa hlophisoang, mosebetsi o ka hloleha ka lebaka la lisebelisoa tse sa lekaneng tsa mohopolo ha o etsa likhakanyo tafoleng eohle. Sena se tla fokotsa khatello ea maikutlo. Ho loants'a sena, re ntlafalitse sistimi hore e sebelise lebelo la skena joalo ka moemeli oa hore na sistimi e sebetsana hantle hakae le mosebetsi oa hajoale. Re sebelisa lebelo e le mokhoa oa ho lepa ho bona mathata a mohopolo le ho lekanya 'mapa oa likarolo. Ka nako e ts'oanang, re sebelisa data e nyane ho feta e tloaelehileng.
Matšoao a data
Sistimi ea likarolo e ntle feela joalo ka matšoao a tsoang ho data. Mona re tla sheba lipontšo tsohle tse sebelisoang ke tsamaiso ea lihlopha.
- Litaba tse Thehiloeng: Ehlile, lets'oao la pele le la bohlokoahali ke litaba. Sampling ea Bernoulli e etsoa ho letlotlo le leng le le leng la data leo re le phenyang le ho ntša likarolo ho latela litaba tsa data. Matšoao a mangata a tsoa ho litaba. Palo leha e le efe ea lintho tse phaphametseng e ka khoneha, e emelang lipalo tsa hore na mofuta o itseng oa sampuli o bonoe hangata hakae. Mohlala, re kanna ra ba le matšoao a palo ea mangolo-tsoibila a bonoang sampole, kapa matšoao a hore na ho bonoa li-emojis tse kae ho sampuli. Lipalo tsa likarolo tsena li ka etsoa hore li tloaelehe 'me li kopanngoe likheong tse fapaneng.
- Tšebeliso ea data: Letšoao la bohlokoa le ka thusang ha litaba li fetohile ho tloha tafoleng ea motsoali. Mohlala o tloaelehileng ke data ea hashed. Ha data e tafoleng ea ngoana e potlakile, hangata e tsoa tafoleng ea motsoali, moo e lulang e hlakile. Lintlha tsa lethathamo li thusa ho hlophisa mefuta e meng ea data ha e sa baloe ka ho hlaka kapa e fetoleloa ho tsoa ho tafole e holimo.
- Litlhaloso: Letšoao le leng la boleng bo holimo le thusang ho tsebahatsa data e sa hlophisoang. Ha e le hantle, litlhaloso le lintlha tsa tlhaho li ka sebetsa 'moho ho phatlalatsa litšobotsi ho matlotlo a fapaneng a data. Litlhaloso li thusa ho tseba mohloli oa data e sa hlophisoang, ha lintlha tsa melapo li ka thusa ho tseba ho phalla ha data ho pholletsa le polokelo.
- Ente ea data ke mokhoa oo litlhaku tse khethehileng, tse sa baleheng li hlahisoang ka boomo mehloling e tsebahalang ea mefuta e tsebahalang ea data. Joale, neng kapa neng ha re hlahloba litaba ka tatellano ea litlhaku tse sa baloeng, re ka etsa qeto ea hore litaba li tsoa mofuteng oo oa data o tsejoang. Ena ke lets'oao le leng la boleng la data le ts'oanang le litlhaloso. Ntle le hore tlhahlobo e thehiloeng ho litaba e thusa ho fumana data e kentsoeng.
Metrics ea ho lekanya
Karolo ea bohlokoa ke mokhoa o matla oa ho metha methapo. Lintlha tsa mantlha tsa ntlafatso ea likarolo li nepahetse le ho hopola label ka 'ngoe, 'me lintlha tsa F2 ke tsona tsa bohlokoa ka ho fetisisa.
Ho bala metrics ena, ho hlokahala mokhoa o ikemetseng oa ho tšoaea matlotlo a data o ikemetseng ho sistimi ka boeona, empa o ka sebelisoa ho bapisa ka kotloloho le eona. Ka tlase re hlalosa kamoo re bokellang 'nete ea motheo ho Facebook le ho e sebelisa ho koetlisa tsamaiso ea rona ea lihlopha.
Pokello ea lintlha tse tšepahalang
Re bokella lintlha tse tšepahalang ho tsoa mohloling o mong le o mong o thathamisitsoeng ka tlase tafoleng ea ona. Tafole e 'ngoe le e' ngoe e na le boikarabello ba ho kopanya litekanyetso tsa morao-rao tse hlokometsoeng ho tsoa mohloling oo. Mohloli o mong le o mong o na le cheke ea boleng ba data ho netefatsa hore boleng bo hlokometsoeng mohloling ka mong ke boleng bo holimo 'me bo na le mabitso a morao-rao a mofuta oa data.
- Litlhophiso tsa sethala sa ho rema lifate: Libaka tse ling litafoleng tsa hive li na le data ea mofuta o itseng. Tšebeliso le phatlalatso ea data ena e sebetsa e le mohloli o tšepahalang oa 'nete.
- Ho ngola ka letsoho: Bahlahisi ba bolokang sistimi hammoho le ba ngoli ba kantle ba koetliselitsoe ho ngola likholomo. Sena ka kakaretso se sebetsa hantle bakeng sa mefuta eohle ea data e polokelong, 'me e ka ba mohloli oa mantlha oa' nete bakeng sa lintlha tse ling tse sa hlophisoang, joalo ka lintlha tsa molaetsa kapa litaba tsa mosebelisi.
- Likholomo tse tsoang litafoleng tsa batsoali li ka tšoauoa kapa tsa hlakisoa hore li na le lintlha tse itseng, 'me re ka lekola lintlha tseo ho litafole tsa bana.
- Ho lata likhoele tsa polao: likhoele tsa polao ho Facebook li na le mefuta e itseng ea data. Re sebelisa sehatisi sa rona joalo ka meralo ea lits'ebeletso, re ka etsa mohlala oa melapo e tsebang mefuta ea data ebe re e romella ka sistimi. Sistimi e tšepisa ho se boloke data ena.
- Mehlala ea litafole: Litafole tse kholo tsa hive, tse tsejoang hore li na le data corpus kaofela, li ka sebelisoa hape e le data ea koetliso 'me tsa fetisoa ka sekena joalo ka ts'ebeletso. Sena se nepahetse bakeng sa litafole tse nang le mefuta e mengata ea data, e le hore ho etsa sampole kholomo ka tšohanyetso ho lekana le ho etsa sampole sete eohle ea mofuta oo oa data.
- Lintlha tsa maiketsetso: Re ka sebelisa lilaebrari tse hlahisang data hang-hang. Sena se sebetsa hantle bakeng sa mefuta e bonolo ea data ea sechaba joalo ka aterese kapa GPS.
- Data Steward: Mananeo a lekunutu hangata a sebelisa batsamaisi ba data ho abela maano a likarolo tsa data. Sena se sebetsa e le mohloli o nepahetseng haholo oa 'nete.
Re kopanya mohloli o mong le o mong o moholo oa 'nete ho ba sehlopha se le seng le data eo kaofela. Bothata bo boholo ka ho nepahala ke ho etsa bonnete ba hore e emela polokelo ea data. Ho seng joalo, lienjineri tsa lihlopha li ka 'na tsa sebetsa ho feta tekano. Ho loantša sena, mehloli eohle e ka holimo e sebelisoa ho netefatsa ho leka-lekana ha mekhoa ea koetliso kapa metrics ea ho bala. Ho feta moo, batho ba ngolang mangolo ka mokhoa o ts'oanang ba etsa mohlala oa likholomo tse fapaneng sebakeng sa polokelo ebe ba ngola lintlha ka nepo e le hore pokello ea 'nete ea motheo e lule e leeme.
Kopanyo e Tsoelang Pele
Ho etsa bonnete ba ho pheta-pheta le ntlafatso e potlakileng, ho bohlokoa ho lula u lekanya ts'ebetso ea sistimi ka nako ea nnete. Re ka lekanya ntlafatso e 'ngoe le e 'ngoe ea lihlopha khahlanong le sistimi kajeno, kahoo re ka tataisa lintlafatso tsa nako e tlang ho latela lintlha. Mona re sheba hore na sistimi e phethela mokhoa oa ho fana ka maikutlo o fanoeng ke data e nepahetseng.
Ha sistimi ea ho hlophisa e kopana le letlotlo le nang le lengolo le tsoang mohloling o tšepahalang, re hlophisa mesebetsi e 'meli. Ea pele e sebelisa sehatisi sa tlhahiso ea rona mme ka hona bokhoni ba rona ba tlhahiso. Mosebetsi oa bobeli o sebelisa sehatisi sa morao-rao se nang le likarolo tsa morao-rao. Mosebetsi o mong le o mong o ngola tlhahiso ea ona tafoleng ea oona, o kenya liphetolelo hammoho le liphetho tsa lihlopha.
Ke kamoo re bapisang liphetho tsa sehlopha sa mokhethoa le mofuta oa tlhahiso ka nako ea nnete.
Leha li-database li bapisa likarolo tsa RC le PROD, ho kentsoe mefuta e mengata ea enjine ea ML ea tšebeletso ea ho bolela esale pele. Moetso oa ho ithuta oa mochini o sa tsoa etsoa, mofuta oa hajoale tlhahisong, le mefuta efe kapa efe ea liteko. Mokhoa o tšoanang o re lumella ho "khaola" mefuta e fapaneng ea mohlala (agnostic ho li-classifiers tsa rona tsa melao) le ho bapisa metrics ka nako ea sebele. Sena se etsa hore ho be bonolo ho tseba ha teko ea ML e se e loketse ho qala tlhahiso.
Bosiu bo bong le bo bong, likarolo tsa RC tse baloang bakeng sa letsatsi leo li romelloa phaepeng ea koetliso ea ML, moo mohlala o koetliselitsoeng likarolo tsa morao-rao tsa RC le ho lekola ts'ebetso ea ona khahlanong le dataset ea 'nete ea motheo.
Hoseng ho hong le ho hong, mohlala o qeta koetliso 'me o hatisoa ka mokhoa o ikemetseng e le mohlala oa liteko. E kenyelelitsoe ka bo eona lenaneng la liteko.
Liphetho tse ling
Ho feta mefuta e fapaneng ea 100 ea data e ngotsoe ka ho nepahala ho phahameng. Mefuta e hlophisitsoeng hantle joalo ka li-imeile le linomoro tsa mohala li arotsoe ka lintlha tsa f2 tse fetang 0,95. Mefuta ea data ea mahala joalo ka litaba tse hlahisoang ke basebelisi le mabitso le tsona li sebetsa hantle haholo, ka lintlha tsa F2 tse kholo ho feta 0,85.
Palo e kholo ea litšiea tsa data tse ntseng li tsoela pele le tse feto-fetohang li hlophisoa letsatsi le letsatsi libakeng tsohle tsa polokelo. Li-terabyte tse fetang 500 li hlahlojoa letsatsi le letsatsi libakeng tse fetang 10 tsa polokelo ea data. Boholo ba libaka tsena tsa polokelo li na le tšireletso e fetang 98%.
Ha nako e ntse e ea, ho hlophisoa ho se ho sebetsa hantle haholo, 'me mesebetsi ea lihlopha sebakeng sa marang-rang se phehellang se nka metsotsoana e 35 ho tloha ho hlahloba letlotlo ho isa ho lipalo tse boletsoeng esale pele bakeng sa kholomo ka 'ngoe.
Raese. 2. Setšoantšo se hlalosang phallo e tsoelang pele ea ho kopanya ho utloisisa hore na lintho tsa RC li hlahisoa joang le ho romeloa ho mohlala.
Setšoantšo sa 3. Setšoantšo sa boemo bo phahameng ba karolo ea ho ithuta mochine.
Karolo ea sistimi ea ho ithuta ka mochini
Karolong e fetileng, re ile ra qoela ka botebo ka har'a meralo ea meralo, re totobatsa boholo, ntlafatso, le phallo ea data e kantle ho naha le inthaneteng. Karolong ena, re tla sheba tšebeletso ea ho bolela esale pele le ho hlalosa mokhoa oa ho ithuta oa mochine o matlafatsang tšebeletso ea ho bolela esale pele.
Ka mefuta e fetang 100 ea data le litaba tse sa hlophisoang joalo ka lintlha tsa molaetsa le litaba tsa mosebelisi, ho sebelisa li-heuristics tsa letsoho feela ho fella ka ho nepahala ha likarolo, haholo bakeng sa data e sa hlophisoang. Ka lebaka lena, re boetse re thehile mokhoa oa ho ithuta oa mochine ho sebetsana le mathata a mangata a sa hlophisoang. Ho sebelisa mochine oa ho ithuta ho u lumella ho qala ho tloha ho li-heuristics le ho sebetsa ka likarolo le matšoao a eketsehileng a data (mohlala, mabitso a likholomo, tšimoloho ea data) ho ntlafatsa ho nepahala.
Moetso o kentsoeng tšebetsong o ithuta liemeli tsa vector [3] holim'a lintho tse teteaneng le tse fokolang ka thoko. Tsena li kopanngoa ho theha vector, e tsamaeang letotong la ho tloaeleha ha batch [4] le mehato e sa tloaelehang ho hlahisa sephetho sa ho qetela. Sephetho ke nomoro ea ntlha e phaphametseng pakeng tsa [0-1] bakeng sa leibole ka 'ngoe, e bontšang monyetla oa hore mohlala ke oa mofuta oo oa kutlo. Ho sebelisa PyTorch bakeng sa mohlala ho re lumelletse ho tsamaea ka potlako, ho lumella bahlahisi ba ka ntle ho sehlopha ho etsa le ho leka liphetoho kapele.
Ha ho etsoa moralo oa kaho, ho ne ho le bohlokoa ho etsa mohlala oa lintho tse fokolang (mohlala, mongolo) le tse teteaneng (mohlala, linomoro) ka thoko ka lebaka la ho se tšoane ha tsona. Bakeng sa moaho oa ho qetela, ho ne ho boetse ho le bohlokoa ho fiela paramente ho fumana boleng bo nepahetseng bakeng sa sekhahla sa ho ithuta, boholo ba batch, le li-hyperparameter tse ling. Khetho ea optimizer e ne e boetse e le hyperparameter ea bohlokoa. Re fumane hore ke optimizer e tsebahalang Adamahangata e lebisa ho overfitting, athe ea mohlala ka SGD tsitsitseng haholoanyane. Ho ne ho e-na le li-nuances tse eketsehileng tseo re neng re tlameha ho li kenyelletsa ka ho toba mohlala. Ka mohlala, melao e tsitsitseng e neng e tiisa hore mohlala o etsa ponelopele ea deterministic ha tšobotsi e na le boleng bo itseng. Melao ena e tsitsitseng e hlalosoa ke bareki ba rona. Re fumane hore ho li kenyelletsa ka ho toba moetsong ho ile ha fella ka hore ho be le mohaho o ikemetseng le o matla, ho fapana le ho kenya ts'ebetsong mohato oa morao-rao oa ho sebetsana le linyeoe tsena tse khethehileng. Hape hlokomela hore melao ena e holofetse nakong ea koetliso e le hore e se ke ea kena-kenana le mokhoa oa koetliso oa ho theoha ha gradient.
Mathata
E 'ngoe ea liqholotso e ne e le ho bokella lintlha tsa boleng bo holimo, tse tšepahalang. Moetso o hloka kholiseho bakeng sa sehlopha ka seng e le hore se ka ithuta likamano lipakeng tsa lintho le lileibole. Karolong e fetileng, re buisane ka mekhoa ea ho bokella lintlha bakeng sa tekanyo ea tsamaiso le koetliso ea mohlala. Tlhahlobo e bontšitse hore litlelase tsa data tse kang likarete tsa mokoloto le linomoro tsa ak'haonte ea banka ha li atile haholo polokelong ea rona. Sena se etsa hore ho be thata ho bokella lintlha tse ngata tse tšepahalang ho koetlisa mehlala. Ho rarolla bothata bona, re thehile mekhoa ea ho fumana lintlha tsa maiketsetso tsa 'nete bakeng sa lihlopha tsena. Re hlahisa data e joalo bakeng sa mefuta e hlokolosi ho kenyelletsa SSN, linomoro tsa karete ea mokoloto и IBAN-linomoro tseo mohlala o neng o sa khone ho li bolela esale pele. Mokhoa ona o lumella mefuta ea data e hlokolosi hore e sebetsanoe ntle le likotsi tsa lekunutu tse amanang le ho pata lintlha tsa bohlokoa.
Ntle le litaba tsa 'nete ea motheo, ho na le litaba tsa meralo tse bulehileng tseo re sebetsanang le tsona, joalo ka fetola ho itšehla thajana и ho emisa kapele. Phetoho ea ho itšehla thajana ke ea bohlokoa ho etsa bonnete ba hore ha liphetoho tse fapaneng li etsoa likarolong tse fapaneng tsa marang-rang, tšusumetso e arotsoe ho lihlopha tse itseng 'me ha e na tšusumetso e pharaletseng mosebetsing oa ho bolela esale pele. Ho ntlafatsa mekhoa ea ho emisa pele ho nako ho bohlokoa hape e le hore re ka emisa ts'ebetso ea koetliso sebakeng se tsitsitseng bakeng sa lihlopha tsohle, ho e-na le ho fihla moo lihlopha tse ling li fetang ho feta 'me tse ling li sa e sebelise.
Bohlokoa ba tšobotsi
Ha karolo e ncha e hlahisoa ho mohlala, re batla ho tseba phello ea eona ka kakaretso ho mohlala. Re boetse re batla ho etsa bonnete ba hore likhakanyo li ka hlalosoa ke batho e le hore re ka utloisisa hantle hore na ke likarolo life tse sebelisoang bakeng sa mofuta o mong le o mong oa data. Bakeng sa morero ona re ntlafalitse le ho hlahisa ka sehlopha bohlokoa ba likarolo tsa mohlala oa PyTorch. Hlokomela hore sena se fapane le bohlokoa ba likarolo ka kakaretso, tseo hangata li tšehetsoang, hobane ha e re bolelle hore na ke likarolo life tse bohlokoa bakeng sa sehlopha se itseng. Re lekanya bohlokoa ba ntho ka ho bala keketseho ea phoso ea ho bolela esale pele ka mor'a ho hlophisa ntho bocha. Karolo e "bohlokoa" ha ho feto-fetoha ha boleng ho eketsa phoso ea mohlala hobane tabeng ena mohlala o ne o itšetlehile ka sebopeho ho bolela esale pele. Karolo "ha e bohlokoa" ha e fapanyetsana litekanyetso tsa eona e siea phoso ea mohlala e sa fetohe, kaha tabeng ena mohlala o ile oa e hlokomoloha [5].
Bohlokoa ba tšobotsi bakeng sa sehlopha ka seng bo re lumella ho etsa hore mohlala o hlalosoe e le hore re bone hore na mohlala o sheba eng ha o bolela esale pele label. Ka mohlala, ha re hlahlobisisa ADDR, joale re tiisa hore letšoao le amanang le aterese, joalo ka AddressLinesCount, e maemong a holimo tafoleng ea bohlokoa ea likarolo bakeng sa sehlopha ka seng e le hore intuition ea rona ea botho e tsamaellane hantle le seo mohlala o ithutileng sona.
di lekolane
Ho bohlokoa ho hlalosa metric e le 'ngoe bakeng sa katleho. Re ile ra khetha F2 - ho leka-lekana pakeng tsa ho hopola le ho nepahala (hopola leeme le leholo hanyenyane). Ho hopola ho bohlokoa haholo molemong oa ts'ebeliso ea lekunutu ho feta ho nepahala hobane ho bohlokoa hore sehlopha se se ke sa fetoa ke lintlha tsa bohlokoa (ha re ntse re netefatsa ho nepahala ho utloahalang). Tekolo ea 'nete ea ts'ebetso ea F2 ea mohlala oa rona e feta boholo ba pampiri ena. Leha ho le joalo, ka tokiso e hlokolosi re ka fumana lintlha tse phahameng (0,9+) F2 bakeng sa lihlopha tsa bohlokoa ka ho fetisisa tse hlokolosi.
Mosebetsi o amanang
Ho na le li-algorithms tse ngata tsa ho arola ka mokhoa o itekanetseng oa litokomane tse sa hlophisoang ho sebelisoa mekhoa e fapaneng e kang ho bapisa mohlala, ho batla ho tšoana ha litokomane le mekhoa e fapaneng ea ho ithuta ka mochini (Bayesian, lifate tsa liqeto, baahelani ba k-haufi le ba bang ba bangata) [6]. E 'ngoe ea tsena e ka sebelisoa e le karolo ea lihlopha. Leha ho le joalo, bothata ke scalability. Mokhoa oa ho arola sehloohong sena o leeme mabapi le ho feto-fetoha ha maemo le ts'ebetso. Sena se re lumella ho ts'ehetsa litlelase tse ncha nakong e tlang le ho boloka latency e le tlase.
Hape ho na le mosebetsi o mongata oa ho hatisa menoana ea data. Mohlala, bangoli ba [7] ba hlalositse tharollo e shebaneng le bothata ba ho ts'oara ho lutla ha data ho tebileng. Maikutlo a ka sehloohong ke hore data e ka hatisoa ka menoana ho e bapisa le sete ea lintlha tse tsebahalang tse hlokolosi. Bangoli ho [8] ba hlalosa bothata bo ts'oanang ba ho lutla ha lekunutu, empa tharollo ea bona e ipapisitse le sebopeho se ikhethileng sa Android mme e hlophisoa feela haeba liketso tsa mosebelisi li fella ka ho arolelanoa tlhahisoleseling ea motho kapa haeba ts'ebeliso ea mantlha e lutla data ea mosebelisi. Boemo mona bo batla bo fapane hobane data ea mosebelisi le eona e ka ba e sa hlophisehang haholo. Ka hona, re hloka mokhoa o rarahaneng ho feta oa ho hatisa menoana.
Qetellong, ho sebetsana le khaello ea data bakeng sa mefuta e meng ea data e hlokolosi, re hlahisitse data ea maiketsetso. Ho na le lingoliloeng tse ngata tse mabapi le ho eketsa lintlha, mohlala, bangoli ba [9] ba ile ba hlahloba karolo ea ente ea lerata nakong ea koetliso 'me ba bona liphello tse ntle thutong e hlokometsoeng. Mokhoa oa rona oa ho boloka boinotši o fapane hobane ho hlahisa lintlha tse lerata ho ka ba kotsi, 'me ho e-na le hoo re tsepamisa maikutlo ho data ea maiketsetso ea boleng bo holimo.
fihlela qeto e
Ka pampiri ena, re hlahisitse sistimi e ka khethollang karolo ea data. Sena se re fa monyetla oa ho theha litsamaiso ho tiisa maano a lekunutu le ts'ireletso. Re bonts'itse hore mekhoa ea ts'ebetso ea ts'ebetso, khokahanyo e tsoelang pele, ho ithuta ka mochini le netefatso ea data ea boleng bo holimo li bapala karolo ea bohlokoa katlehong ea boikitlaetso ba rona ba lekunutu.
Ho na le litsela tse ngata tsa mosebetsi oa nakong e tlang. Sena se ka kenyelletsa ho fana ka ts'ehetso bakeng sa lintlha tse sa reroang (lifaele), ho arola eseng feela mofuta oa data empa le boemo ba kutloisiso, le ho sebelisa thuto ea boinotšing nakong ea koetliso ka ho hlahisa mehlala e nepahetseng ea maiketsetso. E leng, le eona, e tla thusa mohlala ho fokotsa tahlehelo ka chelete e ngata ka ho fetisisa. Mosebetsi oa ka moso o ka boela oa shebana le tšebetso ea lipatlisiso, moo re fetang ho bonoa le ho fana ka tlhahlobo ea sesosa sa litlolo tse fapaneng tsa lekunutu. Sena se tla thusa maemong a kang tlhahlobo ea kutloisiso (e leng hore na khupamarama ea mofuta oa data e phahame (mohlala, IP ea mosebelisi) kapa e tlase (mohlala, IP ea ka hare ea Facebook)).
Libibele
- Davida, mora Davida, le Tamare-Domany, le Abigaile-Tareme. Ho hlophisoa ha data ea khoebo ho sebelisa mahlale a webo a semantic. Ho Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks, le Birte Glimm, bahlophisi, Websaete ea Semantic - ISWC 2010, leqepheng la 66-81, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg.
- Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang, le Sanjeev Kumar. f4: Sistimi e futhumetseng ea polokelo ea BLOB ea Facebook. Ho Symposium ea bo-11 ea USENIX mabapi le Moralo le Phethahatso ea Litsamaiso tsa Ts'ebetso (OSDI 14), leqepheng la 383–398, Broomfield, CO, October 2014. Mokhatlo oa USENIX.
- Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, le Jeff Dean. Litšoantšiso tse ajoang tsa mantsoe le lipoleloana le sebopeho sa tsona. Ho C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, le K. Q. Weinberger, bahlophisi, Tsoelo-pele ho Neural Information Processing Systems 26, leqepheng la 3111–3119. Curran Associates, Inc., 2013.
- Sergey Ioff le Christian Szegedy. Batch normalization: Ho potlakisa koetliso e tebileng ea marang-rang ka ho fokotsa phetoho ea ka hare ea covariate. Ho Francis Bach le David Blei, bahlophisi, Melaetsa ea Seboka sa Machabeng sa bo32 sa Thuto ea Mochini, moqolo oa 37 oa Ts'ebetso ea Lipatlisiso tsa ho Ithuta ka Mechini, leqepheng la 448–456, Lille, France, 07–09 Jul 2015. PMLR.
- Leo Breiman. Meru e sa reroang. Mach. Ithute., 45(1):5–32, October 2001.
- Thair Nu Phyu. Patlisiso ea mekhoa ea ho arola meepong ea data.
- X. Shu, D. Yao, le E. Bertino. Lekunutu-ho boloka ho lemoha ha ho ka ba le boitsebiso bo hlokolosi. IEEE Transactions mabapi le Forensics ea Boitsebiso le Tšireletso, 10(5):1092–1103, 2015.
- Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning, le Xiaoyang Wang. Appintent: E sekaseka phetisetso ea data e hlokolosi ho android bakeng sa ho lemoha ho lutla ha lekunutu. maqephe 1043–1054, 11 2013.
- Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong, le Quoc V. Le. Keketso ea data e sa laoleheng.
Fumana lintlha tse mabapi le mokhoa oa ho fumana mosebetsi o batloang ho tloha qalong kapa Level Up mabapi le litsebo le moputso ka ho nka lithuto tsa inthanete tsa SkillFactory:
- (likhoeli tse 12)
- (libeke tse 12)
- (libeke tse 20)
- (libeke tse 20)
Lithuto tse ling
- (likhoeli tse 9)
- (likhoeli tse 8)
- (likhoeli tse 9)
- (likhoeli tse 12)
- (likhoeli tse 18)
- (likhoeli tse 12)
- (likhoeli tse 9)
- (likhoeli tse 7)
Source: www.habr.com