Ko te whakarōpūtanga raraunga i runga i te ihirangi he raruraru tuwhera. Ko nga punaha aukati ngaronga raraunga tuku iho (DLP) e whakaoti ana i tenei raru ma te tarai i nga raraunga e tika ana me te aro turuki i nga tohu mutunga mo te tapumati. I runga i te nui o nga rauemi raraunga huri tonu i Facebook, ko tenei huarahi ehara i te mea karekau noa, engari kaore e whai hua mo te whakatau kei hea nga raraunga e noho ana. Ko tenei pepa e aro ana ki tetahi punaha mutunga-ki-mutunga i hangaia hei kite i nga momo reo tairongo i roto i te Facebook i te tauine me te whakakaha aunoa i te rokiroki raraunga me te mana uru.
Ko te huarahi e whakaahuatia ana i konei ko to maatau punaha muna tuatahi mutunga-ki-te-mutunga e ngana ana ki te whakaoti i tenei raru ma te whakauru i nga tohu raraunga, ako miihini, me nga tikanga tapumati maihao ki te mapi me te whakarōpū i nga raraunga katoa i runga i Facebook. Ko te punaha kua whakaahuatia e whakahaeretia ana i roto i te taiao whakangao, ka eke ki te kaute F2 toharite o 0,9+ puta noa i nga momo karaehe tūmataiti i te wa e tukatuka ana i te maha o nga rauemi raraunga puta noa i te maha o nga putunga. Te whakauru i te whakamaoritanga o te pepa ArXiv a Facebook mo te whakarōpūtanga raraunga tauineine mo te haumarutanga me te tūmataiti i runga i te ako miihini.
Whakataki
I tenei ra, ka kohia, ka penapenahia e nga whakahaere te nui o nga raraunga i roto i nga momo whakatakotoranga me nga waahi [1], katahi ka pau nga raraunga ki nga waahi maha, i etahi wa ka kapehia, ka hunahia ranei i nga wa maha, ka puta mai nga korero pakihi nui me te tairongo ka marara ki te maha o nga raraunga hinonga. toa. I te wa e hiahiatia ana he whakahaere ki te whakatutuki i etahi whakaritenga ture, ture ranei, penei i te hanganga ture i roto i nga mahi a-iwi, ka tika te kohikohi raraunga mo te waahi o nga raraunga e hiahiatia ana. Ina kii tetahi ture tūmataiti me huna e tetahi whakahaere nga Nama Haumaru Tangata katoa (SSN) i te wa e tohatoha ana nga korero whaiaro ki nga hinonga kore mana, ko te mahi tuatahi ko te rapu i nga SSN katoa puta noa i nga toa raraunga o te whakahaere. I raro i enei ahuatanga, he mea nui te whakarōpūtanga raraunga [1]. Ma te punaha whakarōpūtanga ka taea e nga whakahaere te whakahaere aunoa i nga kaupapa here tūmataiti me te haumarutanga, penei i te whakamana i nga kaupapa here mana uru, te pupuri raraunga. Kei te whakauru a Facebook i tetahi punaha i hangaia e matou ki Facebook e whakamahi ana i nga tohu raraunga maha, te hoahoanga o te punaha tauineine, me te ako miihini kia kitea nga momo raraunga tairongo tairongo.
Ko te rapu raraunga me te whakarōpūtanga ko te mahi rapu me te tapanga raraunga kia tere ai te tiki korero e tika ana ina hiahiatia. Ko te mahi o naianei he ahua-a-ringa te ahua me te tirotiro i nga ture me nga ture e tika ana, te whakatau he aha nga momo korero e kiia ana he tairongo me te aha nga taumata rereke o te tairongo, katahi ka hanga i nga karaehe me nga kaupapa here whakarōpūtanga e tika ana [1]. Ko te aukati ngaronga raraunga (DLP) katahi ka taraihia nga maihao me te aro turuki i nga pito o raro kia whiwhi maihao. I te wa e pa ana ki tetahi whare putunga rawa-taimaha me nga petabytes o nga raraunga, kaore tenei huarahi e tauine.
Ko ta matou whainga ko te hanga i tetahi punaha whakarōpū raraunga e whakataurite ana ki nga raraunga kaiwhakamahi pakari me te wa poto, kaore he herenga taapiri mo te momo raraunga me te whakatakotoranga. He whainga maia tenei, a ka puta mai he wero. Ko te rekoata raraunga kua hoatu he manomano te roa.
Whakaahua 1. Nga rerenga matapae ipurangi me te tuimotu
Na reira, me whakaatu pai tatou ma te whakamahi i nga momo ahuatanga ka taea te whakakotahi i muri mai ka ngawari te neke haere. Ko enei ahuatanga ehara i te mea he tika te whakarōpūtanga tika, engari he ngawari me te whakaroa kia ngawari ki te taapiri me te rapu momo raraunga hou a meake nei. Tuarua, me mahi koe ki nga ripanga tuimotu nui. Ka taea te penapena raraunga roa ki nga ripanga he maha nga petabyte te rahi. Ma tenei ka puhoi ake te tere karapa. Tuatoru, me u tatou ki te whakarōpūtanga SLA tino mo runga i nga raraunga koretake. Ma tenei ka kaha te punaha kia tino pai, kia tere me te tika. Ka mutu, me whakarato tatou i te whakarōpūtanga raraunga iti mo nga raraunga rorirori hei mahi whakarōpūtanga i te wa-tuturu me nga keehi whakamahi Ipurangi.
Ko tenei pepa e whakaatu ana i ta matou whakahaere i nga wero i runga ake nei, me te whakaatu i te punaha whakarōpūtanga tere me te tauineine e whakarōpū ana i nga huānga raraunga o nga momo katoa, nga whakatakotoranga, me nga punawai i runga i te huinga o nga ahuatanga noa. I whakawhänuihia e mätou te hoahoanga pünaha me te hanga i tëtahi tauira ako miihini ritenga kia tere whakaröpü raraunga tuimotu me te ipurangi. Kua whakaritea tenei pepa e whai ake nei: Ko te waahanga 2 e whakaatu ana i te hoahoatanga katoa o te punaha. Ko te wahanga 3 he korero mo nga wahanga o te punaha ako miihini. Ko nga waahanga 4 me te 5 e whakaatu ana i nga mahi e pa ana, me te whakaatu i nga ahunga mahi a meake nei.
hoahoanga
Hei whakatutuki i nga wero o nga raraunga ipurangi tohe me te tauine Facebook, e rua nga awa motuhake o te punaha whakarōpūtanga, ka matapakihia e tatou.
Raraunga Tauwhiro
I te tuatahi, me ako te punaha mo nga rawa korero maha a Facebook. Mo ia putunga, ka kohia etahi korero taketake, penei i te pokapū raraunga kei roto taua raraunga, te punaha kei roto taua raraunga, me nga rawa kei roto i te putunga raraunga motuhake. Ka waihangahia he putumōhio metadata e taea ai e te punaha te whakahoki mai i nga raraunga me te kore e utaina nga kaihoko me nga rauemi e whakamahia ana e etahi atu miihini.
Ko tenei putumōhio metadata he puna mana mo nga rawa katoa kua karapahia, ka taea e koe te whai i te mana o nga momo rawa. Ma te whakamahi i enei korero, ka whakatauhia te kaupapa matua i runga i nga raraunga kua kohia me nga korero o roto mai i te punaha, penei i te wa i oti pai ai te karapa o te rawa me te wa i hangaia ai, tae atu ki nga mahara o mua me nga whakaritenga PTM mo taua rawa mena kua karapahia i mua. Na, mo ia rauemi raraunga (i te wa e waatea ana nga rauemi), ka karangahia he mahi hei tirotiro i te rauemi.
Ko ia mahi he konae rua kua whakahiatohia e mahi ana i te tauira Bernoulli i runga i nga raraunga hou e waatea ana mo ia rawa. Ka wehea te rawa ki nga pou takitahi, ka tuka takitahi te hua whakarōpūtanga o ia tīwae. Hei taapiri, ka tirotirohia e te punaha nga raraunga kukū i roto i nga pou. JSON, huānga, hanganga whakawaehere, URLs, turanga 64 raraunga raupapa, me etahi atu kua karapa katoa. Ka taea e tenei te whakanui ake i te wa mahi karapa na te mea kei roto i te ripanga kotahi nga mano o nga pou kohanga i roto i te pupuhi. json.
Mo ia haupae ka tohua i roto i te rawa raraunga, ka tangohia e te punaha whakarōpū te rewa me nga mea kuputuhi mai i te ihirangi ka hono atu ia ahanoa ki te pou i tangohia mai ai. Ko te putanga o te waahanga tangohanga he mapi o nga ahuatanga katoa mo ia pou ka kitea i roto i te rawa raraunga.
He aha nga tohu?
Ko te kaupapa o nga huanga te mea matua. Engari i nga ahuatanga rewa me te tuhinga, ka taea e tatou te tuku tauira aho mata ka tangohia tika mai i ia rauemi raraunga. I tua atu, ka taea te whakangungu tika i nga tauira ako miihini ki runga i ia tauira, kaua ki nga rau o nga tatauranga ahuatanga e ngana ana ki te tata ki te tauira. He maha nga take mo tenei:
- Matatapu tuatahi: Ko te mea nui, ko te ariā o nga ahuatanga ka taea e tatou te penapena i roto i te mahara ko nga tauira ka tangohia e tatou. Ma tenei ka whakapumau i nga tauira mo te kaupapa kotahi, kaua rawa e takiuru ma o taatau ake mahi. He mea tino nui tenei mo nga raraunga karekau, na te mea me pupuri te ratonga i etahi ahuatanga whakarōpūtanga i mua i te tuku matapae.
- Mahara: Ko etahi tauira ka taea te tini mano o te roa. Ko te penapena i aua raraunga me te tuku ki nga waahanga o te punaha ka pau te maha o nga paita. Ka taea e nga mea e rua te whakakotahi i te waa, na te mea he maha nga rauemi raraunga me nga mano o nga pou.
- Te whakahiato o nga ahuatanga: Ko nga ahuatanga e whakaatu marama ana i nga hua o ia karapa ma te huinga o nga ahuatanga, ka taea e te punaha te whakakotahi i nga hua o nga karapa o mua o te rauemi raraunga kotahi i roto i te huarahi ngawari. Ka whai hua tenei mo te whakahiato i nga hua karapa mai i te rauemi raraunga kotahi puta noa i nga oma maha.
Ka tukuna nga ahuatanga ki tetahi ratonga matapae ka whakamahia e matou te whakarōpū-a-ture me te ako miihini hei matapae i nga tapanga raraunga o ia pou. Ko te ratonga e whakawhirinaki ana ki nga whakarōpū ture me te ako miihini me te whiriwhiri i te matapae pai rawa atu ka tukuna mai i ia ahanoa matapae.
Ko nga kaiwhakatakoto ture he heuristics-a-ringa, ka whakamahi i nga tatauranga me nga taurite hei whakarite i tetahi ahanoa ki te awhe o te 0 ki te 100. Kia puta he tatau tuatahi mo ia momo raraunga me te ingoa pou e hono ana ki taua raraunga, kaore e uru ki roto i tetahi "whakapae. rārangi" ,Ka tohua e te kaikorero ture te kaute kua whakaritea teitei i waenga i nga momo raraunga katoa.
Na te uaua o te whakarōpūtanga, ko te whakawhirinaki anake ki nga heuristics a-ringa ka iti te tika o te whakarōpūtanga, ina koa mo nga raraunga kore hanga. Mo konei, i whakawhanakehia e matou he punaha ako miihini hei mahi me te whakarōpūtanga o nga raraunga kaore i hangaia penei i te ihirangi kaiwhakamahi me te wahitau. Na te ako miihini i taea te timata ki te neke atu i nga heuristic a-ringa me te whakamahi i etahi atu tohu raraunga (hei tauira, nga ingoa pou, tohu raraunga), ka tino whakapai ake i te tika o te kitenga. Ka ruku hohonu tatou ki to maatau hoahoanga ako miihini a muri ake nei.
Ko te ratonga matapae ka rongoa nga hua mo ia pou me nga metadata mo te wa me te ahua o te karapa. Ka taea e nga kaihoko me nga tukanga whakararo e whakawhirinaki ana ki enei raraunga te panui mai i nga huingararaunga kua whakaputaina ia ra. Ka whakahiatohia e tenei huinga nga hua o enei mahi karapa katoa, nga API Putumōhio Raraunga Wa-Tuturu ranei. Ko nga matapae kua whakaputahia te turanga mo te whakatinana aunoa i nga kaupapa here tūmataiti me te haumaru.
Ka mutu, i muri i te tuhi a te ratonga matapae i nga raraunga katoa me te penapena i nga matapae katoa, ka taea e to maatau Raraunga Raraunga API te whakahoki i nga momo matapae raraunga katoa mo te rauemi i te waa tuuturu. Ia ra ka whakaputahia e te punaha he huingararaunga kei roto katoa nga matapae hou mo ia rawa.
Raraunga pahekeheke
Ahakoa ko te tukanga i runga ake nei i hangaia mo nga rawa tohe tonu, ka kiia hoki ko te hokohoko-kore he waahanga o nga raraunga o te whakahaere, he mea nui. Mo konei, ka whakaratohia e te punaha he API ipurangi mo te whakaputa matapae whakarōpūtanga mo te wa-tuituru mo nga waka mokowhiti. Kei te whakamahia whanuitia te punaha matapae wa-tuturu ki te whakarōpū i nga waka ki waho, ki nga waka o roto ki nga tauira ako miihini me nga raraunga panui.
I konei e rua nga tohenga matua a te API: ko te matua whakarōpūtanga me nga raraunga mata e matapaetia ana. He rite tonu te mahi a te ratonga ki te tiki taonga pera me te korero i runga ake nei, ka whakarōpū i nga taonga mo te kii kotahi. Ka tautokohia ano enei ahuatanga i roto i te keteroki tohe mo te whakaora rahunga. Mo ia taviri whakarōpūtanga, ka whakarite te ratonga kua nui nga tauira i kitea i mua i te waeatanga ki te ratonga matapae, whai muri i nga tikanga kua whakaahuatia i runga ake nei.
Whakaritea
Ki te matawai i etahi putunga, ka whakamahia e matou nga whare pukapuka me nga tikanga ki te arotau i te panui mai i te rokiroki wera [2] me te whakarite kia kore he raruraru mai i etahi atu kaiwhakamahi e uru ana ki taua rokiroki.
Mo nga ripanga tino nui (50+ petabytes), ahakoa nga arotautanga me te kaha o te mahara, ka mahi te punaha ki te matawai me te tatau i nga mea katoa i mua i te paunga o te mahara. Ka mutu, ka tatau katoa te karapa ki te mahara, kaore i te rongoa i te wa o te karapa. Mena kei roto i nga ripanga nui nga mano o nga pou me nga kohinga raraunga kaore i hangaia, ka ngaro pea te mahi na te iti rawa o nga rauemi mahara i te wa e mahi matapae ana ki te ripanga katoa. Ma tenei ka iti ake te kapi. Hei karo i tenei, i arotauhia e matou te punaha ki te whakamahi i te tere karapa hei takawaenga mo te kaha o te punaha ki te whakahaere i nga mahi o naianei. Ka whakamahia e matou te tere hei tikanga matapae ki te kite i nga raru o te mahara me te tatau matapae i te mahere ahuatanga. I te wa ano, he iti ake nga raraunga ka whakamahia e matou i nga wa o mua.
Nga tohu raraunga
He pai noa te punaha whakarōpūtanga ki nga tohu mai i nga raraunga. I konei ka tirohia nga tohu katoa e whakamahia ana e te punaha whakarōpūtanga.
- I runga i te Ihirangi: Ko te tikanga, ko te tohu tuatahi me te mea nui ko te ihirangi. Ko te whakatauira Bernoulli ka mahia ki ia rawa raraunga ka karapahia, ka tangohia nga ahuatanga i runga i te ihirangi raraunga. He maha nga tohu ka puta mai i te ihirangi. Ka taea te maha o nga mea e rewa ana, e tohu ana mo te maha o nga wa i kitea ai tetahi momo tauira. Hei tauira, he tohu pea mo te maha o nga imeera e kitea ana i roto i tetahi tauira, he tohu ranei mo te maha o nga emoji e kitea ana i roto i tetahi tauira. Ka taea te whakariterite me te whakahiato i enei tatauranga ahuatanga puta noa i nga karapa rereke.
- Te Raraunga Raraunga: He tohu nui ka taea te awhina ina huri te ihirangi mai i te ripanga matua. Ko tetahi tauira noa ko nga raraunga kua hashed. I te wa e hashed ana nga raraunga i roto i te ripanga tamaiti, ka puta mai i te ripanga matua, kei te noho marama. Ka awhina nga raraunga whakapapa ki te whakarōpū i etahi momo raraunga ka kore e marama te panui, ka hurihia ranei mai i te ripanga whakarunga.
- Nga korero: Ko tetahi atu tohu kounga teitei e awhina ana ki te tautuhi i nga raraunga kaore i hangaia. Ko te tikanga, ka taea e nga korero me nga raraunga take te mahi tahi ki te toha huanga puta noa i nga rawa raraunga rereke. Ka awhina nga korero ki te tautuhi i te puna o nga raraunga kaore i hangaia, ka taea e nga raraunga whakapapa te awhina i te rere o taua raraunga puta noa i te putunga.
- Ko te werohanga Raraunga he tikanga e whakaurua ai nga tohu motuhake, kaore e taea te panui ki nga puna mohio o nga momo raraunga mohio. Na, i nga wa katoa ka karapahia e matou nga ihirangi me te raupapa o te ahua kaore e taea te panui, ka taea e matou te whakatau ko te ihirangi i ahu mai i tera momo raraunga mohio. He tohu raraunga kounga ano tenei e rite ana ki nga korero. Engari ko te rapunga i runga i te ihirangi ka awhina i te rapu i nga raraunga kua whakauruhia.
Ine ine
Ko tetahi waahanga nui ko te tikanga kaha mo te ine ine. Ko nga inenga matua mo te whakatikatika whakarōpūtanga he tika me te maumahara ki ia tapanga, ko te tohu F2 te mea nui.
Hei tatau i enei inenga, ka hiahiatia he tikanga motuhake mo te tapanga i nga rawa raraunga he mea motuhake mai i te punaha ake, engari ka taea te whakamahi mo te whakataurite tika ki a ia. Kei raro nei ka whakaahuahia me pehea e kohia ai e matou te pono whenua mai i a Facebook me te whakamahi hei whakangungu i ta maatau punaha whakarōpūtanga.
Te kohinga o nga raraunga pono
Ka whakaemihia e matou nga raraunga pono mai i ia puna kei raro iho nei ki roto i tana ake ripanga. Ko ia ripanga te kawenga mo te whakahiato i nga uara hou kua kitea mai i tera puna. Kei ia puna nga arowhai o te kounga raraunga kia mohio ai he kounga teitei nga uara kua kitea mo ia puna me nga tapanga momo raraunga hou.
- Ko nga whirihoranga papaataki taki: Ko etahi apure kei roto i nga ripanga hive kua whakakiia ki nga raraunga he momo motuhake. Ko te whakamahinga me te tohatoha o enei raraunga he puna pono mo te pono.
- Te tapanga a-ringa: Kua whakangungua nga kaiwhakawhanake e pupuri ana i te punaha tae atu ki nga tapanga o waho ki te tapanga i nga pou. I te nuinga o te wa ka pai tenei mo nga momo raraunga katoa i roto i te whare putunga, a ka waiho hei puna tuatahi mo te pono mo etahi raraunga kore hanga, penei i te raraunga karere, te ihirangi kaiwhakamahi ranei.
- Ko nga pou mai i nga ripanga matua ka taea te tohu, te tuhi korero ranei kei roto etahi raraunga, ka taea e tatou te whai i aua raraunga ki nga ripanga a nga tamariki.
- Te tiki miro o te mahi: ko nga miro o te mahi i roto i Facebook e kawe ana i nga momo raraunga motuhake. Ma te whakamahi i to maatau matawai hei hoahoanga ratonga, ka taea e matou te tauira i nga awa kua mohio ki nga momo raraunga ka tukuna ma te punaha. Ka oati te punaha kia kaua e penapena enei raraunga.
- Tauira ripanga: Ka taea hoki te whakamahi i nga ripanga hive nui, e mohiotia ana kei roto te tinana katoa o te raraunga, hei raraunga whakangungu, ka tukuna ma te matawai hei ratonga. He pai tenei mo nga ripanga me te whānuitanga o nga momo raraunga, kia rite ai te whakatauira i te pourangi matapōkere ki te whakatauira i te huinga katoa o taua momo raraunga.
- Raraunga waihanga: Ka taea e taatau te whakamahi i nga whare pukapuka ka whakaputa raraunga i runga i te rere. He pai tenei mo nga momo raraunga ngawari noa, penei i te wahitau, GPS ranei.
- Kaitiaki Raraunga: Ko te nuinga o nga wa ka whakamahia e nga kaupapa tūmataiti nga kaitiaki raraunga ki te whakatau a-ringa i nga kaupapa here ki nga waahanga raraunga. He puna tika tenei mo te pono.
Ka whakakotahihia e matou nga puna pono katoa ki roto i te tinana kotahi me era raraunga katoa. Ko te wero nui me te whaimana ko te whakarite he kanohi mo te whare putunga raraunga. Ki te kore, ka kaha ake nga miihini whakarōpū. Hei karo i tenei, ka whakamahia katoatia nga puna korero i runga ake nei ki te whakarite taurite i te wa e whakangungu ana i nga tauira me te tatau ine. I tua atu, ka whakatauritehia e nga kaipatuhi tangata nga pou rereke i roto i te putunga me te tapanga i nga raraunga kia tika ai te kohinga o te pono whenua.
Te Whakauru Tonu
Hei whakarite i te tere tere me te whakapai ake, he mea nui ki te ine i nga mahi a te punaha i te waa tuuturu. Ka taea e tatou te ine i nga whakapainga whakarōpūtanga katoa ki te punaha i enei ra, kia taea ai e maatau te arahi i nga whakapainga a meake nei i runga i nga raraunga. I konei ka titiro tatou ki te whakaotinga o te punaha i te kopae urupare e whakaratohia ana e nga raraunga whaimana.
Ina tutaki te punaha whakahōtaka ki tetahi rawa he tapanga mai i tetahi puna whirinaki, ka whakarite maatau e rua nga mahi. Ko te tuatahi ka whakamahi i ta maatau matawai whakaputa me o maatau kaha ki te whakaputa. Ko te mahi tuarua ka whakamahi i te matawai hanga hou me nga ahuatanga hou. Ka tuhia e ia mahi tana putanga ki tana ake ripanga, ka tohua nga putanga me nga hua whakarōpūtanga.
Koinei te ahua o te whakataurite i nga hua whakarōpūtanga o te kaitono tuku me te tauira whakaputa i roto i te waa.
Ahakoa ka whakatairitehia e nga huingararaunga nga ahuatanga RC me te PROD, he maha nga rereketanga o te miihini whakarōpūtanga ML o te ratonga matapae kua tohua. Ko te tauira ako miihini hou i hangaia, ko te tauira o naianei kei te hanga, me etahi tauira whakamatautau. Ko te huarahi ano ka taea e tatou te "tapahi" i nga momo momo tauira (agnostic ki o tatou kaiwhakarite ture) me te whakataurite i nga inenga i roto i te waa. Ma tenei ka ngawari te whakatau i te wa e reri ana te whakamatautau ML ki te mahi.
Ia po, ka tukuna nga ahuatanga RC kua tatauhia mo taua ra ki te paipa whakangungu ML, kei reira te tauira e whakangungua ana ki nga ahuatanga hou o te RC me te arotake i ana mahi ki runga i te huinga raraunga pono.
Ia ata, ka whakaoti te tauira i te whakangungu, ka whakaputa aunoatia hei tauira whakamatautau. Ka whakaurua aunoatia ki te rarangi whakamatautau.
Ko etahi hua
Neke atu i te 100 nga momo raraunga ka tapaina ki te tino tika. Ko nga momo hanganga pai penei i nga imeera me nga nama waea ka whakarōpūhia me te kaute f2 nui ake i te 0,95. Ko nga momo raraunga kore utu penei i te ihirangi hanga-kaiwhakamahi me te ingoa ka tino pai te mahi, me nga kaute F2 nui ake i te 0,85.
He maha nga pou takitahi o nga raraunga tohe me te rorirori ka whakarōpūhia ia ra puta noa i nga putunga katoa. Neke atu i te 500 terabytes ka karapahia ia ra puta noa i te 10 nga whare putunga raraunga. Neke atu i te 98% te kapinga o te nuinga o enei putunga.
I te roanga o te wa, kua tino pai te whakarōpūtanga, me nga mahi whakarōpūtanga i roto i te roma tuimotu e 35 hēkona te toharite mai i te karapa i tetahi rawa ki te tatau matapae mo ia pou.
raihi. 2. Hoahoa e whakaatu ana i te rerenga whakauru tonu kia mohio ai koe ki te whakaputanga o nga taonga RC me te tuku ki te tauira.
Whakaatu 3. Te hoahoa taumata teitei o te waahanga ako miihini.
Waenga punaha ako miihini
I te waahanga o mua, i ruku hohonu matou ki te hoahoanga o te punaha katoa, e whakaatu ana i te tauine, te arotautanga, me nga rerenga raraunga tuimotu me te ipurangi. I tenei waahanga, ka titiro tatou ki te ratonga matapae me te whakaahua i te punaha ako miihini e kaha ana te ratonga matapae.
Neke atu i te 100 nga momo raraunga me etahi mea kaore i hangaia penei i te raraunga karere me te ihirangi kaiwhakamahi, ma te whakamahi i te heuristic a-ringa ka puta te tika o te whakarōpūtanga iti, ina koa mo nga raraunga kore hanga. Mo tenei take, kua whakawhanakehia ano e matou he punaha ako miihini hei whakatutuki i nga uaua o nga raraunga kaore i hangaia. Ma te ako miihini ka taea e koe te neke atu i nga heuristic a-ringa me te mahi me nga ahuatanga me nga tohu raraunga taapiri (hei tauira, nga ingoa pou, takenga raraunga) hei whakapai ake i te tika.
Ko te tauira kua whakatinanahia e ako ana i nga whakaaturanga vector [3] i runga i nga mea kikokore me nga mea iti. Ka honoa enei ki te hanga i te vector, e haere ana i roto i te raupapa o te whakaraeraetanga puranga [4] me nga hikoi kore-raina kia puta ai te hua whakamutunga. Ko te hua mutunga he tau ira maanu i waenga i [0-1] mo ia tapanga, e tohu ana i te tupono no tera momo tairongo te tauira. Ma te whakamahi i te PyTorch mo te tauira ka taea e matou te neke tere, ka taea e nga kaiwhakawhanake i waho o te roopu te mahi tere me te whakamatautau i nga huringa.
I te wa e hoahoa ana i te hoahoanga, he mea nui ki te whakatauira i nga mea iti (hei tauira) me nga mea kiato (hei tauira, tau) motuhake na runga i o raatau rereketanga. Mo te hoahoanga whakamutunga, he mea nui ano kia mahia he tawhā tahia hei kimi i te uara tino pai mo te reiti ako, te rahi o te puranga, me etahi atu taapapa hyper. Ko te kowhiringa o te kaihoroi he tino taaraitua. I kitea e matou he kaitirotiro rongonui Aramahe maha nga wa e arai atu ai ki te taapiri, engari ko te tauira me te SGD u atu. He taapiri taapiri me whakauru tika ki roto i te tauira. Hei tauira, ko nga ture pateko e whakapumau ana ka mahia e te tauira he matapae whakatau ina he uara to tetahi ahuatanga. Ko enei ture pateko e whakatauhia ana e o taatau kiritaki. I kitea e matou ko te whakauru tika ki roto i te tauira i hua ake ai he hoahoanga ake ake me te pakari ake, he rereke ki te whakatinana i te mahi i muri i te tukatuka hei hapai i enei keehi taha motuhake. Me mahara ano ka monokia enei ture i te wa e whakangungu ana kia kore ai e whakararu i te tukanga whakangungu hekenga.
Nga raruraru
Ko tetahi o nga wero ko te kohi raraunga kounga teitei, pono. Me maia te tauira mo ia akomanga kia taea ai e ia te ako hononga i waenga i nga taonga me nga tapanga. I te waahanga o mua, i korerohia e matou nga tikanga kohikohi raraunga mo te ine i te punaha me te whakangungu tauira. I whakaatuhia e te tātaritanga ko nga karaehe raraunga penei i te kaari nama me nga nama putea putea kaore i te tino noa i roto i to maatau whare putunga. He uaua tenei ki te kohikohi i te nui o nga raraunga pono hei whakangungu tauira. Hei whakatika i tenei take, kua whakawhanakehia e matou nga tikanga mo te whiwhi raraunga pono whenua waihanga mo enei akomanga. Ka whakaputahia e matou enei raraunga mo nga momo tairongo tae atu ki SSN, nama kāri nama и IBAN-nga nama kaore e taea e te tauira te matapae i mua. Ma tenei huarahi ka taea te tukatuka i nga momo raraunga tairongo me te kore e pa ana ki te huna i nga raraunga tairongo.
I tua atu i nga take pono o te whenua, he take hoahoanga tuwhera kei te mahia e matou, penei huri wehe и mutu wawe. He mea nui te whakarereke i te wehenga ki te whakarite i nga huringa rereke ki nga waahanga rereke o te whatunga, ka wehea te paanga ki nga karaehe motuhake, kaore he paanga whanui ki nga mahi matapae katoa. He mea nui ano te whakapai ake i nga paearu whakamutu moata kia taea ai e tatou te aukati i te mahi whakangungu ki te waahi pumau mo nga karaehe katoa, kaua ki te waahi ka omaa etahi o nga karaehe me etahi atu kaore.
Hiranga nui
Ina whakauruhia he ahuatanga hou ki roto i tetahi tauira, ka hiahia matou ki te mohio ki tona paanga katoa ki te tauira. Kei te pirangi ano matou ki te whakamaaramatanga o nga matapaetanga e te tangata kia marama ai tatou he aha nga ahuatanga e whakamahia ana mo ia momo raraunga. Mo tenei kaupapa i whakawhanakehia e matou me te whakauru mā te akomanga te hiranga o nga ahuatanga mo te tauira PyTorch. Kia mahara he rereke tenei ki te hiranga o te waahanga, e tautokohia ana, na te mea kaore e whakaatu mai he aha nga ahuatanga e whai tikanga ana mo tetahi akomanga. Ka inehia te hiranga o tetahi mea ma te tatau i te pikinga o te hapa matapae i muri i te whakariterite ano i te ahanoa. "He mea nui" tetahi waahanga ka piki ake te hapa o te tauira na te mea i tenei keehi i whakawhirinaki te tauira ki te ahuatanga ki te whakaputa i tana matapae. Ko tetahi ahuatanga "he mea nui" i te wa e huri ana i ona uara ka waiho te hapa o te tauira kaore i whakarereke, na te mea i tenei keehi kaore te tauira i arohia [5].
Ko te hiranga o te ahuatanga mo ia karaehe ka taea e tatou te whakamaori i te tauira kia kite ai he aha te titiro a te tauira ina matapae i te tapanga. Hei tauira, ina wetewetehia e tatou ADDR, ka whakamanahia e matou ko te tohu e hono ana ki te waahi noho, penei Kaute Raina Wāhitau, kei te taumata teitei i roto i te ripanga hiranga mo ia karaehe kia pai ai to tatou whakaaro tangata ki nga mea i akohia e te tauira.
aro mātai
He mea nui ki te tautuhi i te ine kotahi mo te angitu. I whiriwhiria e matou F2 - te taurite i waenga i te maumahara me te tika (he nui ake te riipene maumahara). He mea nui ake te maumahara mo te keehi whakamahi tūmataiti atu i te tika na te mea he mea nui kia kaua te kapa e ngaro i nga raraunga tairongo (ma te whakarite i te tika tika). Ko te tino arotakenga mahi F2 o to maatau tauira kei tua atu i te waahanga o tenei pepa. Heoi, ma te ata titiro ka taea e tatou te eke ki nga tohu F0,9 teitei (2+) mo nga karaehe tairongo tino nui.
Nga mahi e pa ana
He maha nga algorithms mo te whakarōpūtanga aunoa o nga tuhinga kaore i hangaia ma te whakamahi i nga momo tikanga penei i te whakataurite tauira, te rapu ritenga tuhinga me nga momo tikanga ako miihini (Bayesian, rakau whakatau, k-tata tata me te tini ke atu) [6]. Ka taea te whakamahi tetahi o enei hei waahanga o te whakarōpūtanga. Heoi, ko te raruraru ko te tauineine. Ko te huarahi whakarōpū i roto i tenei tuhinga he rītaha ki te ngawari me te mahi. Ma tenei ka taea e matou te tautoko i nga karaehe hou a meake nei me te pupuri kia iti te noho.
He nui hoki nga mahi mo te mahi tapumati. Hei tauira, ko nga kaituhi i roto i te [7] i whakaahua i tetahi otinga e aro ana ki te raru o te hopu i nga rerenga raraunga tairongo. Ko te whakapae ka taea te tohu maihao kia rite ki te huinga o nga raraunga tairongo e mohiotia ana. Ko nga kaituhi i roto i te [8] e whakaatu ana i tetahi raruraru rite mo te riihitanga tūmataitinga, engari ko ta raatau otinga i ahu mai i runga i te hoahoanga Android motuhake ka whakarōpūhia mena ka puta mai nga mahi a te kaiwhakamahi ki te tiritiri korero whaiaro, mena ka pakaru nga raraunga a te kaiwhakamahi. He ahua rereke te ahuatanga i konei na te mea ka taea ano e nga raraunga kaiwhakamahi te tino kore hanga. No reira, me whai tikanga uaua ake i te tohu matimati.
Ka mutu, ki te karo i nga ngoikoretanga o nga raraunga mo etahi momo raraunga tairongo, i whakauruhia e matou he raraunga waihanga. He nui nga tuhinga mo te whakarahi raraunga, hei tauira, i tirotirohia e nga kaituhi i te [9] te mahi o te wero haruru i te wa o te whakangungu me te kite i nga hua pai i roto i nga akoranga kua tirotirohia. He rereke ta matou huarahi ki te noho muna na te mea ka kore e whai hua te whakauru i nga raraunga haruru, ka aro ke matou ki nga raraunga waihanga kounga teitei.
mutunga
I roto i tenei pepa, i whakaatuhia e matou he punaha ka taea te whakarōpū i tetahi waahanga raraunga. Ma tenei ka taea e matou te hanga i nga punaha ki te whakauru i nga kaupapa here moata me te haumaru. Kua whakaatuhia e matou ko nga hanganga tauineine, te whakauru haere tonu, te ako miihini me te whakapumautanga raraunga kounga teitei ka whai waahi nui ki te angitu o te maha o a maatau kaupapa tūmataiti.
He maha nga huarahi mo nga mahi a meake nei. Ka uru pea tenei ki te whakarato tautoko mo nga raraunga kore (nga konae), te whakarōpū ehara i te momo raraunga anake engari me te taumata tairongo, me te whakamahi i te ako whaiaro i te wa e whakangungu ana ma te whakaputa i nga tauira waihanga tika. Ko tenei, ka awhina i te tauira ki te whakaiti i nga mate ma te nui rawa atu. Ka taea hoki e nga mahi a muri ake te aro ki te rerenga mahi tirotiro, kei tua atu i te kitenga me te whakarato i te tātaritanga take pakiaka o nga momo takahitanga tūmataitinga. Ka awhina tenei i roto i nga keehi penei i te tātaritanga tairongo (arā, ahakoa he teitei te tairongo tūmataiti o te momo raraunga (hei tauira, IP kaiwhakamahi) he iti ranei (hei tauira, IP o roto o Facebook)).
Bibliography
- ko Rawiri Pene Rawiri, ko Tamara Tomani, ko Apikaira Tareme. Te whakarōpū raraunga hinonga ma te whakamahi i nga hangarau tukutuku semantic. Kei Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks, me Birte Glimm, ētita, Te Tukutuku Semantic – ISWC 2010, api 66–81, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg.
- Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang, me Sanjeev Kumar. f4: Ko te punaha rokiroki BLOB mahana o Facebook. I roto 11th USENIX Symposium on Operation Systems Design and Implementation (OSDI 14), whārangi 383–398, Broomfield, CO, Oketopa 2014. USENIX Association.
- Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, me Jeff Dean. Ko nga whakaaturanga kua tohatohahia o nga kupu me nga kianga me o raatau hanganga. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, ētita, Nga Aketanga i roto i nga Pūnaha Tukatuka Korero Neural 26, api 3111–3119. Curran Associates, Inc., 2013.
- Sergey Ioffe me Christian Szegedy. Te whakararu i te roopu: Whakatere i te whakangungu whatunga hohonu ma te whakaiti i nga nekehanga o roto. I roto i a Francis Bach me David Blei, ētita, Nga Mahi o te Huihuinga 32 o te Ao mo te Ako Miihini, pukapuka 37 o Nga Mahi Rangahau Ako Miihini, whārangi 448–456, Lille, France, 07–09 Jul 2015. PMLR.
- Leo Breiman. Ngahere tupurangi. Mach. Ako., 45(1):5–32, Oketopa 2001.
- Thair Nu Phyu. Te rangahau mo nga tikanga whakarōpū i te keri raraunga.
- X. Shu, D. Yao, and E. Bertino. Ko te kitenga o nga korero mo nga raraunga tairongo. Nga Whakawhitinga IEEE i runga i nga korero mo te Tirotiro me te Haumarutanga, 10(5):1092–1103, 2015.
- Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning, me Xiaoyang Wang. Kaitono: Te tātari i te tuku raraunga tairongo i roto i te phi mo te rapunga o te riipapatanga. api 1043–1054, 11 2013.
- Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong, me Quoc V. Le. Ko te whakanui i nga raraunga kaore i te tirotirohia.
Rapua nga korero mo te whiwhi umanga e rapuhia ana mai i te timatanga, i te Taumata ranei mo nga pukenga me nga utu ma te tango i nga akoranga ipurangi a SkillFactory:
- (12 marama)
- (12 wiki)
- (20 wiki)
- (20 wiki)
Ētahi atu akoranga
- (9 marama)
- (8 marama)
- (9 marama)
- (12 marama)
- (18 marama)
- (12 marama)
- (9 marama)
- (7 marama)
Source: will.com