Kev faib cov ntaub ntawv raws li cov ntsiab lus yog qhov teeb meem qhib. Ib txwm siv cov ntaub ntawv poob kev tiv thaiv (DLP) cov tshuab daws qhov teeb meem no los ntawm kev luam ntiv tes rau cov ntaub ntawv cuam tshuam thiab saib xyuas cov ntsiab lus kawg rau kev luam ntiv tes. Muab ntau cov ntaub ntawv hloov pauv tas li ntawm Facebook, txoj hauv kev no tsis yog tsuas yog ua kom muaj peev xwm, tab sis kuj tsis muaj txiaj ntsig rau kev txiav txim siab qhov twg cov ntaub ntawv nyob. Daim ntawv no tsom mus rau qhov kawg-rau-kawg uas tsim los txhawm rau txheeb xyuas cov ntsiab lus rhiab hauv Facebook ntawm qhov ntsuas thiab txiav txim siab tswj cov ntaub ntawv khaws cia thiab tswj kev nkag.
Txoj hauv kev tau piav qhia ntawm no yog peb thawj qhov kawg-rau-kawg kev ceev ntiag tug uas sim daws qhov teeb meem no los ntawm kev siv cov ntaub ntawv teeb liab, kev kawm tshuab, thiab cov txheej txheem luam ntiv tes ib txwm siv los ua daim ntawv qhia thiab faib tag nrho cov ntaub ntawv hauv Facebook. Cov txheej txheem piav qhia yog ua haujlwm nyob rau hauv ib puag ncig tsim khoom, ua tiav qhov nruab nrab F2 tus qhab nia ntawm 0,9+ thoob plaws ntau chav kawm ntiag tug thaum ua cov ntaub ntawv ntau ntau thoob plaws ntau lub chaw khaws cia. Qhia txog kev txhais lus ntawm Facebook's ArXiv daim ntawv ntawm kev faib cov ntaub ntawv muaj peev xwm rau kev nyab xeeb thiab kev ceev ntiag tug raws li kev kawm tshuab.
Taw qhia
Niaj hnub no, cov koom haum sau thiab khaws cov ntaub ntawv ntau ntau hauv ntau hom thiab qhov chaw [1], tom qab ntawd cov ntaub ntawv tau siv ntau qhov chaw, qee zaum theej lossis cached ntau zaus, ua rau cov ntaub ntawv lag luam muaj txiaj ntsig thiab muaj txiaj ntsig tau tawg thoob plaws ntau cov ntaub ntawv lag luam. khw. Thaum ib lub koom haum yuav tsum tau ua kom tau raws li cov kev cai lij choj lossis kev tswj hwm, xws li kev ua raws li cov cai hauv kev hais plaub hauv pej xeem, nws yuav tsum tau sau cov ntaub ntawv hais txog qhov chaw ntawm cov ntaub ntawv xav tau. Thaum txoj cai tswj hwm ntiag tug hais tias ib lub koom haum yuav tsum npog tag nrho Cov Xaus Saus Tus Naj Npawb (SSNs) thaum sib qhia cov ntaub ntawv tus kheej nrog cov chaw tsis raug tso cai, thawj kauj ruam yog tshawb xyuas tag nrho SSNs thoob plaws lub koom haum cov ntaub ntawv khaws cia. Nyob rau hauv cov xwm txheej zoo li no, kev faib cov ntaub ntawv ua qhov tseem ceeb [1]. Cov txheej txheem kev faib tawm yuav tso cai rau cov koom haum tuaj yeem tswj hwm kev ceev ntiag tug thiab kev nyab xeeb cov cai, xws li tso cai rau kev tswj xyuas cov cai, khaws cov ntaub ntawv. Facebook tab tom qhia txog lub kaw lus uas peb tsim hauv Facebook uas siv ntau cov ntaub ntawv teeb liab, scalable system architecture, thiab tshuab kev kawm kom pom cov ntaub ntawv semantic rhiab heev.
Kev tshawb nrhiav thiab kev faib cov ntaub ntawv yog cov txheej txheem ntawm kev nrhiav thiab sau cov ntaub ntawv kom cov ntaub ntawv cuam tshuam tuaj yeem rov qab tau sai thiab ua tau zoo thaum xav tau. Cov txheej txheem tam sim no yog phau ntawv txhais lus hauv qhov xwm txheej thiab suav nrog kev tshuaj xyuas cov kev cai lij choj lossis cov cai, txiav txim siab seb hom ntaub ntawv twg yuav tsum raug txiav txim siab thiab qhov sib txawv ntawm qhov rhiab heev yog dab tsi, thiab tom qab ntawd tsim cov chav kawm thiab kev faib cov cai raws li [1]. Kev tiv thaiv cov ntaub ntawv poob (DLP) tom qab ntawd cov ntiv tes luam tawm cov ntaub ntawv thiab saib xyuas cov ntsiab lus hauv qab kawg kom tau txais cov ntiv tes. Thaum cuam tshuam nrog cov khoom vaj khoom tsev-hnyav nrog petabytes ntawm cov ntaub ntawv, qhov no tsuas yog tsis ntsuas.
Peb lub hom phiaj yog tsim kom muaj kev faib cov ntaub ntawv uas ntsuas rau ob qho tib si muaj zog thiab cov neeg siv cov ntaub ntawv, tsis muaj kev txwv ntxiv ntawm cov ntaub ntawv lossis hom ntawv. Qhov no yog lub hom phiaj audacious, thiab ib txwm nws los nrog kev cov nyom. Ib daim ntawv teev cov ntaub ntawv yuav ua tau ntau txhiab tus cim ntev.
Daim duab 1. Online thiab offline forecasting ntws
Yog li ntawd, peb yuav tsum sawv cev rau nws zoo siv cov txheej txheem ntawm cov yam ntxwv uas tuaj yeem ua ke tom qab thiab yooj yim txav mus los. Cov yam ntxwv no yuav tsum tsis yog tsuas yog muab kev faib tawm kom raug, tab sis kuj tseem muab kev hloov pauv thiab nthuav dav kom yooj yim ntxiv thiab tshawb pom cov ntaub ntawv tshiab rau yav tom ntej. Qhov thib ob, koj yuav tsum tau nrog cov rooj loj offline. Cov ntaub ntawv ruaj khov tuaj yeem khaws cia hauv cov ntxhuav uas muaj ntau yam petabytes loj. Qhov no yuav ua rau qeeb scan ceev. Thib peb, peb yuav tsum ua raws li kev cais SLA nruj ntawm cov ntaub ntawv tsis hloov pauv. Qhov no ua rau lub cev ua haujlwm tau zoo, nrawm thiab raug. Thaum kawg, peb yuav tsum muab kev faib cov ntaub ntawv qis qis rau cov ntaub ntawv tsis hloov pauv los ua cov kev faib tawm lub sijhawm tiag tiag nrog rau cov xwm txheej siv Internet.
Daim ntawv no piav qhia seb peb tau ua li cas nrog cov kev cov nyom saum toj no thiab nthuav qhia cov txheej txheem kev faib tawm sai thiab nthuav dav uas faib cov ntaub ntawv ntawm txhua hom, hom, thiab cov peev txheej raws li cov txheej txheem sib txawv. Peb nthuav dav cov txheej txheem architecture thiab tsim cov qauv kev cai tshuab kev kawm kom ceev ceev cov ntaub ntawv offline thiab online. Daim ntawv no tau teeb tsa raws li hauv qab no: Tshooj 2 nthuav qhia tag nrho cov qauv tsim. Nqe 3 tham txog qhov chaw ntawm lub tshuab kev kawm. Ntu 4 thiab 5 qhia txog cov haujlwm uas muaj feem cuam tshuam thiab qhia txog cov lus qhia yav tom ntej ntawm kev ua haujlwm.
architecture
Txhawm rau daws cov teeb meem tsis tu ncua thiab Facebook-scale cov ntaub ntawv hauv online, cov txheej txheem kev faib tawm muaj ob txoj kev sib cais, uas peb yuav tham txog kom meej.
Cov ntaub ntawv Sustainable
Thaum pib, lub kaw lus yuav tsum kawm txog Facebook cov ntaub ntawv ntau yam khoom muaj nqis. Rau txhua qhov chaw khaws cia, qee cov ntaub ntawv yooj yim raug sau, xws li cov chaw khaws ntaub ntawv uas muaj cov ntaub ntawv, lub kaw lus uas muaj cov ntaub ntawv, thiab cov khoom muaj nqis nyob hauv cov ntaub ntawv tshwj xeeb. Qhov no tsim cov metadata catalog uas tso cai rau lub kaw lus kom rov qab tau cov ntaub ntawv zoo yam tsis muaj overloading cov neeg siv khoom thiab cov peev txheej siv los ntawm lwm tus engineers.
Cov metadata catalog no muab cov ntaub ntawv pov thawj rau tag nrho cov cuab tam scanned thiab tso cai rau koj taug qab cov xwm txheej ntawm ntau yam khoom muaj nqis. Siv cov ntaub ntawv no, kev teem caij tseem ceeb yog tsim los ntawm cov ntaub ntawv khaws tseg thiab cov ntaub ntawv sab hauv los ntawm lub kaw lus, xws li lub sijhawm cov cuab yeej cuab tam tau xeem dhau los ua tiav thiab lub sijhawm nws tau tsim, nrog rau lub cim xeeb yav dhau los thiab CPU cov cai rau cov khoom vaj khoom tsev yog tias nws tau raug tshuaj xyuas ua ntej. Tom qab ntawd, rau txhua cov ntaub ntawv peev txheej (raws li cov peev txheej tau dhau los), txoj haujlwm raug hu ua kom luam theej duab cov peev txheej.
Txhua txoj haujlwm yog cov ntaub ntawv sib sau ua ke uas ua rau Bernoulli sampling ntawm cov ntaub ntawv tshiab muaj rau txhua lub cuab tam. Cov khoom vaj khoom tsev tau muab faib ua ib kab ke, qhov twg qhov kev faib tawm ntawm txhua kab yog ua tiav ntawm nws tus kheej. Tsis tas li ntawd, lub kaw lus scans rau cov ntaub ntawv saturated hauv txhua kab. JSON, arrays, encoded lug, URLs, hauv paus 64 serialized cov ntaub ntawv, thiab ntau dua yog tag nrho scanned. Qhov no tuaj yeem ua rau lub sijhawm ua tiav scan ntau ntxiv vim tias ib lub rooj tuaj yeem muaj ntau txhiab kab hauv ib lub blob. json.
Rau txhua kab uas raug xaiv hauv cov khoom vaj khoom tsev, cov txheej txheem kev faib tawm tshem tawm cov ntab thiab cov ntawv nyeem los ntawm cov ntsiab lus thiab koom nrog txhua yam khoom rov qab mus rau kab uas nws tau coj. Qhov tso zis ntawm cov kauj ruam rho tawm feature yog ib daim ntawv qhia ntawm tag nrho cov nta rau txhua kem pom nyob rau hauv cov ntaub ntawv cuab tam.
Dab tsi yog cov cim rau?
Lub tswv yim ntawm tus cwj pwm yog qhov tseem ceeb. Hloov chaw ntab thiab cov ntawv zoo, peb tuaj yeem dhau cov qauv ntawm cov hlua uas tau muab rho tawm ncaj qha los ntawm txhua cov ntaub ntawv. Tsis tas li ntawd, cov qauv kev kawm tshuab tuaj yeem raug cob qhia ncaj qha rau txhua tus qauv, tsis yog ntau pua ntawm cov lus suav uas tsuas yog sim kwv yees tus qauv. Muaj ntau qhov laj thawj rau qhov no:
- Kev ceev ntiag tug ua ntej: Qhov tseem ceeb tshaj plaws, lub tswv yim ntawm cov yam ntxwv tso cai rau peb khaws cia hauv lub cim xeeb tsuas yog cov qauv uas peb muab tau. Qhov no ua kom ntseeg tau tias peb khaws cov qauv rau ib lub hom phiaj thiab tsis txhob sau lawv los ntawm peb tus kheej kev siv zog. Qhov no yog qhov tseem ceeb tshwj xeeb tshaj yog rau cov ntaub ntawv tsis hloov pauv, txij li cov kev pabcuam yuav tsum tuav qee lub xeev kev faib ua ntej muab kev kwv yees.
- Nco: Qee cov qauv tuaj yeem ua ntau txhiab tus cim ntev. Khaws cov ntaub ntawv no thiab xa mus rau qhov chaw ntawm qhov system tsis tas siv ntau bytes ntxiv. Qhov ob yam tuaj yeem sib xyaw ua ke dhau sijhawm, vim tias muaj ntau cov ntaub ntawv siv nrog ntau txhiab kab.
- Feature aggregation: Cov yam ntxwv kom meej meej sawv cev rau cov txiaj ntsig ntawm txhua qhov scan los ntawm cov txheej txheem, tso cai rau lub kaw lus sib txuas cov txiaj ntsig ntawm kev txheeb xyuas yav dhau los ntawm tib cov ntaub ntawv peev txheej hauv txoj hauv kev yooj yim. Qhov no tuaj yeem muaj txiaj ntsig zoo rau kev sib sau cov txiaj ntsig scan los ntawm ib qho kev pabcuam cov ntaub ntawv hla ntau qhov kev khiav haujlwm.
Cov yam ntxwv tom qab ntawd raug xa mus rau qhov kev kwv yees qhov kev pab cuam uas peb siv kev faib raws li txoj cai thiab kev kawm tshuab los kwv yees cov ntaub ntawv ntawm txhua kab. Cov kev pab cuam cia siab rau ob txoj cai classifiers thiab tshuab kev kawm thiab xaiv qhov zoo tshaj plaws kev twv ua ntej muab los ntawm txhua qhov kwv yees kwv yees.
Rule classifiers yog phau ntawv heuristics, lawv siv cov kev suav thiab cov coefficients los normalize ib yam khoom mus rau ntau yam ntawm 0 mus rau 100. Thaum xws li cov qhab nia pib yog tsim rau txhua hom ntaub ntawv thiab kab npe uas cuam tshuam nrog cov ntaub ntawv, nws tsis suav nrog "txiav txim siab". cov npe", Txoj cai classifier xaiv cov qhab nia siab tshaj plaws ntawm txhua hom ntaub ntawv.
Vim yog qhov nyuaj ntawm kev faib tawm, kev cia siab nkaus xwb los ntawm phau ntawv heuristics ua rau tsis muaj kev faib tawm qhov tseeb, tshwj xeeb tshaj yog rau cov ntaub ntawv tsis tsim nyog. Vim li no, peb tau tsim lub tshuab kev kawm ua haujlwm nrog kev faib cov ntaub ntawv tsis zoo xws li cov neeg siv cov ntsiab lus thiab chaw nyob. Kev kawm tshuab tau ua rau nws muaj peev xwm pib txav deb ntawm phau ntawv heuristics thiab siv cov ntaub ntawv ntxiv (xws li cov npe kab, cov ntaub ntawv pov thawj), txhim kho qhov tseeb ntawm kev tshawb pom. Peb mam li nkag mus tob rau hauv peb lub tshuab kev kawm architecture tom qab.
Cov kev pabcuam kwv yees khaws cov txiaj ntsig rau txhua kab nrog rau cov ntaub ntawv metadata txog lub sijhawm thiab lub xeev ntawm scan. Txhua tus neeg siv khoom thiab cov txheej txheem qis qis uas nyob ntawm cov ntaub ntawv no tuaj yeem nyeem nws los ntawm cov ntaub ntawv luam tawm txhua hnub. Cov txheej txheem no suav nrog cov txiaj ntsig ntawm tag nrho cov haujlwm scan, lossis Real-Time Data Catalog APIs. Tshaj tawm kev kwv yees yog lub hauv paus rau kev tswj tsis siv neeg ntawm kev ceev ntiag tug thiab kev ruaj ntseg cov cai.
Thaum kawg, tom qab qhov kev pab cuam kwv yees sau tag nrho cov ntaub ntawv thiab tag nrho cov kev kwv yees tau muab khaws cia, peb Cov Ntaub Ntawv Catalog API tuaj yeem xa rov qab tag nrho cov ntaub ntawv hom kev kwv yees rau cov peev txheej hauv lub sijhawm. Txhua hnub lub kaw lus tshaj tawm cov ntaub ntawv uas muaj tag nrho cov kev kwv yees tshiab kawg rau txhua lub cuab tam.
Volatile cov ntaub ntawv
Thaum cov txheej txheem saum toj no yog tsim los rau cov cuab tam tsis tu ncua, kev khiav tsheb tsis tu ncua kuj tseem suav tias yog ib feem ntawm lub koom haum cov ntaub ntawv thiab tuaj yeem yog qhov tseem ceeb. Vim li no, lub kaw lus muab API online rau kev tsim cov kev faib tawm hauv lub sijhawm kwv yees rau txhua qhov kev sib tshuam. Real-time forecasting system yog dav siv nyob rau hauv kev faib tawm cov tsheb khiav tawm, inbound tsheb mus rau hauv tshuab kev kawm qauv thiab cov ntaub ntawv tshaj tawm.
Ntawm no API siv ob lub ntsiab lus sib cav: qhov tseem ceeb ntawm pawg thiab cov ntaub ntawv nyoos uas yuav tsum tau kwv yees. Cov kev pab cuam ua tib yam khoom retrieval raws li tau piav saum toj no thiab muab cov khoom ua ke rau tib tus yuam sij. Cov yam ntxwv no kuj tau txais kev txhawb nqa nyob rau hauv qhov persistence cache rau kev ua tsis tiav rov qab. Rau txhua pab pawg tus yuam sij, cov kev pabcuam xyuas kom meej tias nws tau pom cov qauv txaus ua ntej hu rau qhov kev pabcuam kwv yees, ua raws li cov txheej txheem tau piav qhia saum toj no.
Optimization
Txhawm rau luam theej duab qee qhov chaw khaws cia, peb siv cov tsev qiv ntawv thiab cov tswv yim los txhim kho kev nyeem ntawv los ntawm kev cia kub [2] thiab xyuas kom meej tias tsis muaj kev cuam tshuam los ntawm lwm tus neeg siv nkag mus rau tib lub cia.
Rau cov ntxhuav loj heev (50+ petabytes), txawm tias tag nrho cov kev ua kom zoo thiab kev nco, lub kaw lus ua haujlwm los luam theej duab thiab suav txhua yam ua ntej khiav tawm ntawm lub cim xeeb. Tom qab tag nrho, lub scan yog xam tag nrho hauv lub cim xeeb thiab tsis khaws cia thaum lub scan. Yog tias cov ntxhuav loj muaj ntau txhiab kab nrog cov ntaub ntawv tsis muaj teeb meem, txoj haujlwm yuav ua tsis tiav vim tsis muaj peev txheej nco txaus thaum ua kev kwv yees ntawm tag nrho cov lus. Qhov no yuav ua rau txo qhov kev pab cuam. Txhawm rau tiv thaiv qhov no, peb tau ua kom zoo rau lub kaw lus siv scan nrawm raws li tus neeg sawv cev rau qhov system ua haujlwm zoo li cas tam sim no. Peb siv ceev raws li qhov kev twv ua ntej kom pom cov teeb meem nco thiab twv ua ntej xam daim ntawv qhia tshwj xeeb. Tib lub sijhawm, peb siv cov ntaub ntawv tsawg dua li niaj zaus.
Cov ntaub ntawv qhia
Ib qho kev faib tawm tsuas yog zoo li cov teeb liab ntawm cov ntaub ntawv. Ntawm no peb yuav saib tag nrho cov teeb liab siv los ntawm kev faib tawm.
- Cov ntsiab lus raws li: Tau kawg, thawj thiab tseem ceeb tshaj plaws teeb liab yog cov ntsiab lus. Bernoulli sampling yog ua los ntawm txhua cov ntaub ntawv cuab tam uas peb luam theej duab thiab rho tawm cov yam ntxwv raws li cov ntaub ntawv cov ntsiab lus. Ntau cov cim qhia los ntawm cov ntsiab lus. Txhua yam ntawm cov khoom ntab muaj peev xwm ua tau, uas sawv cev rau kev suav ntawm pes tsawg zaus ib hom qauv tshwj xeeb tau pom. Piv txwv li, peb yuav muaj cov cim ntawm cov emails pom hauv cov qauv, lossis cov cim qhia tias muaj pes tsawg emojis pom hauv cov qauv. Cov kev suav cov yam ntxwv no tuaj yeem ua tau zoo thiab sib sau ua ke nyob rau hauv kev sib txawv scans.
- Cov ntaub ntawv pov thawj: Ib qho teeb meem tseem ceeb uas tuaj yeem pab tau thaum cov ntsiab lus tau hloov pauv los ntawm niam txiv lub rooj. Ib qho piv txwv yog hashed cov ntaub ntawv. Thaum cov ntaub ntawv nyob rau hauv ib tug me nyuam lub rooj yog hashed, nws feem ntau yog los ntawm cov niam txiv lub rooj, qhov twg nws tseem nyob rau hauv qhov tseeb. Lineage cov ntaub ntawv pab faib qee hom ntaub ntawv thaum lawv tsis nyeem kom meej lossis hloov dua siab tshiab los ntawm cov lus saum toj kawg nkaus.
- Cov lus piav qhia: Lwm lub teeb liab zoo uas pab txhawm rau txheeb xyuas cov ntaub ntawv tsis tsim nyog. Qhov tseeb, cov lus piav qhia thiab cov ntaub ntawv pov thawj tuaj yeem ua haujlwm ua ke los nthuav tawm cov cwj pwm thoob plaws cov ntaub ntawv sib txawv. Cov lus piav qhia pab txheeb xyuas qhov chaw ntawm cov ntaub ntawv tsis tsim nyog, thaum cov ntaub ntawv kab ke tuaj yeem pab taug qab qhov ntws ntawm cov ntaub ntawv thoob plaws hauv qhov chaw khaws cia.
- Cov ntaub ntawv txhaj tshuaj yog cov txheej txheem tshwj xeeb, cov cim tsis tau nyeem tau txhob txwm qhia rau hauv cov chaw paub ntawm cov ntaub ntawv paub. Tom qab ntawd, thaum twg peb luam theej duab cov ntsiab lus nrog tib lub cim tsis tau nyeem ib ntus, peb tuaj yeem suav tau tias cov ntsiab lus los ntawm hom ntaub ntawv paub. Qhov no yog lwm cov ntaub ntawv zoo ib yam li cov lus piav qhia. Tsuas yog tias cov ntsiab lus-raws li kev tshawb nrhiav pab tshawb pom cov ntaub ntawv nkag.
Kev ntsuas ntsuas
Ib qho tseem ceeb tivthaiv yog ib txoj kev nruj rau kev ntsuas metrics. Cov kev ntsuas tseem ceeb rau kev txhim kho kev faib tawm iteration yog qhov tseeb thiab rov qab los ntawm txhua daim ntawv lo, nrog F2 tus qhab nia yog qhov tseem ceeb tshaj plaws.
Txhawm rau xam cov kev ntsuas no, ib txoj kev ywj pheej rau kev sau cov ntaub ntawv cov cuab tam yog xav tau uas yog ywj siab ntawm lub system nws tus kheej, tab sis tuaj yeem siv rau kev sib piv ncaj qha nrog nws. Hauv qab no peb piav qhia yuav ua li cas peb sau qhov tseeb hauv av los ntawm Facebook thiab siv nws los qhia peb qhov kev faib tawm.
Sau cov ntaub ntawv txhim khu kev qha
Peb sau cov ntaub ntawv txhim khu kev qha los ntawm txhua qhov hauv qab no rau hauv nws lub rooj. Txhua lub rooj yog lub luag haujlwm rau kev sib sau cov txiaj ntsig tshiab tshaj plaws los ntawm qhov chaw tshwj xeeb. Txhua qhov chaw muaj cov ntaub ntawv kuaj xyuas kom ntseeg tau tias cov txiaj ntsig tau pom zoo rau txhua qhov chaw yog qhov zoo thiab muaj cov ntaub ntawv tshiab hom ntawv.
- Logging platform configurations: Qee qhov chaw hauv cov rooj zaum hive yog populated nrog cov ntaub ntawv uas yog hom tshwj xeeb. Kev siv thiab kev tshaj tawm ntawm cov ntaub ntawv no ua haujlwm raws li qhov tseeb ntawm qhov tseeb.
- Phau ntawv sau npe: Cov neeg tsim khoom tswj hwm qhov system nrog rau cov ntawv sau sab nraud raug cob qhia rau cov kab ntawv sau. Qhov no feem ntau ua haujlwm zoo rau txhua hom ntaub ntawv hauv lub tsev khaws khoom, thiab tuaj yeem yog qhov tseem ceeb ntawm qhov tseeb rau qee cov ntaub ntawv tsis tsim nyog, xws li cov ntaub ntawv xov xwm lossis cov ntsiab lus ntawm cov neeg siv.
- Kem los ntawm niam txiv cov rooj tuaj yeem raug cim lossis sau tseg raws li muaj qee cov ntaub ntawv, thiab peb tuaj yeem taug qab cov ntaub ntawv ntawd hauv cov menyuam cov ntxhuav.
- Fetching threads of execution: threads of execution in Facebook nqa cov ntaub ntawv tshwj xeeb. Siv peb lub scanner ua ib qho kev pabcuam architecture, peb tuaj yeem coj cov kwj deg uas paub hom ntaub ntawv thiab xa lawv los ntawm lub system. Lub kaw lus cog lus tias yuav tsis khaws cov ntaub ntawv no.
- Cov lus piv txwv: Cov ntxhuav loj loj, uas paub tias muaj tag nrho cov ntaub ntawv corpus, kuj tuaj yeem siv los ua cov ntaub ntawv kev cob qhia thiab dhau los ntawm lub scanner ua kev pabcuam. Qhov no yog qhov zoo rau cov ntxhuav nrog ntau yam ntawm cov ntaub ntawv hom, yog li kev ua piv txwv ib kem ntawm random yog sib npaug rau kev piv txwv tag nrho ntawm cov ntaub ntawv hom.
- Cov ntaub ntawv hluavtaws: Peb tuaj yeem siv cov tsev qiv ntawv uas tsim cov ntaub ntawv ntawm ya. Qhov no ua haujlwm zoo rau cov ntaub ntawv yooj yim, pej xeem hom xws li chaw nyob lossis GPS.
- Data Stewards: Cov kev pabcuam ntiag tug feem ntau siv cov neeg saib xyuas cov ntaub ntawv los muab cov cai rau cov ntaub ntawv. Qhov no ua hauj lwm raws li qhov tseeb ntawm qhov tseeb.
Peb muab txhua qhov loj ntawm qhov tseeb rau hauv ib lub cev nrog tag nrho cov ntaub ntawv ntawd. Qhov kev sib tw loj tshaj plaws nrog kev siv tau yog ua kom nws yog tus sawv cev ntawm cov ntaub ntawv khaws cia. Txwv tsis pub, kev faib cov cav tov yuav overtrain. Txhawm rau tiv thaiv qhov no, tag nrho cov peev txheej saum toj no tau siv los ua kom muaj kev sib npaug thaum cov qauv kev cob qhia lossis suav cov ntsuas ntsuas. Tsis tas li ntawd, tib neeg labelers uniformly coj cov kab sib txawv nyob rau hauv repository thiab sau cov ntaub ntawv raws li kom cov sau ntawm av qhov tseeb tseem unbiased.
Kev koom ua ke tsis tu ncua
Txhawm rau kom muaj kev rov ua dua sai thiab txhim kho, nws yog ib qho tseem ceeb uas yuav tsum ntsuas qhov kev ua tau zoo hauv lub sijhawm. Peb tuaj yeem ntsuas txhua qhov kev txhim kho kev faib tawm tawm tsam cov kab ke niaj hnub no, yog li peb tuaj yeem coj cov kev txhim kho yav tom ntej raws li cov ntaub ntawv. Ntawm no peb saib yuav ua li cas lub kaw lus ua tiav cov lus tawm tswv yim uas tau muab los ntawm cov ntaub ntawv siv tau.
Thaum lub sijhawm teem sijhawm ntsib cov cuab yeej cuab tam uas muaj daim ntawv lo los ntawm qhov chaw ntseeg siab, peb teem sijhawm ob txoj haujlwm. Thawj siv peb cov tshuab scanner ntau lawm thiab yog li peb cov peev txheej ntau lawm. Qhov thib ob txoj haujlwm yog siv cov cuab yeej tsim kho tshiab nrog cov yam ntxwv tshiab kawg. Txhua txoj haujlwm sau nws cov zis rau nws lub rooj, tagging versions nrog rau cov txiaj ntsig kev faib tawm.
Qhov no yog li cas peb piv cov kev faib tawm ntawm cov neeg sib tw tso tawm thiab cov qauv tsim khoom hauv lub sijhawm.
Thaum cov ntaub ntawv sib piv RC thiab PROD nta, ntau qhov kev hloov pauv ntawm qhov kev kwv yees qhov kev pab cuam ML cais cav tau nkag. Cov qauv kev kawm tshuab uas nyuam qhuav tsim, cov qauv tam sim no hauv kev tsim khoom, thiab ib qho kev sim ua qauv. Tib txoj hauv kev tso cai rau peb "slice" sib txawv ntawm cov qauv (tsis pom zoo rau peb cov kev cai cais tawm) thiab sib piv cov ntsuas hauv lub sijhawm. Qhov no ua rau nws yooj yim los txiav txim siab thaum twg qhov kev sim ML npaj txhij mus rau hauv kev tsim khoom.
Txhua hmo, RC cov yam ntxwv suav rau hnub ntawd raug xa mus rau ML kev cob qhia cov raj xa dej, qhov twg tus qauv tau kawm txog qhov tseeb RC nta thiab ntsuas nws qhov kev ua tau zoo tiv thaiv cov ntaub ntawv tseeb hauv av.
Txhua tag kis sawv ntxov, tus qauv ua tiav kev cob qhia thiab tau txais kev tshaj tawm raws li kev sim ua qauv. Nws tau cia li suav nrog hauv daim ntawv sim.
Qee qhov tshwm sim
Ntau tshaj 100 ntau hom ntaub ntawv tau sau nrog qhov raug siab. Cov qauv zoo xws li email thiab xov tooj raug cais nrog tus qhab nia f2 siab dua 0,95. Cov ntaub ntawv pub dawb xws li cov neeg siv tsim cov ntsiab lus thiab lub npe kuj ua tau zoo heev, nrog F2 cov qhab nia siab dua 0,85.
Ib tug loj tus naj npawb ntawm cov kab ntawv tsis tu ncua thiab cov ntaub ntawv tsis hloov pauv tau muab cais txhua hnub nyob rau txhua qhov chaw khaws cia. Ntau tshaj 500 terabytes raug tshuaj xyuas txhua hnub hla ntau dua 10 cov ntaub ntawv khaws cia. Feem ntau ntawm cov chaw cia khoom no muaj ntau dua 98% kev pov hwm.
Sij hawm dhau mus, kev faib tawm tau ua tau zoo heev, nrog rau kev faib cov hauj lwm hauv cov kwj tawm tsis tu ncua siv qhov nruab nrab ntawm 35 vib nas this los ntawm kev txheeb xyuas cov cuab yeej cuab tam rau kev xam cov kev kwv yees rau txhua kab.
Rice. 2. Daim duab piav qhia txog kev sib koom ua ke tsis tu ncua kom nkag siab tias RC cov khoom raug tsim thiab xa mus rau tus qauv li cas.
Daim duab 3. Daim duab qhia qib siab ntawm lub tshuab kev kawm.
Machine Learning System Cheebtsam
Hauv seem dhau los, peb tau nkag mus tob tob rau hauv tag nrho cov txheej txheem tsim qauv, qhia txog qhov ntsuas, kev ua kom zoo, thiab cov ntaub ntawv offline thiab online ntws. Hauv seem no, peb yuav saib cov kev pabcuam kev kwv yees thiab piav qhia txog lub tshuab kev kawm uas muaj zog rau kev pabcuam kev kwv yees.
Nrog ntau tshaj 100 cov ntaub ntawv hom thiab qee cov ntsiab lus tsis muaj teeb meem xws li cov ntaub ntawv cov ntaub ntawv thiab cov neeg siv cov ntsiab lus, siv cov ntawv qhia ua kom huv si ua rau muaj qhov raug cais tawm ntawm subparametric, tshwj xeeb tshaj yog rau cov ntaub ntawv tsis tsim nyog. Vim li no, peb kuj tau tsim lub tshuab kev kawm los daws cov teeb meem ntawm cov ntaub ntawv tsis tsim nyog. Siv tshuab kev kawm tso cai rau koj pib txav deb ntawm phau ntawv heuristics thiab ua haujlwm nrog cov yam ntxwv thiab cov ntaub ntawv ntxiv (piv txwv li, kab npe, cov ntaub ntawv keeb kwm) los txhim kho qhov tseeb.
Cov qauv siv tau kawm cov vector sawv cev [3] hla cov khoom tuab thiab sib cais. Cov no yog tom qab ntawd ua ke los tsim ib lub vector, uas dhau los ntawm cov txheej txheem ntawm batch normalization [4] thiab cov kauj ruam uas tsis yog-linearity los ua qhov kawg tshwm sim. Qhov kawg tshwm sim yog tus lej taw tes ntab ntawm [0-1] rau txhua daim ntawv lo, qhia txog qhov tshwm sim uas qhov piv txwv belongs rau hom rhiab heev. Siv PyTorch rau tus qauv tso cai rau peb txav nrawm dua, tso cai rau cov neeg tsim tawm sab nraud pab pawg kom sai thiab sim hloov pauv.
Thaum tsim cov architecture, nws yog ib qho tseem ceeb rau cov qauv sib txawv (xws li cov ntawv nyeem) thiab ntom (xws li cov lej) cov khoom sib cais vim lawv qhov sib txawv ntawm qhov sib txawv. Rau qhov kawg architecture, nws tseem ceeb heev uas yuav tau ua ib qho parameter cheb kom pom qhov zoo tshaj plaws rau kev kawm tus nqi, batch loj, thiab lwm yam hyperparameters. Qhov kev xaiv ntawm optimizer kuj yog ib qho tseem ceeb hyperparameter. Peb pom tias qhov nrov optimizer Adasfeem ntau ua rau overfitting, whereas tus qauv nrog SGD ruaj khov dua. Muaj cov nuances ntxiv uas peb yuav tsum suav ncaj qha rau hauv tus qauv. Piv txwv li, cov kev cai zoo li qub uas ua kom ntseeg tau tias tus qauv ua rau kev txiav txim siab twv txiaj thaum ib qho khoom muaj nqis. Cov kev cai zoo li qub no tau txhais los ntawm peb cov neeg siv khoom. Peb pom tias kev sib koom ua ke ncaj qha rau hauv tus qauv ua rau muaj kev tsim tus kheej thiab muaj zog dua qub, uas tsis yog siv cov kauj ruam tom qab ua tiav los daws cov teeb meem tshwj xeeb ntawm ntug no. Tsis tas li ntawd nco ntsoov tias cov kev cai no yog neeg xiam oob khab thaum kev cob qhia kom tsis txhob cuam tshuam rau txoj kev kawm gradient qhovntsej thiaj tsis mob.
Teeb meem
Ib qho ntawm cov kev sib tw yog sau cov ntaub ntawv zoo, txhim khu kev qha. Tus qauv xav tau kev ntseeg siab rau txhua chav kawm kom nws tuaj yeem kawm txog kev sib koom ua ke ntawm cov khoom thiab cov ntawv sau. Hauv seem dhau los, peb tau tham txog cov txheej txheem sau cov ntaub ntawv rau ob qho tib si kev ntsuas thiab kev qhia ua qauv. Kev tsom xam pom tau tias cov ntaub ntawv kawm xws li credit card thiab tus lej nyiaj hauv tuam txhab nyiaj tsis muaj ntau hauv peb lub tsev khaws khoom. Qhov no ua rau nws nyuaj rau sau ntau cov ntaub ntawv txhim khu kev qha los cob qhia cov qauv. Txhawm rau daws qhov teeb meem no, peb tau tsim cov txheej txheem kom tau txais cov ntaub ntawv qhia tseeb hauv av rau cov chav kawm no. Peb tsim cov ntaub ntawv zoo li no rau hom rhiab nrog rau SSN, credit card naj npawb ΠΈ TAS MUS-tus lej uas tus qauv tsis tuaj yeem kwv yees yav dhau los. Txoj hauv kev no tso cai rau cov ntaub ntawv rhiab rau kev ua tiav yam tsis muaj kev pheej hmoo ntiag tug cuam tshuam nrog kev zais cov ntaub ntawv rhiab tiag tiag.
Dhau li ntawm qhov teeb meem hauv av, muaj cov teeb meem qhib architectural peb tab tom ua haujlwm, xws li hloov kev cais ΠΈ nres thaum ntxov. Kev hloov kev rho tawm yog ib qho tseem ceeb kom ntseeg tau tias thaum muaj kev hloov pauv sib txawv rau qhov sib txawv ntawm lub network, qhov cuam tshuam raug cais rau cov chav kawm tshwj xeeb thiab tsis muaj kev cuam tshuam dav rau kev kwv yees tag nrho. Kev txhim kho cov txheej txheem nres thaum ntxov kuj tseem ceeb heev kom peb tuaj yeem nres cov txheej txheem kev cob qhia ntawm qhov chaw ruaj khov rau txhua chav kawm, tsis yog ntawm qhov chaw uas qee chav kawm overtrain thiab lwm tus tsis ua.
Feature tseem ceeb
Thaum ib tug tshiab feature yog nkag mus rau hauv ib tug qauv, peb xav paub nws tag nrho cov cuam tshuam rau tus qauv. Peb kuj xav kom paub tseeb tias cov kev kwv yees yog tib neeg txhais tau tias peb tuaj yeem nkag siab raws nraim li cas cov yam ntxwv raug siv rau txhua hom ntaub ntawv. Rau lub hom phiaj no peb tau tsim thiab qhia los ntawm chav kawm Qhov tseem ceeb ntawm cov nta rau tus qauv PyTorch. Nco ntsoov tias qhov no txawv ntawm tag nrho cov yam ntxwv tseem ceeb, uas feem ntau yog txhawb nqa, vim nws tsis qhia peb cov yam ntxwv tseem ceeb rau ib chav kawm. Peb ntsuas qhov tseem ceeb ntawm ib qho khoom los ntawm kev suav qhov nce hauv qhov kev twv ua ntej yuam kev tom qab rov kho qhov khoom. Ib tug feature yog "tseem ceeb" thaum swapping qhov tseem ceeb nce tus qauv qhov yuam kev vim hais tias nyob rau hauv cov ntaub ntawv no tus qauv tau tso siab rau lub feature los ua nws twv ua ntej. Ib qho tshwj xeeb yog "tsis tseem ceeb" thaum shuffling nws qhov tseem ceeb tawm ntawm tus qauv yuam kev tsis hloov, txij li qhov no tus qauv tsis quav ntsej nws [5].
Qhov tseem ceeb ntawm cov yam ntxwv rau txhua chav kawm tso cai rau peb ua tus qauv txhais tau tias peb tuaj yeem pom tias tus qauv saib dab tsi thaum kwv yees daim ntawv lo. Piv txwv li, thaum peb txheeb xyuas ADDR, ces peb lav tias cov kos npe txuam nrog qhov chaw nyob, xws li Chaw nyob LinesCount, nyob qib siab hauv cov lus tseem ceeb rau txhua chav kawm kom peb cov tib neeg kev xav zoo sib xws nrog cov qauv tau kawm.
ntsuam xyuas
Nws yog ib qho tseem ceeb los txheeb xyuas ib qho kev ntsuas rau kev ua tiav. Peb xaiv F2 - qhov sib npaug ntawm kev rov qab los thiab qhov tseeb (rov qab tsis zoo yog me ntsis loj dua). Kev xa rov qab yog qhov tseem ceeb dua rau cov ntaub ntawv siv ntiag tug dua li qhov tseeb vim tias nws yog qhov tseem ceeb rau pab pawg kom tsis txhob nco cov ntaub ntawv rhiab heev (thaum ua kom muaj qhov raug tsim nyog). Qhov tseeb F2 kev ntsuas kev ua tau zoo ntawm peb cov qauv yog dhau ntawm cov ntawv no. Txawm li cas los xij, nrog kev ceev faj peb tuaj yeem ua tiav siab (0,9+) F2 cov qhab nia rau cov chav kawm tseem ceeb tshaj plaws.
Lwm yam haujlwm
Muaj ntau lub algorithms rau kev faib cov ntaub ntawv tsis siv neeg siv ntau txoj hauv kev xws li kev sib piv, cov ntaub ntawv zoo sib xws tshawb nrhiav thiab ntau yam kev kawm tshuab (Bayesian, ntoo txiav txim siab, k-ze ze ze ze thiab ntau lwm tus) [6]. Ib qho ntawm cov no tuaj yeem siv los ua ib feem ntawm kev faib tawm. Txawm li cas los xij, qhov teeb meem yog scalability. Kev faib tawm txoj hauv kev hauv kab lus no yog kev tsis ncaj ncees rau kev hloov pauv thiab kev ua haujlwm. Qhov no tso cai rau peb los txhawb cov chav kawm tshiab yav tom ntej thiab ua kom latency tsawg.
Kuj tseem muaj kev ua haujlwm ntau ntawm cov ntaub ntawv ntiv tes. Piv txwv li, cov kws sau ntawv hauv [7] tau piav qhia txog kev daws teeb meem uas tsom mus rau qhov teeb meem ntawm kev ntes cov ntaub ntawv rhiab heev. Lub hauv paus kev xav yog tias cov ntaub ntawv tuaj yeem luam tawm ntiv tes kom phim nws nrog cov txheej txheem paub cov ntaub ntawv rhiab heev. Cov kws sau ntawv hauv [8] piav qhia txog qhov teeb meem zoo sib xws ntawm kev tsis pub leej twg paub, tab sis lawv cov kev daws teeb meem yog ua raws li cov qauv hauv Android tshwj xeeb thiab tsuas yog muab cais tawm yog tias cov neeg siv ua haujlwm ua rau muaj kev sib koom ntawm cov ntaub ntawv ntiag tug lossis yog tias daim ntawv thov cuam tshuam cov neeg siv cov ntaub ntawv. Qhov xwm txheej ntawm no yog qhov txawv me ntsis vim tias cov neeg siv cov ntaub ntawv kuj tuaj yeem ua tsis tau zoo heev. Yog li ntawd, peb xav tau cov txheej txheem nyuaj dua li kev luam ntiv tes.
Thaum kawg, txhawm rau tiv thaiv cov ntaub ntawv tsis txaus rau qee yam ntawm cov ntaub ntawv rhiab, peb tau qhia cov ntaub ntawv hluavtaws. Muaj lub cev loj ntawm cov ntaub ntawv ntawm cov ntaub ntawv augmentation, piv txwv li, cov kws sau ntawv hauv [9] tau tshawb nrhiav lub luag haujlwm ntawm kev txhaj tshuaj nrov nrov thaum kev cob qhia thiab pom cov txiaj ntsig zoo hauv kev saib xyuas kev kawm. Peb txoj hauv kev rau kev ceev ntiag tug yog qhov sib txawv vim hais tias kev qhia cov ntaub ntawv nrov tuaj yeem cuam tshuam, thiab peb hloov siab rau cov ntaub ntawv hluavtaws zoo.
xaus
Hauv daim ntawv no, peb nthuav tawm ib qho system uas tuaj yeem faib cov ntaub ntawv. Qhov no tso cai rau peb los tsim cov txheej txheem los tswj kev ceev ntiag tug thiab kev ruaj ntseg cov cai. Peb tau pom tias kev tsim kho kom yooj yim, kev sib koom ua ke tsis tu ncua, kev kawm tshuab thiab kev ruaj ntseg cov ntaub ntawv zoo ua lub luag haujlwm tseem ceeb hauv kev ua tiav ntawm ntau yam ntawm peb txoj kev ceev ntiag tug.
Muaj ntau cov lus qhia rau kev ua haujlwm yav tom ntej. Qhov no yuav suav nrog kev muab kev txhawb nqa rau cov ntaub ntawv tsis raug cai (cov ntaub ntawv), kev faib tawm tsis yog cov ntaub ntawv nkaus xwb tab sis kuj tseem muaj kev nkag siab zoo, thiab siv tus kheej saib xyuas kev kawm thaum kev cob qhia los ntawm kev tsim cov qauv hluavtaws. Uas, nyob rau hauv lem, yuav pab tau tus qauv txo qhov poob los ntawm qhov loj tshaj plaws. Kev ua haujlwm yav tom ntej kuj tseem tuaj yeem tsom mus rau kev tshawb nrhiav haujlwm, uas peb mus dhau qhov kev tshawb pom thiab muab cov hauv paus ua rau kev tshuaj xyuas ntawm ntau yam kev ua txhaum cai ntiag tug. Qhov no yuav pab tau nyob rau hauv cov xwm txheej xws li kev soj ntsuam rhiab heev (piv txwv li seb qhov kev ceev ntiag tug ntawm cov ntaub ntawv hom yog siab (xws li tus neeg siv IP) lossis qis (xws li Facebook sab hauv IP)).
Cov Ntawv Hmoob
- David Ben-David, Tamar Domany, thiab Abigail Tarem. Kev faib cov ntaub ntawv hauv tuam txhab siv semantic web technologies. Hauv Peter F.Γ Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks, thiab Birte Glimm, cov neeg kho, Lub Semantic Web - ISWC 2010, nplooj 66β81, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg.
- Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang, thiab Sanjeev Kumar. f4: Facebook lub BLOB sov so system. Hauv 11th USENIX Symposium on Operating Systems Design and Implementation (OSDI 14), nplooj 383β398, Broomfield, CO, Kaum Hli Ntuj 2014. USENIX Association.
- Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, thiab Jeff Dean. Distribution sawv cev ntawm cov lus thiab kab lus thiab lawv cov compositionality. Nyob rau hauv C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, thiab K. Q. Weinberger, editors, Kev nce qib hauv Neural Information Processing Systems 263111β3119, ib. Curran Associates, Inc., 2013.
- Sergey Ioffe thiab Christian Szegedy. Batch normalization: Accelerating sib sib zog nqus network kev cob qhia los ntawm kev txo cov sab hauv covariate hloov. Hauv Francis Bach thiab David Blei, cov neeg kho, Kev ua tiav ntawm 32nd International Conference on Machine Learning, ntim 37 ntawm Kev Ua Haujlwm ntawm Kev Tshawb Fawb Txog Tshuab, phab 448β456, Lille, France, 07β09 Jul 2015. PMLR.
- Leo Breiman. Random hav zoov. Mach. Kawm., 45(1):5β32, Kaum Hli Ntuj 2001.
- Thair Nu Phyu. Tshawb nrhiav cov txheej txheem kev faib tawm hauv cov ntaub ntawv mining.
- X. Shu, D. Yao, and E. Bertino. Kev ceev ntiag tug-preserving nrhiav kom tau cov ntaub ntawv rhiab heev. IEEE Kev Lag Luam ntawm Cov Ntaub Ntawv Forensics thiab Kev Ruaj Ntseg, 10(5):1092β1103, 2015.
- Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning, thiab Xiaoyang Wang. Appintent: Txheeb xyuas cov ntaub ntawv rhiab xa mus rau hauv android rau kev paub txog tus kheej to. phab 1043β1054, 11 2013.
- Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong, thiab Quoc V. Le. Unsupervised data augmentation.
Tshawb nrhiav cov ntsiab lus ntawm yuav ua li cas kom tau txais kev nrhiav haujlwm tom qab los ntawm kos lossis Qib Up raws li kev txawj thiab nyiaj hli los ntawm kev kawm SkillFactory cov chav kawm online:
- (12 lub hlis)
- (12 lub lis piam)
- (20 lub lis piam)
- (20 lub lis piam)
Cov chav kawm ntxiv
- (9 lub hlis)
- (8 lub hlis)
- (9 lub hlis)
- (12 lub hlis)
- (18 lub hlis)
- (12 lub hlis)
- (9 lub hlis)
- (7 lub hlis)
Tau qhov twg los: www.hab.com