Скалабилна класификација на податоци за безбедност и приватност

Класификацијата на податоци заснована на содржина е отворен проблем. Традиционалните системи за спречување загуба на податоци (DLP) го решаваат овој проблем со земање отпечатоци од прсти на релевантните податоци и следење на крајните точки за отпечаток од прст. Со оглед на големиот број на постојано менување на ресурсите на податоци на Facebook, овој пристап не само што е нескалабилен, туку и неефикасен за одредување каде се наоѓаат податоците. Овој труд се фокусира на систем од крај до крај изграден за откривање на чувствителни семантички типови на Facebook во размер и автоматско спроведување на складирање податоци и контрола на пристап.

Пристапот опишан овде е нашиот прв систем за приватност од крај до крај кој се обидува да го реши овој проблем со инкорпорирање на сигнали за податоци, машинско учење и традиционални техники за отпечатоци за мапирање и класификација на сите податоци на Facebook. Опишаниот систем се работи во производствена средина, постигнувајќи просечен F2 резултат од 0,9+ во различни класи на приватност додека обработува големи количини на ресурси на податоци низ десетици складишта. Воведување превод на трудот ArXiv на Facebook за скалабилна класификација на податоци за безбедност и приватност врз основа на машинско учење.

Вовед

Денес, организациите собираат и складираат големи количини на податоци во различни формати и локации [1], потоа податоците се трошат на многу места, понекогаш копирани или кеширани повеќе пати, што резултира со вредни и чувствителни деловни информации кои се расфрлаат низ многу податоци на претпријатието. продавници. Кога од организацијата се бара да исполни одредени законски или регулаторни барања, како што е усогласеноста со прописите во граѓанската постапка, станува неопходно да се соберат податоци за локацијата на бараните податоци. Кога регулативата за приватност вели дека организацијата мора да ги маскира сите броеви за социјално осигурување (SSN) кога споделува лични информации со неовластени субјекти, природниот прв чекор е да ги пребарувате сите SSN низ складиштата на податоци на организацијата. Во такви околности, класификацијата на податоците станува критична [1]. Системот за класификација ќе им овозможи на организациите автоматски да спроведуваат политики за приватност и безбедност, како што се овозможување политики за контрола на пристап, задржување податоци. Facebook воведува систем што го изградивме во Facebook кој користи повеќе сигнали за податоци, скалабилна системска архитектура и машинско учење за откривање на чувствителни семантички типови на податоци.

Откривањето и класификацијата на податоците е процес на пронаоѓање и етикетирање на податоци, така што релевантните информации може да се вратат брзо и ефикасно кога е потребно. Тековниот процес е прилично рачен по природа и се состои од испитување на релевантните закони или прописи, одредување кои типови на информации треба да се сметаат за чувствителни и кои се различните нивоа на чувствителност, и потоа конструирање класи и политики за класификација соодветно [1]. Спречување на загуба на податоци (DLP) потоа ги зема отпечатоците од прстите на податоците и ги следи долните крајни точки за да добие отпечатоци од прсти. Кога се работи за складиште со голем број средства со петабајти податоци, овој пристап едноставно не се зголемува.

Нашата цел е да изградиме систем за класификација на податоци што ќе се размери на робусни и минливи кориснички податоци, без никакви дополнителни ограничувања за типот или форматот на податоците. Ова е смела цел и природно доаѓа со предизвици. Даден запис со податоци може да биде долг од илјадници знаци.

Слика 1. Онлајн и офлајн текови за прогнозирање

Затоа, мораме ефикасно да го претставиме користејќи заеднички сет на карактеристики кои подоцна може да се комбинираат и лесно да се преместуваат. Овие карактеристики не само што треба да обезбедат точна класификација, туку и да обезбедат флексибилност и проширување за лесно додавање и откривање нови типови податоци во иднина. Второ, треба да се справите со големи офлајн табели. Трајните податоци може да се складираат во табели со големина од многу петабајти. Ова може да резултира со помали брзини на скенирање. Трето, мора да се придржуваме до строгата SLA класификација на испарливи податоци. Ова го принудува системот да биде високо ефикасен, брз и прецизен. Конечно, мора да обезбедиме класификација на податоци со ниска латентност за испарливи податоци за да се изврши класификација во реално време, како и за случаи на употреба на Интернет.

Овој труд опишува како се справивме со предизвиците погоре и претставува брз и скалабилен систем за класификација кој ги класифицира податочните елементи од сите видови, формати и извори врз основа на заеднички сет на карактеристики. Ја проширивме архитектурата на системот и создадовме прилагоден модел за машинско учење за брзо класифицирање на офлајн и онлајн податоците. Овој труд е организиран на следниов начин: Дел 2 го прикажува целокупниот дизајн на системот. Дел 3 ги разгледува деловите на системот за машинско учење. Деловите 4 и 5 ја нагласуваат поврзаната работа и ги прикажуваат идните насоки на работа.

архитектура

За да се справи со предизвиците на постојаните и онлајн податоци во скала на Facebook, системот за класификација има два посебни текови, за кои детално ќе разговараме.

Одржливи податоци

Првично, системот мора да научи за многуте информативни средства на Facebook. За секое складиште, се собираат некои основни информации, како што се центарот за податоци што ги содржи тие податоци, системот што ги содржи тие податоци и средствата лоцирани во конкретното складиште на податоци. Ова создава каталог на метаподатоци што му овозможува на системот ефикасно да ги враќа податоците без преоптоварување на клиентите и ресурсите што ги користат други инженери.

Овој каталог на метаподатоци обезбедува авторитативен извор за сите скенирани средства и ви овозможува да го следите статусот на различни средства. Користејќи ги овие информации, приоритетот на закажувањето се утврдува врз основа на собраните податоци и внатрешните информации од системот, како што е времето кога средството било успешно скенирано и времето кога е создадено, како и претходната меморија и барањата на процесорот за тоа средство доколку претходно е скенирано. Потоа, за секој податочен ресурс (како што ресурсите стануваат достапни), се повикува работа за всушност да го скенира ресурсот.

Секоја работа е компајлирана бинарна датотека која врши земање примероци од Бернули на најновите достапни податоци за секое средство. Средството е поделено на поединечни колони, каде што резултатите од класификацијата на секоја колона се обработуваат независно. Дополнително, системот скенира за сите заситени податоци во колоните. JSON, низи, кодирани структури, URL-адреси, сериски податоци од базата 64 и повеќе се скенирани. Ова може значително да го зголеми времето на извршување на скенирањето бидејќи една табела може да содржи илјадници вгнездени колони во дупка json.

За секој ред што е избран во средството за податоци, системот за класификација ги извлекува пловечките и текстуалните објекти од содржината и го поврзува секој објект назад во колоната од која е преземен. Излезот од чекорот за извлекување карактеристики е мапа на сите карактеристики за секоја колона пронајдена во средството за податоци.

За што се знаците?

Концептот на атрибути е клучен. Наместо float и текстуални црти, можеме да пренесуваме необработени примероци од низа кои се директно извлечени од секој ресурс на податоци. Дополнително, моделите за машинско учење може да се обучуваат директно на секој примерок, наместо стотици пресметки на карактеристики кои само се обидуваат да го приближат примерокот. Постојат неколку причини за ова:

1. Приватноста прво: Што е најважно, концептот на функции ни овозможува да ги складираме во меморијата само оние обрасци што ги преземаме. Ова осигурува дека ги складираме примероците за една цел и никогаш не ги евидентираме со наши напори. Ова е особено важно за испарливи податоци, бидејќи услугата мора да одржува одредена состојба на класификација пред да обезбеди предвидување.
2. Меморија: некои примероци може да бидат долги илјадници знаци. Зачувувањето на таквите податоци и нивното пренесување до делови од системот непотребно троши многу дополнителни бајти. Двата фактори можат да се комбинираат со текот на времето, имајќи предвид дека има многу ресурси на податоци со илјадници колони.
3. Агрегација на функции: функциите јасно ги претставуваат резултатите од секое скенирање преку збир на функции, овозможувајќи му на системот да ги комбинира резултатите од претходните скенирања на истиот ресурс на податоци на пригоден начин. Ова може да биде корисно за собирање резултати од скенирање од еден податочен ресурс низ повеќекратни работи.

Функциите потоа се испраќаат до услуга за предвидување каде што користиме класификација заснована на правила и машинско учење за да ги предвидиме ознаките за податоци на секоја колона. Услугата се потпира и на класификатори на правила и на машинско учење и го избира најдоброто предвидување дадено од секој објект за предвидување.

Класификаторите на правилата се рачни хеуристики, тие користат пресметки и коефициенти за нормализирање на објектот во опсег од 0 до 100. Откако ќе се генерира таков почетен резултат за секој тип на податоци и име на колона поврзани со тие податоци, тој не е вклучен во никаква забрана списоци" ,Класификаторот на правила избира највисок нормализиран резултат меѓу сите типови податоци.

Поради сложеноста на класификацијата, потпирањето исклучиво на рачна хеуристика резултира со мала точност на класификација, особено за неструктурирани податоци. Поради оваа причина, развивме систем за машинско учење за да работи со класификација на неструктурирани податоци како што се содржината и адресата на корисниците. Машинското учење овозможи да се започне да се оддалечува од рачната хеуристика и да се применат дополнителни сигнали за податоци (на пр. имиња на колони, потекло на податоци), значително подобрување на точноста на откривање. Подоцна ќе навлеземе длабоко во нашата архитектура за машинско учење.

Услугата за предвидување ги складира резултатите за секоја колона заедно со метаподатоци за времето и состојбата на скенирањето. Сите потрошувачи и процесите надолу што зависат од овие податоци можат да ги прочитаат од дневно објавената база на податоци. Овој сет ги собира резултатите од сите овие задачи за скенирање или API-и за каталог на податоци во реално време. Објавените прогнози се основа за автоматско спроведување на политиките за приватност и безбедност.

Конечно, откако услугата за прогнозирање ќе ги запише сите податоци и сите предвидувања се зачувани, нашиот каталог на податоци API може да ги врати сите предвидувања за типот на податоци за ресурсот во реално време. Секој ден системот објавува база на податоци што ги содржи сите најнови предвидувања за секое средство.

Нестабилни податоци

Иако горенаведениот процес е дизајниран за постојани средства, неупорниот сообраќај исто така се смета за дел од податоците на организацијата и може да биде важен. Поради оваа причина, системот обезбедува онлајн API за генерирање на предвидувања за класификација во реално време за секој интермитентен сообраќај. Системот за предвидување во реално време е широко користен за класифицирање на излезниот сообраќај, влезниот сообраќај во моделите за машинско учење и податоците за огласувачите.

Овде API зема два главни аргументи: клучот за групирање и необработените податоци што треба да се предвидат. Услугата го врши истиот пронаоѓање објект како што е опишано погоре и ги групира објектите заедно за истиот клуч. Овие карактеристики се поддржани и во кешот за упорност за враќање на неуспехот. За секој клуч за групирање, услугата осигурува дека видела доволно примероци пред да ја повика услугата за предвидување, следејќи го процесот опишан погоре.

Оптимизација

За да скенираме некои складишта, користиме библиотеки и техники за да го оптимизираме читањето од топла меморија [2] и да се осигураме дека нема прекини од други корисници кои пристапуваат до истата меморија.

За екстремно големи табели (50+ петабајти), и покрај сите оптимизации и ефикасност на меморијата, системот работи на скенирање и пресметување сè пред да остане без меморија. На крајот на краиштата, скенирањето се пресметува целосно во меморија и не се складира за време на скенирањето. Ако големите табели содржат илјадници колони со неструктурирани збирки податоци, работата може да пропадне поради недоволни ресурси за меморија при вршење на предвидувања на целата табела. Ова ќе резултира со намалена покриеност. За да се избориме со ова, го оптимизиравме системот да користи брзина на скенирање како прокси за тоа колку добро системот се справува со тековниот обем на работа. Ја користиме брзината како механизам за предвидување за да ги видиме проблемите со меморијата и предвидливо да ја пресметаме картата на карактеристики. Во исто време, користиме помалку податоци од вообичаено.

Сигнали за податоци

Системот за класификација е добар само како и сигналите од податоците. Овде ќе ги разгледаме сите сигнали што ги користи системот за класификација.

• Врз основа на содржина: Се разбира, првиот и најважен сигнал е содржината. Бернули земање мостри се врши на секое податочно средство што го скенираме и извлекуваме карактеристики врз основа на содржината на податоците. Многу знаци доаѓаат од содржината. Можен е кој било број на пловечки објекти, кои претставуваат пресметки за тоа колку пати е виден одреден тип на примерок. На пример, може да имаме знаци за бројот на е-пошта видени во примерокот или знаци за тоа колку емотикони се гледаат во примерокот. Овие пресметки на карактеристики може да се нормализираат и агрегираат на различни скенирања.
• Потекло на податоците: Важен сигнал што може да помогне кога содржината се променила од матичната табела. Чест пример се хашираните податоци. Кога податоците во детската табела се хашираат, тие често доаѓаат од матичната табела, каде што остануваат чисти. Податоците за линијата помагаат да се класифицираат одредени типови податоци кога тие не се читаат јасно или се конвертираат од табела нагоре.
• Прибелешки: Друг висококвалитетен сигнал кој помага во идентификување на неструктурирани податоци. Всушност, прибелешките и податоците од потеклото можат да работат заедно за да ги пропагираат атрибутите низ различни податочни средства. Прибелешките помагаат да се идентификува изворот на неструктурирани податоци, додека податоците од лозата може да помогнат да се следи текот на тие податоци низ складиштето.
• Вбризгување податоци е техника каде специјалните, нечитливи знаци намерно се воведуваат во познати извори на познати типови на податоци. Потоа, секогаш кога скенираме содржина со иста нечитлива низа знаци, можеме да заклучиме дека содржината доаѓа од тој познат тип на податоци. Ова е уште еден квалитативен податочен сигнал сличен на прибелешките. Освен што откривањето базирано на содржина помага да се откријат внесените податоци.

Мерење метрика

Важна компонента е ригорозна методологија за мерење на метрика. Главните мерила за повторување на подобрување на класификацијата се прецизноста и отповикувањето на секоја ознака, при што F2 резултатот е најважен.

За да се пресметаат овие метрики, потребна е независна методологија за означување на средствата со податоци која е независна од самиот систем, но може да се користи за директна споредба со него. Подолу опишуваме како ја собираме основната вистина од Фејсбук и ја користиме за да го обучиме нашиот систем за класификација.

Собирање на веродостојни податоци

Ние акумулираме сигурни податоци од секој извор наведен подолу во сопствената табела. Секоја табела е одговорна за собирање на најновите набљудувани вредности од тој конкретен извор. Секој извор има проверки на квалитетот на податоците за да се осигура дека набљудуваните вредности за секој извор се со висок квалитет и ги содржат најновите ознаки за типови на податоци.

• Конфигурации на платформата за евиденција: Одредени полиња во табелите на кошниците се пополнети со податоци што се од специфичен тип. Употребата и ширењето на овие податоци служи како сигурен извор на вистината.
• Рачно означување: програмерите кои го одржуваат системот, како и надворешните етикетирани се обучени за етикетирање на колони. Ова генерално добро функционира за сите видови податоци во складиштето и може да биде примарен извор на вистина за некои неструктурирани податоци, како што се податоците за пораките или содржината на корисникот.
• Колоните од матичните табели може да бидат означени или означени дека содржат одредени податоци, а ние можеме да ги следиме тие податоци во табелите на децата.
• Преземање нишки за извршување: нишките за извршување во Facebook носат специфични типови на податоци. Користејќи го нашиот скенер како архитектура на услуги, можеме да примероцираме струи кои имаат познати типови на податоци и да ги испратиме преку системот. Системот ветува дека нема да ги складира овие податоци.
• Табели за примероци: Големите табели со кошници, за кои се знае дека го содржат целиот корпус на податоци, може да се користат и како податоци за обука и да се пренесат низ скенерот како услуга. Ова е одлично за табели со целосен опсег на типови на податоци, така што земање примероци од колона по случаен избор е еквивалентно на земање примероци од целиот сет од тој тип на податоци.
• Синтетички податоци: Можеме дури и да користиме библиотеки кои генерираат податоци во лет. Ова работи добро за едноставни, јавни типови на податоци како адреса или GPS.
• Управувачи со податоци: Програмите за приватност обично користат чувари на податоци за рачно доделување политики на делови од податоци. Ова служи како многу точен извор на вистината.

Ние го комбинираме секој главен извор на вистина во еден корпус со сите тие податоци. Најголемиот предизвик со валидноста е да се осигураме дека е репрезентативно на складиштето на податоци. Во спротивно, класификациските мотори може да се претренираат. За борба против ова, сите горенаведени извори се користат за да се обезбеди рамнотежа при обука на модели или пресметување на метрика. Дополнително, етикетираните луѓе рамномерно земаат примероци од различни колони во складиштето и соодветно ги означуваат податоците, така што собирањето на основната вистина останува непристрасно.

Континуирана интеграција

За да се обезбеди брзо повторување и подобрување, важно е секогаш да се мери перформансите на системот во реално време. Ние можеме да го измериме секое подобрување на класификацијата во однос на системот денес, за да можеме тактички да ги водиме идните подобрувања врз основа на податоци. Овде гледаме како системот ја комплетира јамката за повратни информации што ја обезбедуваат валидни податоци.

Кога системот за распоред ќе наиде на средство кое има ознака од доверлив извор, закажуваме две задачи. Првиот го користи нашиот производствен скенер, а со тоа и нашите производствени способности. Втората задача го користи најновиот скенер за изградба со најновите функции. Секоја задача го запишува својот излез во сопствената табела, означувајќи ги верзиите заедно со резултатите од класификацијата.

Вака ги споредуваме резултатите од класификацијата на кандидатот за издавање и производниот модел во реално време.

Додека збирките на податоци ги споредуваат карактеристиките на RC и PROD, многу варијации на ML-моторот за класификација на услугата за предвидување се евидентирани. Неодамна изграден модел за машинско учење, сегашниот модел во производство и сите експериментални модели. Истиот пристап ни овозможува да „сечеме“ различни верзии на моделот (агностични за нашите класификатори на правила) и да ги споредуваме метриките во реално време. Ова го олеснува одредувањето кога експериментот ML е подготвен за производство.

Секоја вечер, карактеристиките на RC пресметани за тој ден се испраќаат до цевководот за обука за ML, каде што моделот се обучува за најновите карактеристики на RC и ги оценува неговите перформанси според базата на податоци за вистинитоста на земјата.

Секое утро, моделот завршува обука и автоматски се објавува како експериментален модел. Автоматски се вклучува во експерименталната листа.

Некои резултати

Над 100 различни типови на податоци се означени со висока точност. Добро структурирани типови како што се е-пошта и телефонски броеви се класифицирани со f2 резултат поголем од 0,95. Бесплатните типови податоци, како што се содржината и името генерирана од корисниците, исто така функционираат многу добро, со F2 резултати поголеми од 0,85.

Голем број поединечни колони со постојани и нестабилни податоци се класифицираат секојдневно низ сите складишта. Повеќе од 500 терабајти се скенираат дневно во повеќе од 10 складишта на податоци. Повеќето од овие складишта имаат над 98% покриеност.

Со текот на времето, класификацијата стана многу ефикасна, со тоа што работните места за класификација во постојан офлајн пренос траеја во просек 35 секунди од скенирање на средство до пресметување предвидувања за секоја колона.

Ориз. 2. Дијаграм кој го опишува континуираниот тек на интеграција за да се разбере како RC објектите се генерираат и испраќаат до моделот.

Слика 3. Дијаграм на високо ниво на компонента за машинско учење.

Компонента на системот за машинско учење

Во претходниот дел, длабоко се нурнавме во целокупната системска архитектура, истакнувајќи ја скалата, оптимизацијата и офлајн и онлајн тековите на податоци. Во овој дел, ќе ја разгледаме услугата за предвидување и ќе го опишеме системот за машинско учење што ја напојува услугата за предвидување.

Со повеќе од 100 типови на податоци и некои неструктурирани содржини, како што се податоците за пораките и содржината на корисникот, користењето на чисто рачна хеуристика резултира со прецизност на подпараметриската класификација, особено за неструктурирани податоци. Поради оваа причина, развивме и систем за машинско учење за да се справиме со сложеноста на неструктурираните податоци. Користењето на машинско учење ви овозможува да започнете да се оддалечувате од рачната хеуристика и да работите со функции и дополнителни сигнали за податоци (на пример, имиња на колони, потекло на податоци) за да ја подобрите точноста.

Имплементираниот модел одделно ги проучува векторските претстави [3] над густи и ретки објекти. Тие потоа се комбинираат за да формираат вектор, кој поминува низ серија на нормализација на серија [4] и чекори на нелинеарност за да го произведе конечниот резултат. Крајниот резултат е број на подвижна запирка помеѓу [0-1] за секоја ознака, што укажува на веројатноста дека примерот припаѓа на тој тип на чувствителност. Користењето на PyTorch за моделот ни овозможи да се движиме побрзо, дозволувајќи им на програмерите надвор од тимот брзо да прават и тестираат промени.

При дизајнирање на архитектурата, важно е да се моделираат ретки (на пр. текст) и густи (на пр. нумерички) објекти одделно поради нивните вродени разлики. За конечната архитектура, исто така беше важно да се изврши чистење на параметрите за да се најде оптималната вредност за брзината на учење, големината на серијата и другите хиперпараметри. Изборот на оптимизатор беше исто така важен хиперпараметар. Откривме дека е популарен оптимизатор Adamчесто доведува до префитување, додека модел со SGD постабилна. Имаше дополнителни нијанси кои моравме да ги вклучиме директно во моделот. На пример, статични правила кои гарантираа дека моделот прави детерминистичко предвидување кога карактеристиката има одредена вредност. Овие статични правила се дефинирани од нашите клиенти. Откривме дека нивното вградување директно во моделот резултирало со посамостојна и поцврста архитектура, наспроти спроведувањето на чекор по обработката за справување со овие специјални рабови. Исто така, имајте во предвид дека овие правила се оневозможени за време на обуката за да не се мешаат во процесот на обука за спуштање со градиент.

Проблеми

Еден од предизвиците беше собирањето висококвалитетни, веродостојни податоци. На моделот му треба доверба за секоја класа за да може да научи асоцијации помеѓу објекти и етикети. Во претходниот дел, разговаравме за методите за собирање податоци и за системско мерење и за обука на модели. Анализата покажа дека класите на податоци како што се броевите на кредитни картички и банкарски сметки не се многу чести во нашиот магацин. Ова го отежнува собирањето големи количини на доверливи податоци за обука на моделите. За да го решиме ова прашање, развивме процеси за добивање на синтетички податоци за основата на вистината за овие класи. Ние генерираме такви податоци за чувствителни типови вклучувајќи NHS, броеви на кредитни картички и IBAN-броеви за кои моделот претходно не можеше да предвиди. Овој пристап овозможува обработување на чувствителните типови на податоци без ризиците за приватност поврзани со криењето на вистинските чувствителни податоци.

Покрај прашањата за приземната вистина, постојат отворени архитектонски прашања на кои работиме, како на пр промена на изолацијата и рано запирање. Изолацијата на промените е важна за да се осигури дека кога се прават различни промени на различни делови од мрежата, влијанието е изолирано во одредени класи и нема широко влијание врз севкупните перформанси на предвидувањето. Подобрувањето на критериумите за рано запирање е исто така критично за да можеме да го запреме процесот на обука на стабилна точка за сите класи, наместо во точка каде што некои класи претренираат, а други не.

Важноста на карактеристиката

Кога се воведува нова карактеристика во моделот, сакаме да го знаеме нејзиното целокупно влијание врз моделот. Исто така, сакаме да се увериме дека предвидувањата се толкуваат од луѓе за да можеме да разбереме кои точно карактеристики се користат за секој тип на податоци. За таа цел развивме и воведовме по класа важноста на карактеристиките за моделот PyTorch. Забележете дека ова е различно од целокупната важност на функцијата, која обично е поддржана, бидејќи не ни кажува кои карактеристики се важни за одредена класа. Ја мериме важноста на објектот со пресметување на зголемувањето на грешката во предвидувањето по преуредувањето на објектот. Карактеристиката е „важна“ кога замената на вредностите ја зголемува грешката на моделот бидејќи во овој случај моделот се потпирал на карактеристиката за да го направи своето предвидување. Карактеристиката е „неважна“ кога мешањето на неговите вредности ја остава грешката на моделот непроменета, бидејќи во овој случај моделот ја игнорирал [5].

Важноста на карактеристиката за секоја класа ни овозможува да го направиме моделот интерпретабилен за да можеме да видиме што гледа моделот кога предвидува ознака. На пример, кога анализираме ADDR, тогаш гарантираме дека знакот поврзан со адресата, како на пр Број на линии на адреса, се рангира високо во табелата за важноста на карактеристиките за секоја класа, така што нашата човечка интуиција добро се совпаѓа со она што моделот го научил.

Евалуација

Важно е да се дефинира единствена метрика за успех. Ние избравме F2 - рамнотежа помеѓу отповикувањето и точноста (пристрасноста на отповикувањето е малку поголема). Потсетувањето е поважно за случајот со користење на приватноста отколку за точноста затоа што е од клучно значење за тимот да не пропушти никакви чувствителни податоци (додека обезбедува разумна точност). Вистинската евалуација на перформансите на F2 на нашиот модел е надвор од опсегот на овој труд. Сепак, со внимателно подесување можеме да постигнеме високи (0,9+) F2 резултати за најважните чувствителни класи.

Поврзана Работа

Постојат многу алгоритми за автоматска класификација на неструктурирани документи со користење на различни методи како што се совпаѓање на шаблони, пребарување сличност на документи и различни методи за машинско учење (бајзиски, стебла на одлуки, k-најблиски соседи и многу други) [6]. Било кој од овие може да се користи како дел од класификација. Сепак, проблемот е приспособливоста. Пристапот за класификација во овој напис е пристрасен кон флексибилност и перформанси. Ова ни овозможува да поддржуваме нови класи во иднина и да ја одржуваме латентноста на ниско ниво.

Исто така, многу се работи на отпечатоците на податоците. На пример, авторите во [7] опишаа решение кое се фокусира на проблемот на снимање чувствителни протекувања на податоци. Основната претпоставка е дека податоците може да се отпечатат за да се совпаднат со збир на познати чувствителни податоци. Авторите во [8] опишуваат сличен проблем на истекување на приватноста, но нивното решение е засновано на специфична архитектура на Android и се класифицира само ако дејствата на корисникот резултираат со споделување на лични информации или ако основната апликација протекува кориснички податоци. Ситуацијата овде е нешто поинаква бидејќи податоците за корисниците исто така може да бидат многу неструктурирани. Затоа, потребна ни е посложена техника од отпечатокот.

Конечно, за да се справиме со недостигот на податоци за некои видови чувствителни податоци, воведовме синтетички податоци. Постои голема литература за зголемување на податоците, на пример, авторите во [9] ја истражувале улогата на вбризгување на бучава за време на обуката и забележале позитивни резултати во учењето под надзор. Нашиот пристап кон приватноста е различен бидејќи воведувањето бучни податоци може да биде контрапродуктивно, а ние наместо тоа се фокусираме на висококвалитетни синтетички податоци.

Заклучок

Во овој труд, презентиравме систем кој може да класифицира дел од податоците. Ова ни овозможува да креираме системи за спроведување на политиките за приватност и безбедност. Покажавме дека скалабилната инфраструктура, континуираната интеграција, машинското учење и обезбедувањето податоци со висок квалитет играат клучна улога во успехот на многу од нашите иницијативи за приватност.

Има многу насоки за идна работа. Ова може да вклучува обезбедување поддршка за нешематизирани податоци (датотеки), класификација не само на типот на податоци, туку и на нивото на чувствителност, и користење на самостојно надгледувано учење за време на обуката преку генерирање точни синтетички примери. Што, пак, ќе му помогне на моделот да ги намали загубите за најголем износ. Идната работа, исто така, би можела да се фокусира на работниот тек на истрагата, каде што одиме подалеку од откривањето и обезбедуваме анализа на основните причини за различни прекршувања на приватноста. Ова ќе помогне во случаи како што е анализата на чувствителност (т.е. дали чувствителноста на приватност на типот на податоци е висока (на пр. IP на корисникот) или ниска (на пр. внатрешна IP IP на Facebook)).

Библиографија

1. Дејвид Бен-Давид, Тамар Домани и Абигејл Тарем. Класификација на податоци на претпријатијата користејќи семантички веб технологии. Во Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks и Birte Glimm, уредници, Семантичка мрежа – ISWC 2010 година, страници 66–81, Берлин, Хајделберг, 2010. Springer Berlin Heidelberg.
2. Субраманецот Муралидар, Вајат Лојд, Сабјасачи Рој, Кори Хил, Ернест Лин, Веивен Лиу, Сатадру Пан, Шива Шанкар, Вишванат Сивакумар, Линпенг Танг и Сањеев Кумар. f4: топол систем за складирање BLOB на Facebook. Во 11-ти USENIX симпозиум за дизајн и имплементација на оперативни системи (OSDI 14), страници 383–398, Broomfield, CO, октомври 2014. Здружение USENIX.
3. Томаш Миколов, Илја Сутскевер, Каи Чен, Грег С Корадо и Џеф Дин. Дистрибуирани претстави на зборови и фрази и нивната композиција. Во C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani и K. Q. Weinberger, уредници, Напредокот во системите за обработка на невронски информации 26, страници 3111–3119. Curran Associates, Inc., 2013 година.
4. Сергеј Јофе и Кристијан Сегеди. Нормализација на серија: Забрзување на обуката за длабока мрежа со намалување на внатрешното коваријатно поместување. Во Френсис Бах и Дејвид Блеи, уредници, Зборник на трудови од 32-та меѓународна конференција за машинско учење, том 37 од Зборник на трудови од истражување за машинско учење, страници 448–456, Лил, Франција, 07–09 јули 2015 година. PMLR.
5. Лео Брајман. Случајни шуми. Мах. Научете., 45 (1): 5–32, октомври 2001 година.
6. Таир Ну Фју. Истражување на техники на класификација во податочно рударство.
7. Х. Шу, Д. Јао и Е. Бертино. Откривање на изложеност на чувствителни податоци за зачувување на приватноста. IEEE трансакции за информациска форензика и безбедност, 10(5):1092–1103, 2015.
8. Жемин Јанг, Мин Јанг, Јуан Џанг, Гуофеи Гу, Пенг Нинг и Ксијаојанг Ванг. Назначен: Анализирање на пренос на чувствителни податоци во андроид за откривање истекување на приватноста. страници 1043–1054, 11 2013 година.
9. Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong и Quoc V. Le. Зголемување на податоци без надзор.

Дознајте детали за тоа како да добиете барана професија од нула или Ниво нагоре во однос на вештините и платата со следење на онлајн курсеви за SkillFactory:

• Подучување на професијата наука за податоци од нула (12 месеци)
• Курс за машинско учење (12 недели)
• Напреден курс „Machine Learning Pro + Deep Learning“ (20 недели)
• Курс „Математика и машинско учење за наука за податоци“ (20 недели)

Повеќе курсеви

• Курс Python for Web Development (9 месеци)
• Професија веб програмер (8 месеци)
• Аналитичарска професија на кое било почетно ниво (9 месеци)
• Курс DevOps (12 месеци)
• Професијата Java програмер од нула (18 месеци)
• Курс за JavaScript (12 месеци)
• Професија UX дизајнер од нула (9 месеци)
• Професија веб-дизајнер (7 месеци)

Извор: www.habr.com