მონაცემთა მასშტაბირებადი კლასიფიკაცია უსაფრთხოებისა და კონფიდენციალურობისთვის

შინაარსის მიხედვით მონაცემთა კლასიფიკაცია ღია ამოცანაა. მონაცემთა დაკარგვის პრევენციის ტრადიციული სისტემები (DLP) წყვეტს ამ პრობლემას შესაბამისი მონაცემების თითის ანაბეჭდის და თითის ანაბეჭდის ბოლო წერტილების მონიტორინგით. ფეისბუქზე მუდმივად ცვალებადი მონაცემთა რესურსების დიდი რაოდენობის გათვალისწინებით, ეს მიდგომა არა მხოლოდ მასშტაბურია, არამედ არაეფექტურია იმის დასადგენად, თუ სად არის მონაცემები. ეს სტატია ეხება ბოლოდან ბოლომდე სისტემას, რომელიც შექმნილია Facebook-ში მგრძნობიარე სემანტიკური ტიპების გამოსავლენად და ავტომატურად ახორციელებს მონაცემთა შენახვისა და წვდომის კონტროლს.

აქ აღწერილი მიდგომა არის ჩვენი პირველი ბოლომდე კონფიდენციალურობის სისტემა, რომელიც ცდილობს ამ პრობლემის გადაჭრას მონაცემთა სიგნალების, მანქანური სწავლისა და ტრადიციული თითის ანაბეჭდის ტექნიკის გამოყენებით Facebook-ზე ყველა მონაცემის ჩვენებისა და კლასიფიკაციისთვის. აღწერილი სისტემა ფუნქციონირებს საწარმოო გარემოში, რომელიც აღწევს საშუალოდ F2 ქულას 0,9+ სხვადასხვა კონფიდენციალურობის კლასებისთვის, ათეულობით საცავში მონაცემთა დიდი რაოდენობის დამუშავებისას. წარმოგიდგენთ ArXiv-ზე Facebook-ის პოსტის თარგმანს უსაფრთხოებისა და კონფიდენციალურობის მასშტაბური მონაცემების კლასიფიკაციის შესახებ მანქანური სწავლების საფუძველზე.

შესავალი

დღეს ორგანიზაციები აგროვებენ და ინახავენ დიდი რაოდენობით მონაცემებს სხვადასხვა ფორმატებში და ლოკაციებში [1], შემდეგ კი მონაცემები ბევრგან მოიხმარება, ზოგჯერ კოპირდება ან ქეშდება რამდენჯერმე, რის შედეგადაც ხდება ღირებული და მგრძნობიარე ბიზნეს ინფორმაცია, რომელიც გაფანტულია მრავალ კორპორატიულ მონაცემთა მაღაზიაში. როდესაც ორგანიზაციას მოეთხოვება გარკვეული სამართლებრივი ან მარეგულირებელი მოთხოვნების დაცვა, როგორიცაა სამოქალაქო სამართალწარმოების წესების დაცვა, საჭირო ხდება მონაცემების შეგროვება საჭირო მონაცემების ადგილმდებარეობის შესახებ. როდესაც კონფიდენციალურობის განკარგულებაში ნათქვამია, რომ ორგანიზაციამ უნდა დაიფაროს სოციალური უსაფრთხოების ყველა ნომერი (SSN) პერსონალური ინფორმაციის არაავტორიზებული პირებისთვის გადაცემისას, ბუნებრივი პირველი ნაბიჯი არის ყველა SSN-ის მოძიება ორგანიზაციის მასშტაბით მონაცემთა მაღაზიებში. ასეთ პირობებში, მონაცემთა კლასიფიკაცია ხდება კრიტიკული [1]. კლასიფიკაციის სისტემა საშუალებას მისცემს ორგანიზაციებს ავტომატურად განახორციელონ კონფიდენციალურობისა და უსაფრთხოების პოლიტიკა, როგორიცაა წვდომის კონტროლის პოლიტიკის ჩართვა, მონაცემთა შენახვა. Facebook წარმოგიდგენთ ჩვენს მიერ აშენებულ სისტემას Facebook-ში, რომელიც იყენებს მონაცემთა მრავალ სიგნალს, მასშტაბირებადი სისტემის არქიტექტურას და მანქანურ სწავლებას სემანტიკური მონაცემების მგრძნობიარე ტიპების გამოსავლენად.

მონაცემთა აღმოჩენა და კლასიფიკაცია არის მონაცემების მოძიება და მარკირება, რათა საჭიროების შემთხვევაში შესაბამისი ინფორმაცია სწრაფად და ეფექტურად მოიპოვოს. მიმდინარე პროცესი უფრო მექანიკური პროცესია და მოიცავს შესაბამისი კანონების ან რეგულაციების შესწავლას, იმის დადგენას, თუ რა ტიპის ინფორმაცია უნდა ჩაითვალოს მგრძნობიარე და რა არის მგრძნობელობის სხვადასხვა დონეები, შემდეგ კი კლასებისა და კლასიფიკაციის პოლიტიკის შედგენას შესაბამისად [1]. მონაცემთა დაკარგვის პრევენციის (DLP) სისტემის შემდეგ, მონაცემები თითის ანაბეჭდის აღება ხდება და ქვედა დინების ბოლო წერტილების მონიტორინგი თითის ანაბეჭდებისთვის. როდესაც საქმე გვაქვს დიდი რაოდენობით აქტივებთან და მონაცემთა პეტაბაიტებთან შენახვასთან, ეს მიდგომა უბრალოდ არ მასშტაბებს.

ჩვენი მიზანია შევქმნათ მონაცემთა კლასიფიკაციის სისტემა, რომელიც გაზომავს როგორც მყარ, ისე არასტაბილურ მომხმარებლის მონაცემებს, მონაცემთა ტიპისა და ფორმატის დამატებითი შეზღუდვების გარეშე. ეს გაბედული მიზანია და, ბუნებრივია, სირთულეებით არის სავსე. მონაცემთა ჩანაწერი შეიძლება იყოს ათასობით სიმბოლო.

სურათი 1. ონლაინ და ოფლაინ პროგნოზირების ნაკადები

ამიტომ, ჩვენ ეფექტურად უნდა წარმოვადგინოთ ის ფუნქციების საერთო ნაკრების გამოყენებით, რომლებიც მოგვიანებით შეიძლება გაერთიანდეს და ადვილად გადავიდეს. ამ მახასიათებლებმა არა მხოლოდ უნდა უზრუნველყოს ზუსტი კლასიფიკაცია, არამედ უზრუნველყოს მოქნილობა და გაფართოება, რათა ადვილად დაამატოთ და აღმოაჩინოთ მონაცემების ახალი ტიპები მომავალში. მეორე, თქვენ უნდა გაუმკლავდეთ დიდ ცალკეულ მაგიდებს. მუდმივი მონაცემები შეიძლება ინახებოდეს ცხრილებში, რომელთა ზომაა მრავალი პეტაბაიტი. ამან შეიძლება შეანელოს სკანირების სიჩქარე. მესამე, ჩვენ უნდა დავიცვათ მკაცრი SLA კლასიფიკაცია არასტაბილური მონაცემებისთვის. ეს აიძულებს სისტემას იყოს ძალიან ეფექტური, სწრაფი და ზუსტი. დაბოლოს, ჩვენ უნდა მივაწოდოთ დაბალი ლატენტური მონაცემთა კლასიფიკაცია არასტაბილური მონაცემებისთვის, რათა განვახორციელოთ კლასიფიკაცია რეალურ დროში, ისევე როგორც ვებ გამოყენების შემთხვევებისთვის.

ეს სტატია აღწერს, თუ როგორ გავუმკლავდეთ ზემოთ მოცემულ პრობლემებს და წარმოგიდგენთ სწრაფ და მასშტაბირებად კლასიფიკაციის სისტემას, რომელიც კლასიფიცირებს ყველა ტიპის, ფორმატისა და წყაროს მონაცემთა ელემენტებს საერთო ფუნქციების მიხედვით. ჩვენ გავაფართოვეთ სისტემის არქიტექტურა და შევქმენით სპეციალური მანქანათმცოდნეობის მოდელი ოფლაინ და ონლაინ მონაცემების სწრაფი კლასიფიკაციისთვის. ეს სტატია ორგანიზებულია შემდეგნაირად: მე-2 სექცია წარმოადგენს სისტემის საერთო დიზაინს. მე-3 ნაწილი განიხილავს მანქანათმცოდნეობის სისტემის ნაწილებს. მე-4 და მე-5 სექციები აღწერს დაკავშირებულ სამუშაოს და ასახავს სამუშაოს სამომავლო მიმართულებას.

არქიტექტურა

Facebook-ის მასშტაბით მდგრადი და ონლაინ მონაცემების გამოწვევებთან გასამკლავებლად, კლასიფიკაციის სისტემას აქვს ორი ცალკეული ნაკადი, რომელზეც დეტალურად განვიხილავთ.

მდგრადი მონაცემები

თავდაპირველად, სისტემამ უნდა გაეცნოს Facebook-ის საინფორმაციო აქტივების შესახებ. თითოეული მაღაზიისთვის გროვდება რამდენიმე ძირითადი ინფორმაცია, როგორიცაა მონაცემთა ცენტრი, რომელიც შეიცავს ამ მონაცემებს, სისტემა, რომელიც ინახავს ამ მონაცემებს და აქტივები, რომლებიც მდებარეობს მონაცემთა კონკრეტულ მაღაზიაში. ეს ქმნის მეტამონაცემების კატალოგს, რომელიც საშუალებას აძლევს სისტემას მოიძიოს მონაცემები ეფექტურად სხვა ინჟინრების მიერ გამოყენებული კლიენტებისა და რესურსების გადატვირთვის გარეშე.

ეს მეტამონაცემების კატალოგი უზრუნველყოფს სანდო წყაროს ყველა დასკანირებული აქტივისთვის და საშუალებას გაძლევთ თვალყური ადევნოთ სხვადასხვა აქტივების სტატუსს. ეს ინფორმაცია პრიორიტეტს ანიჭებს დაგეგმვას, რომელიც ეფუძნება შეგროვებულ მონაცემებს და სისტემაში არსებულ შიდა ინფორმაციას, როგორიცაა აქტივის ბოლოს წარმატებით სკანირება და როდის შეიქმნა, და წარსული მეხსიერების და CPU მოთხოვნები ამ აქტივისთვის, თუ ის ადრე იყო დასკანირებული. შემდეგ, თითოეული მონაცემთა რესურსისთვის (როგორც რესურსები გახდება ხელმისაწვდომი), იწოდება რესურსის სკანირების სამუშაო.

თითოეული სამუშაო არის შედგენილი ორობითი, რომელიც ასრულებს ბერნულის სინჯს თითოეული აქტივისთვის ხელმისაწვდომ უახლეს მონაცემებზე. აქტივი იყოფა ცალკეულ სვეტებად, სადაც თითოეული სვეტის კლასიფიკაციის შედეგი დამოუკიდებლად მუშავდება. გარდა ამისა, სისტემა სკანირებს ნებისმიერ მდიდარ მონაცემს სვეტებში. JSON, მასივები, დაშიფრული სტრუქტურები, URL-ები, ბაზის 64 სერიული მონაცემები და სხვა ყველაფერი დასკანირებულია. ამან შეიძლება მნიშვნელოვნად გაზარდოს სკანირების დასრულებას საჭირო დრო, რადგან ერთი ცხრილი შეიძლება შეიცავდეს ათასობით ჩადგმულ სვეტს ბლოგში. json.

თითოეული მწკრივისთვის, რომელიც არჩეულია მონაცემთა აქტივში, კლასიფიკაციის სისტემა ამოიღებს float და ტექსტურ მახასიათებლებს შიგთავსიდან და აკავშირებს თითოეულ მახასიათებელს იმ სვეტთან, საიდანაც აღებულია. მახასიათებლის ამოღების ეტაპის შედეგი არის ყველა მახასიათებლის რუკა მონაცემთა აქტივში ნაპოვნი თითოეული სვეტისთვის.

რისთვის არის ნიშნები?

მახასიათებლების კონცეფცია მთავარია. float და ტექსტური ატრიბუტების ნაცვლად, ჩვენ შეგვიძლია გადავცეთ ნედლეული ნიმუშის სტრიქონები, რომლებიც უშუალოდ არის ამოღებული თითოეული მონაცემთა რესურსიდან. ასევე, მანქანათმცოდნეობის მოდელების მომზადება შესაძლებელია პირდაპირ თითოეულ ნიმუშზე და არა ასობით მახასიათებლის გამოთვლაზე, რომლებიც მხოლოდ ნიმუშის მიახლოებას ცდილობენ. ამის რამდენიმე მიზეზი არსებობს:

1. პირველ რიგში კონფიდენციალურობა: რაც მთავარია, ფუნქციების ცნება საშუალებას გვაძლევს მეხსიერებაში შევინახოთ მხოლოდ ის შაბლონები, რომლებიც ჩვენ მოვიძიეთ. ეს უზრუნველყოფს, რომ ჩვენ ვინახავთ ნიმუშებს ერთი მიზნისთვის და არასოდეს არ დავწეროთ ისინი ჩვენი ძალისხმევით. ეს განსაკუთრებით მნიშვნელოვანია არასტაბილური მონაცემებისთვის, რადგან სერვისმა უნდა შეინარჩუნოს გარკვეული კლასიფიკაციის მდგომარეობა პროგნოზის გაკეთებამდე.
2. მეხსიერება: ზოგიერთი ნიმუში შეიძლება შეიცავდეს ათასობით სიმბოლოს. ასეთი მონაცემების შენახვა და სისტემის ნაწილებზე გადაცემა უამრავ დამატებით ბაიტს ხარჯავს. ეს ორი ფაქტორი შეიძლება გაერთიანდეს დროთა განმავლობაში, იმის გათვალისწინებით, რომ არსებობს მრავალი მონაცემთა რესურსი ათასობით სვეტით.
3. ფუნქციების აგრეგაცია: ფუნქციები უზრუნველყოფს თითოეული სკანირების შედეგების მკაფიო წარმოდგენას ფუნქციების ნაკრების მეშვეობით, რაც სისტემას საშუალებას აძლევს დააგროვოს იგივე მონაცემთა რესურსის წინა სკანირების შედეგები მოსახერხებელი გზით. ეს შეიძლება სასარგებლო იყოს ერთი და იგივე მონაცემთა რესურსის სკანირების შედეგების მრავალჯერადი გაშვებისთვის.

შემდეგ ფუნქციები იგზავნება პროგნოზირების სერვისში, სადაც ვიყენებთ წესებზე დაფუძნებულ კლასიფიკაციას და მანქანურ სწავლებას თითოეული სვეტის მონაცემთა ეტიკეტების პროგნოზირებისთვის. სერვისი ეყრდნობა როგორც წესების კლასიფიკატორებს, ასევე მანქანურ სწავლებას და ირჩევს საუკეთესო პროგნოზს, რომელიც მოცემულია თითოეული პროგნოზირების ობიექტიდან.

წესების კლასიფიკატორები არის მექანიკური ევრისტიკა, ის იყენებს გამოთვლებს და კოეფიციენტებს ობიექტის ნორმალიზებისთვის 0-დან 100-მდე დიაპაზონში. მას შემდეგ, რაც ასეთი საწყისი ქულა გენერირებულია თითოეული ტიპის მონაცემისთვის და ამ მონაცემებთან დაკავშირებული სვეტის სახელი არ მოხვდება რაიმე "უარყოფაში". სიები", წესების კლასიფიკატორი ირჩევს უმაღლეს ნორმალიზებულ ქულას მონაცემთა ყველა ტიპს შორის.

კლასიფიკაციის სირთულის გამო, წმინდა მექანიკური ევრისტიკის გამოყენება იწვევს კლასიფიკაციის ცუდ სიზუსტეს, განსაკუთრებით არასტრუქტურირებული მონაცემებისთვის. ამ მიზეზით, ჩვენ შევიმუშავეთ მანქანური სწავლების სისტემა, რომელიც მუშაობს არასტრუქტურირებული მონაცემების კლასიფიკაციასთან, როგორიცაა მომხმარებლის შინაარსი და მისამართი. მანქანათმცოდნეობამ მოგვცა საშუალება დაგვეწყო ხელით ევრისტიკისგან თავის დაღწევა და დამატებითი მონაცემთა სიგნალების გამოყენება (მაგ. სვეტების სახელები, მონაცემთა წარმოშობა), რაც მნიშვნელოვნად აუმჯობესებდა გამოვლენის სიზუსტეს. მოგვიანებით ღრმად ჩავუღრმავდებით ჩვენს მანქანათმცოდნეობის არქიტექტურას.

პროგნოზირების სერვისი ინახავს შედეგებს თითოეული სვეტისთვის, მეტამონაცემებთან ერთად სკანირების დროისა და სტატუსის შესახებ. ნებისმიერ მომხმარებელს და ქვემოთ მოცემულ პროცესს, რომელიც დამოკიდებულია ამ მონაცემებზე, შეუძლია წაიკითხოს იგი ყოველდღიურად გამოქვეყნებული მონაცემთა ნაკრებიდან. ეს ნაკრები აერთიანებს ყველა ამ სკანირების სამუშაოების შედეგებს ან მონაცემთა კატალოგის რეალურ დროში API-ს. გამოქვეყნებული პროგნოზები არის კონფიდენციალურობისა და უსაფრთხოების პოლიტიკის ავტომატური აღსრულების საფუძველი.

დაბოლოს, მას შემდეგ, რაც პროგნოზირების სერვისი ჩაიწერს ყველა მონაცემს და ყველა პროგნოზს შეინახავს, ​​ჩვენი მონაცემთა კატალოგის API-ს შეუძლია რეალურ დროში დააბრუნოს მონაცემთა ტიპის ყველა პროგნოზი რესურსისთვის. სისტემა ყოველდღიურად აქვეყნებს მონაცემთა ნაკრებს, რომელიც შეიცავს ყველა უახლეს პროგნოზს თითოეული აქტივისთვის.

არასტაბილური მონაცემები

მიუხედავად იმისა, რომ ზემოაღნიშნული პროცესი განკუთვნილია მუდმივი აქტივებისთვის, არასტაბილური ტრაფიკი ასევე განიხილება ორგანიზაციის მონაცემების ნაწილად და შეიძლება იყოს მნიშვნელოვანი. ამ მიზეზით, სისტემა უზრუნველყოფს ონლაინ API-ს, რათა წარმოქმნას რეალურ დროში კლასიფიკაციის პროგნოზები ნებისმიერი არასტაბილური ტრაფიკისთვის. რეალურ დროში პროგნოზირების სისტემა ფართოდ გამოიყენება გამავალი ტრაფიკის, შემომავალი ტრაფიკის კლასიფიკაციისთვის მანქანათმცოდნეობის მოდელებში და რეკლამის განმთავსებლების მონაცემებში.

აქ API იღებს ორ მთავარ არგუმენტს: დაჯგუფების გასაღები და ნედლეული მონაცემების პროგნოზირება. სერვისი ასრულებს იგივე ფუნქციების ამოღებას, როგორც ზემოთ იყო აღწერილი და აჯგუფებს ფუნქციებს ერთი და იგივე გასაღებისთვის. ეს ფუნქციები ასევე მხარდაჭერილია მუდმივ ქეშში შეცდომისთვის. თითოეული დაჯგუფების გასაღებისთვის, სერვისი უზრუნველყოფს, რომ მან ნახა საკმარისი ნიმუშები პროგნოზირების სერვისის დარეკვამდე, ზემოთ აღწერილი პროცესის შესაბამისად.

ოპტიმიზაცია

ზოგიერთი მეხსიერების სკანირებისთვის, ჩვენ ვიყენებთ ცხელი მეხსიერების წაკითხვის ოპტიმიზაციის ბიბლიოთეკებსა და მეთოდებს [2] და უზრუნველვყოფთ, რომ არ მოხდეს ავარია სხვა მომხმარებლებისგან, რომლებიც წვდებიან იმავე მეხსიერებას.

ძალიან დიდი ცხრილებისთვის (50+ პეტაბაიტი), მიუხედავად ყველა ოპტიმიზაციისა და მეხსიერების ეფექტურობისა, სისტემა მუშაობს ყველაფრის სკანირებაზე და გამოთვლაზე, სანამ მეხსიერება ამოიწურება. ყოველივე ამის შემდეგ, სკანირება მთლიანად გამოითვლება მეხსიერებაში და არ ინახება სკანირების დროს. თუ დიდი ცხრილები შეიცავს ათასობით სვეტს მონაცემთა არასტრუქტურირებული კრებულებით, სამუშაო შეიძლება ჩავარდეს მეხსიერების არასაკმარისი რესურსების გამო, ცხრილის პროგნოზების გაკეთებისას. ეს გამოიწვევს დაფარვის შემცირებას. ამის წინააღმდეგ საბრძოლველად, ჩვენ გავაუმჯობესეთ სისტემა, რათა გამოვიყენოთ სკანირების სიჩქარე, როგორც პროქსი, თუ რამდენად კარგად უმკლავდება სისტემა მიმდინარე დატვირთვას. ჩვენ ვიყენებთ სიჩქარეს, როგორც პროგნოზირების მექანიზმს, რათა დავინახოთ მეხსიერების პრობლემები და პროგნოზირებადი მახასიათებლების რუქის გამოთვლები. ამით ჩვენ ჩვეულებრივზე ნაკლებ მონაცემს ვიყენებთ.

მონაცემთა სიგნალები

კლასიფიკაციის სისტემა ისეთივე კარგია, როგორც მონაცემებიდან მიღებული სიგნალები. აქ განვიხილავთ კლასიფიკაციის სისტემის მიერ გამოყენებულ ყველა სიგნალს.

• კონტენტზე დაფუძნებული: რა თქმა უნდა, პირველი და ყველაზე მნიშვნელოვანი სიგნალი არის შინაარსი. ბერნულის ნიმუშის აღება ხორციელდება თითოეულ მონაცემთა აქტივზე, რომელსაც ჩვენ ვამოწმებთ და ვიღებთ ფუნქციებს მონაცემთა შინაარსიდან. ბევრი მახასიათებელი მოდის შინაარსიდან. შესაძლებელია ნებისმიერი რაოდენობის მცურავი ობიექტი, რომელიც წარმოადგენს გამოთვლებს იმის შესახებ, თუ რამდენჯერ არის ნანახი კონკრეტული ტიპის ნიმუში. მაგალითად, ჩვენ შეიძლება გვქონდეს ნიმუშში ნანახი ელფოსტის რაოდენობის ნიშნები, ან ნიშნები იმისა, თუ რამდენი emoji იყო ნანახი ნიმუშში. ამ მახასიათებლების გამოთვლები შეიძლება ნორმალიზდეს და დაგროვდეს სხვადასხვა სკანირებით.
• მონაცემთა წარმოშობა: მნიშვნელოვანი სიგნალი, რომელიც დაგეხმარებათ, როდესაც შინაარსი შეიცვალა მშობლის ცხრილიდან. გავრცელებული მაგალითია ჰეშირებული მონაცემები. როდესაც ბავშვის ცხრილის მონაცემები ჰეშირებულია, ის ხშირად მოდის მშობლის ცხრილიდან, სადაც რჩება მკაფიო. Lineage მონაცემები ხელს უწყობს გარკვეული ტიპის მონაცემების კლასიფიკაციას, როდესაც ისინი არ იკითხება ნათლად ან არ არის გადაყვანილი ზემოთ ნაკადის ცხრილიდან.
• ანოტაციები: კიდევ ერთი მაღალი ხარისხის სიგნალი, რომელიც დაგეხმარებათ არასტრუქტურირებული მონაცემების იდენტიფიცირებაში. სინამდვილეში, ანოტაციები და საგვარეულო მონაცემებს შეუძლიათ ერთად იმუშაონ ატრიბუტების გასავრცელებლად სხვადასხვა მონაცემთა აქტივებს შორის. ანოტაციები ხელს უწყობს არასტრუქტურირებული მონაცემების წყაროს იდენტიფიცირებას, ხოლო წარმოშობის მონაცემებს შეუძლია დაეხმაროს ამ მონაცემთა ნაკადის თვალყურის დევნებას მთელ მაღაზიაში.
• მონაცემთა ინექცია არის ტექნიკა, სადაც სპეციალური, წაუკითხავი სიმბოლოები განზრახ შეჰყავთ ცნობილ წყაროებში, მონაცემთა ცნობილი ტიპებით. შემდეგ, როდესაც ჩვენ სკანირებთ შინაარსს ერთიდაიგივე წაუკითხავი სიმბოლოების თანმიმდევრობით, შეგვიძლია დავასკვნათ, რომ კონტენტი მოდის ამ ცნობილი მონაცემთა ტიპისგან. ეს არის კიდევ ერთი თვისებრივი მონაცემების სიგნალი ანოტაციების მსგავსი. გარდა იმისა, რომ კონტენტზე დაფუძნებული აღმოჩენა ხელს უწყობს შეყვანილი მონაცემების აღმოჩენას.

მეტრული გაზომვა

მნიშვნელოვანი კომპონენტია მეტრიკის გაზომვის მკაცრი მეთოდოლოგია. კლასიფიკაციის გაუმჯობესების გამეორების ძირითადი მეტრიკა არის თითოეული ეტიკეტის სიზუსტე და გახსენება, სადაც ყველაზე მნიშვნელოვანია F2 ქულა.

ამ მეტრიკის გამოთვლა მოითხოვს მონაცემთა აქტივების მარკირების დამოუკიდებელ მეთოდოლოგიას, რომელიც დამოუკიდებელია თავად სისტემისგან, მაგრამ შეიძლება გამოყენებულ იქნას მასთან პირდაპირი შედარებისთვის. ქვემოთ აღვწერთ, თუ როგორ ვაგროვებთ ჭეშმარიტებას Facebook-დან და ვიყენებთ მას ჩვენი კლასიფიკაციის სისტემის მოსამზადებლად.

სანდო მონაცემების შეგროვება

ჩვენ ვაგროვებთ მოქმედ მონაცემებს ქვემოთ ჩამოთვლილი თითოეული წყაროდან საკუთარ ცხრილში. თითოეული ცხრილი პასუხისმგებელია ამ კონკრეტული წყაროდან უახლესი დაკვირვებული მნიშვნელობების გაერთიანებაზე. თითოეულ წყაროს აქვს მონაცემთა ხარისხის შემოწმება, რათა დარწმუნდეს, რომ თითოეული წყაროსთვის დაკვირვებული მნიშვნელობები მაღალი ხარისხისაა და შეიცავს უახლეს მონაცემთა ტიპის ეტიკეტებს.

• შესვლა პლატფორმის კონფიგურაციები: ზოგიერთი ველი hive ცხრილებში სავსეა გარკვეული ტიპის მონაცემებით. ამ მონაცემების გამოყენება და გავრცელება საიმედო მონაცემების სანდო წყაროს წარმოადგენს.
• მექანიკური მარკირება: დეველოპერები, რომლებიც ინარჩუნებენ სისტემას, ისევე როგორც გარე ეტიკეტირებას, გაწვრთნიან სვეტების ეტიკეტირებაში. ეს ჩვეულებრივ კარგად მუშაობს მაღაზიაში არსებული ყველა ტიპის მონაცემისთვის და შეიძლება იყოს ნდობის ძირითადი წყარო ზოგიერთი არასტრუქტურირებული მონაცემებისთვის, როგორიცაა პოსტის მონაცემები ან მომხმარებლის მიერ გენერირებული კონტენტი.
• მშობელი ცხრილების სვეტები შეიძლება მონიშნული ან ანოტირებული იყოს, როგორც გარკვეული მონაცემების შემცველი და ჩვენ შეგვიძლია თვალი ადევნოთ ამ მონაცემებს ქვემოთ მოცემულ ცხრილებში.
• შერჩევის ძაფები: Facebook-ის ძაფები ატარებს კონკრეტული ტიპის მონაცემებს. ჩვენი სკანერის, როგორც სერვისის არქიტექტურის გამოყენებით, ჩვენ შეგვიძლია შევამოწმოთ ნაკადები, რომლებსაც აქვთ მონაცემთა ცნობილი ტიპები და გავაგზავნოთ ისინი სისტემის მეშვეობით. სისტემა გვპირდება, რომ არ შეინახავს ამ მონაცემებს.
• ცხრილების ნიმუშები: დიდი სკების ცხრილები, რომლებიც ცნობილია, რომ შეიცავს მონაცემთა მთელ კორპუსს, ასევე შეიძლება გამოყენებულ იქნას როგორც სასწავლო მონაცემები და გადაეცეს სკანერს, როგორც სერვისს. ეს შესანიშნავია მონაცემთა ტიპების სრული დიაპაზონის მქონე ცხრილებისთვის, ასე რომ, სვეტის შემთხვევით არჩევა ექვივალენტურია ამ მონაცემთა ტიპის მთელი ნაკრების არჩევისა.
• სინთეტიკური მონაცემები: ჩვენ შეგვიძლია გამოვიყენოთ ბიბლიოთეკებიც, რომლებიც აწარმოებენ მონაცემებს ფრენის დროს. ეს კარგად მუშაობს მარტივი, საჯარო მონაცემთა ტიპებისთვის, როგორიცაა მისამართი ან GPS.
• მონაცემთა დამრიგებლები: კონფიდენციალურობის პროგრამები, როგორც წესი, იყენებენ მონაცემთა სტიუარდებს, რათა ხელით მიამაგრონ პოლიტიკა მონაცემებზე. ეს ემსახურება როგორც ნდობის უაღრესად ზუსტი წყარო.

ჩვენ ვაერთიანებთ მყარი მონაცემების ყველა ძირითად წყაროს ერთ კორპუსში ყველა ამ მონაცემთან. მოქმედების ყველაზე დიდი პრობლემაა იმის დარწმუნდეთ, რომ ის არის მონაცემთა საწყობის წარმომადგენელი. წინააღმდეგ შემთხვევაში, კლასიფიკაციის ძრავები შეიძლება გადაჭარბებული იყოს. ამის წინააღმდეგ საბრძოლველად, ყველა ზემოაღნიშნული წყარო გამოიყენება ბალანსის უზრუნველსაყოფად მოდელების ვარჯიშის ან მეტრიკის გაანგარიშებისას. გარდა ამისა, ადამიანური ჟეტონები მაღაზიაში არსებულ სხვადასხვა სვეტებს თანაბრად ამოწმებენ და მონაცემებს სათანადოდ ასახელებენ ისე, რომ მოქმედი მნიშვნელობების შეგროვება მიუკერძოებელი დარჩეს.

უწყვეტი ინტეგრაცია

სწრაფი განმეორებისა და გაუმჯობესების უზრუნველსაყოფად, მნიშვნელოვანია სისტემის მუშაობის გაზომვა რეალურ დროში. ჩვენ შეგვიძლია გავზომოთ კლასიფიკაციის ყველა გაუმჯობესება დღევანდელ სისტემასთან, ასე რომ, ჩვენ შეგვიძლია ტაქტიკურად მივმართოთ მონაცემებს შემდგომი გაუმჯობესებისთვის. აქ ჩვენ ვუყურებთ, თუ როგორ ასრულებს სისტემა უკუკავშირის ციკლს, რომელიც მოწოდებულია სწორი მონაცემებით.

როდესაც დაგეგმვის სისტემა ხვდება აქტივს, რომელსაც აქვს ეტიკეტი სანდო წყაროდან, ჩვენ ვგეგმავთ ორ ამოცანას. პირველი იყენებს ჩვენს წარმოების სკანერს და, შესაბამისად, ჩვენს წარმოების შესაძლებლობებს. მეორე ამოცანა იყენებს უახლესი სკანერს უახლესი ფუნქციებით. თითოეული დავალება წერს თავის გამოსავალს საკუთარ ცხრილში, აწერს ვერსიებს კლასიფიკაციის შედეგებთან ერთად.

ასე ვადარებთ რეალურ დროში გამოშვების კანდიდატისა და წარმოების მოდელის კლასიფიკაციის შედეგებს.

სანამ მონაცემთა ნაკრები ადარებს RC და PROD მახასიათებლებს, პროგნოზირების სერვისის ML კლასიფიკაციის ძრავის მრავალი ვარიაცია აღირიცხება. მანქანური სწავლების უახლესი მოდელი, რომელიც აშენდა, მიმდინარე მოდელი წარმოებაში და ნებისმიერი ექსპერიმენტული მოდელი. იგივე მიდგომა გვაძლევს საშუალებას „მოვჭრათ“ მოდელის სხვადასხვა ვერსიები (აგნოსტიკი ჩვენი წესების კლასიფიკატორებისთვის) და შევადაროთ მეტრიკა რეალურ დროში. ძალიან ადვილია იმის დადგენა, თუ როდის არის მზად ML ექსპერიმენტი წარმოებაში.

ყოველ ღამე, იმ დღისთვის გამოთვლილი RC ფუნქციები იგზავნება ML სასწავლო მილსადენში, სადაც მოდელი ივარჯიშება უახლეს RC მახასიათებლებზე და აფასებს მის შესრულებას მოქმედი მონაცემთა ნაკრების მიხედვით.

ყოველ დილით მოდელი ამთავრებს ტრენინგს და ავტომატურად ქვეყნდება როგორც ექსპერიმენტული მოდელი. ის ავტომატურად შედის ექსპერიმენტულ სიაში.

ზოგიერთი შედეგი

100-ზე მეტი სხვადასხვა ტიპის მონაცემი აღინიშნება მაღალი სიზუსტით. კარგად სტრუქტურირებული ტიპები, როგორიცაა ელფოსტა და ტელეფონის ნომრები, კლასიფიცირებულია f2 ქულით 0,95-ზე მეტი. მონაცემთა უფასო ტიპები, როგორიცაა პირადი შინაარსი და სახელი, ასევე ძალიან კარგად მუშაობს, F2 ქულებით 0,85-ზე მეტი.

ძლიერი და არასტაბილური მონაცემების დიდი რაოდენობით განსხვავებული სვეტები კლასიფიცირდება ყოველდღიურად ყველა საცავში. ყოველდღიურად 500 ტერაბაიტზე მეტი სკანირება ხდება მონაცემთა 10-ზე მეტ მაღაზიაში. ამ საცავების უმეტესობის დაფარვა 98%-ზე მეტია.

დროთა განმავლობაში, კლასიფიკაცია გახდა ძალიან ეფექტური, რადგან კლასიფიკაციის სამუშაოებს მუდმივი ოფლაინ ნაკადში საშუალოდ 35 წამი სჭირდება აქტივის სკანირებიდან თითოეული სვეტის გამოთვლების პროგნოზებამდე.

ბრინჯი. 2. დიაგრამა, რომელიც აღწერს ინტეგრაციის უწყვეტ ნაკადს იმის გასაგებად, თუ როგორ იქმნება RC ობიექტები და იგზავნება მოდელში.

სურათი 3. მანქანათმცოდნეობის კომპონენტის მაღალი დონის დიაგრამა.

მანქანათმცოდნეობის სისტემის კომპონენტი

წინა განყოფილებაში ჩვენ ღრმად ჩავუღრმავდით მთელი სისტემის არქიტექტურას, გამოვყავით მასშტაბები, ოპტიმიზაცია და ოფლაინ და ონლაინ მონაცემთა ნაკადები. ამ განყოფილებაში ჩვენ გადავხედავთ პროგნოზირების სერვისს და აღვწერთ მანქანათმცოდნეობის სისტემას, რომელიც უზრუნველყოფს პროგნოზირების სერვისს.

მონაცემთა 100-ზე მეტი ტიპისა და ზოგიერთი არასტრუქტურირებული შინაარსით, როგორიცაა პოსტის მონაცემები და მომხმარებლის მიერ გენერირებული კონტენტი, წმინდა მექანიკური ევრისტიკის გამოყენება იწვევს ქვეპარამეტრულ კლასიფიკაციის სიზუსტეს, განსაკუთრებით არასტრუქტურირებული მონაცემებისთვის. ამ მიზეზით, ჩვენ ასევე შევიმუშავეთ მანქანათმცოდნეობის სისტემა, რათა გაუმკლავდეთ არასტრუქტურირებული მონაცემების სირთულეებს. მანქანური სწავლების გამოყენება საშუალებას გაძლევთ დაიწყოთ ხელით ევრისტიკისგან თავის დაღწევა და სიზუსტის გასაუმჯობესებლად ფუნქციებთან და დამატებითი მონაცემთა სიგნალებთან მუშაობა.

განხორციელებული მოდელი ცალ-ცალკე სწავლობს ვექტორულ გამოსახულებებს [3] მკვრივ და მწირ ობიექტებზე. შემდეგ ისინი გაერთიანებულია ვექტორის შესაქმნელად, რომელიც გადის სერიის ნორმალიზაციის [4] და არაწრფივი საფეხურებს საბოლოო შედეგის მისაღებად. საბოლოო შედეგი არის მცურავი წერტილის რიცხვი [0-1]-ს შორის თითოეული ეტიკეტისთვის, რაც მიუთითებს ალბათობაზე, რომ ეგზემპლარი მიეკუთვნება ამ მგრძნობელობის ტიპს. მოდელისთვის PyTorch-ის გამოყენებამ მოგვცა საშუალება უფრო სწრაფად გადაგვეტანა, რაც გუნდის გარეთ დეველოპერებს საშუალებას აძლევდა სწრაფად შეეტანათ და შეამოწმოთ ცვლილებები.

არქიტექტურის შემუშავებისას მნიშვნელოვანი იყო იშვიათი (მაგ. ტექსტი) და მკვრივი (მაგ. რიცხვითი) ობიექტების მოდელირება მათი შინაგანი განსხვავების გამო. საბოლოო არქიტექტურისთვის ასევე მნიშვნელოვანი იყო პარამეტრის გაწმენდა, რათა იპოვონ ოპტიმალური მნიშვნელობა სწავლის სიჩქარის, ჯგუფის ზომისა და სხვა ჰიპერპარამეტრებისთვის. ოპტიმიზატორის არჩევანი ასევე მნიშვნელოვანი ჰიპერპარამეტრი იყო. ჩვენ აღმოვაჩინეთ, რომ პოპულარული ოპტიმიზატორი ადამხშირად იწვევს overfitting, ხოლო მოდელის SGD უფრო სტაბილური. იყო დამატებითი ნიუანსები, რომლებიც პირდაპირ მოდელში უნდა შეგვეტანა. მაგალითად, სტატიკური წესები, რომლებიც უზრუნველყოფდნენ, რომ მოდელი აკეთებს დეტერმინისტულ პროგნოზს, როდესაც მახასიათებელს აქვს გარკვეული მნიშვნელობა. ეს სტატიკური წესები განისაზღვრება ჩვენი კლიენტების მიერ. ჩვენ აღმოვაჩინეთ, რომ მათი უშუალოდ მოდელში ჩართვამ განაპირობა უფრო თვითმყოფად და მტკიცე არქიტექტურა, განსხვავებით შემდგომი დამუშავების საფეხურის განხორციელებისგან ამ სპეციალური ზღვრული შემთხვევების დასამუშავებლად. ასევე გაითვალისწინეთ, რომ ეს წესები გამორთულია ვარჯიშის დროს, რათა ხელი არ შეუშალოს გრადიენტული დაღმართის ვარჯიშის პროცესს.

პრობლემები

ერთ-ერთი გამოწვევა იყო მაღალი ხარისხის, სანდო მონაცემების შეგროვება. მოდელს სჭირდება თითო კლასის ვალიდობა, რათა მან შეძლოს ისწავლოს ასოციაციები ობიექტებსა და ეტიკეტებს შორის. წინა ნაწილში განვიხილეთ მონაცემთა შეგროვების მეთოდები, როგორც სისტემის გაზომვის, ასევე მოდელის ტრენინგისთვის. ანალიზმა აჩვენა, რომ მონაცემთა კლასები, როგორიცაა საკრედიტო ბარათი და საბანკო ანგარიშის ნომრები, არც თუ ისე გავრცელებულია ჩვენს საცავში. ეს ართულებს დიდი რაოდენობით სანდო მონაცემების შეგროვებას მოდელის ტრენინგისთვის. ამ პრობლემის გადასაჭრელად, ჩვენ შევიმუშავეთ ამ კლასებისთვის სინთეზური მონაცემების გენერირების პროცესები. ჩვენ ვქმნით ასეთ მონაცემებს მგრძნობიარე ტიპებისთვის, მათ შორის SSN, საკრედიტო ბარათის ნომრები и IBAN- რიცხვები, რომლებზეც მოდელი ადრე ვერ იწინასწარმეტყველა. ეს მიდგომა საშუალებას აძლევს მონაცემთა სენსიტიური ტიპების დამუშავებას კონფიდენციალურობის რისკის გარეშე, რომელიც დაკავშირებულია რეალური სენსიტიური მონაცემების დამალვასთან.

გარდა მონაცემთა სანდოობის საკითხებისა, არის ღია არქიტექტურული საკითხები, რომლებზეც ჩვენ ვმუშაობთ, როგორიცაა იზოლაციის შეცვლა и ადრეული გაჩერება. ცვლილების იზოლაცია მნიშვნელოვანია ისე, რომ როდესაც სხვადასხვა ცვლილებები ხდება ქსელის სხვადასხვა ნაწილზე, ზემოქმედება იზოლირებულია კონკრეტულ კლასებზე და არ ჰქონდეს ფართო გავლენა საერთო პროგნოზირების შესრულებაზე. ადრეული შეჩერების კრიტერიუმების გაუმჯობესება ასევე მნიშვნელოვანია, რათა ჩვენ შეგვიძლია შევაჩეროთ ტრენინგის პროცესი სტაბილურ წერტილში ყველა კლასისთვის და არა იმ წერტილში, სადაც ზოგიერთი კლასი გადამზადებულია და სხვები არა.

მახასიათებლის მნიშვნელობა

როდესაც ახალი ფუნქცია შემოდის მოდელში, ჩვენ გვინდა ვიცოდეთ მისი მთლიანი გავლენა მოდელზე. ჩვენ ასევე გვინდა დავრწმუნდეთ, რომ პროგნოზები არის ადამიანის ინტერპრეტაცია, რათა გავიგოთ ზუსტად რა ფუნქციები გამოიყენება თითოეული ტიპის მონაცემისთვის. ამ მიზნით ჩვენ შევიმუშავეთ და განვახორციელეთ კლასის მიხედვით ფუნქციების მნიშვნელობა PyTorch მოდელისთვის. გაითვალისწინეთ, რომ ეს განსხვავდება ზოგადი მახასიათებლის მნიშვნელობისგან, რომელიც ჩვეულებრივ მხარდაჭერილია, რადგან არ გვეუბნება, რომელი ფუნქციებია მნიშვნელოვანი კონკრეტული კლასისთვის. ჩვენ ვზომავთ ობიექტის მნიშვნელობას პროგნოზირების შეცდომის გაზრდის გამოთვლით ობიექტის შეცვლის შემდეგ. ფუნქცია "მნიშვნელოვანია", როდესაც მნიშვნელობების პერმუტაცია ზრდის მოდელის შეცდომას, რადგან ამ შემთხვევაში მოდელი ეყრდნობოდა მახასიათებელს თავის პროგნოზში. ნიშანი "არ არის მნიშვნელოვანი", როდესაც მისი მნიშვნელობების გადარევა მოდელის შეცდომას უცვლელად ტოვებს, რადგან ამ შემთხვევაში მოდელმა უგულებელყო იგი [5].

თითოეული კლასისთვის მახასიათებლის მნიშვნელობა საშუალებას გვაძლევს გავხადოთ მოდელი ინტერპრეტაციად, რათა დავინახოთ, რას აქცევს მოდელი ყურადღებას ეტიკეტის პროგნოზირებისას. მაგალითად, როცა ვაანალიზებთ ADDR, მაშინ გარანტიას ვაძლევთ, რომ მისამართთან დაკავშირებული ატრიბუტი, მაგ მისამართის ხაზების რაოდენობა, მაღალი ადგილი უკავია თითოეული კლასისთვის მახასიათებლის მნიშვნელობის ცხრილში, რათა ჩვენი ადამიანური ინტუიცია კარგად ემთხვეოდეს იმას, რაც მოდელმა ისწავლა.

შეფასება

მნიშვნელოვანია წარმატების ერთი მეტრიკის განსაზღვრა. Ჩვენ ვირჩევთ F2 - ბალანსი გახსენებასა და სიზუსტეს შორის (გახსენების მიკერძოება ოდნავ უფრო დიდია). გაუქმება უფრო მნიშვნელოვანია კონფიდენციალურობის გამოყენების შემთხვევისთვის, ვიდრე სიზუსტე, რადგან გუნდისთვის მნიშვნელოვანია არ გამოტოვოს რაიმე მგრძნობიარე მონაცემი (მიუხედავად იმისა, რომ გონივრული სიზუსტეა დაცული). ჩვენი მოდელის რეალური F2 შესრულების ქულა სცილდება ამ სტატიის ფარგლებს. თუმცა, ფრთხილად დარეგულირებით ჩვენ შეგვიძლია მივაღწიოთ მაღალ (0,9+) F2 ქულას ყველაზე მნიშვნელოვანი მგრძნობიარე კლასებისთვის.

Შესაბამისი სამუშაო

არასტრუქტურირებული დოკუმენტების ავტომატური კლასიფიკაციის მრავალი ალგორითმი არსებობს სხვადასხვა მეთოდების გამოყენებით, როგორიცაა შაბლონების შესატყვისი, დოკუმენტების მსგავსების ძიება და მანქანური სწავლების სხვადასხვა მეთოდები (ბაიესი, გადაწყვეტილების ხეები, k-უახლოესი მეზობლები და მრავალი სხვა) [6]. ნებისმიერი მათგანი შეიძლება გამოყენებულ იქნას როგორც კლასიფიკაციის ნაწილი. თუმცა, პრობლემა არის მასშტაბურობა. ამ სტატიაში კლასიფიკაციის მიდგომა მიკერძოებულია მოქნილობისა და შესრულების მიმართ. ეს საშუალებას გვაძლევს, მხარი დავუჭიროთ ახალ კლასებს მომავალში და შევინარჩუნოთ შეყოვნება დაბალი.

ასევე ბევრია მონაცემთა თითის ანაბეჭდის სამუშაო. მაგალითად, ავტორებმა [7]-ში აღწერეს გამოსავალი, რომელიც ფოკუსირებულია კონფიდენციალური მონაცემების გაჟონვის პრობლემაზე. ძირითადი ვარაუდი არის ის, რომ მონაცემთა თითის ანაბეჭდი შეიძლება შეესაბამებოდეს ცნობილი მგრძნობიარე მონაცემების ერთობლიობას. ავტორები [8]-ში აღწერენ კონფიდენციალურობის გაჟონვის მსგავს პრობლემას, მაგრამ მათი გადაწყვეტა ემყარება Android-ის სპეციფიკურ არქიტექტურას და კლასიფიცირებულია მხოლოდ იმ შემთხვევაში, თუ მომხმარებლის ქმედებებმა გამოიწვია პირადი ინფორმაციის გაგზავნა ან თუ ძირითადი აპლიკაცია გაჟონა მომხმარებლის მონაცემებზე. სიტუაცია აქ გარკვეულწილად განსხვავებულია, რადგან მომხმარებლის მონაცემები ასევე შეიძლება იყოს ძალიან არასტრუქტურირებული. ამიტომ, ჩვენ გვჭირდება უფრო დახვეწილი ტექნიკა, ვიდრე თითის ანაბეჭდი.

დაბოლოს, ზოგიერთი ტიპის სენსიტიური მონაცემების მონაცემების ნაკლებობასთან დაკავშირებით, ჩვენ შემოვიღეთ სინთეზური მონაცემები. არსებობს უამრავი ლიტერატურა მონაცემთა გაზრდის შესახებ, მაგალითად, ავტორებმა [9] გამოიკვლიეს ხმაურის ინექციის როლი ტრენინგის დროს და დააფიქსირეს დადებითი შედეგები ზედამხედველობით სწავლაში. ჩვენი მიდგომა კონფიდენციალურობისადმი განსხვავებულია, რადგან ხმაურიანი მონაცემების დანერგვა შეიძლება იყოს კონტრპროდუქტიული და ამის ნაცვლად ჩვენ ფოკუსირებას ვაკეთებთ მაღალი ხარისხის სინთეტიკურ მონაცემებზე.

დასკვნა

ამ სტატიაში ჩვენ წარმოვადგინეთ სისტემა, რომელსაც შეუძლია მონაცემთა ნაწილის კლასიფიკაცია. ეს საშუალებას გვაძლევს შევქმნათ სისტემები კონფიდენციალურობისა და უსაფრთხოების პოლიტიკის განსახორციელებლად. ჩვენ ვაჩვენეთ, რომ მასშტაბური ინფრასტრუქტურა, უწყვეტი ინტეგრაცია, მანქანური სწავლება და მაღალი ხარისხის მონაცემთა მთლიანობის მონაცემები არის ჩვენი მრავალი კონფიდენციალურობის ინიციატივის წარმატების გასაღები.

ბევრი სფეროა მომავალი მუშაობისთვის. ეს შეიძლება მოიცავდეს ნედლეული მონაცემების (ფაილების) მხარდაჭერის უზრუნველყოფას, არა მხოლოდ მონაცემთა ტიპის, არამედ მგრძნობელობის დონის კლასიფიკაციას და უშუალოდ ტრენინგის დროს თვითკონტროლირებადი სწავლების გამოყენებას ზუსტი სინთეზური მაგალითების წარმოქმნით. რაც, თავის მხრივ, დაეხმარება მოდელს ზარალის შემცირებაში ყველაზე დიდი რაოდენობით. მომავალი მუშაობა ასევე შეიძლება ფოკუსირებული იყოს გამოძიების სამუშაო პროცესზე, სადაც ჩვენ სცილდებათ გამოვლენას და ვუზრუნველყოფთ კონფიდენციალურობის სხვადასხვა დარღვევის ძირითადი მიზეზების ანალიზს. ეს დაგეხმარებათ ისეთ შემთხვევებში, როგორიცაა მგრძნობელობის ანალიზი (ანუ მონაცემთა ტიპის კონფიდენციალურობის მგრძნობელობა მაღალია (მაგ. მომხმარებლის IP) თუ დაბალი (მაგ. Facebook შიდა IP)).

ბიბლიოგრაფია

1. დევიდ ბენ-დავიდი, თამარ დომანი და აბიგაილ ტარემი. საწარმოთა მონაცემთა კლასიფიკაცია სემანტიკური ვებ ტექნოლოგიების გამოყენებით. პიტერ ფ.ე პატელ-შნაიდერი, იუე პანი, პასკალ ჰიტცლერი, პიტერ მიკა, ლეი ჟანგი, ჯეფ ზ.პანი, იან ჰოროქსი და ბირტე გლიმი, რედაქტორები, სემანტიკური ვებ – ISWC 2010 წ, გვერდები 66–81, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg.
2. სუბრამელი მურალიდჰარი, უაიტ ლოიდი, საბიასაჩი როი, კორი ჰილი, ერნესტ ლინი, ვეივენ ლიუ, სატადრუ პანი, შივა შანკარი, ვისვანათ სივაკუმარი, ლინპენგ ტანგი და სანჯიევ კუმარი. f4: Facebook-ის თბილი BLOB შენახვის სისტემა. In USENIX-ის მე-11 სიმპოზიუმი ოპერაციული სისტემების დიზაინისა და დანერგვის შესახებ (OSDI 14), გვერდები 383–398, Broomfield, CO, ოქტომბერი 2014 წ. USENIX Association.
3. ტომას მიკოლოვი, ილია სუცკევერი, კაი ჩენი, გრეგ ს კორადო და ჯეფ დინი. სიტყვებისა და ფრაზების განაწილებული წარმოდგენები და მათი შემადგენლობა. CJC Burges-ში, L. Bottou, M. Welling, Z. Ghahramani და KQ Weinberger, რედაქტორები, მიღწევები ნერვული ინფორმაციის დამუშავების სისტემებში 26, გვერდები 3111–3119. Curran Associates, Inc., 2013 წ.
4. სერგეი იოფე და კრისტიან სეგედი. სერიის ნორმალიზაცია: ღრმა ქსელის ტრენინგის დაჩქარება შიდა კოვარიატული ცვლის შემცირებით. ფრენსის ბახი და დევიდ ბლეი, რედაქტორები, მანქანათმცოდნეობის 32-ე საერთაშორისო კონფერენციის მასალები, ტომი 37 მანქანათმცოდნეობის კვლევის მასალები, გვერდები 448–456, ლილი, საფრანგეთი, 07–09 ივლისი 2015 წ. PMLR.
5. ლეო ბრაიმანი. შემთხვევითი ტყეები. მახ. Ვისწავლოთ., 45 (1): 5–32, 2001 წლის ოქტომბერი.
6. ტაირ ნუ ფიუ. მონაცემთა მაინინგის კლასიფიკაციის ტექნიკის კვლევა.
7. X. Shu, D. Yao და E. Bertino. კონფიდენციალურობის დაცვა სენსიტიური მონაცემების გამოვლენა. IEEE ტრანზაქციები საინფორმაციო სასამართლო ექსპერტიზისა და უსაფრთხოების შესახებ, 10(5):1092–1103, 2015.
8. ჟემინ იანგი, მინ იანგი, იუან ჟანგი, გუფეი გუ, პენ ნინგი და სიაოიან ვანგი. Appintent: ანდროიდში მგრძნობიარე მონაცემთა გადაცემის ანალიზი კონფიდენციალურობის გაჟონვის გამოვლენისთვის. გვერდები 1043–1054, 11 2013 წ.
9. Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong და Quoc V. Le. მონაცემთა უკონტროლო გაძლიერება.

შეიტყვეთ დეტალები იმის შესახებ, თუ როგორ უნდა მიიღოთ სასურველი პროფესია ნულიდან ან უნარებისა და ხელფასის დონის ამაღლება SkillFactory ონლაინ კურსების გავლის გზით:

• მონაცემთა მეცნიერების პროფესიის სწავლება ნულიდან (12 თვე)
• მანქანათმცოდნეობის კურსი (12 კვირა)
• დამატებითი კურსი "Machine Learning Pro + Deep Learning" (20 კვირა)
• კურსი "მათემატიკა და მანქანათმცოდნეობა მონაცემთა მეცნიერებისთვის" (20 კვირა)

მეტი კურსები

• Python ვებ განვითარების კურსი (9 თვე)
• პროფესია ვებ დეველოპერი (8 თვე)
• ანალიტიკოსის პროფესია ნებისმიერი საწყისი დონის (9 თვე)
• DevOps კურსი (12 თვე)
• ჯავის დეველოპერი ნულიდან (18 თვე)
• JavaScript კურსი (12 თვე)
• პროფესია UX დიზაინერი ნულიდან (9 თვე)
• პროფესია ვებ დიზაინერი (7 თვე)

წყარო: www.habr.com