NeuroIPS () είναι το μεγαλύτερο συνέδριο στον κόσμο για τη μηχανική μάθηση και την τεχνητή νοημοσύνη και το κύριο γεγονός στον κόσμο της βαθιάς μάθησης.
Εμείς, οι μηχανικοί της DS, θα κατέχουμε επίσης τη βιολογία, τη γλωσσολογία και την ψυχολογία τη νέα δεκαετία; Θα σας πούμε στην κριτική μας.
Φέτος το συνέδριο συγκέντρωσε περισσότερα από 13500 άτομα από 80 χώρες στο Βανκούβερ του Καναδά. Δεν είναι η πρώτη χρονιά που η Sberbank εκπροσωπεί τη Ρωσία στο συνέδριο - η ομάδα της DS μίλησε για την εφαρμογή του ML στις τραπεζικές διαδικασίες, για τον διαγωνισμό ML και για τις δυνατότητες της πλατφόρμας Sberbank DS. Ποιες ήταν οι κύριες τάσεις του 2019 στην κοινότητα ML; Οι συμμετέχοντες στο συνέδριο λένε: и .
Φέτος, το NeurIPS δέχτηκε περισσότερες από 1400 εργασίες—αλγόριθμους, νέα μοντέλα και νέες εφαρμογές σε νέα δεδομένα.
Περιεχόμενα:
- Τάσεις
-
- Ερμηνευσιμότητα μοντέλου
- Πολυεπιστημονικότητα
- Αιτιολογία
- RL
- GAN
- Βασικές Προσκεκλημένες Ομιλίες
-
- «Κοινωνική Νοημοσύνη», Blaise Aguera y Arcas (Google)
- «Veridical Data Science», Bin Yu (Berkeley)
- «Μοντελοποίηση ανθρώπινης συμπεριφοράς με τη μηχανική μάθηση: ευκαιρίες και προκλήσεις», Nuria M Oliver, Albert Ali Salah
- «Από το Σύστημα 1 στο Σύστημα 2 Deep Learning», Yoshua Bengio
Τάσεις 2019 του έτους
1. Ερμηνευσιμότητα μοντέλων και νέα μεθοδολογία ML
Το κύριο θέμα του συνεδρίου είναι η ερμηνεία και η απόδειξη του γιατί έχουμε ορισμένα αποτελέσματα. Μπορεί κανείς να μιλήσει για πολύ καιρό για τη φιλοσοφική σημασία της ερμηνείας του «μαύρου κουτιού», αλλά υπήρχαν πιο πραγματικές μέθοδοι και τεχνικές εξελίξεις σε αυτόν τον τομέα.
Η μεθοδολογία για την αναπαραγωγή μοντέλων και την εξαγωγή γνώσης από αυτά είναι μια νέα εργαλειοθήκη για την επιστήμη. Τα μοντέλα μπορούν να χρησιμεύσουν ως εργαλείο για την απόκτηση νέας γνώσης και τη δοκιμή της και κάθε στάδιο προεπεξεργασίας, εκπαίδευσης και εφαρμογής του μοντέλου πρέπει να είναι αναπαραγώγιμη.
Ένα σημαντικό ποσοστό των δημοσιεύσεων δεν είναι αφιερωμένο στην κατασκευή μοντέλων και εργαλείων, αλλά στα προβλήματα διασφάλισης της ασφάλειας, της διαφάνειας και της επαληθευσιμότητας των αποτελεσμάτων. Συγκεκριμένα, έχει εμφανιστεί μια ξεχωριστή ροή σχετικά με τις επιθέσεις στο μοντέλο (adversarial attacks) και εξετάζονται επιλογές τόσο για επιθέσεις στην εκπαίδευση όσο και για επιθέσεις στην εφαρμογή.
Άρθρα:
- — ένα άρθρο προγραμματισμού για τη μεθοδολογία επαλήθευσης μοντέλου. Περιλαμβάνει μια επισκόπηση των σύγχρονων εργαλείων για την ερμηνεία μοντέλων, ειδικότερα, τη χρήση της προσοχής και την απόκτηση της σημασίας των χαρακτηριστικών με την «απόσταξη» του νευρωνικού δικτύου με γραμμικά μοντέλα.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Έντουαρντ Ραφ
Το ExBert.net εμφανίζει ερμηνεία μοντέλου για εργασίες επεξεργασίας κειμένου
2. Πολυθεματικότητα
Για να εξασφαλιστεί αξιόπιστη επαλήθευση και να αναπτυχθούν μηχανισμοί για την επαλήθευση και τη διεύρυνση της γνώσης, χρειαζόμαστε ειδικούς σε συναφείς τομείς που έχουν ταυτόχρονα ικανότητες στη ML και στο αντικείμενο (ιατρική, γλωσσολογία, νευροβιολογία, εκπαίδευση κ.λπ.). Αξίζει ιδιαίτερα να σημειωθεί η πιο σημαντική παρουσία έργων και ομιλιών στις νευροεπιστήμες και τις γνωστικές επιστήμες - υπάρχει μια προσέγγιση των ειδικών και ο δανεισμός ιδεών.
Εκτός από αυτή την προσέγγιση, αναδύεται πολυεπιστημονικότητα στην από κοινού επεξεργασία πληροφοριών από διάφορες πηγές: κείμενο και φωτογραφίες, κείμενο και παιχνίδια, βάσεις δεδομένων γραφημάτων + κείμενο και φωτογραφίες.
Άρθρα:
- Νευροεπιστήμη + ML —
- VisualQA -
- RL + NLP -
Δύο μοντέλα - στρατηγικός και στέλεχος - που βασίζονται σε RL και NLP παίζουν online στρατηγική
3. Συλλογιστική
Η ενίσχυση της τεχνητής νοημοσύνης είναι μια κίνηση προς συστήματα αυτομάθησης, «συνειδητού», συλλογισμού και συλλογισμού. Ειδικότερα, αναπτύσσεται η αιτιώδης συναγωγή και η κοινή λογική. Μερικές από τις εκθέσεις είναι αφιερωμένες στη μετα-μάθηση (σχετικά με το πώς να μαθαίνεις να μαθαίνεις) και στο συνδυασμό τεχνολογιών DL με λογική 1ης και 2ης τάξης - ο όρος Τεχνητή Γενική Νοημοσύνη (AGI) γίνεται κοινός όρος στις ομιλίες των ομιλητών.
Άρθρα:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Ενίσχυση Μάθησης
Το μεγαλύτερο μέρος της εργασίας συνεχίζει να αναπτύσσει παραδοσιακές περιοχές RL - DOTA2, Starcraft, συνδυάζοντας αρχιτεκτονικές με όραση υπολογιστή, NLP, βάσεις δεδομένων γραφημάτων.
Μια ξεχωριστή ημέρα του συνεδρίου ήταν αφιερωμένη σε ένα εργαστήριο RL, στο οποίο παρουσιάστηκε η αρχιτεκτονική Optimistic Actor Critic Model, ανώτερη από όλες τις προηγούμενες, ιδιαίτερα του Soft Actor Critic.
Άρθρα:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Προτιμώμενα δίκτυα); Takahiro Ishikawa (The University of Tokyo) [εξωτερικός σύνδεσμος pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Πανεπιστήμιο του Τορόντο); Mohammad Norouzi (Google Brain)
Οι παίκτες του StarCraft μάχονται με το μοντέλο Alphastar (DeepMind)
5. ΓΑΝ
Τα δίκτυα δημιουργίας εξακολουθούν να βρίσκονται στο επίκεντρο: πολλά έργα χρησιμοποιούν GAN βανίλιας για μαθηματικές αποδείξεις και τα εφαρμόζουν επίσης με νέους, ασυνήθιστους τρόπους (μοντέλα δημιουργίας γραφημάτων, εργασία με σειρές, εφαρμογή σε σχέσεις αιτίου-αποτελέσματος σε δεδομένα κ.λπ.).
Άρθρα:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Δεδομένου ότι περισσότερες εργασίες έγιναν αποδεκτές Παρακάτω θα μιλήσουμε για τις πιο σημαντικές ομιλίες.
Προσκεκλημένες Ομιλίες
«Κοινωνική Νοημοσύνη», Blaise Aguera y Arcas (Google)
Η ομιλία επικεντρώνεται στη γενική μεθοδολογία της μηχανικής μάθησης και στις προοπτικές που αλλάζουν τη βιομηχανία αυτή τη στιγμή - ποιο σταυροδρόμι αντιμετωπίζουμε; Πώς λειτουργεί ο εγκέφαλος και η εξέλιξη και γιατί χρησιμοποιούμε τόσο λίγο όσα γνωρίζουμε ήδη για την ανάπτυξη των φυσικών συστημάτων;
Η βιομηχανική ανάπτυξη του ML συμπίπτει σε μεγάλο βαθμό με τα ορόσημα της ανάπτυξης της Google, η οποία δημοσιεύει την έρευνά της για το NeurIPS κάθε χρόνο:
- 1997 – έναρξη εγκαταστάσεων αναζήτησης, πρώτοι διακομιστές, μικρή υπολογιστική ισχύς
- 2010 – Ο Τζεφ Ντιν εγκαινιάζει το έργο Google Brain, την έκρηξη των νευρωνικών δικτύων στην αρχή
- 2015 – βιομηχανική εφαρμογή νευρωνικών δικτύων, γρήγορη αναγνώριση προσώπου απευθείας σε τοπική συσκευή, επεξεργαστές χαμηλού επιπέδου προσαρμοσμένοι για υπολογιστές τανυστών - TPU. Η Google λανσάρει το Coral ai - ένα ανάλογο του raspberry pi, έναν μίνι υπολογιστή για την εισαγωγή νευρωνικών δικτύων σε πειραματικές εγκαταστάσεις
- 2017 – Η Google αρχίζει να αναπτύσσει αποκεντρωμένη εκπαίδευση και να συνδυάζει τα αποτελέσματα της εκπαίδευσης νευρωνικών δικτύων από διαφορετικές συσκευές σε ένα μοντέλο – στο Android
Σήμερα, μια ολόκληρη βιομηχανία είναι αφιερωμένη στην ασφάλεια δεδομένων, τη συγκέντρωση και την αναπαραγωγή των μαθησιακών αποτελεσμάτων σε τοπικές συσκευές.
– μια κατεύθυνση της ML στην οποία τα μεμονωμένα μοντέλα μαθαίνουν ανεξάρτητα το ένα από το άλλο και στη συνέχεια συνδυάζονται σε ένα ενιαίο μοντέλο (χωρίς να συγκεντρώνονται τα δεδομένα πηγής), προσαρμοσμένο για σπάνια συμβάντα, ανωμαλίες, εξατομίκευση κ.λπ. Όλες οι συσκευές Android είναι ουσιαστικά ένας ενιαίος υπερυπολογιστής για την Google.
Τα παραγωγικά μοντέλα που βασίζονται στην ομοσπονδιακή μάθηση είναι μια πολλά υποσχόμενη μελλοντική κατεύθυνση σύμφωνα με την Google, η οποία βρίσκεται «στα πρώτα στάδια της εκθετικής ανάπτυξης». Τα GAN, σύμφωνα με τον λέκτορα, είναι ικανά να μάθουν να αναπαράγουν τη μαζική συμπεριφορά πληθυσμών ζωντανών οργανισμών και αλγόριθμους σκέψης.
Χρησιμοποιώντας το παράδειγμα δύο απλών αρχιτεκτονικών GAN, φαίνεται ότι σε αυτές η αναζήτηση για μια διαδρομή βελτιστοποίησης περιφέρεται σε κύκλο, πράγμα που σημαίνει ότι η βελτιστοποίηση αυτή καθαυτή δεν πραγματοποιείται. Ταυτόχρονα, αυτά τα μοντέλα είναι πολύ επιτυχημένα στην προσομοίωση των πειραμάτων που πραγματοποιούν οι βιολόγοι σε βακτηριακούς πληθυσμούς, αναγκάζοντάς τους να μάθουν νέες στρατηγικές συμπεριφοράς στην αναζήτηση τροφής. Μπορούμε να συμπεράνουμε ότι η ζωή λειτουργεί διαφορετικά από τη συνάρτηση βελτιστοποίησης.
Βελτιστοποίηση Walking GAN
Όλα αυτά που κάνουμε τώρα στο πλαίσιο της μηχανικής μάθησης είναι στενά και εξαιρετικά επισημοποιημένα καθήκοντα, ενώ αυτοί οι φορμαλισμοί δεν γενικεύονται καλά και δεν αντιστοιχούν στις γνώσεις μας σε θέματα όπως η νευροφυσιολογία και η βιολογία.
Αυτό που αξίζει πραγματικά να δανειστούμε από το πεδίο της νευροφυσιολογίας στο εγγύς μέλλον είναι οι νέες αρχιτεκτονικές νευρώνων και μια ελαφρά αναθεώρηση των μηχανισμών οπισθοδιάδοσης των σφαλμάτων.
Ο ίδιος ο ανθρώπινος εγκέφαλος δεν μαθαίνει σαν ένα νευρωνικό δίκτυο:
- Δεν έχει τυχαίες πρωταρχικές εισροές, συμπεριλαμβανομένων εκείνων που ορίζονται μέσω των αισθήσεων και στην παιδική ηλικία
- Έχει εγγενείς κατευθύνσεις ενστικτώδους ανάπτυξης (την επιθυμία να μάθει γλώσσα από ένα βρέφος, να περπατά όρθια)
Η εκπαίδευση ενός ατομικού εγκεφάλου είναι μια εργασία χαμηλού επιπέδου· ίσως θα έπρεπε να εξετάσουμε τις «αποικίες» ταχέως μεταβαλλόμενων ατόμων που μεταδίδουν γνώση ο ένας στον άλλο για να αναπαράγουν τους μηχανισμούς της ομαδικής εξέλιξης.
Τι μπορούμε να υιοθετήσουμε στους αλγόριθμους ML τώρα:
- Εφαρμόστε μοντέλα κυτταρικής γενεαλογίας που διασφαλίζουν τη μάθηση του πληθυσμού, αλλά τη σύντομη ζωή του ατόμου («ατομικός εγκέφαλος»)
- Ελάχιστη μάθηση χρησιμοποιώντας έναν μικρό αριθμό παραδειγμάτων
- Πιο πολύπλοκες δομές νευρώνων, ελαφρώς διαφορετικές λειτουργίες ενεργοποίησης
- Μεταφορά του «γονιδιώματος» στις επόμενες γενιές - αλγόριθμος backpropagation
- Μόλις συνδέσουμε τη νευροφυσιολογία και τα νευρωνικά δίκτυα, θα μάθουμε να χτίζουμε έναν πολυλειτουργικό εγκέφαλο από πολλά συστατικά.
Από αυτή την άποψη, η πρακτική των λύσεων SOTA είναι επιζήμια και θα πρέπει να αναθεωρηθεί για λόγους ανάπτυξης κοινών εργασιών (σημεία αναφοράς).
«Veridical Data Science», Bin Yu (Berkeley)
Η έκθεση είναι αφιερωμένη στο πρόβλημα της ερμηνείας των μοντέλων μηχανικής μάθησης και στη μεθοδολογία για την άμεση δοκιμή και επαλήθευση τους. Οποιοδήποτε εκπαιδευμένο μοντέλο ML μπορεί να εκληφθεί ως πηγή γνώσης που πρέπει να εξαχθεί από αυτό.
Σε πολλούς τομείς, ειδικά στην ιατρική, η χρήση ενός μοντέλου είναι αδύνατη χωρίς την εξαγωγή αυτής της κρυφής γνώσης και την ερμηνεία των αποτελεσμάτων του μοντέλου - διαφορετικά δεν θα είμαστε σίγουροι ότι τα αποτελέσματα θα είναι σταθερά, μη τυχαία, αξιόπιστα και δεν θα σκοτώσουν τους υπομονετικος. Μια ολόκληρη κατεύθυνση μεθοδολογίας εργασίας αναπτύσσεται εντός του παραδείγματος βαθιάς μάθησης και υπερβαίνει τα όριά του - η επιστήμη των αληθών δεδομένων. Τι είναι?
Θέλουμε να επιτύχουμε τέτοια ποιότητα επιστημονικών δημοσιεύσεων και αναπαραγωγιμότητας μοντέλων που είναι:
- αναμενόμενος
- υπολογίσιμος
- σταθερός
Αυτές οι τρεις αρχές αποτελούν τη βάση της νέας μεθοδολογίας. Πώς μπορούν να ελεγχθούν τα μοντέλα ML βάσει αυτών των κριτηρίων; Ο ευκολότερος τρόπος είναι να δημιουργήσετε άμεσα ερμηνεύσιμα μοντέλα (παλινδρόμηση, δέντρα αποφάσεων). Ωστόσο, θέλουμε επίσης να έχουμε τα άμεσα οφέλη της βαθιάς μάθησης.
Αρκετοί υπάρχοντες τρόποι αντιμετώπισης του προβλήματος:
- ερμηνεύουν το μοντέλο?
- χρήση μεθόδων που βασίζονται στην προσοχή.
- Χρησιμοποιήστε σύνολα αλγορίθμων κατά την εκπαίδευση και βεβαιωθείτε ότι τα γραμμικά ερμηνεύσιμα μοντέλα μαθαίνουν να προβλέπουν τις ίδιες απαντήσεις με το νευρωνικό δίκτυο, ερμηνεύοντας χαρακτηριστικά από το γραμμικό μοντέλο.
- αλλαγή και αύξηση των δεδομένων εκπαίδευσης. Αυτό περιλαμβάνει την προσθήκη θορύβου, παρεμβολών και αύξηση δεδομένων.
- τυχόν μεθόδους που βοηθούν να διασφαλιστεί ότι τα αποτελέσματα του μοντέλου δεν είναι τυχαία και δεν εξαρτώνται από μικρές ανεπιθύμητες παρεμβολές (αντίπαλες επιθέσεις)·
- ερμηνεύουν το μοντέλο εκ των υστέρων, μετά την εκπαίδευση.
- μελέτη βαρών χαρακτηριστικό με διάφορους τρόπους?
- μελέτη των πιθανοτήτων όλων των υποθέσεων, κατανομή τάξεων.
Αντίπαλη επίθεση
Τα λάθη μοντελοποίησης είναι δαπανηρά για όλους: χαρακτηριστικό παράδειγμα είναι το έργο του Reinhart και του Rogov».επηρέασε τις οικονομικές πολιτικές πολλών ευρωπαϊκών χωρών και τις ανάγκασε να ακολουθήσουν πολιτικές λιτότητας, αλλά ο προσεκτικός επανέλεγχος των δεδομένων και η επεξεργασία τους χρόνια αργότερα έδειξε το αντίθετο αποτέλεσμα!
Οποιαδήποτε τεχνολογία ML έχει τον δικό της κύκλο ζωής από την εφαρμογή μέχρι την υλοποίηση. Στόχος της νέας μεθοδολογίας είναι να ελέγξει τρεις βασικές αρχές σε κάθε στάδιο της ζωής του μοντέλου.
Τα αποτελέσματα:
- Πολλά έργα αναπτύσσονται που θα βοηθήσουν το μοντέλο ML να είναι πιο αξιόπιστο. Αυτό είναι, για παράδειγμα, το deeptune (σύνδεσμος προς: );
- Για περαιτέρω ανάπτυξη της μεθοδολογίας, είναι απαραίτητο να βελτιωθεί σημαντικά η ποιότητα των δημοσιεύσεων στον τομέα της ML.
- Η μηχανική μάθηση χρειάζεται ηγέτες με διεπιστημονική εκπαίδευση και εξειδίκευση τόσο στους τεχνικούς όσο και στους ανθρωπιστικούς τομείς.
«Μοντελοποίηση ανθρώπινης συμπεριφοράς με μηχανική μάθηση: ευκαιρίες και προκλήσεις» Nuria M Oliver, Albert Ali Salah
Διάλεξη αφιερωμένη στη μοντελοποίηση της ανθρώπινης συμπεριφοράς, των τεχνολογικών θεμελίων και των προοπτικών εφαρμογής της.
Η μοντελοποίηση της ανθρώπινης συμπεριφοράς μπορεί να χωριστεί σε:
- ατομική συμπεριφορά
- συμπεριφορά μιας μικρής ομάδας ανθρώπων
- μαζική συμπεριφορά
Καθένας από αυτούς τους τύπους μπορεί να μοντελοποιηθεί χρησιμοποιώντας ML, αλλά με εντελώς διαφορετικές πληροφορίες εισόδου και χαρακτηριστικά. Κάθε τύπος έχει επίσης τα δικά του ηθικά ζητήματα που αντιμετωπίζει κάθε έργο:
- ατομική συμπεριφορά – κλοπή ταυτότητας, deepfake.
- συμπεριφορά ομάδων ανθρώπων - απο-ανωνυμοποίηση, λήψη πληροφοριών σχετικά με κινήσεις, τηλεφωνικές κλήσεις κ.λπ.
ατομική συμπεριφορά
Σε μεγαλύτερο βαθμό, αφορά το θέμα της Υπολογιστικής Όρασης - αναγνώριση ανθρώπινων συναισθημάτων και αντιδράσεων. Ίσως μόνο στο πλαίσιο, στο χρόνο ή με τη σχετική κλίμακα της δικής του μεταβλητότητας των συναισθημάτων. Η διαφάνεια δείχνει την αναγνώριση των συναισθημάτων της Μόνα Λίζα χρησιμοποιώντας το πλαίσιο από το συναισθηματικό φάσμα των γυναικών της Μεσογείου. Αποτέλεσμα: ένα χαμόγελο χαράς, αλλά με περιφρόνηση και αηδία. Ο λόγος είναι πιθανότατα στον τεχνικό τρόπο ορισμού ενός «ουδέτερου» συναισθήματος.
Συμπεριφορά μιας μικρής ομάδας ανθρώπων
Μέχρι στιγμής το χειρότερο μοντέλο οφείλεται σε ανεπαρκείς πληροφορίες. Για παράδειγμα, παρουσιάστηκαν έργα από το 2018 – 2019. σε δεκάδες άτομα X δεκάδες βίντεο (πρβλ. 100k++ σύνολα δεδομένων εικόνων). Για την καλύτερη μοντελοποίηση αυτής της εργασίας, απαιτούνται πολυτροπικές πληροφορίες, κατά προτίμηση από αισθητήρες σε υψόμετρο σώματος, θερμόμετρο, εγγραφή μικροφώνου κ.λπ.
Μαζική συμπεριφορά
Η πιο ανεπτυγμένη περιοχή, αφού πελάτης είναι ο ΟΗΕ και πολλά κράτη. Κάμερες παρακολούθησης εξωτερικού χώρου, δεδομένα από τηλεφωνικούς πύργους - τιμολόγηση, SMS, κλήσεις, δεδομένα για την κίνηση μεταξύ των κρατικών συνόρων - όλα αυτά δίνουν μια πολύ αξιόπιστη εικόνα της κίνησης των ανθρώπων και των κοινωνικών αστάθειας. Πιθανές εφαρμογές της τεχνολογίας: βελτιστοποίηση των επιχειρήσεων διάσωσης, βοήθεια και έγκαιρη εκκένωση του πληθυσμού σε καταστάσεις έκτακτης ανάγκης. Τα μοντέλα που χρησιμοποιούνται εξακολουθούν κυρίως να έχουν κακή ερμηνεία - πρόκειται για διάφορα LSTM και συνελικτικά δίκτυα. Υπήρξε μια σύντομη παρατήρηση ότι τα Ηνωμένα Έθνη ασκούσαν πιέσεις για έναν νέο νόμο που θα υποχρεώνει τις ευρωπαϊκές επιχειρήσεις να μοιράζονται ανώνυμα δεδομένα που είναι απαραίτητα για οποιαδήποτε έρευνα.
«Από το Σύστημα 1 στο Σύστημα 2 Deep Learning», Yoshua Bengio
Στη διάλεξη του Joshua Bengio, η βαθιά μάθηση συναντά τη νευροεπιστήμη στο επίπεδο του καθορισμού στόχων.
Ο Bengio εντοπίζει δύο βασικούς τύπους προβλημάτων σύμφωνα με τη μεθοδολογία του νομπελίστα Daniel Kahneman (βιβλίο "")
τύπου 1 - Σύστημα 1, ασυνείδητες ενέργειες που κάνουμε «αυτόματα» (αρχαίος εγκέφαλος): οδήγηση αυτοκινήτου σε οικεία μέρη, περπάτημα, αναγνώριση προσώπων.
τύπος 2 - Σύστημα 2, συνειδητές ενέργειες (εγκεφαλικός φλοιός), καθορισμός στόχων, ανάλυση, σκέψη, σύνθετες εργασίες.
Η τεχνητή νοημοσύνη έχει φτάσει μέχρι στιγμής σε επαρκή ύψη μόνο σε εργασίες του πρώτου τύπου, ενώ καθήκον μας είναι να το φέρουμε στο δεύτερο, διδάσκοντάς το να εκτελεί διεπιστημονικές λειτουργίες και να λειτουργεί με λογική και υψηλού επιπέδου γνωστικές δεξιότητες.
Για την επίτευξη αυτού του στόχου προτείνεται:
- στις εργασίες NLP, χρησιμοποιήστε την προσοχή ως βασικό μηχανισμό για τη μοντελοποίηση της σκέψης
- χρησιμοποιήστε τη μετα-μάθηση και τη μάθηση αναπαράστασης για να μοντελοποιήσετε καλύτερα χαρακτηριστικά που επηρεάζουν τη συνείδηση και τον εντοπισμό τους - και στη βάση τους να προχωρήσετε στη λειτουργία με έννοιες υψηλότερου επιπέδου.
Αντί για συμπέρασμα, ακολουθεί μια προσκεκλημένη ομιλία: Ο Bengio είναι ένας από τους πολλούς επιστήμονες που προσπαθούν να επεκτείνουν το πεδίο της ML πέρα από προβλήματα βελτιστοποίησης, SOTA και νέες αρχιτεκτονικές.
Το ερώτημα παραμένει ανοιχτό σε ποιο βαθμό ο συνδυασμός προβλημάτων συνείδησης, η επίδραση της γλώσσας στη σκέψη, η νευροβιολογία και οι αλγόριθμοι είναι αυτό που μας περιμένει στο μέλλον και θα μας επιτρέψει να μεταβούμε σε μηχανές που «σκέφτονται» σαν άνθρωποι.
Σας ευχαριστούμε!
Πηγή: www.habr.com