Πριν εγγραφείτε στο νέο μάθημα Machine Learning Advanced, δοκιμάζουμε υποψήφιους φοιτητές για να προσδιορίσουμε το επίπεδο ετοιμότητάς τους και να κατανοήσουμε τι ακριβώς πρέπει να προσφέρουν για να προετοιμαστούν για το μάθημα. Αλλά τίθεται ένα δίλημμα: αφενός, πρέπει να ελέγξουμε τις γνώσεις στην Επιστήμη των Δεδομένων, αφετέρου, δεν μπορούμε να κανονίσουμε μια ολοκληρωμένη εξέταση 4 ωρών.
Για να λύσουμε αυτό το πρόβλημα, έχουμε αναπτύξει μια έδρα του TestDev ακριβώς στην ομάδα ανάπτυξης μαθημάτων Data Science (και φαίνεται ότι αυτό είναι μόνο η αρχή). Σας παρουσιάζουμε μια λίστα με 10 παγίδες που συναντάμε κατά την ανάπτυξη τεστ για την αξιολόγηση της γνώσης. Ας ελπίσουμε ότι ο κόσμος της διαδικτυακής μάθησης θα είναι λίγο καλύτερος μετά από αυτό.
Γκανιότα 1: Αποτυχία καθορισμού με σαφήνεια των στόχων δοκιμής
Για να ορίσουμε σωστά τους στόχους και να δημιουργήσουμε ένα τεστ που θα τους λαμβάνει υπόψη, στο στάδιο του σχεδιασμού πρέπει να απαντήσουμε σε πολλές ερωτήσεις:
- Τι ακριβώς ελέγχουμε;
- Σε ποιο περιβάλλον θα γίνουν οι δοκιμές και ποια μηχανήματα χρησιμοποιούνται; Ποιοι είναι οι περιορισμοί σε αυτό το περιβάλλον; Αυτό το ίδιο σημείο θα σας επιτρέψει να κατανοήσετε τις τεχνικές απαιτήσεις για τη συσκευή στην οποία θα πραγματοποιηθεί η δοκιμή, καθώς και για το περιεχόμενο (εάν η δοκιμή λαμβάνεται από τηλέφωνα, οι εικόνες θα πρέπει να είναι ευανάγνωστες ακόμα και σε μικρή οθόνη, είναι δυνατή η μεγέθυνσή τους, κ.λπ.).
- Πόσο καιρό θα διαρκέσει η δοκιμή; Πρέπει να σκεφτείτε τις συνθήκες υπό τις οποίες ο χρήστης θα κάνει το τεστ. Θα μπορούσε να υπάρξει μια κατάσταση όπου χρειάζεται να διακόψει τη διαδικασία των δοκιμών και μετά να συνεχίσει ξανά;
- Θα υπάρξει ανατροφοδότηση; Πώς το σχηματίζουμε και το παραδίδουμε; Τι χρειάζεται να λάβετε; Υπάρχει χρονική καθυστέρηση μεταξύ της εκτέλεσης της δοκιμής και της ανάδρασης;
Στην περίπτωσή μας, έχοντας απαντήσει σε αυτές τις ερωτήσεις, ορίσαμε την ακόλουθη λίστα στόχων για το τεστ:
- Το τεστ θα πρέπει να δείξει εάν οι μελλοντικοί μαθητές είναι έτοιμοι να παρακολουθήσουν το μάθημα και εάν έχουν αρκετές γνώσεις και δεξιότητες.
- Το τεστ πρέπει να μας δίνει υλικό για ανατροφοδότηση, να υποδεικνύει το θέμα στο οποίο οι μαθητές έκαναν λάθος, ώστε να βελτιώσουν τις γνώσεις τους. Θα σας πούμε πώς να το συνθέσετε παρακάτω.
Γκανιότα 2: Αποτυχία κατάρτισης τεχνικών προδιαγραφών για τον ειδικό συντάκτη δοκιμών
Για τη σύνταξη στοιχείων δοκιμής, είναι πολύ σημαντικό να εμπλέκεται ένας ειδικός στον τομέα στον οποίο ελέγχεται η γνώση. Και για έναν ειδικό, με τη σειρά του, χρειάζεστε μια ικανή τεχνική προδιαγραφή (περιγραφή), η οποία περιλαμβάνει τα θέματα του τεστ, τις γνώσεις/δεξιότητες που ελέγχονται και το επίπεδό τους.
Ένας εμπειρογνώμονας δεν θα κάνει τέτοιες τεχνικές προδιαγραφές για τον εαυτό του, επειδή η δουλειά του είναι να καταλήξει σε εργασίες και όχι στη δομή του τεστ. Επιπλέον, λίγοι άνθρωποι αναπτύσσουν τεστ επαγγελματικά, ακόμη και στη διαδικασία διδασκαλίας. Αυτό διδάσκεται σε ξεχωριστή ειδικότητα - ψυχομετρία.
Εάν θέλετε να εξοικειωθείτε γρήγορα με την ψυχομετρία, τότε υπάρχει στη Ρωσία για όλους όσους ενδιαφέρονται. Για πιο εμπεριστατωμένη μελέτη, το Ινστιτούτο Εκπαίδευσης έχει και μεταπτυχιακό.
Κατά την προετοιμασία των τεχνικών προδιαγραφών, συλλέγουμε μια λεπτομερή περιγραφή της δοκιμής για τον εμπειρογνώμονα (ή καλύτερα, μαζί του): θέματα εργασιών, τύπος εργασιών, ο αριθμός τους.
Πώς να επιλέξετε τον τύπο των εργασιών: έχοντας αποφασίσει για τα θέματα, αποφασίζουμε ποιες εργασίες μπορούν να το δοκιμάσουν καλύτερα; Κλασικές επιλογές: εργασία ανοιχτού τύπου, εργασία πολλαπλής ή απλής επιλογής, αντιστοίχιση κ.λπ. (μην ξεχνάτε τους τεχνικούς περιορισμούς του περιβάλλοντος δοκιμών!). Αφού προσδιορίσουμε και προσδιορίσουμε το είδος των εργασιών, έχουμε μια έτοιμη τεχνική προδιαγραφή για τον ειδικό. Μπορείτε να το ονομάσετε προδιαγραφή δοκιμής.
Γκανιότα 3: Δεν εμπλέκεται ειδικός στην ανάπτυξη δοκιμών
Όταν βυθίζετε έναν εμπειρογνώμονα στην ανάπτυξη δοκιμών, είναι πολύ σημαντικό όχι μόνο να του υποδείξετε το «πεδίο εργασίας», αλλά να τον εμπλέξετε στην ίδια τη διαδικασία ανάπτυξης.
Πώς να κάνετε τη συνεργασία με έναν ειδικό όσο το δυνατόν πιο αποτελεσματική:
- Ρυθμίστε το εκ των προτέρων και αφιερώστε λίγο χρόνο μιλώντας για την επιστήμη της ανάπτυξης τεστ και την ψυχομετρία.
- Εστιάστε την προσοχή του αξιολογητή στη δημιουργία ενός έγκυρου και αξιόπιστου εργαλείου αξιολόγησης, όχι μιας λίστας ερωτήσεων.
- Εξηγήστε ότι η εργασία του περιλαμβάνει ένα προπαρασκευαστικό στάδιο, όχι μόνο την ανάπτυξη των ίδιων των εργασιών.
Ορισμένοι ειδικοί (λόγω της φύσης τους) μπορεί να το αντιληφθούν ως δοκιμή της δουλειάς τους και τους εξηγούμε ότι ακόμα κι αν δημιουργήσουμε εξαιρετικές εργασίες, μπορεί απλώς να μην ταιριάζουν στους συγκεκριμένους στόχους δοκιμών.
Για να προχωρήσει γρήγορα η διαδικασία, ετοιμάζουμε έναν πίνακα κάλυψης θεμάτων (γνώσεις και δεξιότητες) με τον ειδικό, ο οποίος αποτελεί μέρος της προδιαγραφής του τεστ. Είναι αυτός ο πίνακας που μας επιτρέπει να επεξεργαστούμε με ακρίβεια τις ερωτήσεις και να καθορίσουμε τι θα μετρήσουμε. Σε κάθε συγκεκριμένη περίπτωση μπορεί να συνταχθεί ελαφρώς διαφορετικά. Καθήκον μας είναι να ελέγξουμε πόσο καλά κατανοεί ένα άτομο τις γνώσεις και τις δεξιότητες προηγούμενων, βασικών μαθημάτων, προκειμένου να κατανοήσει πόσο έτοιμος είναι να σπουδάσει σε ένα νέο μάθημα.
Γκανιότα 4: Νομίζοντας ότι ο ειδικός «ξέρει καλύτερα»
Γνωρίζει καλύτερα το θέμα. Αλλά δεν εξηγείται πάντα ξεκάθαρα. Είναι πολύ σημαντικό να ελέγξετε τη διατύπωση των εργασιών. Γράψτε σαφείς οδηγίες, για παράδειγμα, «Επιλέξτε 1 σωστή επιλογή». Στο 90% των περιπτώσεων, οι ειδικοί προετοιμάζουν ερωτήσεις με τρόπο που οι ίδιοι κατανοούν. Και αυτό είναι εντάξει. Αλλά πριν παραδώσετε το τεστ σε αυτούς που θα το κάνουν, όλα πρέπει να ελεγχθούν και να χτενιστούν, ώστε τα άτομα που κάνουν το τεστ να καταλάβουν ακριβώς τι απαιτείται από αυτούς και να μην κάνουν λάθη μόνο και μόνο επειδή μπορεί να παρερμηνεύσουν το κείμενο της εργασίας.
Για να αποφύγουμε τη διπλή ερμηνεία των εργασιών, διεξάγουμε «γνωστικά εργαστήρια». Ζητάμε από άτομα από το κοινό-στόχο να κάνουν το τεστ, λέγοντας δυνατά αυτό που σκέφτονται και καταγράφοντας το λεπτομερώς. Στα «γνωστικά εργαστήρια» μπορείτε να «πιάσετε» ασαφείς ερωτήσεις, κακή διατύπωση και να λάβετε την πρώτη ανατροφοδότηση για το τεστ.
Γκανιότα 5: Αγνοήστε το χρόνο εκτέλεσης της δοκιμής
λειτουργία σαρκασμού: ενεργό
Φυσικά, το τεστ μας είναι το καλύτερο, όλοι ονειρεύονται να το περάσουν! Ναι και τις 4 ώρες.
λειτουργία σαρκασμού: απενεργοποιημένο
Όταν υπάρχει μια λίστα με όλα όσα μπορούν να ελεγχθούν, το κύριο πράγμα είναι να μην το κάνετε (με την πρώτη ματιά ακούγεται περίεργο, έτσι δεν είναι;). Πρέπει να κόψετε ανελέητα, προσδιορίζοντας βασικές γνώσεις και δεξιότητες με έναν ειδικό (ναι, μια σειρά από δεξιότητες μπορούν επίσης να δοκιμαστούν στο τεστ). Εξετάζουμε το είδος των εργασιών και υπολογίζουμε τον χρόνο ολοκλήρωσης του στόχου: αν όλα είναι ακόμα περισσότερα από λογικά όρια, το κόβουμε!
Για να μειώσετε την ένταση, μπορείτε επίσης να δοκιμάσετε (προσεκτικά) να δοκιμάσετε δύο δεξιότητες σε μία εργασία. Σε αυτή την περίπτωση, είναι δύσκολο να καταλάβουμε γιατί το άτομο έκανε λάθος, αλλά αν γίνει σωστά, μπορούν να ληφθούν υπόψη και οι δύο δεξιότητες. Είναι σημαντικό να βεβαιωθείτε ότι αυτές οι 2 δεξιότητες αντιστοιχούν στον ίδιο τομέα γνώσεων.
Γκανιότα 6: Δεν σκέφτομαι το σύστημα βαθμολόγησης
Συχνά, όταν συντάσσουν τεστ αξιολόγησης, χρησιμοποιούν το κλασικό σύστημα βαθμολόγησης, για παράδειγμα, 1 βαθμό για εύκολες εργασίες και 2 βαθμούς για δύσκολες. Αλλά δεν είναι καθολική. Μόνο το άθροισμα των πόντων με βάση τα αποτελέσματα των δοκιμών δεν θα μας πει πολλά: δεν γνωρίζουμε για ποιες εργασίες λήφθηκαν αυτοί οι βαθμοί και μπορούμε μόνο να καθορίσουμε τον αριθμό των σωστών εργασιών. Πρέπει να καταλάβουμε ακριβώς ποιες δεξιότητες επιδεικνύουν οι εξεταζόμενοι. Επιπλέον, θέλουμε να τους δώσουμε σχόλια σχετικά με τα θέματα που πρέπει να βελτιωθούν.
Σε τελική ανάλυση, κάνουμε ένα τεστ που θα χωρίσει τους ανθρώπους σε αυτούς που είναι έτοιμοι και σε αυτούς που δεν είναι έτοιμοι να ολοκληρώσουν το πρόγραμμα· θα συμβουλέψουμε ορισμένους να προετοιμαστούν για το μάθημα μέσω δωρεάν εκπαίδευσης. Είναι σημαντικό για εμάς αυτή η ομάδα να περιλαμβάνει μόνο αυτούς που το χρειάζονται πραγματικά και που είναι έτοιμοι για αυτό.
Τι κάνουμε στην περίπτωσή μας: προσδιορίζουμε εντός της ομάδας εργασίας των προγραμματιστών δοκιμών ποιες ομάδες ανθρώπων πρέπει να προσδιοριστούν (για παράδειγμα, έτοιμοι να μάθουν, εν μέρει έτοιμοι) και σχηματίζουμε έναν πίνακα χαρακτηριστικών τέτοιων ομάδων, υποδεικνύοντας ποιες δεξιότητες και γνώσεις θα είναι σχετικό για την ομάδα της εκπαίδευσης έτοιμων για μάθηση. Με αυτόν τον τρόπο μπορείτε να διατυπώσετε τη «δυσκολία» των εργασιών για τέτοια τεστ.
Γκανιότα 7: Αξιολογήστε τα αποτελέσματα μόνο αυτόματα
Φυσικά, η αξιολόγηση πρέπει να είναι όσο το δυνατόν πιο αντικειμενική, επομένως ορισμένα από τα υλικά των μαθητών αξιολογούνται αυτόματα, «με κλειδιά» - σε σύγκριση με τις σωστές απαντήσεις. Ακόμα κι αν δεν υπάρχει ειδικό σύστημα δοκιμών, υπάρχουν πολλές δωρεάν λύσεις. Και αν κατανοείτε τις αρχές της σύνταξης σεναρίων, τότε μπορείτε να κάνετε ό,τι θέλετε με φόρμες Google και αποτελέσματα σε πίνακες. Εάν ορισμένες από τις εργασίες ελέγχονται από ειδικούς, τότε πρέπει να σκεφτούμε να δώσουμε απαντήσεις στους ειδικούς, χωρίς πληροφορίες για τους εξεταζόμενους. Και σκεφτείτε πώς να ενσωματώσετε τα αποτελέσματα των δοκιμών εμπειρογνωμόνων στην τελική αξιολόγηση.
Αρχικά θέλαμε να κάνουμε πολλές εργασίες ανοιχτού τύπου με κώδικα, όπου οι ειδικοί αξιολογούν λύσεις βάσει προδιαμορφωμένων κριτηρίων, και μάλιστα ετοιμάσαμε ένα σύστημα που εξάγει μεμονωμένες απαντήσεις από τους συμμετέχοντες σε έναν ειδικό πίνακα για ειδικούς και στη συνέχεια εισάγει τα αποτελέσματα σε πίνακα με υπολογισμούς αξιολόγησης. Ωστόσο, αφού συζητήσαμε με εκπροσώπους του κοινού-στόχου, διευθυντή προϊόντων και εκπαιδευτικού σχεδιαστή, θεωρήσαμε ότι η διεξαγωγή μιας τεχνικής συνέντευξης με άμεση ανατροφοδότηση από ειδικούς και συζήτηση του κώδικα, καθώς και μεμονωμένα ζητήματα, θα ήταν πολύ πιο αποτελεσματική και χρήσιμη για τους ίδιους τους συμμετέχοντες .
Τώρα ο ειδικός επαληθεύει την ολοκλήρωση του τεστ, διευκρινίζοντας κάποιες ερωτήσεις. Για να γίνει αυτό, έχουμε ετοιμάσει έναν οδηγό ερωτήσεων και κριτηρίων αξιολόγησης για μια τεχνική συνέντευξη. Πριν από την τεχνική συνέντευξη, ο εξεταστής λαμβάνει έναν χάρτη με τις απαντήσεις του εξεταζόμενου για να τον βοηθήσει να επιλέξει ερωτήσεις που θα κάνει.
Γκανιότα 8: Μην εξηγείτε τα αποτελέσματα των δοκιμών
Η παροχή σχολίων στους συμμετέχοντες είναι ένα ξεχωριστό ζήτημα. Χρειάζεται όχι μόνο να ενημερώνουμε για τη βαθμολογία του τεστ, αλλά και να παρέχουμε κατανόηση των αποτελεσμάτων του τεστ.
Μπορεί να είναι:
- Εργασίες στις οποίες ο συμμετέχων έκανε λάθος και τις οποίες ολοκλήρωσε σωστά.
- Θέματα στα οποία ο συμμετέχων έκανε λάθη.
- Η κατάταξή του ανάμεσα σε όσους δίνουν εξετάσεις.
- Περιγραφή του επιπέδου του συμμετέχοντα, σύμφωνα, για παράδειγμα, με την περιγραφή του επιπέδου ειδικού (με βάση την περιγραφή των κενών θέσεων).
Κατά την πιλοτική έναρξη της δοκιμής μας, σε όσους ήθελαν να εγγραφούν στο πρόγραμμα, μαζί με τα αποτελέσματα, δείξαμε μια λίστα με θέματα που έπρεπε να βελτιωθούν. Αλλά αυτό σίγουρα δεν είναι ιδανικό, θα βελτιωθούμε και θα παρέχουμε καλύτερα σχόλια.
Γκανιότα 9: Μην συζητάτε τη δοκιμή με προγραμματιστές
Ίσως η πιο έντονη γκανιότα, που είναι ιδιαίτερα δυσάρεστο να πατήσεις, είναι να στείλεις τη δοκιμή, την περιγραφή και την κλίμακα βαθμολογίας στους προγραμματιστές «ως έχει».
Τι ακριβώς πρέπει να συζητηθεί:
- Η εμφάνιση των ερωτήσεων, η δομή, η θέση των γραφικών, πώς φαίνεται η επιλογή της σωστής απάντησης.
- Πώς υπολογίζεται η βαθμολογία (αν χρειάζεται), υπάρχουν επιπλέον προϋποθέσεις.
- Πώς δημιουργείται η ανατροφοδότηση, πού μπορείτε να λάβετε κείμενα, υπάρχουν επιπλέον μπλοκ που δημιουργούνται αυτόματα.
- Ποιες πρόσθετες πληροφορίες πρέπει να συλλέξετε και σε ποιο σημείο (ίδιες επαφές).
Προς αποφυγή παρεξηγήσεων, ζητάμε από τους προγραμματιστές μας να κωδικοποιήσουν 2 ή 3 διαφορετικές ερωτήσεις, ώστε να μπορούν να δουν πώς μοιάζουν πριν κωδικοποιήσουν το ίδιο το τεστ.
Rake 10: Χωρίς δοκιμή, μεταφορτώστε απευθείας στην παραγωγή
3 φορες ρε παιδια το τεστ πρεπει να ελεγχθει 3 φορες απο διαφορετικα ατομα η καλυτερα 3 φορες η καθεμια αυτη η αληθεια βγηκε με αιμα, ιδρώτα και pixel γραμμών κώδικα.
Η δοκιμή μας ελέγχει την ακόλουθη τριάδα:
- Προϊόν - ελέγχει τη δοκιμή για απόδοση, εμφάνιση, μηχανική.
- Προγραμματιστής δοκιμής - ελέγχει το κείμενο των εργασιών, τη σειρά τους, τη μορφή εργασίας με το τεστ, τους τύπους εργασιών, τις σωστές απαντήσεις, την αναγνωσιμότητα και την κανονική προβολή των γραφικών.
- Ο συγγραφέας των εργασιών (ειδικός) ελέγχει το τεστ για πιστότητα από θέση ειδικού.
Ένα παράδειγμα από την πρακτική: μόνο στην τρίτη εκτέλεση, ο συγγραφέας των εργασιών είδε ότι 1 εργασία παρέμεινε στην παλιά έκδοση της διατύπωσης. Όλοι οι προηγούμενοι κυβερνούσαν επίσης ενεργά. Αλλά όταν το τεστ κωδικοποιήθηκε, φαινόταν διαφορετικό από ό,τι είχε αρχικά φανταστεί. Είναι πολύ πιθανό ότι κάτι θα πρέπει να διορθωθεί. Αυτό πρέπει να ληφθεί υπόψη.
Σύνολο
Προσεκτικά παρακάμπτοντας όλες αυτές τις «σακούλες», δημιουργήσαμε ένα ξεχωριστό , για τον έλεγχο των γνώσεων των υποψηφίων. Οποιοσδήποτε μπορεί να το δοκιμάσει ενώ ετοιμάζουμε το επόμενο υλικό, στο οποίο θα σας πούμε τι συνέβη μέσα στο bot και σε τι μεταμορφώθηκε αργότερα.
Μπορείτε να αποκτήσετε ένα περιζήτητο επάγγελμα από το μηδέν ή Level Up σε επίπεδο δεξιοτήτων και μισθού παρακολουθώντας διαδικτυακά μαθήματα SkillFactory:
- (12 εβδομάδες)
- (20 εβδομάδες)
- (20 εβδομάδες)
- (12 μήνες)
Περισσότερα μαθήματα
- (12 μήνες)
- (14 εβδομάδες)
- (5 εβδομάδες)
- (18 μήνες)
- (6 μήνες)
- (12 μήνες)
- (8 μήνες)
- (9 μήνες)
- (12 μήνες)
- (18 μήνες)
- (18 μήνες)
- (12 μήνες)
- (9 μήνες)
- (7 μήνες)
Πηγή: www.habr.com