Prima di iscrizzione in u novu cursu di Machine Learning Advanced, testemu i futuri studienti per determinà u so livellu di preparazione è capisce esattamente ciò chì anu bisognu di offre per preparà u corsu. Ma nasce un dilema: da una parte, duvemu pruvà a cunniscenza in Data Science, da l'altra, ùn pudemu micca organizà un esame di 4 ore à pienu.
Per risolve stu prublema, avemu implementatu una sede di TestDev ghjustu in a squadra di sviluppu di u cursu di Data Science (è pare chì questu hè solu u principiu). Vi prisentemu una lista di 10 trappule chì sò scontru in u sviluppu di teste per valutà a cunniscenza. Spergu chì u mondu di l'apprendimentu in linea serà un pocu megliu dopu questu.
Rake 1: Fallendu definisce chjaramente i scopi di prova
Per definisce currettamente i scopi è creà una prova chì li pigliarà in contu, in a fase di pianificazione duvemu risponde à parechje dumande:
- Chì avemu veramente cuntrollà?
- In quale ambiente si svolgerà a prova è quale meccanica hè aduprata? Chì sò e limitazioni in questu ambiente? Stu stessu puntu vi permetterà di capiscenu i requisiti tecnichi per u dispusitivu nantu à quale a prova serà realizata, è ancu per u cuntenutu (se a prova hè presa da i telefoni, l'imaghjini deve esse leghjite ancu in una piccula schermu, deve esse pò esse ingrandate, etc.).
- Quantu durarà a prova? Avete bisognu di pensà à e cundizioni in quale l'utilizatore farà a prova. Puderia esse una situazione induve ellu hà bisognu à interrompe u prucessu di prova è poi cuntinuà di novu?
- Ci sarà feedback ? Cumu formamu è trasmettemu? Chì avete bisognu di riceve ? Ci hè un ritardu di tempu trà l'esecuzione di a prova è u feedback?
In u nostru casu, dopu avè rispostu queste dumande, avemu definitu a seguente lista di scopi per a prova:
- A prova deve dimustrà se i futuri studienti sò pronti à piglià u corsu è s'ellu anu abbastanza cunniscenze è cumpetenze.
- A prova ci deve dà materiale per feedback, indicà u tema in quale i studienti anu fattu un sbagliu, per pudè migliurà a so cunniscenza. Vi diceremu cumu si cumpone quì sottu.
Rake 2: fallimentu di stabilisce e specificazioni tecniche per u scrittore espertu di teste
Per cumpone l'articuli di teste, hè assai impurtante per involucà un espertu in u campu in quale a cunniscenza hè stata pruvata. È per un espertu, à u turnu, avete bisognu di una specificazione tecnica competente (descrizzione), chì include i temi di a prova, a cunniscenza / cumpetenze chì sò testate è u so livellu.
Un espertu ùn farà micca tali specificazioni tecnichi per ellu stessu, perchè u so travagliu hè di vene cù i travaglii, micca a struttura di a prova. Inoltre, pochi persone sviluppanu testi in modu prufessiunale, ancu in u prucessu di insignamentu. Questu hè insegnatu in una specialità separata - psicometria.
Se vulete cunnosce rapidamente a psicometria, allora in Russia ci hè per tutti quelli interessati. Per un studiu più approfonditu, l'Istitutu di Educazione hà è a scola graduata.
Quandu preparanu e specificazioni tecniche, cullemu una descrizzione dettagliata di a prova per l'espertu (o megliu, inseme cun ellu): temi di compiti, tipu di compiti, u so numeru.
Cumu sceglite u tipu di compiti: dopu avè decisu nantu à i temi, decidemu quali compiti ponu pruvà megliu questu? Opzioni classiche: compitu apertu, compitu di scelta multipla o unica, currispundenza, etc. (ùn vi scurdate di e limitazioni tecniche di l'ambiente di prova!). Dopu avè determinatu è specificà u tipu di compiti, avemu una specificazione tecnica pronta per l'espertu. Pudete chjamà una specificazione di prova.
Rake 3: Ùn implica micca un espertu in u sviluppu di teste
Quandu si immerse un espertu in u sviluppu di a prova, hè assai impurtante micca solu per indicà à ellu u "scopu di u travagliu", ma per implicallu in u prucessu di sviluppu stessu.
Cumu fà u travagliu cù un espertu u più efficace pussibule:
- Stabilite in anticipu è passate un pocu di tempu à parlà di a scienza di u sviluppu di teste è a psicometria.
- Focus l'attenzione di l'evaluatore à creà un strumentu di valutazione validu è affidabile, micca una lista di dumande.
- Spiegà chì u so travagliu include una tappa preparatoria, micca solu u sviluppu di i travaglii stessi.
Certi sperti (per via di a so natura) puderanu percepisce questu cum'è una prova di u so propiu travagliu, è li spieghemu chì, ancu s'è no creamu travaglii eccellenti, ùn ponu micca solu adatti à i scopi di teste specifichi.
Per fà u prucessu andà rapidamente, avemu preparatu un tavulu di cupertura di u tema (cunniscenza è cumpetenze) cù l'espertu, chì face parte di a specificazione di a prova. Hè sta tavula chì ci permette di travaglià accuratamente e dumande è determinà ciò chì misuremu. In ogni casu specificu pò esse compilatu un pocu sfarente. U nostru compitu hè di verificà quantu una persona capisce a cunniscenza è e cumpetenze di i corsi basi precedenti per capisce quantu hè pronta à studià in un novu cursu.
Rake 4: Pensendu chì l'espertu "sapi megliu"
Cunnosci megliu u sughjettu. Ma ùn hè micca sempre spiegà chjaramente. Hè assai impurtante per verificà a formulazione di l'assignazioni. Scrivite struzzioni chjaru, per esempiu, "Sceglite 1 opzione curretta". In u 90% di i casi, l'esperti preparanu e dumande in una manera chì elli stessi capiscenu. È va bè. Ma prima di trasmette a prova à quelli chì a pigliaranu, tuttu deve esse verificatu è pettinatu per chì e persone chì piglianu a prova capiscenu esattamente ciò chì hè dumandatu da elli è ùn sbaglianu micca solu perchè puderanu misinterprete u testu di u compitu.
Per evità a doppia interpretazione di i travaglii, conducemu "laboratori cognitivi". Avemu dumandatu à e persone di u publicu di destinazione per piglià a prova, dicendu in alta voce ciò chì pensanu è arregistrendu in dettaglio. À i "laboratori cognitivi" pudete "catturà" dumande pocu chjaru, mala formulazione, è uttene u primu feedback nantu à a prova.
Rake 5: Ignorate u tempu di esecuzione di a prova
Modu sarcasmu: attivatu
Di sicuru, a nostra prova hè u megliu, tutti sognu di passà ! Iè, tutte e 4 ore.
Modu sarcasmu: off
Quandu ci hè una lista di tuttu ciò chì pò esse verificatu, u principale ùn hè micca di fà (à u primu sguardu sona stranu, ùn hè micca?). Avete bisognu di taglià senza pietà, identificendu e cunniscenze chjave è e cumpetenze cun un espertu (sì, una quantità di cumpetenze pò ancu esse pruvata in a prova). Fighjemu u tipu di compiti è valutemu u tempu di cumpiimentu di destinazione: se tuttu hè sempre più di limiti ragiunate, avemu tagliatu!
Per riduce u voluminu, pudete ancu pruvà (cun cura) à pruvà duie cumpetenze in una sola attività. In questu casu, hè difficiule di capisce perchè a persona hà fattu un sbagliu, ma s'ellu hè fattu bè, i dui cumpetenze ponu esse cunsideratu. Hè impurtante di assicurà chì queste 2 cumpetenze currispondenu à a listessa area di cunniscenza.
Rake 6: Ùn pensendu micca à u sistema di scoring
Spessu, quandu compie e teste di valutazione, usanu u sistema di puntuazione classicu, per esempiu, 1 puntu per i travaglii faciuli è 2 punti per quelli difficili. Ma ùn hè micca universale. Solu a somma di punti basata nantu à i risultati di a prova ùn ci dirà micca assai: ùn sapemu micca per quale attività sò stati ricevuti questi punti è pudemu solu determinà u numeru di compiti curretti. Avemu bisognu di capisce esattamente ciò chì i teste di cumpetenze dimustranu. In più, vulemu dà li rispunsevuli nantu à quali temi deve esse migliuratu.
Dopu tuttu, facemu una prova chì dividerà e persone in quelli chì sò pronti è quelli chì ùn sò micca pronti à compie u prugramma; cunsigliemu à alcuni per preparà u corsu per via di furmazione libera. Hè impurtante per noi chì stu gruppu includenu solu quelli chì veramente bisognu è chì sò pronti per questu.
Ciò chì facemu in a nostra situazione: determinamu in u gruppu di travagliu di sviluppatori di teste chì gruppi di persone anu da esse identificati (per esempiu, prontu à amparà, parzialmente prontu) è formate una tabella di caratteristiche di tali gruppi, indichendu quali cumpetenze è cunniscenze. serà pertinente per u gruppu di furmazione pronta per amparà. In questu modu, pudete formulà a "difficultà" di i travaglii per tali teste.
Rake 7: Evaluate i risultati solu automaticamente
Di sicuru, a valutazione deve esse ugettiva quantu pussibule, cusì alcuni di i materiali studienti sò valutati automaticamente, "per chjave" - paragunendu cù e risposte currette. Ancu s'ellu ùn ci hè micca un sistema di teste speciale, ci sò parechje soluzioni gratuiti. È se capisce i principii di scrittura di scrittura, pudete fà ciò chì vulete cù e forme di Google è risultati in tavule. Se alcuni di i travaglii sò verificati da esperti, allora avemu bisognu di pensà à furnisce risposte à l'esperti, senza infurmazione nantu à i testatori. È pensate à cumu integrà i risultati di e teste esperte in a valutazione finale.
In principiu, avemu vulsutu fà parechji travaglii aperti cù u codice, induve l'esperti valutanu suluzioni basati nantu à criteri preformati, è avemu ancu preparatu un sistema chì esporta risposte individuali da i participanti di teste à una tavola speciale per l'esperti, è poi importa i risultati in una tavula cù i calculi di valutazione. Ma dopu avè discututu cù i rapprisentanti di u publicu di destinazione, u manager di produttu è u disegnatore educativu, avemu avutu chì a realizazione di una entrevista tecnica cù un feedback istantaneu di l'esperti è discussione di u codice, è ancu di prublemi individuali, seria assai più efficace è utile per i participanti stessi. .
Avà l'espertu verifica a cumpiimentu di a prova, clarificà alcune dumande. Per fà questu, avemu preparatu una guida di dumande è criteri di valutazione per una entrevista tecnica. Prima di l'entrevista tecnica, l'esaminatore riceve una mappa di e risposte di u testatore per aiutà à selezziunate e dumande da dumandà.
Rake 8: Ùn spiegà micca i risultati di a prova
Furnisce feedback à i participanti hè un prublema separata. Avemu bisognu di micca solu informà nantu à u puntu di prova, ma ancu furnisce una cunniscenza di i risultati di a prova.
Pò esse:
- Tasks in quale u participante hà fattu un sbagliu è chì hà cumpletu currettamente.
- Temi in quale u participante hà fattu sbagli.
- A so classificazione trà quelli chì facenu l'esame.
- Descrizzione di u livellu di i participanti, in cunfurmità, per esempiu, cù a discrizzione di u livellu specialista (basatu nantu à a descrizzione di i vacanti).
Durante u lanciu pilotu di a nostra prova, à quelli chì vulianu iscrizzione in u prugramma, cù i risultati, avemu mostratu una lista di temi chì deve esse migliuratu. Ma questu hè certamente micca l'ideale, migliurà è furnisce un feedback megliu.
Rake 9: Ùn discutite micca a prova cù i sviluppatori
Forsi u rake più sharpest, chì hè soprattuttu dispiacevule per passà, hè di mandà a prova, a descrizzione è a scala di puntuazione à i sviluppatori "cum'è".
Ciò chì esattamente deve esse discussatu:
- L'apparizione di e dumande, a struttura, a pusizione di i gràfiche, ciò chì l'scelta di a risposta curretta pari.
- Cumu hè u puntuatu calculatu (se necessariu), ci sò e cundizioni supplementari.
- Cumu hè generatu feedback, induve uttene testi, ci sò blocchi addiziunali generati automaticamente.
- Chì infurmazioni supplementari avete bisognu di cullà è à quale puntu (stessi cuntatti).
Per evitari malintesi, dumandemu à i nostri sviluppatori di codificà 2 o 3 dumande diverse per pudè vede ciò chì parenu prima di codificà a prova stessa.
Rake 10: Senza teste, caricate direttamente à a produzzione
3 volte, ragazzi, a prova deve esse verificata 3 volte da diverse persone, o megliu ancu, 3 volte ognunu.Questa verità hè stata ottenuta cù sangue, sudore è pixel di linee di codice.
A nostra prova verifica u trio seguente:
- Pruduttu - cuntrolla a prova per u rendiment, l'apparenza, a meccanica.
- Test developer - cuntrolla u testu di i travaglii, u so ordine, a forma di travaglià cù a prova, i tipi di compiti, e risposte currette, a leggibilità è a visualizazione normale di gràfiche.
- L'autore di i travaglii (espertu) verifica a prova per a fideltà da una pusizioni esperta.
Un esempiu da a pratica: solu in a terza corsa, l'autore di i travaglii hà vistu chì 1 compitu restava in a versione antica di a parolla. Tutti i precedenti anu ancu attivamente guvernatu. Ma quandu a prova hè stata codificata, pareva diversa da l'imaginata inizialmente. Hè assai prubabile chì qualcosa duverà esse currettu. Questu ci vole à piglià in contu.
U risultatu
Bypassendu cù cura tutti questi "rake", avemu creatu un speciale , per pruvà a cunniscenza di i candidati. Qualchissia pò pruvà mentre avemu preparatu u prossimu materiale, in quale vi diceremu ciò chì hè accadutu in u bot, è ciò chì tuttu hè trasfurmatu dopu.
Pudete ottene una professione ricercata da zero o Level Up in quantu à e cumpetenze è u salariu pigliandu i corsi in linea di SkillFactory:
- (12 settimane)
- (20 settimane)
- (20 settimane)
- (12 mesi)
Più corsi
- (12 mesi)
- (14 settimane)
- (5 settimane)
- (18 mesi)
- (6 mesi)
- (12 mesi)
- (8 mesi)
- (9 mesi)
- (12 mesi)
- (18 mesi)
- (18 mesi)
- (12 mesi)
- (9 mesi)
- (7 mesi)
Source: www.habr.com