Machine Learning Aurreratuko ikastaro berrian matrikulatu aurretik, etorkizuneko ikasleei proba egiten diegu beren presttasun maila zehazteko eta ikastaroa prestatzeko zehazki zer eskaini behar duten ulertzeko. Baina dilema bat sortzen da: batetik, Data Sciencen ezagutzak probatu behar ditugu, bestetik, ezin dugu 4 orduko azterketa osorik antolatu.
Arazo hau konpontzeko, TestDev-en egoitza bat zabaldu dugu Datu Zientzien ikastaroa garatzeko taldean (eta badirudi hau hasiera besterik ez dela). Ezagutzak ebaluatzeko probak garatzean aurkitzen diren 10 akatsen zerrenda aurkezten dizuegu. Zorionez online ikaskuntzaren mundua pixka bat hobea izango da honen ondoren.
1. arrastoa: proben helburuak argi ez zehaztea
Helburuak behar bezala definitzeko eta kontuan hartuko dituen proba bat sortzeko, plangintza fasean hainbat galdera erantzun behar ditugu:
- Zer ari gara egiaz egiaztatzen?
- Zein ingurunetan egingo dira probak eta zein mekanika erabiltzen dira? Zeintzuk dira ingurune honetan mugak? Puntu honek probak egingo diren gailuaren baldintza teknikoak ulertzeko aukera emango dizu, eta baita edukiari buruzkoak ere (proba telefonoetatik ateratzen bada, irudiak pantaila txikian ere irakur daitezke, handitzeko aukera izango da, etab.).
- Zenbat denbora iraungo du probak? Erabiltzaileak proba egingo duen baldintzetan pentsatu behar duzu. Baliteke proba prozesua eten eta gero berriro jarraitu behar duen egoerarik?
- Iritzia izango al da? Nola osatu eta entregatzen dugu? Zer jaso behar duzu? Ba al dago denbora-tarterik probaren exekuzioaren eta feedbackaren artean?
Gure kasuan, galdera hauei erantzun ondoren, probaren helburu zerrenda hau definitu dugu:
- Etorkizuneko ikasleak ikastaroa egiteko prest dauden eta ezagutza eta trebetasun nahikoa duten ala ez erakutsi behar du probak.
- Testak iritzia emateko materiala eman behar digu, ikasleek akats bat zein gaitan egin duten adierazi, ezagutzak hobetu ditzaten. Jarraian nola konposatu esango dizugu.
2. arrastoa: proba-idazle adituaren zehaztapen teknikoak ez egitea
Test-elementuak osatzeko, oso garrantzitsua da ezagutza probatzen den arloko aditu bat inplikatzea. Eta aditu batentzat, berriz, zehaztapen tekniko eskudun bat (deskribapena) behar duzu, probaren gaiak, probatzen diren ezagutzak/trebetasunak eta haien maila jasotzen dituena.
Aditu batek ez ditu bere buruari halako zehaztapen teknikoak egingo, bere lana zereginak egitea baita, ez probaren egitura. Gainera, jende gutxik garatzen ditu probak profesionalki, baita irakaskuntza prozesuan ere. Hau aparteko espezialitate batean irakasten da - psikometria.
Psikometria azkar ezagutu nahi baduzu, Errusian badago interesa duten guztientzat. Azterketa sakonagorako, Hezkuntza Institutuak dauka eta graduondoko eskola.
Zehaztapen teknikoak prestatzerakoan, probaren deskribapen zehatza jasotzen dugu adituarentzat (edo hobeto, berarekin batera): zereginen gaiak, zeregin mota, haien kopurua.
Nola aukeratu zeregin mota: gaiak erabakita, erabakitzen dugu zein zeregin proba dezaketen hau? Aukera klasikoak: zeregin irekia, aukera anitzeko edo bakarreko ataza, parekatzea, etab. (ez ahaztu proba-ingurunearen muga teknikoez!). Zeregin motak zehaztu eta zehaztu ondoren, adituarentzat prest dagoen zehaztapen teknikoa dugu. Proba zehaztapena dei diezaiokezu.
Rake 3: probaren garapenean aditurik ez izatea
Aditu bat probaren garapenean murgiltzean, oso garrantzitsua da "lan-esparrua" adieraztea ez ezik, garapen-prozeduran bertan inplikatzea.
Nola egin aditu batekin lan egitea ahalik eta eraginkorrena:
- Konfiguratu aldez aurretik eta eman denbora pixka bat test garapenaren eta psikometriaren zientziari buruz hitz egiten.
- Ebaluatzailearen arreta ebaluazio tresna baliozko eta fidagarri bat sortzera bideratu, ez galdera-zerrenda bat.
- Azaldu bere lanak prestaketa-etapa bat barne hartzen duela, ez bakarrik zereginen garapena.
Aditu batzuek (bere izaeragatik) hau beren lanaren proba gisa hauteman dezakete, eta azalduko diegu zeregin bikainak sortzen baditugu ere, baliteke probaren helburu espezifikoetara ez egokitzea.
Prozesua azkar joan dadin, adituarekin gaiaren (ezagutzak eta trebetasunak) taula bat prestatzen dugu, probaren zehaztapenaren parte dena. Taula hau da galderak zehaztasunez lantzeko eta zer neurtuko dugun zehazteko aukera ematen diguna. Kasu zehatz bakoitzean zertxobait ezberdin konpilatu daiteke. Gure zeregina pertsona batek aurreko ikastaroetako oinarrizko ezagutzak eta trebetasunak zenbateraino ulertzen dituen egiaztatzea da, ikastaro berri batean ikasteko zein prest dagoen ulertzeko.
Rake 4: adituak "dakinik onena" dela pentsatzea
Gaia hobeto ezagutzen du. Baina ez da beti argi azaltzen. Oso garrantzitsua da lanen idazkera egiaztatzea. Idatzi argibide argiak, adibidez, "Aukeratu aukera zuzen bat". Kasuen %1ean adituek galderak prestatzen dituzte beraiek ulertzeko moduan. Eta hori ondo dago. Baina proba egingo dutenen esku utzi baino lehen, dena egiaztatu eta orraztu behar da, proba egiten duten pertsonek zer eskatzen zaien zehatz-mehatz uler dezaten eta akatsik ez egiteko zereginaren testua gaizki interpretatu dezaketelako.
Zereginen interpretazio bikoitza ekiditeko, "laborategi kognitiboak" egiten ditugu. Helburuko publikoko pertsonei proba egiteko eskatzen diegu, pentsatzen dutena ozen esanez eta zehatz-mehatz grabatuz. "Laborategi kognitiboetan" galdera argigabeak, hitz txarrak "harrapa ditzakezu" eta probaren lehen iritzia jaso dezakezu.
Rake 5: Ez ikusi probaren exekuzio denbora
sarkasmo modua: aktibatuta
Jakina, gure proba onena da, denek amesten dute gainditzea! Bai, 4 ordu guztiak.
sarkasmo modua: itzali
Egiaztatu daitekeen guztiaren zerrenda dagoenean, gauza nagusia ez egitea da (lehen begiratuan arraroa dirudi, ezta?). Gupidarik gabe moztu behar duzu, funtsezko ezagutzak eta trebetasunak aditu batekin identifikatuz (bai, proban hainbat trebetasun ere proba daitezke). Zeregin motak aztertzen ditugu eta xede-denbora kalkulatzen dugu: dena arrazoizko mugak baino gehiago badira oraindik, moztu egiten dugu!
Bolumena murrizteko, saia zaitezke (arretaz) bi trebetasun probatzen zeregin batean. Kasu honetan, zaila da ulertzea zergatik egin duen akatsa, baina ondo eginez gero, bi trebetasunak kontuan har daitezke. Garrantzitsua da ziurtatzea 2 trebetasun horiek ezagutza-arlo berari dagozkiola.
Rake 6: Puntuazio sisteman ez pentsatzea
Askotan, ebaluazio-probak osatzerakoan, puntuazio-sistema klasikoa erabiltzen dute, adibidez, 1 puntu lan errazetarako eta 2 puntu zailak egiteko. Baina ez da unibertsala. Probaren emaitzetan oinarritutako puntuen batuketak soilik ez digu esango gauza handirik: ez dakigu puntu horiek zein zeregintarako jaso diren eta zeregin zuzenen kopurua soilik zehaztu dezakegu. Zehazki ulertu behar dugu zer gaitasun frogatzen ari diren proba-hartzaileek. Horrez gain, hobetu beharreko gaiei buruzko iritzia eman nahi diegu.
Azken finean, programa burutzeko prest daudenak eta prest ez daudenak banatuko dituen proba bat egiten ari gara; doako prestakuntzaren bidez ikastaroa prestatzeko aholkua emango diegu. Guretzat garrantzitsua da talde honetan benetan behar dutenak eta horretarako prest daudenak bakarrik sartzea.
Zer egiten dugun gure egoeran: proba garatzaileen lan-taldearen barruan zehazten dugu zein pertsona talde identifikatu behar diren (adibidez, ikasteko prest, partzialki prest) eta talde horien ezaugarrien taula osatzen dugu, zein gaitasun eta ezagutza adieraziz. garrantzitsua izango da ikasteko prest dauden prestakuntza-taldearentzat. Horrela, horrelako probetarako zereginen "zailtasuna" formula dezakezu.
Rake 7: Ebaluatu emaitzak automatikoki soilik
Jakina, ebaluazioak ahalik eta objektiboena izan behar du, beraz, ikasleen material batzuk automatikoki ebaluatzen dira, "gakoen bidez" -erantzun zuzenekin alderatuta. Proba sistema berezirik ez badago ere, doako irtenbide ugari daude. Eta gidoiak idazteko printzipioak ulertzen badituzu, nahi duzuna egin dezakezu Google inprimakiekin eta emaitzekin tauletan. Zereginetako batzuk adituek egiaztatzen badituzte, orduan pentsatu behar dugu adituei erantzunak ematean, proba-hartzaileei buruzko informaziorik gabe. Eta pentsatu adituen proben emaitzak azken ebaluazioan nola integratu.
Hasieran kodearekin hainbat lan ireki egin nahi genituen, non adituek soluzioak ebaluatzen baitituzte aurrez ezarritako irizpideetan oinarrituta, eta probako parte-hartzaileen erantzun indibidualak adituentzako mahai berezi batera esportatzen dituen sistema bat ere prestatu genuen, eta ondoren emaitzak inportatzen dituena. ebaluazio-kalkuluak dituen taula. Baina xede-publikoaren ordezkariekin, produktu-kudeatzailearekin eta hezkuntza-diseinatzailearekin eztabaidatu ondoren, uste genuen elkarrizketa tekniko bat egitea berehalako adituen iritziarekin eta kodearen eztabaidarekin, baita banakako gaiekin ere, askoz eraginkorragoa eta erabilgarriagoa izango zela parte-hartzaileentzat. .
Orain adituak proba amaitu dela egiaztatzen du, galdera batzuk argituz. Horretarako, elkarrizketa tekniko baterako galderen eta balorazio irizpideen gida bat prestatu dugu. Elkarrizketa teknikoaren aurretik, aztertzaileak azterketa-hartzailearen erantzunen mapa jasotzen du, egin beharreko galderak hautatzen laguntzeko.
Rake 8: Ez azaldu proben emaitzak
Parte-hartzaileei iritzia ematea beste kontu bat da. Probaren puntuazioari buruz informatu ez ezik, probaren emaitzen ulermena ere eman behar dugu.
Hauek izan daitezke:
- Parte-hartzaileak akats bat egin eta behar bezala bete dituen atazak.
- Parte-hartzaileak akatsak egin dituen gaiak.
- Bere sailkapena azterketa egiten dutenen artean.
- Parte-hartzailearen mailaren deskribapena, adibidez, espezialista mailaren deskribapenaren arabera (lanpostuen deskribapenean oinarrituta).
Gure proba pilotuaren aurkezpenean, programan izena eman nahi zutenei, emaitzekin batera, hobetu beharreko gaien zerrenda erakutsi genien. Baina hau ez da aproposa, hobetu egingo dugu eta feedback hobea emango dugu.
Rake 9: Ez eztabaidatu proba garatzaileekin
Beharbada, zapaltzea bereziki desatsegina dena, proba, deskribapena eta puntuazio-eskala garatzaileei "dagoen moduan" bidaltzea da.
Zer eztabaidatu behar den zehazki:
- Galderen itxura, egitura, grafikoen posizioa, erantzun zuzenaren aukeraketa nolakoa den.
- Nola kalkulatzen den puntuazioa (beharrezkoa bada), ba al dago baldintza gehigarririk.
- Iritzia nola sortzen den, testuak non lortu, ba al dago automatikoki sortutako bloke gehigarririk.
- Zer informazio gehigarri bildu behar duzu eta zein unetan (kontaktu berdinak).
Gaizki-ulertuak ekiditeko, gure garatzaileei 2 edo 3 galdera ezberdin kodetzeko eskatzen diegu, proba bera kodetu aurretik nolakoak diren ikus dezaten.
Rake 10: probatu gabe, igo zuzenean ekoizpenera
3 aldiz, mutilak, proba 3 aldiz egiaztatu behar dute pertsona ezberdinek, edo hobeto esanda, 3 aldiz bakoitzak.Egia hau odol, izerdi eta kode lerroen pixelekin lortu zen.
Gure probak honako hirukote hau egiaztatzen du:
- Produktua - proba egiaztatzen du errendimendua, itxura, mekanika.
- Proba garatzailea - atazen testua, haien ordena, probarekin lan egiteko forma, zeregin motak, erantzun zuzenak, irakurgarritasuna eta grafikoen bistaratzea normala egiaztatzen ditu.
- Zereginen egileak (aditua) probaren fideltasuna egiaztatzen du aditu postu batetik.
Praktikaren adibide bat: hirugarren exekuzioan bakarrik, atazen egileak ikusi zuen ataza 1 geratzen zela hitzaren bertsio zaharrean. Aurreko guztiek ere aktiboki gobernatu zuten. Baina proba kodetu zenean, hasieran imajinatu zenaren itxura ezberdina zuen. Oso litekeena da zerbait zuzendu behar izatea. Hau kontuan hartu behar da.
Guztira
"Rake" horiek guztiak kontu handiz saihestuz, berezi bat sortu genuen , eskatzaileen ezagutza probatzeko. Edonork proba dezake hurrengo materiala prestatzen ari garen bitartean, eta bertan bot barruan zer gertatu den kontatuko dizuegu, eta zertan bihurtu den guztia gero.
Bilatutako lanbide bat hutsetik edo Level Up lor dezakezu gaitasunei eta soldatari dagokionez, SkillFactory lineako ikastaroak eginez:
- (12 aste)
- (20 aste)
- (20 aste)
- (12 hilabete)
Ikastaro gehiago
- (12 hilabete)
- (14 aste)
- (5 aste)
- (18 hilabete)
- (6 hilabete)
- (12 hilabete)
- (8 hilabete)
- (9 hilabete)
- (12 hilabete)
- (18 hilabete)
- (18 hilabete)
- (12 hilabete)
- (9 hilabete)
- (7 hilabete)
Iturria: www.habr.com