Yeni Machine Learning Advanced kursuna yazılmazdan əvvəl, biz gələcək tələbələri onların hazırlıq səviyyələrini müəyyən etmək və kursa hazırlaşmaq üçün tam olaraq nə təklif etməli olduqlarını anlamaq üçün sınaqdan keçiririk. Ancaq dilemma yaranır: bir tərəfdən Data Science-də biliyi sınamalıyıq, digər tərəfdən isə tam hüquqlu 4 saatlıq imtahan təşkil edə bilmərik.
Bu problemi həll etmək üçün biz TestDev qərargahını birbaşa Data Science kursu inkişaf komandasında yerləşdirmişik (və görünür, bu hələ başlanğıcdır). Biz sizə biliyi qiymətləndirmək üçün testlər hazırlayarkən rast gəlinən 10 tələlərin siyahısını təqdim edirik. Ümid edirəm ki, onlayn öyrənmə dünyası bundan sonra bir az daha yaxşı olacaq.
Dırmıq 1: Test məqsədlərini dəqiq müəyyənləşdirə bilməmək
Məqsədləri düzgün müəyyənləşdirmək və onları nəzərə alacaq bir test yaratmaq üçün planlaşdırma mərhələsində bir neçə suala cavab verməliyik:
- Əslində nəyi yoxlayırıq?
- Sınaq hansı mühitdə keçiriləcək və hansı mexanikadan istifadə olunur? Bu mühitdə hansı məhdudiyyətlər var? Eyni nöqtə, testin aparılacağı cihaz üçün texniki tələbləri, həmçinin məzmunu başa düşməyə imkan verəcəkdir (sınaq telefonlardan götürülübsə, şəkillər hətta kiçik ekranda da oxunmalıdır, onları böyütmək mümkün ola bilər və s.).
- Test nə qədər vaxt aparacaq? İstifadəçinin hansı şərtlərdə testdən keçəcəyi barədə düşünmək lazımdır. Sınaq prosesini dayandırmalı və sonra yenidən davam etdirməli olduğu bir vəziyyət ola bilərmi?
- Əlaqə olacaqmı? Onu necə formalaşdırıb çatdırırıq? Nə almaq lazımdır? Testin icrası ilə rəy arasında vaxt gecikməsi varmı?
Bizim vəziyyətimizdə bu suallara cavab verərək test üçün aşağıdakı məqsədlərin siyahısını müəyyən etdik:
- Test gələcək tələbələrin kursa hazır olub-olmadığını, onların kifayət qədər bilik və bacarıqlara malik olub-olmadığını göstərməlidir.
- Test bizə rəy üçün material verməli, tələbələrin hansı mövzuda səhv etdiklərini göstərməlidir ki, onlar öz biliklərini təkmilləşdirə bilsinlər. Aşağıda onu necə tərtib edəcəyinizi sizə xəbər verəcəyik.
Rake 2: Ekspert test müəllifi üçün texniki şərtlərin tərtib edilməməsi
Test tapşırıqlarını tərtib etmək üçün biliyin yoxlanıldığı sahə üzrə mütəxəssisin cəlb edilməsi çox vacibdir. Ekspert üçün isə öz növbəsində testin mövzularını, yoxlanılan bilik/bacarıqları və onların səviyyəsini özündə əks etdirən səriştəli texniki spesifikasiya (təsvir) lazımdır.
Mütəxəssis özü üçün belə texniki spesifikasiyalar etməyəcək, çünki onun işi testin strukturunu deyil, tapşırıqları ortaya qoymaqdır. Üstəlik, az adam hətta tədris prosesində də testləri peşəkar şəkildə hazırlayır. Bu, ayrıca ixtisas üzrə - psixometriya üzrə tədris olunur.
Psixometriya ilə tez tanış olmaq istəyirsinizsə, Rusiyada var bütün maraqlananlar üçün. Daha dərindən öyrənmək üçün Təhsil İnstitutu var və aspirantura.
Texniki spesifikasiyalar hazırlayarkən, ekspert üçün (yaxud daha yaxşısı, onunla birlikdə) testin ətraflı təsvirini toplayırıq: tapşırıqların mövzuları, tapşırıqların növü, onların sayı.
Tapşırıqların növünü necə seçmək olar: mövzulara qərar verərək, hansı tapşırıqların bunu ən yaxşı şəkildə sınayacağına qərar veririk? Klassik variantlar: açıq tapşırıq, çoxlu və ya tək seçim tapşırığı, uyğunluq və s. (sınaq mühitinin texniki məhdudiyyətlərini unutma!). Tapşırıqların növünü müəyyən etdikdən və dəqiqləşdirdikdən sonra ekspert üçün hazır texniki şərtlərimiz var. Siz bunu test spesifikasiyası adlandıra bilərsiniz.
Dırmıq 3: Testin hazırlanmasında mütəxəssisin cəlb edilməməsi
Mütəxəssisi testin hazırlanmasına cəlb edərkən, ona sadəcə "işin həcmini" göstərmək deyil, onu inkişaf prosedurunun özünə cəlb etmək çox vacibdir.
Mütəxəssislə işi mümkün qədər effektiv etmək üçün necə:
- Onu əvvəlcədən qurun və testin inkişafı və psixometriya elmi haqqında danışmağa bir az vaxt sərf edin.
- Qiymətləndiricinin diqqətini suallar siyahısına deyil, etibarlı və etibarlı qiymətləndirmə alətinin yaradılmasına yönəldin.
- Onun işinin yalnız tapşırıqların özünün inkişafını deyil, bir hazırlıq mərhələsini əhatə etdiyini izah edin.
Bəzi ekspertlər (təbiətlərinə görə) bunu öz işlərinin sınağı kimi qəbul edə bilərlər və biz onlara izah edirik ki, hətta əla tapşırıqlar yaratsaq belə, onlar sadəcə olaraq xüsusi test məqsədlərinə uyğun gəlməyə bilər.
Prosesin sürətlə getməsi üçün biz ekspertlə test spesifikasiyasının bir hissəsi olan mövzu əhatəsi cədvəlini (bilik və bacarıqlar) hazırlayırıq. Məhz bu cədvəl sualları dəqiq işlətməyə və nəyi ölçəcəyimizi müəyyən etməyə imkan verir. Hər bir konkret halda o, bir qədər fərqli tərtib oluna bilər. Bizim vəzifəmiz insanın yeni kursda təhsil almağa nə dərəcədə hazır olduğunu başa düşmək üçün əvvəlki, əsas kursların bilik və bacarıqlarını nə dərəcədə başa düşdüyünü yoxlamaqdır.
Dırmıq 4: Mütəxəssisin "ən yaxşısını bildiyini" düşünmək
Mövzunu daha yaxşı bilir. Ancaq həmişə aydın izah etmir. Tapşırıqların mətnini yoxlamaq çox vacibdir. Aydın təlimatlar yazın, məsələn, “1 düzgün variantı seçin”. 90% hallarda ekspertlər sualları özlərinin başa düşdüyü şəkildə hazırlayırlar. Və bu yaxşıdır. Amma imtahanı verəcək şəxslərə təhvil verməzdən əvvəl hər şeyi yoxlamaq və daramaq lazımdır ki, imtahan verən insanlar onlardan nə tələb olunduğunu dəqiq başa düşsünlər və sırf tapşırığın mətnini səhv şərh edə bildikləri üçün səhvə yol verməsinlər.
Tapşırıqların ikiqat şərh edilməsinin qarşısını almaq üçün biz "idrak laboratoriyaları" keçiririk. Hədəf auditoriyasından olan insanlardan nə düşündüklərini yüksək səslə söyləyərək, ətraflı şəkildə qeyd edərək testdən keçmələrini xahiş edirik. “Koqnitiv laboratoriyalarda” siz aydın olmayan sualları, pis ifadələri “tuta” və testlə bağlı ilk rəyi ala bilərsiniz.
Rake 5: Testin icra müddətinə məhəl qoymayın
sarkazm rejimi: açıq
Əlbəttə ki, testimiz ən yaxşısıdır, hər kəs ondan keçməyi xəyal edir! Bəli, bütün 4 saat.
sarkazm rejimi: söndürülür
Yoxlana bilən hər şeyin siyahısı olduqda, əsas odur ki, bunu etmə (ilk baxışda qəribə səslənir, elə deyilmi?). Bir mütəxəssislə əsas bilik və bacarıqları müəyyən edərək, amansızcasına kəsmək lazımdır (bəli, bir sıra bacarıqlar da testdə sınaqdan keçirilə bilər). Tapşırıqların növünə baxırıq və hədəfin tamamlanma müddətini təxmin edirik: hər şey hələ də ağlabatan həddən artıqdırsa, onu kəsirik!
Səsi azaltmaq üçün bir tapşırıqda iki bacarığı sınamağa (diqqətlə) cəhd edə bilərsiniz. Bu vəziyyətdə, insanın niyə səhv etdiyini başa düşmək çətindir, lakin düzgün aparılarsa, hər iki bacarıq nəzərə alına bilər. Bu 2 bacarığın eyni bilik sahəsinə uyğun olduğundan əmin olmaq vacibdir.
Rake 6: Qiymətləndirmə sistemini düşünməmək
Çox vaxt qiymətləndirmə testlərini tərtib edərkən klassik bal sistemindən istifadə edirlər, məsələn, asan tapşırıqlar üçün 1 bal, çətin olanlar üçün 2 bal. Ancaq universal deyil. Yalnız test nəticələrinə əsaslanan balların cəmi bizə çox şey deməyəcək: bu xalların hansı tapşırıqlar üçün alındığını bilmirik və yalnız düzgün tapşırıqların sayını müəyyən edə bilərik. Biz imtahan verənlərin hansı bacarıqları nümayiş etdirdiyini dəqiq başa düşməliyik. Bundan əlavə, hansı mövzuların təkmilləşdirilməsi lazım olduğuna dair onlara rəy bildirmək istəyirik.
Axı biz insanları proqramı tamamlamağa hazır olanlara və olmayanlara ayıracaq bir test edirik, bəzilərinə pulsuz təlim vasitəsilə kursa hazırlaşmağı məsləhət görəcəyik. Bizim üçün vacibdir ki, bu qrupa yalnız həqiqətən ehtiyacı olan və buna hazır olanlar daxildir.
Vəziyyətimizdə nə edirik: biz test tərtibatçılarının işçi qrupu daxilində hansı qrupların müəyyən edilməli olduğunu müəyyənləşdiririk (məsələn, öyrənməyə hazır, qismən hazır) və hansı bacarıq və bilikləri göstərən bu qrupların xüsusiyyətləri cədvəlini formalaşdırırıq. öyrənməyə hazır olan qrup üçün aktual olacaq. Beləliklə, bu cür testlər üçün tapşırıqların "çətinliyini" formalaşdıra bilərsiniz.
Rake 7: Nəticələri yalnız avtomatik olaraq qiymətləndirin
Əlbəttə ki, qiymətləndirmə mümkün qədər obyektiv olmalıdır, buna görə də tələbə materiallarının bəziləri avtomatik olaraq "açarlarla" - düzgün cavablarla müqayisə edilərək qiymətləndirilir. Xüsusi sınaq sistemi olmasa belə, çoxlu pulsuz həllər var. Əgər skriptlərin yazılması prinsiplərini başa düşürsünüzsə, o zaman Google formaları və cədvəllərdəki nəticələrlə istədiyinizi edə bilərsiniz. Əgər bəzi tapşırıqlar ekspertlər tərəfindən yoxlanılırsa, o zaman imtahan verənlər haqqında məlumat olmadan ekspertlərə cavablar çatdırmaq barədə düşünmək lazımdır. Və ekspert testinin nəticələrini yekun qiymətləndirməyə necə birləşdirəcəyinizi düşünün.
Biz əvvəlcə kodla bir neçə açıq tapşırıq yerinə yetirmək istədik, burada ekspertlər həlləri əvvəlcədən formalaşmış meyarlara əsasən qiymətləndirir və hətta test iştirakçılarının fərdi cavablarını ekspertlər üçün xüsusi cədvələ ixrac edən, sonra isə nəticələri idxal edən sistem hazırladıq. qiymətləndirmə hesablamaları olan cədvəl. Ancaq hədəf auditoriya nümayəndələri, məhsul meneceri və təhsil dizayneri ilə müzakirə etdikdən sonra hiss etdik ki, ani ekspert rəyi və kodun, eləcə də fərdi məsələlərin müzakirəsi ilə texniki müsahibənin keçirilməsi iştirakçıların özləri üçün daha effektiv və faydalı olacaq. .
İndi ekspert bəzi suallara aydınlıq gətirərək testin tamamlanmasını yoxlayır. Bunun üçün biz texniki müsahibə üçün suallar və qiymətləndirmə meyarlarından ibarət bələdçi hazırlamışıq. Texniki müsahibədən əvvəl imtahan verən sualları seçməkdə ona kömək etmək üçün imtahan verənin cavablarının xəritəsini alır.
Dırmıq 8: Test nəticələrini izah etməyin
İştirakçılara rəy bildirmək ayrı bir məsələdir. Biz təkcə test balı haqqında məlumat verməklə kifayətlənməməliyik, həm də test nəticələrinin başa düşülməsini təmin etməliyik.
Bu ola bilər:
- İştirakçının səhv etdiyi və düzgün yerinə yetirdiyi tapşırıqlar.
- İştirakçının səhv etdiyi mövzular.
- Onun imtahan verənlər arasında yeri.
- İştirakçı səviyyəsinin təsviri, məsələn, mütəxəssis səviyyəsinin təsvirinə uyğun olaraq (vakansiyaların təsvirinə əsasən).
Testimizin sınaq buraxılışı zamanı proqrama yazılmaq istəyənlərə nəticələrlə yanaşı, təkmilləşdirilməsi lazım olan mövzuların siyahısını da göstərdik. Amma bu, əlbəttə ki, ideal deyil, biz təkmilləşdirəcək və daha yaxşı rəy təqdim edəcəyik.
Rake 9: Testi tərtibatçılarla müzakirə etməyin
Bəlkə də addım atmaq xüsusilə xoşagəlməz olan ən kəskin dırmıq testi, təsviri və qiymətləndirmə şkalasını tərtibatçılara "olduğu kimi" göndərməkdir.
Tam olaraq nəyi müzakirə etmək lazımdır:
- Sualların görünüşü, quruluşu, qrafikanın mövqeyi, düzgün cavabın seçimi necə görünür.
- Bal necə hesablanır (lazım olduqda), əlavə şərtlər varmı?
- Əlaqə necə yaradılır, mətnləri haradan əldə etmək olar, əlavə avtomatik yaradılan bloklar varmı.
- Hansı əlavə məlumat toplamaq lazımdır və hansı nöqtədə (eyni kontaktlar).
Anlaşılmazlıqların qarşısını almaq üçün tərtibatçılarımızdan testin özünü kodlaşdırmadan əvvəl onların necə göründüyünü görə bilmələri üçün 2 və ya 3 fərqli sualı kodlamağı xahiş edirik.
Rake 10: Test etmədən birbaşa istehsala yükləyin
3 dəfə, uşaqlar, test müxtəlif insanlar tərəfindən 3 dəfə yoxlanılmalıdır, daha yaxşısı hər biri 3 dəfə.Bu həqiqət qan, tər və piksel kod sətirləri ilə əldə edilmişdir.
Testimiz aşağıdakı üçlüyü yoxlayır:
- Məhsul - performans, görünüş, mexanika üçün testi yoxlayır.
- Test tərtibçisi - tapşırıqların mətnini, onların ardıcıllığını, testlə işləmə formasını, tapşırıqların növlərini, düzgün cavabları, oxunuşunu və qrafiklərin normal baxılmasını yoxlayır.
- Tapşırıqların müəllifi (ekspert) ekspert mövqeyindən testin sədaqətini yoxlayır.
Təcrübədən bir nümunə: yalnız üçüncü qaçışda tapşırıqların müəllifi 1 tapşırığın köhnə versiyada qaldığını gördü. Bütün əvvəlkilər də fəal şəkildə idarə edirdilər. Lakin test kodlaşdırıldıqda, ilkin təsəvvür ediləndən fərqli görünürdü. Çox güman ki, nəyisə düzəltmək lazımdır. Bunu nəzərə almaq lazımdır.
Ümumi
Diqqətlə bütün bu "dırmıq" yan keçərək, biz xüsusi yaratdıq , abituriyentlərin biliyini yoxlamaq. Hər kəs botun içərisində nə baş verdiyini və sonradan nəyə çevrildiyini sizə xəbər verəcəyimiz növbəti materialı hazırlayarkən onu sınaqdan keçirə bilər.
SkillFactory onlayn kurslarını keçərək, sıfırdan və ya bacarıq və əmək haqqı baxımından axtarılan peşəni əldə edə bilərsiniz:
- (12 həftə)
- (20 həftə)
- (20 həftə)
- (12 ay)
Daha çox kurslar
- (12 ay)
- (14 həftə)
- (5 həftə)
- (18 ay)
- (6 ay)
- (12 ay)
- (8 ay)
- (9 ay)
- (12 ay)
- (18 ay)
- (18 ay)
- (12 ay)
- (9 ay)
- (7 ay)
Mənbə: www.habr.com