Yeni Makine Öğrenimi İleri Düzey kursuna kaydolmadan önce, aday öğrencileri hazırlık düzeylerini belirlemek ve kursa hazırlanmak için tam olarak ne sunmaları gerektiğini anlamak için test ediyoruz. Ancak bir ikilem ortaya çıkıyor: Bir yandan Veri Bilimi alanındaki bilgiyi test etmeliyiz, diğer yandan ise 4 saatlik tam teşekküllü bir sınav düzenleyemiyoruz.
Bu sorunu çözmek için Veri Bilimi kursu geliştirme ekibinin içine bir TestDev genel merkezi yerleştirdik (ve öyle görünüyor ki bu sadece başlangıç). Bilgiyi değerlendirmek için testler geliştirirken karşılaşılan 10 tuzağın bir listesini size sunuyoruz. Umarım çevrimiçi öğrenme dünyası bundan sonra biraz daha iyi olur.
Rake 1: Test hedeflerinin açıkça tanımlanamaması
Hedefleri doğru tanımlamak ve bunları dikkate alacak bir test oluşturmak için planlama aşamasında birkaç soruyu yanıtlamamız gerekir:
- Aslında neyi kontrol ediyoruz?
- Test hangi ortamda gerçekleştirilecek ve hangi mekanikler kullanılacak? Bu ortamdaki sınırlamalar nelerdir? Aynı nokta, testin gerçekleştirileceği cihazın teknik gerekliliklerini ve ayrıca içeriği (test telefonlardan alınıyorsa, resimlerin küçük bir ekranda bile okunabilir olması gerekir) için teknik gereksinimleri anlamanıza olanak sağlayacaktır. bunları büyütmek mümkün olabilir, vb.).
- Test ne kadar sürecek? Kullanıcının testi hangi koşullar altında alacağını düşünmeniz gerekir. Test sürecini yarıda kesip tekrar devam etmesi gibi bir durum söz konusu olabilir mi?
- Geri bildirim olacak mı? Nasıl oluşturup teslim edeceğiz? Neyi almanız gerekiyor? Testin yürütülmesi ile geri bildirim arasında bir zaman farkı var mı?
Bizim durumumuzda bu soruları yanıtladıktan sonra test için aşağıdaki hedef listesini belirledik:
- Test, gelecekteki öğrencilerin dersi almaya hazır olup olmadıklarını ve yeterli bilgi ve beceriye sahip olup olmadıklarını göstermelidir.
- Test bize geribildirim için materyal vermeli, öğrencilerin hata yaptığı konuyu belirtmeli ki bilgilerini geliştirebilsinler. Aşağıda nasıl oluşturulacağını anlatacağız.
Rake 2: Uzman test yazarı için teknik şartnamelerin hazırlanmaması
Test maddelerini oluşturmak için bilginin test edildiği alanda uzman bir kişinin görevlendirilmesi çok önemlidir. Ve bir uzman için, testin konularını, test edilen bilgi/becerileri ve bunların seviyelerini içeren yetkin bir teknik spesifikasyona (açıklama) ihtiyacınız vardır.
Bir uzman bu tür teknik spesifikasyonları kendisi yapmayacaktır çünkü onun işi testin yapısını değil, görevleri ortaya koymaktır. Üstelik çok az kişi, öğretme sürecinde bile profesyonel olarak testler geliştiriyor. Bu, ayrı bir uzmanlık alanı olan psikometride öğretilir.
Psikometri ile hızlı bir şekilde tanışmak istiyorsanız, o zaman Rusya'da var tüm ilgilenenler için. Daha derinlemesine bir çalışma için Eğitim Enstitüsü ve yüksek lisans okulu.
Teknik şartnameyi hazırlarken, uzman için (veya daha iyisi onunla birlikte) testin ayrıntılı bir tanımını topluyoruz: görevlerin konuları, görevlerin türleri, sayıları.
Görev türleri nasıl seçilir: Konulara karar verdikten sonra hangi görevlerin bunu en iyi şekilde test edebileceğine karar veririz? Klasik seçenekler: açık uçlu görev, çoktan seçmeli veya tek seçenekli görev, eşleştirme vb. (test ortamının teknik sınırlamalarını unutmayın!). Görev türlerini belirleyip belirledikten sonra uzman için hazır bir teknik şartnamemiz var. Buna test spesifikasyonu diyebilirsiniz.
Rake 3: Test geliştirme sürecine bir uzmanın dahil edilmemesi
Bir uzmanı test geliştirme sürecine dahil ederken, ona yalnızca "iş kapsamını" belirtmek değil, aynı zamanda onu geliştirme prosedürünün kendisine de dahil etmek çok önemlidir.
Bir uzmanla çalışmayı mümkün olduğunca etkili hale nasıl getirebilirsiniz:
- Önceden ayarlayın ve test geliştirme bilimi ve psikometri hakkında konuşmaya biraz zaman ayırın.
- Değerlendiricinin dikkatini bir soru listesi değil, geçerli ve güvenilir bir değerlendirme aracı oluşturmaya odaklayın.
- Çalışmasının yalnızca görevlerin geliştirilmesini değil, bir hazırlık aşamasını da içerdiğini açıklayın.
Bazı uzmanlar (doğaları gereği) bunu kendi çalışmalarının bir testi olarak algılayabilir ve onlara mükemmel görevler oluştursak bile bunların belirli test hedeflerine uymayabileceğini açıklıyoruz.
Sürecin hızlı ilerlemesini sağlamak için, test spesifikasyonunun bir parçası olan, uzmanla birlikte bir konu kapsamı (bilgi ve beceriler) tablosu hazırlıyoruz. Soruları doğru bir şekilde çözmemizi ve neyi ölçeceğimizi belirlememizi sağlayan bu tablodur. Her özel durumda biraz farklı şekilde derlenebilir. Görevimiz, kişinin yeni bir kursta çalışmaya ne kadar hazır olduğunu anlamak için önceki temel kursların bilgi ve becerilerini ne kadar iyi anladığını kontrol etmektir.
Rake 4: Uzmanın “en iyisini bildiğini” düşünmek
Konuyu daha iyi biliyor. Ancak her zaman açıkça açıklanmaz. Ödevlerin metnini kontrol etmek çok önemlidir. Açık talimatlar yazın, örneğin, "1 doğru seçeneği seçin." Vakaların %90'ında uzmanlar soruları kendilerinin anlayacağı şekilde hazırlar. Ve bu sorun değil. Ancak testi alacaklara teslim etmeden önce her şeyin kontrol edilmesi ve taranması gerekir ki, testi alan kişiler kendilerinden ne istendiğini tam olarak anlasın ve görev metnini yanlış yorumlayabilecekleri için hata yapmasınlar.
Görevlerin çifte yorumlanmasını önlemek için “bilişsel laboratuvarlar” yürütüyoruz. Hedef kitledeki kişilerden testi yapmalarını, ne düşündüklerini yüksek sesle söylemelerini ve detaylı bir şekilde kaydetmelerini istiyoruz. "Bilişsel laboratuvarlarda" belirsiz soruları, kötü ifadeleri "yakalayabilir" ve testle ilgili ilk geri bildirimi alabilirsiniz.
Rake 5: Test yürütme süresini dikkate almayın
alaycılık modu: açık
Elbette bizim sınavımız en iyisi, herkes onu geçmeyi hayal ediyor! Evet, 4 saatin tamamı.
alaycılık modu: kapalı
Kontrol edilebilecek her şeyin bir listesi olduğunda asıl mesele bunu yapmamaktır (ilk bakışta kulağa garip geliyor, değil mi?). Bir uzmanla temel bilgi ve becerileri belirleyerek acımasızca kesmeniz gerekir (evet, testte bir dizi beceri de test edilebilir). Görev türlerine bakıyoruz ve hedef tamamlanma süresini tahmin ediyoruz: eğer her şey hala makul sınırların üzerindeyse, işi kesiyoruz!
Sesi azaltmak için, iki beceriyi tek bir görevde (dikkatlice) test etmeyi de deneyebilirsiniz. Bu durumda kişinin neden hata yaptığını anlamak zordur ancak doğru yapılırsa her iki beceri de dikkate alınabilir. Bu 2 becerinin aynı bilgi alanına karşılık geldiğinden emin olmak önemlidir.
Rake 6: Puanlama sistemini düşünmemek
Genellikle değerlendirme testlerini derlerken klasik puanlama sistemini kullanırlar; örneğin kolay görevler için 1 puan, zor görevler için 2 puan. Ancak evrensel değildir. Sadece test sonuçlarına göre puanların toplamı bize fazla bir şey ifade etmeyecektir: Bu puanların hangi görevlerden alındığını bilmiyoruz ve yalnızca doğru görevlerin sayısını belirleyebiliriz. Sınava girenlerin tam olarak hangi becerileri sergilediğini anlamamız gerekiyor. Ayrıca hangi konuların iyileştirilmesi gerektiği konusunda onlara geri bildirim vermek istiyoruz.
Sonuçta insanları programı tamamlamaya hazır olanlar ve hazır olmayanlar olarak ayıracak bir test yapıyoruz, bazılarına ücretsiz eğitim yoluyla kursa hazırlanmalarını tavsiye edeceğiz. Bu grubun yalnızca gerçekten ihtiyacı olan ve buna hazır olanlardan oluşması bizim için önemli.
Bizim durumumuzda ne yapıyoruz: Test geliştiricilerinden oluşan çalışma grubu içinde hangi insan gruplarının belirlenmesi gerektiğini (örneğin, öğrenmeye hazır, kısmen hazır) belirliyoruz ve bu tür grupların hangi beceri ve bilgileri gösteren bir özellik tablosu oluşturuyoruz Öğrenmeye hazır eğitim grubu için uygun olacaktır. Bu şekilde, bu tür testler için görevlerin "zorluğunu" formüle edebilirsiniz.
Rake 7: Sonuçları yalnızca otomatik olarak değerlendirin
Elbette, değerlendirme mümkün olduğu kadar objektif olmalıdır, bu nedenle bazı öğrenci materyalleri, doğru cevaplarla karşılaştırılarak "anahtarlara göre" otomatik olarak değerlendirilir. Özel bir test sistemi olmasa bile birçok ücretsiz çözüm mevcuttur. Komut dosyası yazmanın ilkelerini anlarsanız, Google formları ve tablolardaki sonuçlarla istediğiniz her şeyi yapabilirsiniz. Görevlerden bazıları uzmanlar tarafından kontrol ediliyorsa, o zaman sınava girenler hakkında bilgi olmadan yanıtları uzmanlara ulaştırmayı düşünmemiz gerekir. Ve uzman testi sonuçlarının nihai değerlendirmeye nasıl entegre edileceğini düşünün.
Başlangıçta uzmanların önceden oluşturulmuş kriterlere göre çözümleri değerlendirdiği, kodla çeşitli açık uçlu görevler yapmak istedik ve hatta test katılımcılarının bireysel yanıtlarını uzmanlar için özel bir tabloya aktaran ve ardından sonuçları içe aktaran bir sistem hazırladık. değerlendirme hesaplamalarını içeren bir tablo. Ancak hedef kitlenin temsilcileri, ürün yöneticisi ve eğitim tasarımcısıyla görüştükten sonra, anında uzman geri bildirimi ve kodun yanı sıra bireysel konuların tartışıldığı bir teknik görüşme yapmanın katılımcılar için çok daha etkili ve yararlı olacağını hissettik. .
Artık uzman testin tamamlandığını doğrulayarak bazı soruları açıklığa kavuşturuyor. Bunun için teknik mülakat soruları ve değerlendirme kriterlerinden oluşan bir rehber hazırladık. Teknik görüşmeden önce sınav görevlisi, sorulacak soruları seçmesine yardımcı olmak için sınav katılımcısının cevaplarının bir haritasını alır.
Rake 8: Test sonuçlarını açıklamayın
Katılımcılara geri bildirim sağlamak ayrı bir konudur. Sadece test puanı hakkında bilgi vermemiz değil, aynı zamanda test sonuçlarının anlaşılmasını da sağlamamız gerekiyor.
Bu olabilir:
- Katılımcının hata yaptığı ve doğru şekilde tamamladığı görevler.
- Katılımcının hata yaptığı konular.
- Sınava girenler arasındaki sıralaması.
- Örneğin uzman seviyesinin tanımına uygun olarak (boş pozisyonların tanımına dayalı olarak) katılımcının seviyesinin açıklaması.
Testimizin pilot lansmanı sırasında programa katılmak isteyenlere sonuçlarla birlikte iyileştirilmesi gereken konuların bir listesini gösterdik. Ancak bu kesinlikle ideal değil, geliştireceğiz ve daha iyi geri bildirimler sağlayacağız.
Rake 9: Testi geliştiricilerle tartışmayın
Belki de üzerine basılması özellikle rahatsız edici olan en keskin komisyon, testi, açıklamayı ve puanlama ölçeğini geliştiricilere "olduğu gibi" göndermektir.
Tam olarak neyin tartışılması gerekiyor:
- Soruların görünümü, yapısı, grafiklerin konumu, doğru cevap seçiminin nasıl olduğu.
- Puan nasıl hesaplanır (gerekiyorsa), ek koşullar var mıdır?
- Geri bildirim nasıl oluşturulur, metinler nereden alınır, otomatik olarak oluşturulan ek bloklar var mı?
- Hangi ek bilgileri hangi noktada toplamanız gerekiyor (aynı kişiler).
Yanlış anlaşılmaları önlemek için, geliştiricilerimizden testi kodlamadan önce neye benzediklerini görebilmeleri için 2 veya 3 farklı soruyu kodlamalarını istiyoruz.
Rake 10: Test etmeden doğrudan üretime yükleyin
3 defa arkadaşlar, testin 3 defa farklı kişilerce, hatta daha iyisi 3 defa kontrol edilmesi gerekiyor.Bu gerçek kanla, terle, piksellerce kodla elde edildi.
Testimiz aşağıdaki üçlüyü kontrol eder:
- Ürün - performans, görünüm ve mekanik testini kontrol eder.
- Test geliştiricisi - görevlerin metnini, sırasını, testle çalışma biçimini, görev türlerini, doğru cevapları, okunabilirliği ve grafiklerin normal görüntülenmesini kontrol eder.
- Görevlerin yazarı (uzman), testin doğruluğunu uzman konumundan kontrol eder.
Uygulamadan bir örnek: görevlerin yazarı, yalnızca üçüncü çalıştırmada, ifadenin eski versiyonunda 1 görevin kaldığını gördü. Öncekilerin tümü de aktif olarak hüküm sürdü. Ancak test kodlandığında başlangıçta hayal edilenden farklı görünüyordu. Bir şeylerin düzeltilmesi gerekmesi kuvvetle muhtemeldir. Bunun dikkate alınması gerekir.
sonuç
Tüm bu "tırmıkları" dikkatlice atlayarak özel bir Başvuru sahiplerinin bilgilerini test etmek. Botun içinde neler olduğunu ve daha sonra neye dönüştüğünü size anlatacağımız bir sonraki materyali hazırlarken herkes bunu test edebilir.
SkillFactory çevrimiçi kurslarını alarak aranan bir mesleği sıfırdan edinebilir veya beceri ve maaş açısından Seviye Atlayabilirsiniz:
- (12 hafta)
- (20 hafta)
- (20 hafta)
- (12 ay)
Daha fazla kurs
- (12 ay)
- (14 hafta)
- (5 hafta)
- (18 ay)
- (6 ay)
- (12 ay)
- (8 ay)
- (9 ay)
- (12 ay)
- (18 ay)
- (18 ay)
- (12 ay)
- (9 ay)
- (7 ay)
Kaynak: habr.com