სიარული რაკზე: 10 კრიტიკული შეცდომა ცოდნის ტესტის განვითარებაში

Machine Learning Advanced-ის ახალ კურსზე ჩარიცხვამდე ჩვენ ვამოწმებთ პერსპექტიულ სტუდენტებს, რათა განვსაზღვროთ მათი მზადყოფნის დონე და გავიგოთ, კონკრეტულად რა უნდა შესთავაზონ მათ კურსისთვის მოსამზადებლად. მაგრამ ჩნდება დილემა: ერთი მხრივ, ცოდნა უნდა შევამოწმოთ მონაცემთა მეცნიერებაში, მეორე მხრივ, სრულფასოვან 4-საათიან გამოცდას ვერ მოვაწყობთ.

ამ პრობლემის გადასაჭრელად, ჩვენ განვათავსეთ TestDev შტაბ-ბინა მონაცემთა მეცნიერების კურსის განვითარების გუნდში (და როგორც ჩანს, ეს მხოლოდ დასაწყისია). წარმოგიდგენთ 10 ხარვეზის ჩამონათვალს, რომელიც აწყდება ცოდნის შესაფასებლად ტესტების შემუშავებისას. იმედია ამის შემდეგ ონლაინ სწავლის სამყარო ცოტა უკეთესი იქნება.

რაკი 1: ტესტირების მიზნების მკაფიოდ განსაზღვრა

იმისათვის, რომ სწორად განვსაზღვროთ მიზნები და შევქმნათ ტესტი, რომელიც მათ გაითვალისწინებს, დაგეგმვის ეტაპზე უნდა ვუპასუხოთ რამდენიმე კითხვას:

1. რას ვამოწმებთ რეალურად? 
2. რა გარემოში ჩატარდება ტესტირება და რა მექანიკა გამოიყენება? რა შეზღუდვებია ამ გარემოში? იგივე პუნქტი საშუალებას მოგცემთ გაიგოთ ტექნიკური მოთხოვნები მოწყობილობისთვის, რომელზეც ჩატარდება ტესტირება და ასევე შინაარსის შესახებ (თუ ტესტი აღებულია ტელეფონებიდან, სურათები უნდა იკითხებოდეს თუნდაც პატარა ეკრანზე, ეს უნდა იყოს შესაძლებელია მათი გაფართოება და ა.შ.).
3. რამდენი ხანი დასჭირდება ტესტირებას? თქვენ უნდა იფიქროთ იმაზე, თუ რა პირობებში გაივლის მომხმარებელი გამოცდას. შეიძლება არსებობდეს სიტუაცია, როდესაც მას დასჭირდეს ტესტირების პროცესის შეწყვეტა და შემდეგ კვლავ გაგრძელება?
4. იქნება გამოხმაურება? როგორ ვაყალიბოთ და მივაწოდოთ იგი? რა გჭირდებათ მისაღებად? არის თუ არა დროის შუალედი ტესტის შესრულებასა და გამოხმაურებას შორის?

ჩვენს შემთხვევაში, ამ კითხვებზე პასუხის გაცემის შემდეგ, ჩვენ განვსაზღვრეთ ტესტის მიზნების შემდეგი სია:

1. ტესტმა უნდა აჩვენოს, მზად არიან თუ არა მომავალი სტუდენტები კურსის გასავლელად და აქვთ თუ არა საკმარისი ცოდნა და უნარები.
2. ტესტმა უნდა მოგვცეს მასალა გამოხმაურებისთვის, მიუთითოს თემა, რომელშიც მოსწავლეებმა დაუშვეს შეცდომა, რათა მათ გაიუმჯობესონ ცოდნა. ქვემოთ გეტყვით, თუ როგორ უნდა შეადგინოთ იგი.

რეიკი 2: ტექნიკური მახასიათებლების შეუსრულებლობა ექსპერტი ტესტის დამწერისთვის

სატესტო საგნების შედგენისთვის ძალიან მნიშვნელოვანია იმ სფეროს ექსპერტის ჩართვა, რომელშიც ცოდნის ტესტირება ხდება. ექსპერტისთვის კი, თავის მხრივ, საჭიროა კომპეტენტური ტექნიკური სპეციფიკაცია (აღწერილობა), რომელიც მოიცავს ტესტის თემებს, შესამოწმებელ ცოდნას/უნარებს და მათ დონეს.

ექსპერტი თავისთვის არ გააკეთებს ასეთ ტექნიკურ მახასიათებლებს, რადგან მისი საქმეა დავალებების მოფიქრება და არა ტესტის სტრუქტურა. მეტიც, ცოტა ადამიანი ავითარებს ტესტებს პროფესიონალურად, თუნდაც სწავლების პროცესში. ამას ისწავლება ცალკე სპეციალობაში - ფსიქომეტრია.

თუ გსურთ სწრაფად გაეცნოთ ფსიქომეტრიას, მაშინ რუსეთში არის საზაფხულო სკოლა ყველა დაინტერესებულისთვის. უფრო სიღრმისეული შესწავლისთვის განათლების ინსტიტუტს აქვს მაგისტრატი და ასპირანტურაში.

ტექნიკური მახასიათებლების მომზადებისას, ჩვენ ვაგროვებთ ტესტის დეტალურ აღწერას ექსპერტისთვის (ან უკეთესი, მასთან ერთად): დავალებების თემები, დავალებების ტიპი, მათი რაოდენობა.

როგორ ავირჩიოთ დავალებების ტიპი: თემების გადაწყვეტის შემდეგ, ჩვენ ვწყვეტთ, რომელ დავალებებს შეუძლია ამის საუკეთესო ტესტირება? კლასიკური ვარიანტები: ღია დავალება, მრავალჯერადი ან ერთი არჩევანის დავალება, შესატყვისი და ა.შ. (არ დაივიწყოთ ტესტირების გარემოს ტექნიკური შეზღუდვები!). ამოცანების ტიპის განსაზღვრისა და დაზუსტების შემდეგ გვაქვს მზა ტექნიკური დაზუსტება ექსპერტისთვის. შეგიძლიათ მას უწოდოთ ტესტის სპეციფიკაცია.

რაკი 3: ტესტის შემუშავებაში ექსპერტის არ ჩართვა

ტესტის შემუშავებაში ექსპერტის ჩაძირვისას ძალიან მნიშვნელოვანია არა მხოლოდ მისთვის მინიშნება „სამუშაო ფარგლები“, არამედ მისი ჩართვა თავად განვითარების პროცედურაში.

როგორ გავხადოთ პროფესიონალთან მუშაობა მაქსიმალურად ეფექტური:

• დააყენეთ ის წინასწარ და დაუთმეთ გარკვეული დრო ტესტების განვითარების მეცნიერებასა და ფსიქომეტრიაზე საუბარს.
• ფოკუსირება მოახდინე შემფასებლის ყურადღება მართებული და სანდო შეფასების ინსტრუმენტის შექმნაზე და არა კითხვების ჩამონათვალზე.
• აუხსენით, რომ მისი მუშაობა მოიცავს მოსამზადებელ ეტაპს და არა მხოლოდ თავად ამოცანების შემუშავებას.

ზოგიერთმა ექსპერტმა (მათი ბუნებიდან გამომდინარე) შეიძლება აღიქვას ეს, როგორც საკუთარი სამუშაოს გამოცდა და ჩვენ ვუხსნით მათ, რომ მაშინაც კი, თუ ჩვენ შევქმნით შესანიშნავ დავალებებს, ისინი შეიძლება უბრალოდ არ მოერგოს ტესტირების კონკრეტულ მიზნებს.

იმისთვის, რომ პროცესი სწრაფად წარიმართოს, ექსპერტთან ერთად ვამზადებთ თემის გაშუქების ცხრილს (ცოდნისა და უნარების შესახებ), რომელიც ტესტის სპეციფიკაციის ნაწილია. სწორედ ეს ცხრილი გვაძლევს საშუალებას ზუსტად დავამუშაოთ კითხვები და განვსაზღვროთ რას გავზომავთ. თითოეულ კონკრეტულ შემთხვევაში ის შეიძლება ოდნავ განსხვავებულად იყოს შედგენილი. ჩვენი ამოცანაა შევამოწმოთ რამდენად კარგად ესმის ადამიანს წინა, საბაზისო კურსების ცოდნა და უნარები, რათა გავიგოთ, რამდენად მზადაა ახალ კურსზე სწავლისთვის.

რაკი 4: ფიქრობთ, რომ ექსპერტმა „ყველაზე კარგად იცის“

უკეთ იცის საგანი. მაგრამ ის ყოველთვის არ ხსნის ნათლად. ძალიან მნიშვნელოვანია დავალების ფორმულირების შემოწმება. დაწერეთ მკაფიო ინსტრუქციები, მაგალითად, „აირჩიე 1 სწორი ვარიანტი“. შემთხვევების 90%-ში ექსპერტები ამზადებენ კითხვებს ისე, როგორც თავად ესმით. და ეს კარგია. მაგრამ სანამ გამოცდას ჩააბარებთ მათ, ვინც მას ჩააბარებს, ყველაფერი უნდა შემოწმდეს და გადავარცხნოთ, რათა გამოცდაზე მყოფებმა ზუსტად გაიგონ, რა მოეთხოვებათ მათ და არ დაუშვან შეცდომები მხოლოდ იმიტომ, რომ შესაძლოა არასწორი ინტერპრეტაცია გაუკეთონ დავალების ტექსტს.

ამოცანების ორმაგი ინტერპრეტაციის თავიდან ასაცილებლად, ჩვენ ვატარებთ „შემეცნებით ლაბორატორიებს“. სამიზნე აუდიტორიის ადამიანებს ვთხოვთ, გაიარონ ტესტი, ხმამაღლა თქვან რას ფიქრობენ და დეტალურად ჩაიწერონ. "კოგნიტურ ლაბორატორიებში" შეგიძლიათ "დაიჭიროთ" გაუგებარი კითხვები, ცუდი ფორმულირება და მიიღოთ პირველი გამოხმაურება ტესტზე.

Rake 5: უგულებელყოთ ტესტის შესრულების დრო

სარკაზმის რეჟიმი: ჩართულია
რა თქმა უნდა, ჩვენი ტესტი საუკეთესოა, მის ჩაბარებაზე ყველა ოცნებობს! დიახ, მთელი 4 საათი.
სარკაზმის რეჟიმი: გამორთულია

როცა არის ყველაფრის ჩამონათვალი, რისი შემოწმებაც შესაძლებელია, მთავარია ეს არ გააკეთოთ (ერთი შეხედვით უცნაურად ჟღერს, არა?). თქვენ გჭირდებათ დაუნდობლად გაჭრა, ძირითადი ცოდნისა და უნარების იდენტიფიცირება ექსპერტთან (დიახ, მთელი რიგი უნარების ტესტირება შესაძლებელია ტესტშიც). ჩვენ ვუყურებთ დავალებების ტიპს და ვაფასებთ მიზნის შესრულების დროს: თუ ყველაფერი ჯერ კიდევ გონივრულ ლიმიტებზე მეტია, ჩვენ ვჭრით მას!

ხმის შესამცირებლად, ასევე შეგიძლიათ სცადოთ (ფრთხილად) გამოცადოთ ორი უნარი ერთ ამოცანაში. ამ შემთხვევაში ძნელია იმის გაგება, თუ რატომ დაუშვა ადამიანმა შეცდომა, მაგრამ თუ სწორად გაკეთდა, ორივე უნარების გათვალისწინება შეიძლება. მნიშვნელოვანია დარწმუნდეთ, რომ ეს 2 უნარი შეესაბამება ცოდნის იმავე სფეროს.

რეიკი 6: არ ვფიქრობ ქულების სისტემით

ხშირად შეფასების ტესტების შედგენისას იყენებენ კლასიკურ ქულების სისტემას, მაგალითად, 1 ქულას მარტივი ამოცანებისთვის და 2 ქულას რთული. მაგრამ ეს არ არის უნივერსალური. მხოლოდ ტესტის შედეგებზე დაფუძნებული ქულების ჯამი ბევრს არ გვეტყვის: ჩვენ არ ვიცით, რომელ დავალებებზე მიიღეს ეს ქულები და შეგვიძლია მხოლოდ სწორი დავალების რაოდენობის დადგენა. ჩვენ ზუსტად უნდა გავიგოთ, რა უნარების დემონსტრირებას ახდენენ გამოცდის მონაწილეები. გარდა ამისა, ჩვენ გვინდა მივცეთ მათ გამოხმაურება, თუ რომელი თემებია საჭირო გაუმჯობესება.

ბოლოს და ბოლოს, ჩვენ ვაკეთებთ ტესტს, რომელიც დაყოფს ადამიანებს, ვინც მზად არის და ვინც არ არის მზად პროგრამის დასასრულებლად, ზოგიერთს ვურჩევთ კურსისთვის მოემზადონ უფასო ტრენინგის საშუალებით. ჩვენთვის მნიშვნელოვანია, რომ ამ ჯგუფში შედიოდნენ მხოლოდ ისინი, ვისაც ეს ნამდვილად სჭირდება და მზადაა ამისთვის.

რას ვაკეთებთ ჩვენს სიტუაციაში: ტესტის შემქმნელთა სამუშაო ჯგუფის ფარგლებში განვსაზღვრავთ ადამიანთა რომელი ჯგუფის იდენტიფიცირებას საჭიროებს (მაგალითად, სწავლისთვის მზად, ნაწილობრივ მზად) და ვაყალიბებთ ასეთი ჯგუფების მახასიათებლების ცხრილს, სადაც მითითებულია რა უნარები და ცოდნა. შესაბამისი იქნება სწავლისთვის მზად ტრენინგის ჯგუფისთვის. ამ გზით თქვენ შეგიძლიათ ჩამოაყალიბოთ დავალებების „სირთულე“ ასეთი ტესტებისთვის.

Rake 7: შეაფასეთ შედეგები მხოლოდ ავტომატურად

რა თქმა უნდა, შეფასება მაქსიმალურად ობიექტური უნდა იყოს, ამიტომ სტუდენტების ზოგიერთი მასალა ფასდება ავტომატურად, „გასაღებით“ - სწორ პასუხებთან შედარებით. მაშინაც კი, თუ არ არსებობს სპეციალური ტესტირების სისტემა, არსებობს უამრავი უფასო გადაწყვეტა. და თუ გესმით სკრიპტების წერის პრინციპები, მაშინ შეგიძლიათ გააკეთოთ ის, რაც გსურთ Google-ის ფორმებით და ცხრილების შედეგებით. თუ ზოგიერთი დავალება შემოწმდება ექსპერტების მიერ, მაშინ უნდა ვიფიქროთ ექსპერტებისთვის პასუხების მიწოდებაზე, გამოცდის მონაწილეთა შესახებ ინფორმაციის გარეშე. და იფიქრეთ იმაზე, თუ როგორ ჩართოთ ექსპერტის ტესტირების შედეგები საბოლოო შეფასებაში.

თავიდან გვინდოდა რამდენიმე ღია დავალების გაკეთება კოდით, სადაც ექსპერტები აფასებენ გადაწყვეტილებებს წინასწარ ჩამოყალიბებული კრიტერიუმების საფუძველზე და მოვამზადეთ სისტემაც, რომელიც გამოცდის მონაწილეთაგან ინდივიდუალურ პასუხებს ექსპორტს ახორციელებს ექსპერტებისთვის სპეციალურ მაგიდაზე, შემდეგ კი შედეგებს შემოაქვს მასში. ცხრილი შეფასების გამოთვლებით. მაგრამ სამიზნე აუდიტორიის წარმომადგენლებთან, პროდუქტის მენეჯერთან და საგანმანათლებლო დიზაინერთან განხილვის შემდეგ, ჩვენ ვიგრძენით, რომ ტექნიკური ინტერვიუს ჩატარება ექსპერტთა მყისიერი გამოხმაურებით და კოდის განხილვით, ისევე როგორც ცალკეული საკითხები, ბევრად უფრო ეფექტური და სასარგებლო იქნებოდა თავად მონაწილეებისთვის. .

ახლა ექსპერტი ამოწმებს ტესტის დასრულებას, აზუსტებს რამდენიმე კითხვას. ამისათვის ჩვენ მოვამზადეთ ტექნიკური გასაუბრების კითხვებისა და შეფასების კრიტერიუმების სახელმძღვანელო. ტექნიკური გასაუბრების წინ გამომცდელი იღებს გამოცდის ჩამბარებლის პასუხების რუკას, რათა დაეხმაროს მას დასვას კითხვების შერჩევაში.

რაკი 8: ნუ ახსნით ტესტის შედეგებს

მონაწილეებისთვის უკუკავშირის მიწოდება ცალკე საკითხია. ჩვენ არა მხოლოდ უნდა ვაცნობოთ ტესტის ქულის შესახებ, არამედ მივაწოდოთ ტესტის შედეგების გაგება.
ეს შეიძლება იყოს: 

• დავალებები, რომელშიც მონაწილემ დაუშვა შეცდომა და რომელიც მან სწორად დაასრულა.
• თემები, რომლებშიც მონაწილემ დაუშვა შეცდომები.
• მისი რეიტინგი გამოცდაზე მიმღებთა შორის.
• მონაწილის დონის აღწერა, მაგალითად, სპეციალისტის დონის აღწერილობის შესაბამისად (ვაკანსიების აღწერის საფუძველზე).

ჩვენი ტესტის საპილოტე დაწყებისას, პროგრამაში ჩარიცხვის მსურველებს, შედეგებთან ერთად, ვაჩვენეთ იმ თემების სია, რომლებიც საჭიროებდა გაუმჯობესებას. მაგრამ ეს ნამდვილად არ არის იდეალური, ჩვენ გავაუმჯობესებთ და უკეთეს გამოხმაურებას მივაწოდებთ.

Rake 9: არ განიხილოთ ტესტი დეველოპერებთან

შესაძლოა, ყველაზე მკვეთრი საკომისიო, რომლის გადადგმაც განსაკუთრებით უსიამოვნოა, არის ტესტის, აღწერილობისა და ქულების მასშტაბის გაგზავნა დეველოპერებისთვის „როგორც არის“.
კონკრეტულად რაზეა საუბარი:

• კითხვების გარეგნობა, სტრუქტურა, გრაფიკის პოზიცია, როგორ გამოიყურება სწორი პასუხის არჩევანი.
• როგორ გამოითვლება ქულა (საჭიროების შემთხვევაში), არის თუ არა დამატებითი პირობები.
• როგორ იქმნება გამოხმაურება, სად მივიღოთ ტექსტები, არის თუ არა დამატებითი ავტომატურად გენერირებული ბლოკები.
• რა დამატებითი ინფორმაციის შეგროვება გჭირდებათ და რა მომენტში (იგივე კონტაქტები).

გაუგებრობების თავიდან ასაცილებლად, ჩვენ ვთხოვთ ჩვენს დეველოპერებს დააკოდირონ 2 ან 3 განსხვავებული შეკითხვა, რათა მათ დაინახონ როგორები არიან ისინი თავად ტესტის კოდირებამდე.

Rake 10: ტესტირების გარეშე, ატვირთეთ პირდაპირ წარმოებაში

3-ჯერ ბიჭებო, ტესტი 3-ჯერ უნდა შემოწმდეს სხვადასხვა ადამიანმა, უფრო სწორად, 3-ჯერ, ეს სიმართლე მიღებულია სისხლით, ოფლით და კოდის ხაზების პიქსელებით.

ჩვენი ტესტი ამოწმებს შემდეგ სამეულს:

1. პროდუქტი - ამოწმებს ტესტს შესრულებაზე, გარეგნობაზე, მექანიკაზე.
2. ტესტის შემქმნელი - ამოწმებს დავალებების ტექსტს, მათ თანმიმდევრობას, ტესტთან მუშაობის ფორმას, დავალებების ტიპებს, სწორ პასუხებს, წაკითხულობას და გრაფიკის ნორმალურ ყურებას.
3. ამოცანების ავტორი (ექსპერტი) ამოწმებს ტესტის ერთგულებას ექსპერტის პოზიციიდან.

მაგალითი პრაქტიკიდან: მხოლოდ მესამე პერსპექტივაში, ამოცანების ავტორმა დაინახა, რომ 1 დავალება დარჩა ფორმულირების ძველ ვერსიაში. ყველა წინანდელიც აქტიურად მართავდა. მაგრამ როდესაც ტესტი კოდირებული იყო, ის სხვანაირად გამოიყურებოდა, ვიდრე თავდაპირველად წარმოედგინა. დიდი ალბათობით, რაღაცის კორექტირება მოუწევს. ეს გასათვალისწინებელია.

სულ

ყველა ამ „რაკის“ ფრთხილად გვერდის ავლით, ჩვენ შევქმენით სპეციალური ბოტი Telegram-ში, აპლიკანტთა ცოდნის შესამოწმებლად. ნებისმიერ მსურველს შეუძლია შეამოწმოს ის, სანამ ჩვენ ვამზადებთ შემდეგ მასალას, რომელშიც გეტყვით რა მოხდა ბოტის შიგნით და რაში გარდაიქმნა ეს ყველაფერი მოგვიანებით.

თქვენ შეგიძლიათ მიიღოთ მოთხოვნადი პროფესია ნულიდან ან კვალიფიკაციისა და ხელფასის თვალსაზრისით, SkillFactory ონლაინ კურსების გავლით:

• მანქანათმცოდნეობის კურსი (12 კვირა)
• დამატებითი კურსი "Machine Learning Pro + Deep Learning" (20 კვირა)
• კურსი "მათემატიკა და მანქანათმცოდნეობა მონაცემთა მეცნიერებისთვის" (20 კვირა)
• მონაცემთა მეცნიერების პროფესიის სწავლება ნულიდან (12 თვე)

მეტი კურსები

• მონაცემთა მეცნიერების პროფესიის სწავლება ნულიდან (12 თვე)
• მონაცემთა მეცნიერების ონლაინ Bootcamp (14 კვირა)
• მონაცემთა ანალიტიკა ონლაინ Bootcamp (5 კვირა)
• ანალიტიკოსის პროფესია ნებისმიერი საწყისი დონის (18 თვე)
• მონაცემთა ანალიზის კურსი (6 თვე)
• DevOps კურსი (12 თვე)
• პროფესია ვებ დეველოპერი (8 თვე)
• Python ვებ განვითარების კურსი (9 თვე)
• ოკუპაცია iOS დეველოპერი ნულიდან (12 თვე)
• Android-ის დეველოპერი ნულიდან (18 თვე)
• ჯავის დეველოპერი ნულიდან (18 თვე)
• JavaScript კურსი (12 თვე)
• პროფესია UX დიზაინერი ნულიდან (9 თვე)
• პროფესია ვებ დიზაინერი (7 თვე)

წყარო: www.habr.com