{"id":95924,"date":"2020-10-05T01:42:16","date_gmt":"2020-10-04T23:42:16","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij"},"modified":"2020-10-05T01:42:16","modified_gmt":"2020-10-04T23:42:16","slug":"progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij","title":{"rendered":"Spacer po grabach: 10 krytycznych b\u0142\u0119d\u00f3w w testach wiedzy","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/skillfactory\/blog\/519748\/\"><img decoding=\"async\" alt=\"Spacer po grabach: 10 krytycznych b\u0142\u0119d\u00f3w w testach wiedzy\" src=\"\/wp-content\/uploads\/2020\/10\/e3547e90a2a706eaf5c29ea9498a1331.jpeg\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><br \/>\nPrzed zapisaniem si\u0119 na nowy kurs Machine Learning Advanced testujemy przysz\u0142ych student\u00f3w, aby okre\u015bli\u0107 ich poziom gotowo\u015bci i zrozumie\u0107, co dok\u0142adnie musimy im zaproponowa\u0107 w celu przygotowania do kursu. Jednak\u017ce pojawia si\u0119 dylemat: z jednej strony musimy sprawdzi\u0107 wiedz\u0119 z zakresu Data Science, z drugiej \u2014 nie mo\u017cemy zorganizowa\u0107 pe\u0142nowymiarowego 4-godzinnego egzaminu.<\/p>\n<p>Aby rozwi\u0105za\u0107 ten problem, uruchomili\u015bmy zesp\u00f3\u0142 TestDev bezpo\u015brednio w zespole opracowuj\u0105cym kursy z zakresu Data Science (i wydaje si\u0119, \u017ce to dopiero pocz\u0105tek). Przedstawiamy list\u0119 10 \u201epu\u0142apek\u201d, w kt\u00f3re mo\u017cna wpa\u015b\u0107 podczas opracowywania test\u00f3w oceniaj\u0105cych wiedz\u0119. Mamy nadziej\u0119, \u017ce \u015bwiat kszta\u0142cenia online po tym stanie si\u0119 troch\u0119 lepszy.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Pu\u0142apka 1: Nie okre\u015bli\u0107 jasno cel\u00f3w testowania<\/h2>\n<p>\nAby w\u0142a\u015bciwie okre\u015bli\u0107 cele i stworzy\u0107 test, kt\u00f3ry je uwzgl\u0119dni, na etapie planowania musimy odpowiedzie\u0107 sobie na kilka pyta\u0144:<\/p>\n<ol>\n<li>Co dok\u0142adnie sprawdzamy?\u00a0<\/li>\n<li>W jakim \u015brodowisku b\u0119dzie odbywa\u0107 si\u0119 testowanie i jakie mechaniki s\u0105 u\u017cywane? Jakie s\u0105 ograniczenia w tym \u015brodowisku? Ten punkt pozwoli r\u00f3wnie\u017c zrozumie\u0107 wymagania techniczne dotycz\u0105ce urz\u0105dzenia, na kt\u00f3rym b\u0119dzie przeprowadzane testowanie, a tak\u017ce dotycz\u0105ce tre\u015bci (je\u015bli test jest przeprowadzany na telefonach, obrazy musz\u0105 by\u0107 czytelne nawet na ma\u0142ym ekranie, powinno by\u0107 mo\u017cliwe ich powi\u0119kszenie itd.).<\/li>\n<li>Ile czasu b\u0119dzie trwa\u0142o testowanie? Nale\u017cy przemy\u015ble\u0107, w jakich warunkach u\u017cytkownik b\u0119dzie odbywa\u0142 test. Czy mo\u017ce zaistnie\u0107 sytuacja, w kt\u00f3rej b\u0119dzie musia\u0142 przerwa\u0107 proces testowania, a nast\u0119pnie wznowi\u0107 go?<\/li>\n<li>Czy b\u0119dzie zapewniona informacja zwrotna? Jak j\u0105 formu\u0142ujemy i dostarczamy? Co jest potrzebne do jej uzyskania? Czy istnieje odst\u0119p czasowy mi\u0119dzy wykonaniem testu a informacj\u0105 zwrotn\u0105?<\/li>\n<\/ol>\n<p>\nW naszym przypadku, odpowiadaj\u0105c na te pytania, okre\u015blili\u015bmy dla testu nast\u0119puj\u0105cy zestaw cel\u00f3w:<\/p>\n<ol>\n<li>Test powinien pokaza\u0107, czy przyszli studenci s\u0105 gotowi do uczestnictwa w kursie, czy maj\u0105 wystarczaj\u0105c\u0105 wiedz\u0119 i umiej\u0119tno\u015bci.<\/li>\n<li>Test powinien dostarczy\u0107 nam materia\u0142u do informacji zwrotnej, wskazuj\u0105c temat, w kt\u00f3rym studenci pope\u0142nili b\u0142\u0105d, aby mogli poprawi\u0107 swoje umiej\u0119tno\u015bci. Jak go stworzy\u0107 \u2014 opisujemy dalej.<\/li>\n<\/ol>\n<p><\/p>\n<h2>Pu\u0142apka 2: Nie stworzy\u0107 specyfikacji dla eksperta \u2014 tw\u00f3rcy testu<\/h2>\n<p>\nAby stworzy\u0107 zadania testowe, bardzo wa\u017cne jest zaanga\u017cowanie eksperta w danej dziedzinie, kt\u00f3rej wiedza jest weryfikowana. Ekspert potrzebuje z kolei dobrze sformu\u0142owanego briefu (opisu), kt\u00f3ry b\u0119dzie zawiera\u0142 tematy testu, wiedz\u0119\/umiej\u0119tno\u015bci do sprawdzenia oraz ich poziom. <\/p>\n<p>Ekspert sam nie stworzy takiego briefu, poniewa\u017c jego zadaniem jest wymy\u015blenie zada\u0144, a nie struktura testu. Co wi\u0119cej, niewielu jeszcze rozwija testy profesjonalnie, nawet w trakcie nauczania. Na to ucz\u0105 w oddzielnym zawodzie \u2013 psychometrii.<\/p>\n<p><i>Je\u015bli chcesz szybko zapozna\u0107 si\u0119 z psychometri\u0105, to w Rosji istnieje<noindex><a rel=\"nofollow\" href=\"https:\/\/letnyayashkola.org\/testovaya\/\"> letnia szko\u0142a<\/a><\/noindex> dla wszystkich zainteresowanych. Dla bardziej zaawansowanego wykszta\u0142cenia w Instytucie Edukacji oferowane s\u0105 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.hse.ru\/ma\/psyedu\/\">studia magisterskie<\/a><\/noindex> i doktoranckie.<\/i><\/p>\n<p>Przygotowuj\u0105c brief, zbieramy szczeg\u00f3\u0142owy opis testu dla eksperta (a najlepiej razem z nim): tematy zada\u0144, typ zada\u0144, ich liczba.<\/p>\n<p>Jak wybra\u0107 typ zada\u0144: ustalaj\u0105c tematy, decydujemy, jakimi zadaniami mo\u017cna to najlepiej zweryfikowa\u0107. Klasyczne opcje to: zadanie z otwart\u0105 odpowiedzi\u0105, zadanie z wieloma lub jednym wyborem, dopasowania, itp. (nie zapominajmy o technicznych ograniczeniach \u015brodowiska, w kt\u00f3rym przeprowadzane jest testowanie!). Po ustaleniu i zapisaniu typu zada\u0144 mamy gotowy brief dla eksperta. Mo\u017cna go nazwa\u0107 specyfikacj\u0105 testu.<\/p>\n<h2>Pu\u0142apka 3: Nie zaanga\u017cowa\u0107 eksperta w rozw\u00f3j testu<\/h2>\n<p>\nPodczas anga\u017cowania eksperta w rozw\u00f3j testu, bardzo wa\u017cne jest, aby nie tylko okre\u015bli\u0107 mu \"zakres prac\", ale r\u00f3wnie\u017c zaanga\u017cowa\u0107 go w sam\u0105 procedur\u0119 rozwoju.<\/p>\n<p>Jak sprawi\u0107, aby wsp\u00f3\u0142praca z ekspertem by\u0142a maksymalnie efektywna:<\/p>\n<ul>\n<li>Z g\u00f3ry nastawi\u0107 go i po\u015bwi\u0119ci\u0107 troch\u0119 czasu na opowiedzenie o nauce tworzenia test\u00f3w, psychometrii.<\/li>\n<li>Skupi\u0107 uwag\u0119 eksperta na stworzeniu wa\u017cnego i niezawodnego narz\u0119dzia oceny, a nie tylko listy pyta\u0144.<\/li>\n<li>Wyja\u015bni\u0107, \u017ce jego praca obejmuje r\u00f3wnie\u017c etap przygotowawczy, a nie tylko opracowywanie samych zada\u0144.<\/li>\n<\/ul>\n<p>\nNiekt\u00f3rzy eksperci (z powodu swojego charakteru) mog\u0105 postrzega\u0107 to jako sprawdzanie w\u0142asnej pracy, i dla nich wyja\u015bniamy, \u017ce nawet przy tworzeniu doskona\u0142ych zada\u0144, mog\u0105 one po prostu nie pasowa\u0107 do konkretnych cel\u00f3w testowania.<\/p>\n<p>Aby proces przebieg\u0142 sprawnie, przygotowujemy z ekspertem tabel\u0119 pokrycia temat\u00f3w (wiedzy i umiej\u0119tno\u015bci), kt\u00f3ra jest cz\u0119\u015bci\u0105 specyfikacji testu. To w\u0142a\u015bnie ta tabela pozwala dok\u0142adnie opracowa\u0107 pytania i okre\u015bli\u0107, co b\u0119dziemy mierzy\u0107. W ka\u017cdym konkretnym przypadku mo\u017ce by\u0107 ona skonstruowana nieco inaczej. Naszym zadaniem jest sprawdzenie, jak dobrze osoba orientuje si\u0119 w wiedzy i umiej\u0119tno\u015bciach z wcze\u015bniejszych, podstawowych kurs\u00f3w, aby zrozumie\u0107, na ile jest gotowa do nauki na nowym kursie. <\/p>\n<h2>Pu\u0142apka 4: My\u015blenie, \u017ce ekspert \"wie lepiej\"<\/h2>\n<p>\nZna przedmiot lepiej. Ale nie zawsze jasno to t\u0142umaczy. Bardzo wa\u017cne jest, aby sprawdzi\u0107 sformu\u0142owania zada\u0144. Napisa\u0107 zrozumia\u0142e instrukcje, na przyk\u0142ad: \u201eWybierz 1 poprawn\u0105 opcj\u0119\u201d. W 90% przypadk\u00f3w eksperci przygotowuj\u0105 pytania tak, jak sami je rozumiej\u0105. I to jest w porz\u0105dku. Ale przed przekazaniem testu osobom, kt\u00f3re b\u0119d\u0105 go zdawa\u0107, trzeba wszystko sprawdzi\u0107 i uporz\u0105dkowa\u0107, aby osoby zdaj\u0105ce test dok\u0142adnie wiedzia\u0142y, co od nich oczekiwano, i nie pope\u0142ni\u0142y b\u0142\u0119d\u00f3w tylko dlatego, \u017ce mog\u0142y b\u0142\u0119dnie zinterpretowa\u0107 tekst zadania.<\/p>\n<p>Aby unikn\u0105\u0107 podw\u00f3jnych interpretacji zada\u0144, przeprowadzamy \"laboratoria poznawcze\". Prosimy osoby z grupy docelowej o zdanie testu, na g\u0142os m\u00f3wi\u0105c, co my\u015bl\u0105, i szczeg\u00f3\u0142owo to zapisujemy. Na \u201elaboratoriach poznawczych\u201d mo\u017cna \u201ewy\u0142apa\u0107\u201d niejasne pytania, s\u0142abe sformu\u0142owania i uzyska\u0107 pierwsz\u0105 informacj\u0119 zwrotn\u0105 na temat testu.<\/p>\n<h2>Pu\u0142apka 5: Nie uwzgl\u0119dnianie czasu na wykonanie testu<\/h2>\n<blockquote><p>tryb sarkazmu: w\u0142\u0105czony<br \/>\nOczywi\u015bcie nasz test jest najlepszy, wszyscy marz\u0105 o jego zdaniu! Tak, wszystkie 4 godziny.<br \/>\ntryb sarkazmu: wy\u0142\u0105czony\n<\/p><\/blockquote>\n<p>Gdy jest lista wszystkiego, co mo\u017cna sprawdzi\u0107, najwa\u017cniejsze jest, aby tego nie robi\u0107 (na pierwszy rzut oka brzmi to dziwnie, prawda?). Nale\u017cy bezlito\u015bnie ci\u0119\u0107, wyr\u00f3\u017cniaj\u0105c z ekspertem kluczowe wiedze i umiej\u0119tno\u015bci (tak, pewne umiej\u0119tno\u015bci r\u00f3wnie\u017c mo\u017cna sprawdzi\u0107 w te\u015bcie). Patrzymy na typ zada\u0144 i szacujemy docelowy czas wykonania: je\u015bli nadal przekracza rozs\u0105dne granice \u2014 tnijemy!<\/p>\n<p>Aby zmniejszy\u0107 obj\u0119to\u015b\u0107, mo\u017cna tak\u017ce spr\u00f3bowa\u0107 (ostro\u017cnie) sprawdzi\u0107 dwie umiej\u0119tno\u015bci jednym zadaniem. W tym przypadku trudno zrozumie\u0107, dlaczego osoba si\u0119 pomyli\u0142a, ale przy prawid\u0142owym wykonaniu mo\u017cna uwzgl\u0119dni\u0107 obie umiej\u0119tno\u015bci. Wa\u017cne jest, aby upewni\u0107 si\u0119, \u017ce te 2 umiej\u0119tno\u015bci nale\u017c\u0105 do jednej dziedziny wiedzy. <\/p>\n<h2>Pu\u0142apka 6: Nie przemy\u015blenie systemu przyznawania punkt\u00f3w<\/h2>\n<p>\nCz\u0119sto przy tworzeniu test\u00f3w oceniaj\u0105cych stosuje si\u0119 klasyczny system oceniania w punktach, na przyk\u0142ad 1 punkt za \u0142atwe zadania i 2 punkty za trudne. Jednak nie jest on uniwersalny. Po prostu suma punkt\u00f3w na koniec testowania niewiele nam powie: nie wiemy, za jakie zadania te punkty zosta\u0142y przyznane i mo\u017cemy jedynie okre\u015bli\u0107 liczb\u0119 poprawnych zada\u0144. Potrzebujemy dok\u0142adnego zrozumienia, jakie umiej\u0119tno\u015bci demonstruj\u0105 uczestnicy testu. Ponadto chcemy da\u0107 im feedback, jakie tematy nale\u017cy przyswoi\u0107.<\/p>\n<p>W ko\u0144cu tworzymy test, kt\u00f3ry b\u0119dzie dzieli\u0142 ludzi na gotowych i niegotowych do odbycia programu; niekt\u00f3rym b\u0119dziemy sugerowa\u0107 przygotowanie si\u0119 do kursu na bezp\u0142atnym szkoleniu. Wa\u017cne jest dla nas, aby do tej grupy trafili tylko ci, kt\u00f3rzy naprawd\u0119 tego potrzebuj\u0105 i kt\u00f3rzy s\u0105 do tego gotowi.<\/p>\n<p>Co robimy w naszej sytuacji: okre\u015blamy w ramach zespo\u0142u roboczego, kt\u00f3re grupy ludzi powinny zosta\u0107 wyr\u00f3\u017cnione (na przyk\u0142ad gotowi do nauki, cz\u0119\u015bciowo gotowi) i tworzymy tabel\u0119 charakterystyk takich grup, wskazuj\u0105c, jakie umiej\u0119tno\u015bci i wiedza b\u0119d\u0105 istotne dla grupy gotowych do nauki. W ten spos\u00f3b mo\u017cna formu\u0142owa\u0107 \u201etrudno\u015b\u0107\u201d zada\u0144 dla podobnych test\u00f3w.<\/p>\n<h2>S\u0142aba strona 7: Ocenianie wynik\u00f3w tylko automatycznie<\/h2>\n<p>\nOczywi\u015bcie, ocena powinna by\u0107 jak najbardziej obiektywna, dlatego cz\u0119\u015b\u0107 materia\u0142\u00f3w student\u00f3w ocenia si\u0119 automatycznie, \u201ewed\u0142ug kluczy\u201d \u2014 por\u00f3wnuj\u0105c z poprawnymi odpowiedziami. Nawet je\u015bli nie ma specjalnego systemu testowania, s\u0105 masy darmowych rozwi\u0105za\u0144. A je\u015bli ma si\u0119 wiedz\u0119 na temat pisania skrypt\u00f3w, to z formularzami Google i wynikami w tabelach mo\u017cna zrobi\u0107 wszystko. Je\u015bli cz\u0119\u015b\u0107 zada\u0144 oceniaj\u0105 eksperci, musimy przemy\u015ble\u0107 spos\u00f3b dostarczenia odpowiedzi ekspertom, bez informacji o zdaj\u0105cych. I zastanowi\u0107 si\u0119, jak zintegrowa\u0107 wyniki oceny ekspert\u00f3w w ko\u0144cowej ocenie.<\/p>\n<p>Pocz\u0105tkowo chcieli\u015bmy stworzy\u0107 kilka otwartych zada\u0144 z kodem, w kt\u00f3rych eksperci oceniaj\u0105 rozwi\u0105zania wed\u0142ug wcze\u015bniej ustalonych kryteri\u00f3w. Przygotowali\u015bmy nawet system, kt\u00f3ry eksportuje indywidualne odpowiedzi uczestnik\u00f3w testowania do specjalnej tabeli dla ekspert\u00f3w, a potem importuje wyniki do tabeli z obliczeniami ocen. Jednak po rozmowach z przedstawicielami grupy docelowej, mened\u017cerem produktu i projektantem e-learningu, uznali\u015bmy, \u017ce przeprowadzenie technicznego wywiadu z natychmiastowym feedbackiem eksperta i dyskusj\u0105 na temat kodu, a tak\u017ce poszczeg\u00f3lnych pyta\u0144, b\u0119dzie znacznie bardziej efektywne i korzystne dla samych uczestnik\u00f3w. <\/p>\n<p>Teraz ekspert weryfikuje zaliczenie testu, wyja\u015bniaj\u0105c niekt\u00f3re pytania. W tym celu przygotowali\u015bmy przewodnik pyta\u0144 oraz kryteria oceniania dla wywiadu technicznego. Przed wywiadem technicznym ekspert otrzymuje map\u0119 odpowiedzi uczestnika testu, aby wybra\u0107 pytania, kt\u00f3re warto zada\u0107.<\/p>\n<h2>Pu\u0142apka 8: Nie t\u0142umaczy\u0107 wynik\u00f3w testowania<\/h2>\n<p>\nPrzekazanie informacji zwrotnej uczestnikom to osobny temat. Musimy nie tylko poinformowa\u0107 o wyniku testu, ale tak\u017ce da\u0107 zrozumienie wynik\u00f3w testu.<br \/>\nMog\u0105 to by\u0107:\u00a0<\/p>\n<ul>\n<li>Zadania, w kt\u00f3rych uczestnik si\u0119 pomyli\u0142, ale kt\u00f3re wykona\u0142 poprawnie.<\/li>\n<li>Tematy, w kt\u00f3rych uczestnik pope\u0142ni\u0142 b\u0142\u0119dy.<\/li>\n<li>Jego ranking w\u015br\u00f3d zdaj\u0105cych egzamin.<\/li>\n<li>Opis poziomu uczestnika, zgodnie z opisem poziomu specjalist\u00f3w (na podstawie opisu ofert pracy).<\/li>\n<\/ul>\n<p>\nPodczas pilota\u017cowego uruchomienia naszego testu, osobom, kt\u00f3re chcia\u0142y aplikowa\u0107 do programu, pokazywali\u015bmy list\u0119 temat\u00f3w, kt\u00f3re trzeba poprawi\u0107, razem z wynikami. Oczywi\u015bcie to nie jest idea\u0142, b\u0119dziemy doskonali\u0107 si\u0119 i poprawia\u0107 feedback.<\/p>\n<h2>Pu\u0142apka 9: Nie dyskutowa\u0107 o te\u015bcie z programistami<\/h2>\n<p>\nBy\u0107 mo\u017ce najbardziej dotkliw\u0105 pu\u0142apk\u0105, na kt\u00f3r\u0105 szczeg\u00f3lnie nieprzyjemnie si\u0119 wpada, jest wys\u0142anie programistom testu, opisu i skali oceniania w stanie 'jak jest'.<br \/>\nCo dok\u0142adnie wymaga om\u00f3wienia:<\/p>\n<ul>\n<li>Wygl\u0105d pyta\u0144, struktura, uk\u0142ad grafik, jak wygl\u0105da wyb\u00f3r poprawnej odpowiedzi.<\/li>\n<li>Jak obliczany jest wynik (je\u015bli jest potrzebny), czy nie ma dodatkowych warunk\u00f3w.<\/li>\n<li>Jak formu\u0142owana jest informacja zwrotna, gdzie bra\u0107 teksty, czy nie ma dodatkowych, automatycznie generowanych blok\u00f3w.<\/li>\n<li>Jakie dodatkowe informacje nale\u017cy zbiera\u0107 i w kt\u00f3rym momencie (na przyk\u0142ad te same kontakty).<\/li>\n<\/ul>\n<p>\nAby unikn\u0105\u0107 nieporozumie\u0144, prosimy naszych programist\u00f3w o zakodowanie 2 lub 3 r\u00f3\u017cnych pyta\u0144, aby mo\u017cna by\u0142o zobaczy\u0107, jak wygl\u0105daj\u0105 przed zaprogramowaniem w\u0142a\u015bciwego testu.<\/p>\n<h2>B\u0142\u0105d 10: Nie testowa\u0107 i od razu wdra\u017ca\u0107 na produkcj\u0119<\/h2>\n<p>\n3 razy, panowie, testy powinny by\u0107 sprawdzane 3 razy przez r\u00f3\u017cnych ludzi, a najlepiej \u2014 ka\u017cdy 3 razy. Ta prawda zosta\u0142a wypracowana za cen\u0119 krwi, potu i pikseli linii kodu. <\/p>\n<p>Nasz test sprawdza takie trio:<\/p>\n<ol>\n<li>Product \u2014 sprawdza dzia\u0142anie testu, wygl\u0105d, mechaniki.<\/li>\n<li>Tw\u00f3rca testu \u2014 sprawdza teksty zada\u0144, ich kolejno\u015b\u0107, spos\u00f3b pracy z testem, typy zada\u0144, poprawne odpowiedzi, czytelno\u015b\u0107 i poprawny wy\u015bwietlacz grafiki.<\/li>\n<li>Autor zada\u0144 (ekspert) \u2014 sprawdza test pod k\u0105tem poprawno\u015bci z perspektywy eksperta.<\/li>\n<\/ol>\n<p>\nPrzyk\u0142ad z praktyki: dopiero przy trzecim uruchomieniu autor zada\u0144 zauwa\u017cy\u0142, \u017ce 1 zadanie pozosta\u0142o w starej formie sformu\u0142owania. Wszystkie wcze\u015bniejsze r\u00f3wnie\u017c by\u0142y aktywnie poprawiane. Ale kiedy test zosta\u0142 zakodowany, wygl\u0105da\u0142 on inaczej ni\u017c pocz\u0105tkowo zak\u0142adano. Z du\u017cym prawdopodobie\u0144stwem co\u015b trzeba b\u0119dzie poprawi\u0107. Nale\u017cy to uwzgl\u0119dni\u0107.<\/p>\n<h2>Podsumowanie<\/h2>\n<p>\nOstro\u017cnie omijaj\u0105c wszystkie te \u201eb\u0142\u0119dy\u201d, stworzyli\u015bmy specjalnego <noindex><a rel=\"nofollow\" href=\"https:\/\/teleg.run\/SkillTedbot?start=restart_BLZJkUuo\">bota w Telegramie<\/a><\/noindex>, do sprawdzania wiedzy przysz\u0142ych student\u00f3w. Ka\u017cdy ch\u0119tny mo\u017ce go przetestowa\u0107, podczas gdy przygotowujemy nast\u0119pny materia\u0142, w kt\u00f3rym opowiemy, co dzia\u0142o si\u0119 wewn\u0105trz bota i w co to wszystko potem si\u0119 przekszta\u0142ci\u0142o.<\/p>\n<blockquote><p><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=banner&amp;utm_term=regular&amp;utm_content=banner\"><img decoding=\"async\" alt=\"Spacer po grabach: 10 krytycznych b\u0142\u0119d\u00f3w w testach wiedzy\" src=\"\/wp-content\/uploads\/2020\/10\/7d6245756b99f06c516a6df2dc9d77ad.jpeg\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><br \/>\nZdoby\u0107 po\u017c\u0105dan\u0105 profesj\u0119 od zera lub poziom wy\u017cej pod wzgl\u0119dem umiej\u0119tno\u015bci i wynagrodzenia, mo\u017cna uczestnicz\u0105c w kursach online SkillFactory:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/ml-programma-machine-learning-online?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=ML&amp;utm_term=regular&amp;utm_content=021020\">Kurs z Machine Learning<\/a><\/noindex> (12 tygodni)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/ml-and-dl?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=MLDL&amp;utm_term=regular&amp;utm_content=021020\">Zaawansowany kurs \u201eMachine Learning Pro + Deep Learning\u201d<\/a><\/noindex> (20 tygodni)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/math_and_ml?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=MATML&amp;utm_term=regular&amp;utm_content=021020\">Kurs \u201eMatematyka i Machine Learning dla Data Science\u201d<\/a><\/noindex> (20 tygodni)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/data-scientist?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=DST&amp;utm_term=regular&amp;utm_content=021020\">Szkolenie w zawodzie Data Science od podstaw<\/a><\/noindex> (12 miesi\u0119cy)<\/li>\n<\/ul>\n<p><\/p>\n<p>                        <b class=\"spoiler_title\">Inne kursy<\/b><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/data-scientist?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=DST&amp;utm_term=regular&amp;utm_content=021020\">Szkolenie w zawodzie Data Science od podstaw<\/a><\/noindex> (12 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/data-science-camp?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=DSC&amp;utm_term=regular&amp;utm_content=021020\">Online bootcamp z Data Science<\/a><\/noindex> (14 tygodni)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/business-analytics-camp?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=BAC&amp;utm_term=regular&amp;utm_content=021020\">Online bootcamp z Data Analytics<\/a><\/noindex> (5 tygodni)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/dataanalystpro?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=DAPR&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d analityka z dowolnym poziomem wyj\u015bciowym<\/a><\/noindex> (18 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/analytics?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=SDA&amp;utm_term=regular&amp;utm_content=021020\">Kurs z analizy danych<\/a><\/noindex> (6 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/devops?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=DEVOPS&amp;utm_term=regular&amp;utm_content=021020\">Kurs z DevOps<\/a><\/noindex> (12 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/webdev?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=WEBDEV&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d Deweloper Webowy<\/a><\/noindex> (8 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/python-for-web-developers?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=PWS&amp;utm_term=regular&amp;utm_content=021020\">Kurs \u201ePython dla deweloper\u00f3w webowych\u201d<\/a><\/noindex> (9 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/iosdev?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=IOSDEV&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d Programista iOS od podstaw<\/a><\/noindex> (12 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/android?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=ANDR&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d Programista Android od podstaw<\/a><\/noindex> (18 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/java?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=JAVA&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d Programista Java od podstaw<\/a><\/noindex> (18 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/skillfactory.ru\/javascript?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=FJS&amp;utm_term=regular&amp;utm_content=021020\">Kurs z JavaScript<\/a><\/noindex> (12 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/contented.ru\/edu\/uxdesigner?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=UXS&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d UX-designera od podstaw<\/a><\/noindex> (9 miesi\u0119cy)<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/contented.ru\/edu\/webdesigner?utm_source=infopartners&amp;utm_medium=habr&amp;utm_campaign=WBDS&amp;utm_term=regular&amp;utm_content=021020\">Zaw\u00f3d projektanta stron internetowych<\/a><\/noindex> (7 miesi\u0119cy)<\/li>\n<\/ul>\n<\/blockquote>\n<p>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/skillfactory\/blog\/519748\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043a\u0443\u0440\u0441 Machine Learning Advanced \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0438\u0445 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u043a \u043a\u0443\u0440\u0441\u0443. \u041d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0434\u0438\u043b\u0435\u043c\u043c\u0430: \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u043e Data Science, \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 4-\u0445 \u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u044d\u043a\u0437\u0430\u043c\u0435\u043d. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":95925,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95924","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041f\u0440\u043e\u0433\u0443\u043b\u043a\u0430 \u043f\u043e \u0433\u0440\u0430\u0431\u043b\u044f\u043c: 10 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0442\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-10-04T23:42:16+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-10-04T23:42:16+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Przechodzenie przez b\u0142\u0119dy: 10 krytycznych b\u0142\u0119d\u00f3w w opracowywaniu testu do sprawdzania wiedzy | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u0440\u043e\u0433\u0443\u043b\u043a\u0430 \u043f\u043e \u0433\u0440\u0430\u0431\u043b\u044f\u043c: 10 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0442\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 | ProHoster","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/progulka-po-grablyam-10-kriticheskih-oshibok-razrabotki-testa-dlya-proverki-znanij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-04T23:42:16+00:00","article:modified_time":"2020-10-04T23:42:16+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95924","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:55:39","updated":"2022-09-30 20:19:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/95924","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=95924"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/95924\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/95925"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=95924"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=95924"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=95924"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}