tl; dr:
- Mësimi i makinerisë kërkon modele në të dhëna. Por inteligjenca artificiale mund të jetë "e njëanshme" - domethënë të gjejë modele që janë të gabuara. Për shembull, një sistem zbulimi i kancerit të lëkurës i bazuar në foto mund t'i kushtojë vëmendje të veçantë imazheve të marra në zyrën e mjekut. Mësimi i makinës nuk mundet për të kuptuar: algoritmet e tij identifikojnë vetëm modelet në numra dhe nëse të dhënat nuk janë përfaqësuese, do të jetë edhe rezultati i përpunimit të tyre. Dhe kapja e gabimeve të tilla mund të jetë e vështirë për shkak të vetë mekanikës së mësimit të makinerive.
- Problemi më i dukshëm dhe më i frikshëm është diversiteti njerëzor. Ka shumë arsye pse të dhënat për njerëzit mund të humbasin objektivitetin edhe në fazën e grumbullimit. Por mos mendoni se ky problem prek vetëm njerëzit: saktësisht të njëjtat vështirësi lindin kur përpiqeni të zbuloni një përmbytje në një depo ose një turbinë gazi të dështuar. Disa sisteme mund të jenë të njëanshëm ndaj ngjyrës së lëkurës, të tjerët do të jenë të njëanshëm ndaj sensorëve të Siemens.
- Probleme të tilla nuk janë të reja për mësimin e makinerive dhe nuk janë aspak unike për të. Në çdo strukturë komplekse bëhen supozime të gabuara dhe të kuptosh pse është marrë një vendim i caktuar është gjithmonë i vështirë. Ne duhet ta luftojmë këtë në një mënyrë gjithëpërfshirëse: të krijojmë mjete dhe procese për verifikim - dhe të edukojmë përdoruesit në mënyrë që ata të mos ndjekin verbërisht rekomandimet e AI. Mësimi i makinerive i bën disa gjëra shumë më mirë se sa mundemi ne - por qentë, për shembull, janë shumë më efektivë se njerëzit në zbulimin e drogës, gjë që nuk është një arsye për t'i përdorur ato si dëshmitarë dhe për të bërë gjykime bazuar në dëshminë e tyre. Dhe qentë, meqë ra fjala, janë shumë më të zgjuar se çdo sistem mësimi i makinerive.
Mësimi i makinerisë është një nga tendencat më të rëndësishme themelore të teknologjisë sot. Kjo është një nga mënyrat kryesore në të cilën teknologjia do të ndryshojë botën rreth nesh në dekadën e ardhshme. Disa aspekte të këtyre ndryshimeve janë shkak për shqetësim. Për shembull, ndikimi i mundshëm i mësimit të makinerive në tregun e punës, ose përdorimi i tij për qëllime joetike (për shembull, nga regjimet autoritare). Ekziston një problem tjetër që adreson ky post: paragjykim i inteligjencës artificiale.
Kjo nuk është një histori e lehtë.
Inteligjenca artificiale e Google mund të gjejë mace. Ky lajm i vitit 2012 ishte diçka e veçantë në atë kohë.
Çfarë është “AI Bias”?
“Të dhënat e papërpunuara” janë edhe një oksimoron dhe një ide e keqe; të dhënat duhet të përgatiten mirë dhe me kujdes. -Geoffrey Boker
Diku para vitit 2013, për të bërë një sistem që, le të themi, i njeh macet në fotografi, duhej të përshkruanit hapa logjikë. Si të gjeni qoshet në një imazh, të njihni sytë, të analizoni teksturat për lesh, të numëroni putrat, etj. Pastaj bashkoni të gjithë përbërësit dhe zbuloni se nuk funksionon vërtet. Ashtu si një kalë mekanik - teorikisht mund të bëhet, por në praktikë është shumë kompleks për t'u përshkruar. Rezultati përfundimtar është qindra (ose edhe mijëra) rregulla të shkruara me dorë. Dhe jo një model i vetëm funksional.
Me ardhjen e mësimit të makinerive, ne ndaluam përdorimin e rregullave "manuale" për njohjen e një objekti të caktuar. Në vend të kësaj, ne marrim një mijë mostra të "kjo", X, një mijë mostra të "tjetrës", Y, dhe i bëjmë kompjuterit të ndërtojë një model bazuar në analizën e tyre statistikore. Më pas i japim këtij modeli disa të dhëna mostër dhe ai përcakton me njëfarë saktësie nëse i përshtatet njërit prej grupeve. Mësimi i makinerisë gjeneron një model nga të dhënat dhe jo nga një njeri që e shkruan atë. Rezultatet janë mbresëlënëse, veçanërisht në fushën e njohjes së imazheve dhe modeleve, dhe kjo është arsyeja pse e gjithë industria e teknologjisë po kalon tani në mësimin e makinerive (ML).
Por nuk është kaq e thjeshtë. Në botën reale, mijëra shembujt tuaj të X ose Y përmbajnë gjithashtu A, B, J, L, O, R dhe madje edhe L. Këto mund të mos shpërndahen në mënyrë të barabartë dhe disa mund të ndodhin aq shpesh sa sistemi do të paguajë më shumë vëmendje ndaj tyre sesa ndaj objekteve që ju interesojnë.
Çfarë do të thotë kjo në praktikë? Shembulli im i preferuar është kur sistemet e njohjes së imazhit . Është e qartë pse: shumica e fotografive të shembujve të "deleve" janë marrë në livadhet ku ato jetojnë, dhe në këto imazhe bari zë shumë më tepër hapësirë se pushet e vogla të bardha, dhe është bari që sistemi e konsideron më të rëndësishëm. .
Ka shembuj më seriozë. Një e fundit për zbulimin e kancerit të lëkurës në fotografi. Doli që dermatologët shpesh fotografojnë vizoren së bashku me manifestimet e kancerit të lëkurës për të regjistruar madhësinë e formacioneve. Nuk ka sundimtarë në fotografitë e shembullit të lëkurës së shëndetshme. Për një sistem AI, vizore të tillë (më saktë, pikselët që ne i përcaktojmë si "sundimtar") janë bërë një nga ndryshimet midis grupeve të shembujve, dhe ndonjëherë më i rëndësishëm se një skuqje e vogël në lëkurë. Pra, një sistem i krijuar për të identifikuar kancerin e lëkurës ndonjëherë njihte sundimtarë në vend të tyre.
Pika kryesore këtu është se sistemi nuk ka kuptim semantik të asaj që shikon. Ne shikojmë një grup pikselësh dhe shohim në to një dele, lëkurë ose vizore, por sistemi është vetëm një linjë numerike. Ajo nuk sheh hapësirën tredimensionale, nuk sheh objekte, tekstura ose dele. Ajo thjesht sheh modele në të dhëna.
Vështirësia në diagnostikimin e problemeve të tilla është se rrjeti nervor (modeli i krijuar nga sistemi juaj i mësimit të makinerive) përbëhet nga mijëra e qindra mijëra nyje. Nuk ka asnjë mënyrë të lehtë për të parë një model dhe për të parë se si merr një vendim. Të kesh një mënyrë të tillë do të thotë që procesi është mjaft i thjeshtë për të përshkruar të gjitha rregullat me dorë, pa përdorur mësimin e makinerive. Njerëzit shqetësohen se mësimi i makinerive është bërë diçka si një kuti e zezë. (Do të shpjegoj pak më vonë pse ky krahasim është ende i tepërt.)
Ky, në terma të përgjithshëm, është problemi i paragjykimit në inteligjencën artificiale ose mësimin e makinerive: një sistem për gjetjen e modeleve në të dhëna mund të gjejë modele të gabuara dhe ju mund të mos e vini re. Kjo është një karakteristikë themelore e teknologjisë dhe është e qartë për të gjithë ata që punojnë me të në akademi dhe në kompanitë e mëdha të teknologjisë. Por pasojat e tij janë komplekse, dhe po ashtu janë edhe zgjidhjet tona të mundshme për këto pasoja.
Le të flasim së pari për pasojat.
Inteligjenca artificiale mundet, në mënyrë implicite për ne, të bëjë një zgjedhje në favor të disa kategorive të njerëzve, bazuar në një numër të madh sinjalesh të padukshme.
Skenarët e paragjykimit të AI
Më e dukshme dhe më e frikshme, ky problem mund të shfaqet kur bëhet fjalë për diversitetin njerëzor. Kohët e fundit se Amazon u përpoq të ndërtonte një sistem të mësimit të makinerive për shqyrtimin fillestar të kandidatëve për punë. Meqenëse ka më shumë burra në mesin e punonjësve të Amazon, shembujt e "punësimit të suksesshëm" janë gjithashtu më shpesh meshkuj, dhe kishte më shumë burra në përzgjedhjen e CV-ve të sugjeruara nga sistemi. Amazon e vuri re këtë dhe nuk e lëshoi sistemin në prodhim.
Gjëja më e rëndësishme në këtë shembull është se sistemi u përfol se favorizonte aplikantët meshkuj, pavarësisht se gjinia nuk ishte e specifikuar në CV. Sistemi pa modele të tjera në shembujt e "punësimeve të mira": për shembull, gratë mund të përdorin fjalë të veçanta për të përshkruar arritjet, ose të kenë hobi të veçantë. Sigurisht, sistemi nuk e dinte se çfarë ishte "hokej", ose kush ishin "njerëzit", apo çfarë "suksesi" - ai thjesht kreu një analizë statistikore të tekstit. Por modelet që ajo pa me shumë gjasa do të kalonin pa u vënë re nga njerëzit dhe disa prej tyre (për shembull, fakti që njerëzit e gjinive të ndryshme e përshkruajnë suksesin ndryshe) ndoshta do të ishte e vështirë për ne t'i shihnim edhe nëse i shikonim.
Më tej - më keq. Një sistem i mësimit të makinës që është shumë i mirë në gjetjen e kancerit në lëkurën e zbehtë mund të mos funksionojë aq mirë në lëkurën e errët, ose anasjelltas. Jo domosdoshmërisht për shkak të paragjykimeve, por sepse ndoshta ju duhet të ndërtoni një model të veçantë për një ngjyrë të ndryshme lëkure, duke zgjedhur karakteristika të ndryshme. Sistemet e mësimit të makinerisë nuk janë të këmbyeshme edhe në një zonë kaq të ngushtë si njohja e imazhit. Ju duhet të rregulloni sistemin, ndonjëherë vetëm përmes provës dhe gabimit, për të marrë një kontroll të mirë të veçorive në të dhënat që ju interesojnë derisa të arrini saktësinë që dëshironi. Por ajo që mund të mos vini re është se sistemi është i saktë 98% të rasteve me një grup, dhe vetëm 91% (madje më i saktë se analiza njerëzore) me tjetrin.
Deri tani kam përdorur kryesisht shembuj që kanë të bëjnë me njerëzit dhe karakteristikat e tyre. Diskutimi rreth këtij problemi fokusohet kryesisht në këtë temë. Por është e rëndësishme të kuptohet se paragjykimi ndaj njerëzve është vetëm një pjesë e problemit. Ne do të përdorim mësimin e makinerive për shumë gjëra dhe gabimi i kampionimit do të jetë i rëndësishëm për të gjitha. Nga ana tjetër, nëse punoni me njerëz, paragjykimi në të dhëna mund të mos jetë i lidhur me ta.
Për ta kuptuar këtë, le të kthehemi te shembulli i kancerit të lëkurës dhe të shqyrtojmë tre mundësi hipotetike për dështimin e sistemit.
- Shpërndarja heterogjene e njerëzve: një numër i pabalancuar fotografish me tonalitete të ndryshme të lëkurës, që çojnë në pozitive false ose negative false për shkak të pigmentimit.
- Të dhënat mbi të cilat është trajnuar sistemi përmbajnë një veçori që ndodh shpesh dhe e shpërndarë në mënyrë heterogjene që nuk lidhet me njerëzit dhe nuk ka asnjë vlerë diagnostikuese: një vizore në fotografitë e kancerit të lëkurës ose bari në fotografitë e deleve. Në këtë rast, rezultati do të jetë i ndryshëm nëse sistemi gjen pikselë në imazhin e diçkaje që syri i njeriut e identifikon si "sundimtar".
- Të dhënat përmbajnë një karakteristikë të palës së tretë që një person nuk mund ta shohë edhe nëse e kërkon.
Çfarë do të thotë? Ne e dimë apriori se të dhënat mund të përfaqësojnë grupe të ndryshme njerëzish në mënyra të ndryshme, dhe të paktën ne mund të planifikojmë të kërkojmë përjashtime të tilla. Me fjalë të tjera, ka shumë arsye sociale për të supozuar se të dhënat për grupet e njerëzve tashmë përmbajnë disa paragjykime. Nëse shikojmë foton me vizoren, do ta shohim këtë vizore - thjesht e injoruam më parë, duke e ditur se nuk ka rëndësi dhe duke harruar që sistemi nuk di asgjë.
Por, çka nëse të gjitha fotot tuaja të lëkurës së pashëndetshme janë marrë në një zyrë nën dritë inkandeshente dhe lëkura juaj e shëndetshme është marrë nën dritën fluoreshente? Po sikur, pasi të keni përfunduar fotografimin e lëkurës së shëndetshme, përpara se të fotografoni lëkurën e pashëndetshme, të keni përditësuar sistemin operativ në telefonin tuaj dhe Apple ose Google të ndryshojnë pak algoritmin e reduktimit të zhurmës? Një person nuk mund ta vërejë këtë, pavarësisht se sa shumë kërkon tipare të tilla. Por sistemi i përdorimit të makinës do ta shohë dhe do ta përdorë këtë menjëherë. Ajo nuk di asgjë.
Deri më tani kemi folur për korrelacione të rreme, por gjithashtu mund të jetë që të dhënat janë të sakta dhe rezultatet janë të sakta, por ju nuk dëshironi t'i përdorni ato për arsye etike, ligjore ose menaxheriale. Disa juridiksione, për shembull, nuk i lejojnë gratë të marrin një zbritje në sigurimin e tyre, edhe pse gratë mund të jenë shofere më të sigurta. Mund të imagjinojmë lehtësisht një sistem që, kur analizon të dhënat historike, do t'u caktonte një faktor rreziku më të ulët emrave femra. Mirë, le të heqim emrat nga përzgjedhja. Por mbani mend shembullin e Amazon: sistemi mund të përcaktojë gjininë bazuar në faktorë të tjerë (edhe pse nuk e di se çfarë është gjinia, apo edhe çfarë është një makinë), dhe ju nuk do ta vini re këtë derisa rregullatori të analizojë në mënyrë retroaktive tarifat që ju ofertë dhe ju ngarkon do të gjobiteni.
Së fundi, shpesh supozohet se ne do të përdorim sisteme të tilla vetëm për projekte që përfshijnë njerëz dhe ndërveprime sociale. Kjo eshte e gabuar. Nëse bëni turbina me gaz, ndoshta do të dëshironi të aplikoni mësimin e makinerive në telemetrinë e transmetuar nga dhjetëra ose qindra sensorë në produktin tuaj (audio, video, temperatura dhe çdo sensor tjetër gjenerojnë të dhëna që mund të përshtaten shumë lehtë për të krijuar një makinë modeli i të mësuarit). Në mënyrë hipotetike, mund të thuash, “Këtu janë të dhëna nga një mijë turbina që dështuan përpara se të dështonin, dhe këtu janë të dhëna nga një mijë turbina që nuk dështuan. Ndërtoni një model për të treguar se cili është ndryshimi midis tyre.” Epo, tani imagjinoni që sensorët Siemens janë instaluar në 75% të turbinave të këqija, dhe vetëm 12% të atyre të mira (nuk ka asnjë lidhje me dështimet). Sistemi do të ndërtojë një model për të gjetur turbina me sensorë Siemens. Oops!
Fotografia - Moritz Hardt, UC Berkeley
Menaxhimi i paragjykimeve të AI
Çfarë mund të bëjmë për këtë? Ju mund t'i qaseni çështjes nga tre këndvështrime:
- Rigoroziteti metodologjik në mbledhjen dhe menaxhimin e të dhënave për trajnimin e sistemit.
- Mjetet teknike për analizimin dhe diagnostikimin e sjelljes së modelit.
- Trajnoni, edukoni dhe jini të kujdesshëm kur zbatoni mësimin e makinerive në produkte.
Ka një shaka në librin e Molierit "Borgjezi në fisnikëri": një njeriu i thanë se letërsia ndahet në prozë dhe poezi, dhe ai u gëzua kur zbuloi se kishte folur në prozë gjatë gjithë jetës së tij, pa e ditur. Ndoshta kështu ndihen sot statisticienët: pa e kuptuar, ata ia kanë kushtuar karrierën e tyre inteligjencës artificiale dhe gabimit të kampionimit. Kërkimi i gabimit të kampionimit dhe shqetësimi për të nuk është një problem i ri, thjesht duhet t'i qasemi sistematikisht zgjidhjes së tij. Siç u përmend më lart, në disa raste është në fakt më e lehtë për ta bërë këtë duke studiuar problemet që lidhen me të dhënat e njerëzve. Ne apriori supozojmë se mund të kemi paragjykime për grupe të ndryshme njerëzish, por është e vështirë për ne të imagjinojmë një paragjykim për sensorët e Siemens.
Ajo që ka të re për gjithë këtë, sigurisht, është se njerëzit nuk bëjnë më analiza statistikore drejtpërdrejt. Ajo kryhet nga makina që krijojnë modele të mëdha, komplekse që janë të vështira për t'u kuptuar. Çështja e transparencës është një nga aspektet kryesore të problemit të njëanshmërisë. Ne kemi frikë se sistemi nuk është thjesht i njëanshëm, por se nuk ka asnjë mënyrë për të zbuluar paragjykimet e tij dhe se mësimi i makinerive është i ndryshëm nga format e tjera të automatizimit, të cilat supozohet se përbëhen nga hapa të qartë logjikë që mund të testohen.
Këtu ka dy probleme. Mund të jemi ende në gjendje të kryejmë një lloj auditimi të sistemeve të mësimit të makinerive. Dhe auditimi i çdo sistemi tjetër në fakt nuk është më i lehtë.
Së pari, një nga drejtimet e kërkimit modern në fushën e mësimit të makinerive është kërkimi i metodave për të identifikuar funksionalitetin e rëndësishëm të sistemeve të mësimit të makinerive. Thënë kështu, mësimi i makinerive (në gjendjen e tij aktuale) është një fushë krejtësisht e re e shkencës që po ndryshon shpejt, kështu që mos mendoni se gjërat që janë të pamundura sot nuk mund të bëhen së shpejti plotësisht reale. Projekti - një shembull interesant për këtë.
Së dyti, ideja që dikush mund të testojë dhe kuptojë procesin e vendimmarrjes së sistemeve ose organizatave ekzistuese është e mirë në teori, por kështu në praktikë. Të kuptuarit se si merren vendimet në një organizatë të madhe nuk është e lehtë. Edhe nëse ka një proces formal të vendimmarrjes, ai nuk pasqyron mënyrën se si njerëzit ndërveprojnë në të vërtetë dhe ata vetë shpesh nuk kanë një qasje logjike dhe sistematike për marrjen e vendimeve të tyre. Siç tha kolegu im , njerëzit janë gjithashtu kuti të zeza.
Merrni një mijë njerëz në disa kompani dhe institucione të mbivendosura, dhe problemi bëhet edhe më kompleks. Ne e dimë pas faktit se Space Shuttle ishte e destinuar të shpërthehej pas kthimit dhe individët brenda NASA-s kishin informacione që u jepnin arsye të mendonin se diçka e keqe mund të ndodhte, por sistemi në përgjithësi Nuk e dija këtë. NASA sapo kaloi një auditim të ngjashëm pasi humbi anijen e saj të mëparshme, dhe megjithatë humbi një tjetër për një arsye shumë të ngjashme. Është e lehtë të argumentohet se organizatat dhe njerëzit ndjekin rregulla të qarta, logjike që mund të testohen, kuptohen dhe ndryshohen – por përvoja vërteton të kundërtën. kjo "'.
Unë shpesh e krahasoj mësimin e makinerive me bazat e të dhënave, veçanërisht ato relacionale - një teknologji e re themelore që ka ndryshuar aftësitë e shkencës kompjuterike dhe botës përreth saj, e cila është bërë pjesë e gjithçkaje, të cilën ne e përdorim vazhdimisht pa e kuptuar. Bazat e të dhënave kanë gjithashtu probleme, dhe ato janë të një natyre të ngjashme: sistemi mund të ndërtohet mbi supozime të këqija ose të dhëna të këqija, por do të jetë e vështirë të vërehet, dhe njerëzit që përdorin sistemin do të bëjnë atë që u thotë pa bërë pyetje. Ka shumë shaka të vjetra për njerëzit e taksave që dikur e shkruanin gabim emrin tuaj dhe t'i bindni ata për të korrigjuar gabimin është shumë më e vështirë sesa të ndryshoni në të vërtetë emrin tuaj. Ka shumë mënyra për të menduar për këtë, por nuk është e qartë se cila është më mirë: si një problem teknik në SQL, apo si një gabim në një version të Oracle, apo si një dështim i institucioneve burokratike? Sa e vështirë është të gjesh një gabim në një proces që ka bërë që sistemi të mos ketë një veçori të korrigjimit të gabimeve shkrimore? A mund të ishte kuptuar kjo përpara se njerëzit të fillonin të ankoheshin?
Ky problem ilustrohet edhe më thjesht nga historitë kur shoferët futen në lumenj për shkak të të dhënave të vjetruara në navigator. Në rregull, hartat duhet të përditësohen vazhdimisht. Por sa është TomTom fajtor që makina juaj u hodh në det?
Arsyeja pse e them këtë është se po, paragjykimi i mësimit të makinës do të krijojë probleme. Por këto probleme do të jenë të ngjashme me ato me të cilat jemi përballur në të kaluarën, dhe ato mund të vërehen dhe zgjidhen (ose jo) aq mirë sa kemi mundur të bëjmë në të kaluarën. Prandaj, një skenar në të cilin paragjykimi i AI shkakton dëm nuk ka gjasa të ndodhë me studiuesit e vjetër që punojnë në një organizatë të madhe. Me shumë mundësi, ndonjë kontraktues i parëndësishëm i teknologjisë ose shitës softuerësh do të shkruajë diçka në gjunjë, duke përdorur komponentë me burim të hapur, biblioteka dhe mjete që ata nuk i kuptojnë. Dhe klienti i pafat do të blejë shprehjen "inteligjencë artificiale" në përshkrimin e produktit dhe, pa bërë asnjë pyetje, do t'ua shpërndajë atë punonjësve të tij me pagë të ulët, duke i urdhëruar ata të bëjnë atë që thotë AI. Kjo është pikërisht ajo që ndodhi me bazat e të dhënave. Ky nuk është një problem i inteligjencës artificiale, apo edhe një problem softueri. Ky është faktori njerëzor.
Përfundim
Mësimi i makinës mund të bëjë gjithçka që mund t'i mësoni një qeni - por nuk mund të jeni kurrë i sigurt se çfarë saktësisht i keni mësuar qenit.
Shpesh më duket sikur termi "inteligjencë artificiale" pengon vetëm bisedat e tilla. Ky term jep përshtypjen e rreme se ne e krijuam atë - kjo inteligjencë. Që ne jemi në rrugën tonë për në HAL9000 ose Skynet - diçka që në fakt kupton. Por jo. Këto janë vetëm makina, dhe është shumë më e saktë t'i krahasosh ato, të themi, me një makinë larëse. Ajo lanë rroba shumë më mirë se një njeri, por nëse i vendosni enët në vend të rrobave, ajo... do t'i lajë. Enët madje do të bëhen të pastra. Por kjo nuk do të jetë ajo që prisnit dhe kjo nuk do të ndodhë sepse sistemi ka paragjykime në lidhje me pjatat. Makina larëse nuk e di se çfarë janë enët apo çfarë janë rrobat - është thjesht një shembull i automatizimit, konceptualisht nuk ndryshon nga mënyra se si proceset automatizoheshin më parë.
Pavarësisht nëse po flasim për makina, aeroplanë ose baza të të dhënave, këto sisteme do të jenë shumë të fuqishme dhe shumë të kufizuara. Ato do të varen tërësisht nga mënyra se si njerëzit i përdorin këto sisteme, nëse qëllimet e tyre janë të mira apo të këqija dhe sa e kuptojnë se si funksionojnë.
Prandaj, të thuash se "inteligjenca artificiale është matematikë, kështu që nuk mund të ketë paragjykime" është krejtësisht e gabuar. Por është po aq e rreme të thuhet se mësimi i makinerive është "në natyrë subjektive". Mësimi i makinerive gjen modele në të dhëna, dhe cilat modele gjen varet nga të dhënat, dhe të dhënat varen nga ne. Ashtu si ajo që bëjmë me ta. Mësimi i makinerive i bën disa gjëra shumë më mirë se sa mundemi ne - por qentë, për shembull, janë shumë më efektivë se njerëzit në zbulimin e drogës, gjë që nuk është një arsye për t'i përdorur ato si dëshmitarë dhe për të bërë gjykime bazuar në dëshminë e tyre. Dhe qentë, meqë ra fjala, janë shumë më të zgjuar se çdo sistem mësimi i makinerive.
përkthim: .
Redaktimi: .
Komuniteti: .
Burimi: www.habr.com