आर्टिफिशियल इंटेलिजेंस पूर्वाग्रह के बारे में

tl; डॉ:

• मशीन लर्निंग डेटा में पैटर्न ढूंढती है। लेकिन कृत्रिम बुद्धिमत्ता "पक्षपातपूर्ण" हो सकती है - अर्थात, ऐसे पैटर्न खोजें जो गलत हों। उदाहरण के लिए, एक फोटो-आधारित त्वचा कैंसर का पता लगाने वाली प्रणाली डॉक्टर के कार्यालय में ली गई छवियों पर विशेष ध्यान दे सकती है। मशीन लर्निंग नहीं कर सकता समझने के लिए: इसके एल्गोरिदम केवल संख्याओं में पैटर्न की पहचान करते हैं, और यदि डेटा प्रतिनिधि नहीं है, तो इसके प्रसंस्करण का परिणाम भी प्रतिनिधि नहीं होगा। और मशीन लर्निंग की प्रक्रिया के कारण ऐसे बग को पकड़ना मुश्किल हो सकता है।
• सबसे स्पष्ट और कठिन समस्या क्षेत्र मानव विविधता है। ऐसे कई कारण हैं जिनकी वजह से लोगों के बारे में डेटा संग्रह चरण में भी निष्पक्षता खो सकता है। लेकिन यह मत सोचिए कि यह समस्या केवल लोगों को प्रभावित करती है: गोदाम में बाढ़ या विफल गैस टरबाइन का पता लगाने की कोशिश करते समय बिल्कुल वैसी ही कठिनाइयाँ उत्पन्न होती हैं। कुछ सिस्टम त्वचा के रंग के प्रति पक्षपाती हो सकते हैं, अन्य सीमेंस सेंसर के प्रति पक्षपाती होंगे।
• ऐसी समस्याएँ मशीन लर्निंग के लिए नई नहीं हैं, और वे इसके लिए अद्वितीय नहीं हैं। किसी भी जटिल संरचना में गलत धारणाएँ बनाई जाती हैं, और यह समझना हमेशा कठिन होता है कि कोई विशेष निर्णय क्यों लिया गया। हमें व्यापक तरीके से इसका मुकाबला करने की जरूरत है: सत्यापन के लिए उपकरण और प्रक्रियाएं बनाएं - और उपयोगकर्ताओं को शिक्षित करें ताकि वे आंख मूंदकर एआई सिफारिशों का पालन न करें। मशीन लर्निंग कुछ चीजें हमारी तुलना में बहुत बेहतर करती है - लेकिन उदाहरण के लिए, कुत्ते दवाओं का पता लगाने में इंसानों की तुलना में कहीं अधिक प्रभावी हैं, जो उन्हें गवाहों के रूप में उपयोग करने और उनकी गवाही के आधार पर निर्णय लेने का कोई कारण नहीं है। और वैसे, कुत्ते किसी भी मशीन लर्निंग सिस्टम से कहीं अधिक चालाक होते हैं।

मशीन लर्निंग आज सबसे महत्वपूर्ण मौलिक प्रौद्योगिकी रुझानों में से एक है। यह उन प्रमुख तरीकों में से एक है जिससे प्रौद्योगिकी अगले दशक में हमारे आसपास की दुनिया को बदल देगी। इन परिवर्तनों के कुछ पहलू चिंता का कारण हैं। उदाहरण के लिए, श्रम बाजार पर मशीन लर्निंग का संभावित प्रभाव, या अनैतिक उद्देश्यों के लिए इसका उपयोग (उदाहरण के लिए, सत्तावादी शासन द्वारा)। एक और समस्या है जिसका यह पोस्ट समाधान करता है: कृत्रिम बुद्धि पूर्वाग्रह.

यह कोई आसान कहानी नहीं है.

Google का AI बिल्लियों को ढूंढ सकता है। 2012 की यह खबर तब कुछ खास थी।

"एआई पूर्वाग्रह" क्या है?

"कच्चा डेटा" विरोधाभासी और बुरा विचार दोनों है; डेटा अच्छी तरह और सावधानी से तैयार किया जाना चाहिए। -जेफ्री बॉकर

2013 से पहले कहीं, एक ऐसी प्रणाली बनाने के लिए, जो तस्वीरों में बिल्लियों को पहचान सके, आपको तार्किक चरणों का वर्णन करना होगा। किसी छवि में कोने कैसे खोजें, आंखों को कैसे पहचानें, फर की बनावट का विश्लेषण कैसे करें, पंजे गिनें, इत्यादि। फिर सभी घटकों को एक साथ रखें और पता चले कि यह वास्तव में काम नहीं करता है। एक यांत्रिक घोड़े की तरह - सैद्धांतिक रूप से इसे बनाया जा सकता है, लेकिन व्यवहार में इसका वर्णन करना बहुत जटिल है। अंतिम परिणाम सैकड़ों (या हजारों) हस्तलिखित नियम हैं। और एक भी कार्यशील मॉडल नहीं।

मशीन लर्निंग के आगमन के साथ, हमने किसी विशेष वस्तु को पहचानने के लिए "मैनुअल" नियमों का उपयोग करना बंद कर दिया। इसके बजाय, हम "इस", एक्स के एक हजार नमूने, "अन्य", वाई के एक हजार नमूने लेते हैं, और कंप्यूटर से उनके सांख्यिकीय विश्लेषण के आधार पर एक मॉडल बनाते हैं। फिर हम इस मॉडल को कुछ नमूना डेटा देते हैं और यह कुछ सटीकता के साथ निर्धारित करता है कि यह किसी एक सेट में फिट बैठता है या नहीं। मशीन लर्निंग किसी इंसान द्वारा डेटा लिखने के बजाय डेटा से एक मॉडल तैयार करता है। परिणाम प्रभावशाली हैं, विशेष रूप से छवि और पैटर्न पहचान के क्षेत्र में, और यही कारण है कि संपूर्ण तकनीकी उद्योग अब मशीन लर्निंग (एमएल) की ओर बढ़ रहा है।

लेकिन ये इतना आसान नहीं है. वास्तविक दुनिया में, आपके उन वस्तुओं की तुलना में उन पर ध्यान दें जिनमें आपकी रुचि है।

अभ्यास में इसका क्या मतलब है? मेरा पसंदीदा उदाहरण छवि पहचान प्रणाली है एक घास वाली पहाड़ी को देखो और कहो, "भेड़". यह स्पष्ट है कि क्यों: "भेड़" की अधिकांश उदाहरण तस्वीरें उन घास के मैदानों में ली गई हैं जहां वे रहते हैं, और इन छवियों में घास छोटे सफेद फुलों की तुलना में बहुत अधिक जगह लेती है, और यह वह घास है जिसे सिस्टम सबसे महत्वपूर्ण मानता है .

और भी गंभीर उदाहरण हैं. एक हालिया परियोजना तस्वीरों में त्वचा कैंसर का पता लगाने के लिए। यह पता चला कि त्वचा विशेषज्ञ अक्सर संरचनाओं के आकार को रिकॉर्ड करने के लिए त्वचा कैंसर की अभिव्यक्तियों के साथ शासक की तस्वीर लेते हैं। स्वस्थ त्वचा की उदाहरण तस्वीरों में कोई रूलर नहीं हैं। एआई प्रणाली के लिए, ऐसे शासक (अधिक सटीक रूप से, पिक्सेल जिन्हें हम "शासक" के रूप में परिभाषित करते हैं) उदाहरणों के सेट के बीच अंतर में से एक बन गए हैं, और कभी-कभी त्वचा पर एक छोटे से दाने से भी अधिक महत्वपूर्ण हो जाते हैं। इसलिए त्वचा कैंसर की पहचान करने के लिए बनाई गई प्रणाली कभी-कभी इसके बजाय शासकों को पहचान लेती है।

यहां मुख्य बात यह है कि सिस्टम को इस बात की कोई अर्थ संबंधी समझ नहीं है कि वह क्या देख रहा है। हम पिक्सेल के एक सेट को देखते हैं और उनमें एक भेड़, त्वचा या शासक देखते हैं, लेकिन सिस्टम केवल एक संख्या रेखा है। वह त्रि-आयामी स्थान नहीं देखती, वस्तुएं, बनावट या भेड़ नहीं देखती। वह बस डेटा में पैटर्न देखती है।

ऐसी समस्याओं का निदान करने में कठिनाई यह है कि तंत्रिका नेटवर्क (आपके मशीन लर्निंग सिस्टम द्वारा उत्पन्न मॉडल) में हजारों सैकड़ों हजारों नोड्स होते हैं। किसी मॉडल पर गौर करने और यह देखने का कोई आसान तरीका नहीं है कि वह कैसे निर्णय लेता है। इस तरह का तरीका होने का मतलब यह होगा कि यह प्रक्रिया इतनी सरल है कि मशीन लर्निंग का उपयोग किए बिना, सभी नियमों को मैन्युअल रूप से वर्णित किया जा सकता है। लोगों को चिंता है कि मशीन लर्निंग एक ब्लैक बॉक्स बन गई है। (मैं थोड़ी देर बाद बताऊंगा कि यह तुलना अभी भी बहुत अधिक क्यों है।)

यह, सामान्य शब्दों में, कृत्रिम बुद्धिमत्ता या मशीन लर्निंग में पूर्वाग्रह की समस्या है: डेटा में पैटर्न खोजने की प्रणाली गलत पैटर्न ढूंढ सकती है, और आप इसे नोटिस नहीं कर सकते हैं। यह प्रौद्योगिकी की एक मूलभूत विशेषता है, और यह उन सभी के लिए स्पष्ट है जो शिक्षा जगत और बड़ी तकनीकी कंपनियों में इसके साथ काम करते हैं। लेकिन इसके परिणाम जटिल हैं, और उन परिणामों के लिए हमारे संभावित समाधान भी जटिल हैं।

आइये पहले परिणामों के बारे में बात करते हैं।

बड़ी संख्या में अगोचर संकेतों के आधार पर एआई, हमारे लिए अंतर्निहित रूप से, कुछ श्रेणियों के लोगों के पक्ष में चुनाव कर सकता है

एआई पूर्वाग्रह परिदृश्य

सबसे स्पष्ट और भयावह रूप से, यह समस्या तब प्रकट हो सकती है जब मानव विविधता की बात आती है। हाल ही में एक अफवाह थीअमेज़ॅन ने नौकरी के उम्मीदवारों की प्रारंभिक स्क्रीनिंग के लिए एक मशीन लर्निंग सिस्टम बनाने की कोशिश की। चूंकि अमेज़ॅन श्रमिकों में अधिक पुरुष हैं, इसलिए "सफल नियुक्ति" के उदाहरण भी अक्सर पुरुष होते हैं, और सिस्टम द्वारा सुझाए गए बायोडाटा के चयन में अधिक पुरुष थे। अमेज़ॅन ने इस पर ध्यान दिया और सिस्टम को उत्पादन में जारी नहीं किया।

इस उदाहरण में सबसे महत्वपूर्ण बात यह है कि इस तथ्य के बावजूद कि बायोडाटा में लिंग निर्दिष्ट नहीं किया गया था, सिस्टम में पुरुष आवेदकों का पक्ष लेने की अफवाह थी। सिस्टम ने "अच्छे कर्मचारियों" के उदाहरणों में अन्य पैटर्न देखे: उदाहरण के लिए, महिलाएं उपलब्धियों का वर्णन करने के लिए विशेष शब्दों का उपयोग कर सकती हैं, या विशेष शौक रख सकती हैं। बेशक, सिस्टम को यह नहीं पता था कि "हॉकी" क्या है, या "लोग" कौन हैं, या "सफलता" क्या है - इसने बस पाठ का एक सांख्यिकीय विश्लेषण किया। लेकिन उसने जो पैटर्न देखा, वह संभवतः मनुष्यों द्वारा ध्यान नहीं दिया जाएगा, और उनमें से कुछ (उदाहरण के लिए, तथ्य यह है कि विभिन्न लिंग के लोग सफलता का अलग-अलग वर्णन करते हैं) शायद हमारे लिए देखना मुश्किल होगा, भले ही हम उन्हें देखें।

आगे - बदतर. एक मशीन लर्निंग सिस्टम जो पीली त्वचा पर कैंसर का पता लगाने में बहुत अच्छा है, हो सकता है कि वह सांवली त्वचा पर उतना अच्छा प्रदर्शन न करे, या इसके विपरीत। जरूरी नहीं कि पूर्वाग्रह के कारण, बल्कि इसलिए क्योंकि आपको संभवतः अलग-अलग त्वचा के रंग के लिए अलग-अलग विशेषताओं का चयन करते हुए एक अलग मॉडल बनाने की आवश्यकता है। छवि पहचान जैसे संकीर्ण क्षेत्र में भी मशीन लर्निंग सिस्टम विनिमेय नहीं हैं। जब तक आप अपनी इच्छित सटीकता प्राप्त नहीं कर लेते, तब तक आपको सिस्टम में बदलाव करने की आवश्यकता होती है, कभी-कभी केवल परीक्षण और त्रुटि के माध्यम से, जिस डेटा में आप रुचि रखते हैं उसमें सुविधाओं पर एक अच्छा नियंत्रण पाने के लिए। लेकिन आप शायद इस बात पर ध्यान नहीं देंगे कि एक समूह के लिए यह प्रणाली 98% सटीक है, और दूसरे के लिए केवल 91% (मानव विश्लेषण से भी अधिक सटीक)।

अब तक मैंने मुख्यतः लोगों और उनकी विशेषताओं से संबंधित उदाहरणों का उपयोग किया है। इस समस्या पर चर्चा मुख्य रूप से इसी विषय पर केंद्रित है। लेकिन यह समझना महत्वपूर्ण है कि लोगों के प्रति पूर्वाग्रह समस्या का केवल एक हिस्सा है। हम बहुत सी चीज़ों के लिए मशीन लर्निंग का उपयोग करेंगे, और सैंपलिंग त्रुटि उन सभी के लिए प्रासंगिक होगी। दूसरी ओर, यदि आप लोगों के साथ काम करते हैं, तो डेटा में पूर्वाग्रह उनसे संबंधित नहीं हो सकता है।

इसे समझने के लिए, आइए त्वचा कैंसर के उदाहरण पर लौटें और सिस्टम विफलता की तीन काल्पनिक संभावनाओं पर विचार करें।

1. लोगों का विषम वितरण: विभिन्न त्वचा टोन की तस्वीरों की असंतुलित संख्या, जिससे रंजकता के कारण गलत सकारात्मक या गलत नकारात्मक परिणाम सामने आते हैं।
2. जिस डेटा पर सिस्टम को प्रशिक्षित किया जाता है, उसमें बार-बार होने वाली और विषम रूप से वितरित विशेषता शामिल होती है जो लोगों से जुड़ी नहीं होती है और इसका कोई नैदानिक ​​​​मूल्य नहीं होता है: भेड़ की तस्वीरों में त्वचा कैंसर या घास की तस्वीरों में एक शासक। इस मामले में, परिणाम अलग होगा यदि सिस्टम किसी चीज़ की छवि में पिक्सेल पाता है जिसे मानव आंख "शासक" के रूप में पहचानती है।
3. डेटा में एक तृतीय-पक्ष विशेषता होती है जिसे कोई व्यक्ति ढूंढने पर भी नहीं देख सकता है।

इसका मतलब क्या है? हम एक प्राथमिकता जानते हैं कि डेटा अलग-अलग समूहों के लोगों का अलग-अलग प्रतिनिधित्व कर सकता है, और कम से कम हम ऐसे अपवादों को देखने की योजना बना सकते हैं। दूसरे शब्दों में, यह मानने के कई सामाजिक कारण हैं कि लोगों के समूहों के बारे में डेटा में पहले से ही कुछ पूर्वाग्रह शामिल हैं। यदि हम रूलर के साथ फोटो को देखें, तो हम इस रूलर को देखेंगे - हमने इसे पहले ही नजरअंदाज कर दिया था, यह जानते हुए कि इससे कोई फर्क नहीं पड़ता, और यह भूल गए कि सिस्टम को कुछ भी नहीं पता है।

लेकिन क्या होगा अगर आपकी अस्वस्थ त्वचा की सभी तस्वीरें किसी कार्यालय में गरमागरम रोशनी में ली गईं, और आपकी स्वस्थ त्वचा फ्लोरोसेंट रोशनी में ली गई? क्या होगा यदि, स्वस्थ त्वचा की शूटिंग पूरी करने के बाद, अस्वस्थ त्वचा की शूटिंग करने से पहले, आपने अपने फ़ोन पर ऑपरेटिंग सिस्टम को अपडेट किया, और Apple या Google ने शोर कम करने वाले एल्गोरिदम को थोड़ा बदल दिया? कोई भी व्यक्ति इस पर ध्यान नहीं दे सकता, चाहे वह ऐसी सुविधाओं की कितनी भी तलाश कर ले। लेकिन मशीन-उपयोग प्रणाली इसे तुरंत देख लेगी और इसका उपयोग करेगी। वह कुछ नहीं जानती.

अब तक हमने नकली सहसंबंधों के बारे में बात की है, लेकिन यह भी हो सकता है कि डेटा सटीक हो और परिणाम सही हों, लेकिन आप नैतिक, कानूनी या प्रबंधन कारणों से उनका उपयोग नहीं करना चाहते हैं। उदाहरण के लिए, कुछ न्यायक्षेत्र महिलाओं को उनके बीमा पर छूट प्राप्त करने की अनुमति नहीं देते हैं, भले ही महिलाएं सुरक्षित ड्राइवर हों। हम आसानी से एक ऐसी प्रणाली की कल्पना कर सकते हैं, जो ऐतिहासिक डेटा का विश्लेषण करते समय महिला नामों को कम जोखिम कारक प्रदान करेगी। ठीक है, आइए चयन से नाम हटा दें। लेकिन अमेज़ॅन उदाहरण को याद रखें: सिस्टम अन्य कारकों के आधार पर लिंग का निर्धारण कर सकता है (भले ही यह नहीं जानता कि लिंग क्या है, या यहां तक ​​​​कि कार क्या है), और आप इसे तब तक नोटिस नहीं करेंगे जब तक कि नियामक पूर्वव्यापी रूप से आपके टैरिफ का विश्लेषण नहीं करता है प्रस्ताव दें और आपसे शुल्क लें तो आप पर जुर्माना लगाया जाएगा।

अंत में, अक्सर यह मान लिया जाता है कि हम ऐसी प्रणालियों का उपयोग केवल उन परियोजनाओं के लिए करेंगे जिनमें लोग और सामाजिक संपर्क शामिल हों। यह गलत है। यदि आप गैस टरबाइन बनाते हैं, तो आप संभवतः अपने उत्पाद पर दसियों या सैकड़ों सेंसरों (ऑडियो, वीडियो, तापमान और किसी भी अन्य सेंसर) द्वारा प्रसारित टेलीमेट्री पर मशीन लर्निंग लागू करना चाहेंगे, जो डेटा उत्पन्न करता है जिसे मशीन बनाने के लिए बहुत आसानी से अनुकूलित किया जा सकता है। सीखने का मॉडल)। काल्पनिक रूप से, आप कह सकते हैं, "यहां उन हज़ार टर्बाइनों का डेटा है जो विफल होने से पहले विफल हो गए थे, और यहां उन हज़ार टर्बाइनों का डेटा है जो विफल नहीं हुए थे। यह बताने के लिए एक मॉडल बनाएं कि उनके बीच क्या अंतर है। खैर, अब कल्पना करें कि सीमेंस सेंसर 75% खराब टर्बाइनों पर स्थापित हैं, और केवल 12% अच्छे टर्बाइनों पर (विफलताओं से कोई संबंध नहीं है)। सिस्टम सीमेंस सेंसर के साथ टर्बाइन खोजने के लिए एक मॉडल बनाएगा। उफ़!

चित्र - मोरित्ज़ हार्ड्ट, यूसी बर्कले

एआई पूर्वाग्रह का प्रबंधन

हम इसके बारे में क्या कर सकते हैं? आप इस मुद्दे को तीन कोणों से देख सकते हैं:

1. सिस्टम को प्रशिक्षित करने के लिए डेटा एकत्र करने और प्रबंधित करने में पद्धतिगत कठोरता।
2. मॉडल व्यवहार का विश्लेषण और निदान करने के लिए तकनीकी उपकरण।
3. मशीन लर्निंग को उत्पादों में लागू करते समय प्रशिक्षित करें, शिक्षित करें और सावधान रहें।

मोलिएर की पुस्तक "द बुर्जुआ इन द नोबिलिटी" में एक चुटकुला है: एक व्यक्ति को बताया गया था कि साहित्य गद्य और कविता में विभाजित है, और उसे यह जानकर खुशी हुई कि वह जीवन भर गद्य में बोलता रहा है, बिना इसे जाने। शायद आज सांख्यिकीविद ऐसा ही महसूस करते हैं: इसे साकार किए बिना, उन्होंने अपने करियर को कृत्रिम बुद्धिमत्ता और नमूनाकरण त्रुटि के लिए समर्पित कर दिया है। सैंपलिंग त्रुटि की तलाश करना और इसके बारे में चिंता करना कोई नई समस्या नहीं है, हमें बस इसके समाधान के लिए व्यवस्थित रूप से संपर्क करने की आवश्यकता है। जैसा कि ऊपर उल्लेख किया गया है, कुछ मामलों में लोगों के डेटा से संबंधित समस्याओं का अध्ययन करके ऐसा करना वास्तव में आसान है। हम प्राथमिक रूप से मानते हैं कि लोगों के विभिन्न समूहों के संबंध में हमारे मन में पूर्वाग्रह हो सकते हैं, लेकिन हमारे लिए सीमेंस सेंसर के बारे में पूर्वाग्रह की कल्पना करना भी मुश्किल है।

बेशक, इस सब में नई बात यह है कि लोग अब सीधे सांख्यिकीय विश्लेषण नहीं करते हैं। यह मशीनों द्वारा किया जाता है जो बड़े, जटिल मॉडल बनाते हैं जिन्हें समझना मुश्किल होता है। पारदर्शिता का मुद्दा पूर्वाग्रह की समस्या के मुख्य पहलुओं में से एक है। हमें डर है कि सिस्टम न केवल पक्षपाती है, बल्कि इसके पूर्वाग्रह का पता लगाने का कोई तरीका नहीं है, और मशीन लर्निंग स्वचालन के अन्य रूपों से अलग है, जिसमें स्पष्ट तार्किक चरण शामिल होते हैं जिनका परीक्षण किया जा सकता है।

यहां पर दो समस्याएं हैं। हम अभी भी मशीन लर्निंग सिस्टम का किसी प्रकार का ऑडिट करने में सक्षम हो सकते हैं। और किसी अन्य प्रणाली का ऑडिट करना वास्तव में आसान नहीं है।

सबसे पहले, मशीन लर्निंग के क्षेत्र में आधुनिक अनुसंधान की दिशाओं में से एक मशीन लर्निंग सिस्टम की महत्वपूर्ण कार्यक्षमता की पहचान करने के तरीकों की खोज है। जैसा कि कहा गया है, मशीन लर्निंग (अपनी वर्तमान स्थिति में) विज्ञान का एक बिल्कुल नया क्षेत्र है जो तेजी से बदल रहा है, इसलिए यह मत सोचिए कि जो चीजें आज असंभव हैं वे जल्द ही पूरी तरह से वास्तविक नहीं बन सकती हैं। परियोजना OpenAI - इसका एक दिलचस्प उदाहरण.

दूसरा, यह विचार कि आप मौजूदा प्रणालियों या संगठनों की निर्णय लेने की प्रक्रिया का परीक्षण और समझ सकते हैं, सिद्धांत रूप में अच्छा है, लेकिन व्यवहार में ऐसा ही है। यह समझना आसान नहीं है कि किसी बड़े संगठन में निर्णय कैसे लिए जाते हैं। यहां तक ​​कि अगर कोई औपचारिक निर्णय लेने की प्रक्रिया है, तो यह प्रतिबिंबित नहीं करती है कि लोग वास्तव में कैसे बातचीत करते हैं, और उनके पास अक्सर अपने निर्णय लेने के लिए तार्किक, व्यवस्थित दृष्टिकोण नहीं होता है। जैसा कि मेरे सहकर्मी ने कहा विजय पांडे, लोग भी ब्लैक बॉक्स हैं.

कई ओवरलैपिंग कंपनियों और संस्थानों में एक हजार लोगों को लें, और समस्या और भी जटिल हो जाती है। हम इस तथ्य के बाद जानते हैं कि अंतरिक्ष शटल को वापसी पर टूटना तय था, और नासा के भीतर व्यक्तियों के पास ऐसी जानकारी थी जिससे उन्हें यह सोचने का कारण मिला कि कुछ बुरा हो सकता है, लेकिन सिस्टम सामान्य तौर पर ये मुझे नहीं पता था. नासा ने भी अपने पिछले शटल को खोने के बाद इसी तरह के ऑडिट से गुज़रा था, और फिर भी उसने एक और समान कारण से एक और ऑडिट खो दिया। यह तर्क देना आसान है कि संगठन और लोग स्पष्ट, तार्किक नियमों का पालन करते हैं जिन्हें परीक्षण किया जा सकता है, समझा जा सकता है और बदला जा सकता है - लेकिन अनुभव अन्यथा साबित होता है। यह "गोस्प्लान का भ्रम'.

मैं अक्सर मशीन लर्निंग की तुलना डेटाबेस से करता हूं, विशेष रूप से रिलेशनल वाले - एक नई मौलिक तकनीक जिसने कंप्यूटर विज्ञान और उसके आसपास की दुनिया की क्षमताओं को बदल दिया है, जो हर चीज का हिस्सा बन गया है, जिसका उपयोग हम इसे साकार किए बिना लगातार करते हैं। डेटाबेस में भी समस्याएं हैं, और वे समान प्रकृति की हैं: सिस्टम खराब धारणाओं या खराब डेटा पर बनाया जा सकता है, लेकिन इसे नोटिस करना मुश्किल होगा, और सिस्टम का उपयोग करने वाले लोग बिना सवाल पूछे वही करेंगे जो यह उन्हें बताएगा। करदाताओं के बारे में बहुत सारे पुराने चुटकुले हैं जिन्होंने एक बार आपका नाम गलत लिखा था, और उन्हें गलती को सुधारने के लिए मनाना वास्तव में आपका नाम बदलने से कहीं अधिक कठिन है। इसके बारे में सोचने के कई तरीके हैं, लेकिन यह स्पष्ट नहीं है कि कौन सा बेहतर है: SQL में तकनीकी समस्या के रूप में, या Oracle रिलीज़ में बग के रूप में, या नौकरशाही संस्थानों की विफलता के रूप में? किसी प्रक्रिया में बग ढूंढना कितना मुश्किल है जिसके कारण सिस्टम में टाइपो सुधार सुविधा नहीं है? क्या लोगों द्वारा शिकायत शुरू करने से पहले इसका पता लगाया जा सकता था?

इस समस्या को उन कहानियों द्वारा और भी अधिक सरलता से दर्शाया गया है जब ड्राइवर नेविगेटर में पुराने डेटा के कारण नदियों में गाड़ी चलाते हैं। ठीक है, मानचित्रों को लगातार अद्यतन करने की आवश्यकता है। लेकिन आपकी कार के समुद्र में बहा दिए जाने के लिए टॉमटॉम कितना दोषी है?

मैं ऐसा इसलिए कह रहा हूं क्योंकि हां, मशीन लर्निंग पूर्वाग्रह समस्याएं पैदा करेगा। लेकिन ये समस्याएँ वैसी ही होंगी जिनका हमने अतीत में सामना किया है, और उन पर ध्यान दिया जा सकता है और हल किया जा सकता है (या नहीं) जैसा कि हम अतीत में करने में सक्षम थे। इसलिए, ऐसा परिदृश्य जिसमें एआई पूर्वाग्रह नुकसान पहुंचाता है, किसी बड़े संगठन में काम करने वाले वरिष्ठ शोधकर्ताओं के लिए ऐसा होने की संभावना नहीं है। सबसे अधिक संभावना है, कुछ महत्वहीन प्रौद्योगिकी ठेकेदार या सॉफ़्टवेयर विक्रेता खुले स्रोत घटकों, पुस्तकालयों और उपकरणों का उपयोग करके अपने घुटनों पर कुछ लिखेंगे जिन्हें वे समझ में नहीं आते हैं। और बदकिस्मत ग्राहक उत्पाद विवरण में "कृत्रिम बुद्धिमत्ता" वाक्यांश खरीदेगा और, बिना कोई प्रश्न पूछे, इसे अपने कम वेतन वाले कर्मचारियों को वितरित करेगा, और उन्हें एआई के अनुसार कार्य करने का आदेश देगा। डेटाबेस के साथ बिल्कुल यही हुआ है। यह कोई कृत्रिम बुद्धिमत्ता समस्या या सॉफ़्टवेयर समस्या भी नहीं है। यह मानवीय कारक है.

निष्कर्ष

मशीन लर्निंग वह सब कुछ कर सकती है जो आप एक कुत्ते को सिखा सकते हैं - लेकिन आप कभी भी निश्चित नहीं हो सकते कि आपने कुत्ते को वास्तव में क्या सिखाया है।

मुझे अक्सर ऐसा लगता है कि "कृत्रिम बुद्धिमत्ता" शब्द केवल इस तरह की बातचीत के रास्ते में आता है। यह शब्द यह गलत धारणा देता है कि हमने वास्तव में इसे बनाया है - यह बुद्धिमत्ता। हम HAL9000 या स्काईनेट की ओर जा रहे हैं - कुछ ऐसा जो वास्तव में है समझता है. लेकिन कोई नहीं। ये सिर्फ मशीनें हैं, और इनकी तुलना वॉशिंग मशीन से करना कहीं अधिक सटीक है। वह एक इंसान की तुलना में बहुत बेहतर तरीके से कपड़े धोती है, लेकिन अगर आप कपड़े धोने की जगह उसमें बर्तन डाल दें, तो वह... उन्हें धो देगी। बर्तन भी साफ हो जायेंगे. लेकिन ये वो नहीं होगा जिसकी आपको उम्मीद थी और ऐसा नहीं होगा क्योंकि व्यवस्था में व्यंजनों को लेकर कोई पूर्वाग्रह है. वॉशिंग मशीन को पता नहीं है कि बर्तन क्या हैं या कपड़े क्या हैं - यह सिर्फ स्वचालन का एक उदाहरण है, अवधारणात्मक रूप से प्रक्रियाएं पहले कैसे स्वचालित थीं, उससे अलग नहीं है।

चाहे हम कारों, हवाई जहाजों या डेटाबेस के बारे में बात कर रहे हों, ये सिस्टम बहुत शक्तिशाली और बहुत सीमित दोनों होंगे। वे पूरी तरह से इस बात पर निर्भर करेंगे कि लोग इन प्रणालियों का उपयोग कैसे करते हैं, उनके इरादे अच्छे हैं या बुरे, और वे कितना समझते हैं कि वे कैसे काम करते हैं।

इसलिए, यह कहना कि "कृत्रिम बुद्धिमत्ता गणित है, इसलिए इसमें पूर्वाग्रह नहीं हो सकते" पूरी तरह से गलत है। लेकिन यह कहना भी उतना ही गलत है कि मशीन लर्निंग "स्वभाव में व्यक्तिपरक" है। मशीन लर्निंग डेटा में पैटर्न ढूंढती है, और यह कौन सा पैटर्न ढूंढती है यह डेटा पर निर्भर करता है, और डेटा हम पर निर्भर करता है। ठीक वैसे ही जैसे हम उनके साथ करते हैं. मशीन लर्निंग कुछ चीजें हमारी तुलना में बहुत बेहतर करती है - लेकिन उदाहरण के लिए, कुत्ते दवाओं का पता लगाने में इंसानों की तुलना में कहीं अधिक प्रभावी हैं, जो उन्हें गवाहों के रूप में उपयोग करने और उनकी गवाही के आधार पर निर्णय लेने का कोई कारण नहीं है। और वैसे, कुत्ते किसी भी मशीन लर्निंग सिस्टम से कहीं अधिक चालाक होते हैं।

अनुवाद: डायना लेट्सकाया.
संपादन: एलेक्सी इवानोव.
समुदाय: @पोंचिकन्यूज़.

स्रोत: www.habr.com