गार्टनर एमक्यू 2020 समीक्षा: मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस प्लेटफॉर्म

मैंने इसे क्यों पढ़ा इसका कारण बताना असंभव है। मेरे पास बस समय था और मुझे इस बात में दिलचस्पी थी कि बाज़ार कैसे काम करता है। और गार्टनर के अनुसार 2018 से यह पहले से ही एक पूर्ण बाजार है। 2014-2016 तक इसे एडवांस्ड एनालिटिक्स (बीआई में रूट्स) कहा गया, 2017 में - डेटा साइंस (मुझे नहीं पता कि इसका रूसी में अनुवाद कैसे किया जाए)। चौक के चारों ओर विक्रेताओं की गतिविधियों में रुचि रखने वालों के लिए, आप ऐसा कर सकते हैं यहां देखना। और मैं 2020 स्क्वायर के बारे में बात करूंगा, खासकर जब से 2019 के बाद से वहां बदलाव न्यूनतम हैं: एसएपी बाहर चला गया और अल्टेयर ने डेटावॉच खरीद लिया।

यह कोई व्यवस्थित विश्लेषण या तालिका नहीं है. एक व्यक्तिगत दृष्टिकोण, एक भूभौतिकीविद् के दृष्टिकोण से भी। लेकिन मैं गार्टनर एमक्यू को पढ़ने के लिए हमेशा उत्सुक रहता हूं, वे कुछ बिंदुओं को पूरी तरह से तैयार करते हैं। तो यहां वे चीजें हैं जिन पर मैंने तकनीकी, बाजार-वार और दार्शनिक रूप से ध्यान दिया।

यह उन लोगों के लिए नहीं है जो एमएल के विषय में गहराई से जानते हैं, बल्कि उन लोगों के लिए है जो आम तौर पर बाजार में क्या हो रहा है उसमें रुचि रखते हैं।

डीएसएमएल बाजार तार्किक रूप से बीआई और क्लाउड एआई डेवलपर सेवाओं के बीच स्थित है।

पसंदीदा उद्धरण और शर्तें पहले:

• "एक नेता सर्वोत्तम विकल्प नहीं हो सकता" — एक मार्केट लीडर जरूरी नहीं है कि आपको उसकी जरूरत हो। बहुत जरूरी! कार्यात्मक ग्राहक की कमी के परिणामस्वरूप, वे हमेशा "उपयुक्त" के बजाय "सर्वोत्तम" समाधान की तलाश में रहते हैं।
• "मॉडल संचालन" - संक्षेप में एमओपी। और हर किसी को पग के साथ कठिन समय बिताना पड़ता है! - (कूल पग थीम मॉडल को कार्यशील बनाती है)।
• "नोटबुक वातावरण" एक महत्वपूर्ण अवधारणा है जहां कोड, टिप्पणियाँ, डेटा और परिणाम एक साथ आते हैं। यह बहुत स्पष्ट, आशाजनक है और यूआई कोड की मात्रा को काफी कम कर सकता है।
• "ओपनसोर्स में निहित" - सही कहा - खुले स्रोत में जड़ें जमा लेता है।
• "नागरिक डेटा वैज्ञानिक" - ऐसे आसान लोग, ऐसे लेमर, विशेषज्ञ नहीं, जिन्हें एक दृश्य वातावरण और सभी प्रकार की सहायक चीजों की आवश्यकता होती है। वे कोड नहीं करेंगे.
• "प्रजातंत्र" - अक्सर इसका अर्थ होता है "व्यापक श्रेणी के लोगों को उपलब्ध कराना।" हम उस खतरनाक "डेटा को मुक्त करें" के बजाय "डेटा का लोकतंत्रीकरण करें" कह सकते हैं जिसका हम उपयोग करते थे। "लोकतंत्रीकरण" हमेशा एक लंबी पूंछ होती है और सभी विक्रेता इसके पीछे भागते हैं। ज्ञान की तीव्रता में कमी - सुलभता में लाभ!
• "खोजपूर्ण डेटा विश्लेषण - ईडीए" - इन उपलब्ध साधनों पर विचार। कुछ आँकड़े. थोड़ा सा दृश्यावलोकन. कुछ ऐसा जो हर कोई किसी न किसी स्तर पर करता है। नहीं पता था कि इसका कोई नाम भी है
• "पुनरुत्पादन" - सभी पर्यावरणीय मापदंडों, इनपुट और आउटपुट का अधिकतम संरक्षण ताकि प्रयोग एक बार पूरा होने के बाद दोहराया जा सके। प्रायोगिक परीक्षण वातावरण के लिए सबसे महत्वपूर्ण शब्द!

तो:

Alteryx

बढ़िया इंटरफ़ेस, बिल्कुल खिलौने जैसा। बेशक, स्केलेबिलिटी थोड़ी कठिन है। तदनुसार, इंजीनियरों का नागरिक समुदाय tchotchkes के साथ खेलने के लिए समान है। एनालिटिक्स एक बोतल में आपका सब कुछ है। मुझे वर्णक्रमीय-सहसंबंध डेटा विश्लेषण के एक जटिल की याद दिला दी कोस्कैड, जिसे 90 के दशक में प्रोग्राम किया गया था।

एनाकोंडा

पायथन और आर विशेषज्ञों के आसपास का समुदाय। ओपन सोर्स तदनुसार बड़ा है। यह पता चला कि मेरे सहकर्मी हर समय इसका उपयोग करते हैं। लेकिन मुझे नहीं पता था.

डेटाब्रिक्स

इसमें तीन ओपनसोर्स प्रोजेक्ट शामिल हैं - स्पार्क डेवलपर्स ने 2013 से बहुत सारा पैसा जुटाया है। मुझे वास्तव में विकी को उद्धृत करना होगा:

“सितंबर 2013 में, डेटाब्रिक्स ने घोषणा की कि उसने आंद्रेसेन होरोविट्ज़ से 13.9 मिलियन डॉलर जुटाए हैं। कंपनी ने 33 में अतिरिक्त $2014 मिलियन, 60 में $2016 मिलियन, 140 में $2017 मिलियन, 250 (फरवरी) में $2019 मिलियन और 400 (अक्टूबर) में $2019 मिलियन अतिरिक्त जुटाए”!!!

कुछ महान लोगों ने चिंगारी को काट दिया। मुझे नहीं पता, क्षमा करें!

और परियोजनाएं हैं:

• डेल्टा झील - स्पार्क पर ACID हाल ही में जारी किया गया था (हमने Elasticsearch के साथ क्या सपना देखा था) - इसे एक डेटाबेस में बदल देता है: कठोर स्कीमा, ACID, ऑडिटिंग, संस्करण...
• एमएल प्रवाह - मॉडलों की ट्रैकिंग, पैकेजिंग, प्रबंधन और भंडारण।
• कोआला - स्पार्क पर पांडास डेटाफ़्रेम एपीआई - पांडास - सामान्य रूप से तालिकाओं और डेटा के साथ काम करने के लिए पायथन एपीआई।

आप स्पार्क को उन लोगों के लिए देख सकते हैं जो नहीं जानते या भूल गए हैं: लिंक. मैंने थोड़े उबाऊ लेकिन विस्तृत परामर्श देने वाले कठफोड़वाओं के उदाहरणों वाले वीडियो देखे: डेटा विज्ञान के लिए डेटाब्रिक्स (लिंक) और डेटा इंजीनियरिंग के लिए (लिंक).

संक्षेप में, डेटाब्रिक्स स्पार्क को बाहर निकालता है। जो कोई भी सामान्य रूप से क्लाउड में स्पार्क का उपयोग करना चाहता है, वह बिना किसी हिचकिचाहट के डेटाब्रिक्स लेता है, जैसा कि इरादा था 🙂 स्पार्क यहां मुख्य अंतर है।
मुझे पता चला कि स्पार्क स्ट्रीमिंग वास्तविक नकली रियलटाइम या माइक्रोबैचिंग नहीं है। और यदि आपको वास्तविक वास्तविक समय की आवश्यकता है, तो यह अपाचे स्टॉर्म में है। हर कोई यह भी कहता और लिखता है कि स्पार्क, MapReduce से बेहतर है। ये नारा है.

DATAIKU

बढ़िया एंड-टू-एंड चीज़. बहुत सारे विज्ञापन हैं. मुझे समझ नहीं आता कि यह अल्टरेक्स से किस प्रकार भिन्न है?

डेटारोबोट

डेटा तैयार करने के लिए Paxata एक अलग कंपनी है जिसे डेटा रोबोट्स ने दिसंबर 2019 में खरीदा था। हमने 20 MUSD जुटाए और बेचे। सभी 7 साल में.

एक्सेल में नहीं, पाक्साटा में डेटा तैयार करना - यहां देखें: लिंक.
दो डेटासेट के बीच जुड़ने के लिए स्वचालित लुकअप और प्रस्ताव हैं। एक बड़ी बात - डेटा को समझने के लिए पाठ्य सूचना पर और भी अधिक जोर दिया जाएगा (लिंक).
डेटा कैटलॉग बेकार "लाइव" डेटासेट का एक उत्कृष्ट कैटलॉग है।
यह भी दिलचस्प है कि पाक्साटा में निर्देशिकाएँ कैसे बनती हैं (लिंक).

“विश्लेषक फर्म के अनुसार डिंब, सॉफ़्टवेयर को प्रगति के माध्यम से संभव बनाया गया है भविष्य बतानेवाला विश्लेषक, यंत्र अधिगम और NoSQL डेटा कैशिंग पद्धति.[15] सॉफ्टवेयर का उपयोग करता है अर्थ डेटा तालिका के कॉलम के अर्थ को समझने के लिए एल्गोरिदम और डेटा-सेट में संभावित डुप्लिकेट खोजने के लिए पैटर्न पहचान एल्गोरिदम।[15][7] यह अनुक्रमण, पाठ पैटर्न पहचान और पारंपरिक रूप से सोशल मीडिया और खोज सॉफ़्टवेयर में पाई जाने वाली अन्य तकनीकों का भी उपयोग करता है।

डेटा रोबोट का मुख्य उत्पाद है यहां. उनका नारा है मॉडल से एंटरप्राइज एप्लीकेशन तक! मुझे संकट के संबंध में तेल उद्योग के लिए परामर्श मिला, लेकिन यह बहुत ही सामान्य और अरुचिकर था: लिंक. मैंने उनके वीडियो मॉप्स या एमएलओपीएस पर देखे (लिंक). यह एक ऐसा फ्रेंकस्टीन है जिसे विभिन्न उत्पादों के 6-7 अधिग्रहणों से इकट्ठा किया गया है।

बेशक, यह स्पष्ट हो जाता है कि डेटा वैज्ञानिकों की एक बड़ी टीम के पास मॉडलों के साथ काम करने के लिए ऐसा ही माहौल होना चाहिए, अन्यथा वे उनमें से बहुत सारे उत्पादन करेंगे और कभी भी कुछ भी तैनात नहीं करेंगे। और हमारी तेल और गैस अपस्ट्रीम वास्तविकता में, यदि हम केवल एक सफल मॉडल बना सकें, तो यह बहुत बड़ी प्रगति होगी!

उदाहरण के लिए, यह प्रक्रिया भूविज्ञान-भूभौतिकी में डिजाइन प्रणालियों के साथ काम की बहुत याद दिलाती थी तूफ़ानी पितरेल. हर कोई जो बहुत आलसी नहीं है वह मॉडल बनाता और संशोधित करता है। मॉडल में डेटा एकत्र करें. फिर उन्होंने एक संदर्भ मॉडल बनाया और उसे उत्पादन के लिए भेजा! मान लीजिए, एक भूवैज्ञानिक मॉडल और एक एमएल मॉडल के बीच, आप बहुत कुछ समान पा सकते हैं।

मास्क

खुले मंच और सहयोग पर जोर. व्यावसायिक उपयोगकर्ताओं को निःशुल्क प्रवेश दिया जाता है। उनकी डेटा लैब काफी हद तक शेयरपॉइंट के समान है। (और नाम से दृढ़तापूर्वक आईबीएम की बू आती है)। सभी प्रयोग मूल डेटासेट से लिंक होते हैं। यह कितना परिचित है :) जैसा कि हमारे अभ्यास में - कुछ डेटा को मॉडल में खींचा गया था, फिर इसे साफ किया गया और मॉडल में क्रम में रखा गया, और यह सब पहले से ही मॉडल में मौजूद है और अंत स्रोत डेटा में नहीं पाया जा सकता है .

डोमिनोज़ के पास अच्छा बुनियादी ढांचा वर्चुअलाइजेशन है। मैंने एक सेकंड में मशीन में जितने कोर की जरूरत थी, इकट्ठा कर लिया और गिनने चला गया। यह कैसे किया गया यह तत्काल स्पष्ट नहीं है। डोकर हर जगह है. ढेर सारी आज़ादी! नवीनतम संस्करणों के किसी भी कार्यस्थान को जोड़ा जा सकता है। प्रयोगों का समानांतर प्रक्षेपण. सफल लोगों की ट्रैकिंग और चयन।

DataRobot के समान - परिणाम व्यावसायिक उपयोगकर्ताओं के लिए एप्लिकेशन के रूप में प्रकाशित किए जाते हैं। विशेष रूप से प्रतिभाशाली "हितधारकों" के लिए। और मॉडलों के वास्तविक उपयोग पर भी नजर रखी जाती है। पग्स के लिए सब कुछ!

मैं पूरी तरह से नहीं समझता कि जटिल मॉडल उत्पादन में कैसे परिणत होते हैं। उन्हें डेटा फीड करने और परिणाम प्राप्त करने के लिए किसी प्रकार की एपीआई प्रदान की जाती है।

H2O

सुपरवाइज्ड एमएल के लिए ड्राइवलेस एआई एक बहुत ही कॉम्पैक्ट और सहज प्रणाली है। सब कुछ एक डिब्बे में. बैकएंड के बारे में अभी पूरी तरह से स्पष्ट नहीं है।

मॉडल स्वचालित रूप से REST सर्वर या Java ऐप में पैक हो जाता है। यह एक महान विचार है। व्याख्यात्मकता और व्याख्यात्मकता के लिए बहुत कुछ किया गया है। मॉडल के परिणामों की व्याख्या और व्याख्या (जो स्वाभाविक रूप से व्याख्या योग्य नहीं होनी चाहिए, अन्यथा कोई व्यक्ति उसी की गणना कर सकता है?)।
पहली बार, असंरचित डेटा के बारे में एक केस अध्ययन और एनएलपी. उच्च गुणवत्ता वाली वास्तुशिल्प तस्वीर. और सामान्य तौर पर मुझे तस्वीरें पसंद आईं।

एक बड़ा खुला स्रोत H2O ढांचा है जो पूरी तरह से स्पष्ट नहीं है (एल्गोरिदम/पुस्तकालयों का एक सेट?)। जुपिटर जैसी प्रोग्रामिंग के बिना आपका अपना विज़ुअल लैपटॉप (लिंक). मैंने पूजो और मोजो - जावा में लिपटे एच2ओ मॉडल के बारे में भी पढ़ा। पहला सीधा है, दूसरा अनुकूलन के साथ। H20 एकमात्र (!) हैं जिन्हें गार्टनर ने टेक्स्ट एनालिटिक्स और एनएलपी को अपनी ताकत के साथ-साथ व्याख्यात्मकता के संबंध में उनके प्रयासों के रूप में सूचीबद्ध किया। बहुत जरुरी है!

उसी स्थान पर: हार्डवेयर और क्लाउड के साथ एकीकरण के क्षेत्र में उच्च प्रदर्शन, अनुकूलन और उद्योग मानक।

और कमजोरी तार्किक है - ड्राइवरल्स एआई अपने खुले स्रोत की तुलना में कमजोर और संकीर्ण है। पाक्साटा की तुलना में डेटा तैयारी लचर है! और वे औद्योगिक डेटा - स्ट्रीम, ग्राफ़, जियो - को नज़रअंदाज कर देते हैं। ख़ैर, सब कुछ अच्छा नहीं हो सकता।

पता है

मुझे मुख्य पृष्ठ पर 6 बहुत विशिष्ट, बहुत दिलचस्प व्यावसायिक मामले पसंद आए। मजबूत ओपनसोर्स.

गार्टनर ने उन्हें नेताओं से दूरदर्शी बना दिया। खराब तरीके से पैसा कमाना उपयोगकर्ताओं के लिए एक अच्छा संकेत है, यह देखते हुए कि लीडर हमेशा सबसे अच्छा विकल्प नहीं होता है।

मुख्य शब्द, जैसा कि H2O में है, संवर्धित है, जिसका अर्थ है गरीब नागरिक डेटा वैज्ञानिकों की मदद करना। यह पहली बार है कि किसी समीक्षा में प्रदर्शन के लिए किसी की आलोचना की गई है! दिलचस्प? यानी इतनी अधिक कंप्यूटिंग शक्ति है कि प्रदर्शन कोई प्रणालीगत समस्या हो ही नहीं सकती? गार्टनर ने इस शब्द के बारे में कहा है "संवर्धित" अलग लेख, जिस तक नहीं पहुंचा जा सका।
और KNIME समीक्षा में पहला गैर-अमेरिकी प्रतीत होता है! (और हमारे डिजाइनरों को वास्तव में उनका लैंडिंग पृष्ठ पसंद आया। अजीब लोग हैं।

MathWorks

मैटलैब एक पुराना मानद कॉमरेड है जिसे हर कोई जानता है! जीवन के सभी क्षेत्रों और स्थितियों के लिए टूलबॉक्स। कुछ बहुत अलग. वास्तव में, जीवन में हर चीज़ के लिए ढेर सारा गणित!

सिस्टम डिज़ाइन के लिए एक सिमुलिंक ऐड-ऑन उत्पाद। मैंने डिजिटल ट्विन्स के लिए टूलबॉक्स खोजे - मुझे इसके बारे में कुछ भी समझ नहीं आया, लेकिन यहां बहुत कुछ लिखा गया है. के लिए तेल उद्योग. सामान्य तौर पर, यह गणित और इंजीनियरिंग की गहराई से मौलिक रूप से भिन्न उत्पाद है। विशिष्ट गणित टूलकिट का चयन करने के लिए। गार्टनर के अनुसार, उनकी समस्याएँ स्मार्ट इंजीनियरों के समान ही हैं - कोई सहयोग नहीं - हर कोई अपने-अपने मॉडल में घूमता रहता है, कोई लोकतंत्र नहीं, कोई व्याख्यात्मकता नहीं।

RapidMiner

मैंने अच्छे ओपन सोर्स के संदर्भ में (मैटलैब के साथ) पहले भी बहुत कुछ देखा और सुना है। मैंने हमेशा की तरह TurboPrep में थोड़ा खोजबीन की। मुझे इस बात में दिलचस्पी है कि गंदे डेटा से साफ़ डेटा कैसे प्राप्त किया जाए।

फिर से आप देख सकते हैं कि 2018 की मार्केटिंग सामग्री और फीचर डेमो में भयानक अंग्रेजी बोलने वाले लोगों के आधार पर लोग अच्छे हैं।

और 2001 से मजबूत जर्मन पृष्ठभूमि वाले डॉर्टमुंड के लोग)

मुझे अभी भी साइट से समझ नहीं आया कि ओपन सोर्स में वास्तव में क्या उपलब्ध है - आपको गहराई से जानने की जरूरत है। परिनियोजन और ऑटोएमएल अवधारणाओं के बारे में अच्छे वीडियो।

रैपिडमाइनर सर्वर बैकएंड के बारे में भी कुछ खास नहीं है। यह संभवतः कॉम्पैक्ट होगा और बॉक्स से बाहर प्रीमियम पर अच्छा काम करेगा। इसे डॉकर में पैक किया गया है। साझा वातावरण केवल RapidMiner सर्वर पर। और फिर रेडूप है, हडूप से डेटा, स्टूडियो वर्कफ़्लो में स्पार्क से तुकबंदी की गिनती।

जैसा कि अपेक्षित था, युवा गर्म विक्रेता "धारीदार छड़ियों के विक्रेता" ने उन्हें नीचे ले जाया। हालाँकि, गार्टनर एंटरप्राइज़ क्षेत्र में उनकी भविष्य की सफलता की भविष्यवाणी करता है। आप वहां पैसे जुटा सकते हैं. जर्मन जानते हैं कि यह कैसे करना है, पवित्र-पवित्र :) एसएपी का उल्लेख न करें!!!

वे नागरिकों के लिए बहुत कुछ करते हैं! लेकिन पेज से आप देख सकते हैं कि गार्टनर का कहना है कि वे बिक्री नवाचार के साथ संघर्ष कर रहे हैं और कवरेज की व्यापकता के लिए नहीं, बल्कि लाभप्रदता के लिए लड़ रहे हैं।

बने रहे एसएएस и टिब्को मेरे लिए विशिष्ट बीआई विक्रेता... और दोनों शीर्ष पर हैं, जो मेरे विश्वास की पुष्टि करता है कि सामान्य डेटासाइंस तार्किक रूप से बढ़ रहा है
बीआई से, न कि बादलों और Hadoop बुनियादी ढांचे से। बिजनेस से यानी आईटी से नहीं। उदाहरण के लिए गज़प्रोमनेफ्ट में: लिंक,एक परिपक्व डीएसएमएल वातावरण मजबूत बीआई प्रथाओं से विकसित होता है। लेकिन शायद यह एमडीएम और अन्य चीजों के प्रति गंदा और पक्षपातपूर्ण है, कौन जानता है।

एसएएस

कहने को ज्यादा कुछ नहीं है. केवल स्पष्ट बातें.

तिब्को

रणनीति को एक पृष्ठ-लंबे विकी पेज पर खरीदारी सूची में पढ़ा जाता है। हाँ, लंबी कहानी है, लेकिन 28!!! चार्ल्स. मैंने अपनी तकनीकी युवावस्था में बीआई स्पॉटफ़ायर (2007) खरीदा था। और जैस्परसॉफ्ट (2014) से भी रिपोर्टिंग, फिर तीन पूर्वानुमानित विश्लेषण विक्रेता इनसाइटफुल (एस-प्लस) (2008), स्टेटिस्टिका (2017) और अल्पाइन डेटा (2017), इवेंट प्रोसेसिंग और स्ट्रीमिंग स्ट्रीमबेस सिस्टम (2013), एमडीएम ऑर्केस्ट्रा नेटवर्क्स (2018) और स्नैपी डेटा (2019) इन-मेमोरी प्लेटफॉर्म।

नमस्ते फ्रेंकी!

स्रोत: www.habr.com