गार्टनर MQ 2020 समीक्षा: मेसिन लर्निङ र आर्टिफिसियल इन्टेलिजेन्स प्लेटफर्महरू

मैले यो पढ्नुको कारण व्याख्या गर्न असम्भव छ। मसँग भर्खर समय थियो र बजार कसरी काम गर्दछ भन्नेमा चासो थियो। र यो पहिले नै 2018 देखि गार्टनर को अनुसार एक पूर्ण बजार हो। 2014-2016 देखि यसलाई उन्नत विश्लेषण (BI मा जरा), 2017 मा - डेटा विज्ञान (मलाई थाहा छैन यसलाई रूसीमा कसरी अनुवाद गर्ने) भनिन्थ्यो। स्क्वायर वरिपरि विक्रेताहरूको आन्दोलनमा रुचि राख्नेहरूका लागि, तपाईं सक्नुहुन्छ यहाँ हेर र म 2020 स्क्वायरको बारेमा कुरा गर्नेछु, विशेष गरी जब 2019 देखि त्यहाँ परिवर्तनहरू न्यून छन्: SAP बाहिर सर्यो र Altair ले Datawatch किन्यो।

यो व्यवस्थित विश्लेषण वा तालिका होइन। एक व्यक्तिगत दृष्टिकोण, भूभौतिकविद्को दृष्टिकोणबाट पनि। तर म सधैं गार्टनर MQ पढ्न उत्सुक छु, तिनीहरूले केही बिन्दुहरू पूर्ण रूपमा तयार गर्छन्। त्यसोभए मैले प्राविधिक, बजार-वार, र दार्शनिक रूपमा ध्यान दिएका कुराहरू यहाँ छन्।

यो ML को विषयको गहिराइमा रहेका मानिसहरूका लागि होइन, तर बजारमा सामान्यतया के भइरहेको छ भन्नेमा रुचि राख्ने मानिसहरूका लागि हो।

DSML बजार आफैं तार्किक रूपमा BI र Cloud AI विकासकर्ता सेवाहरू बीचको गुँड।

मनपर्ने उद्धरण र सर्तहरू पहिले:

• "नेता उत्तम विकल्प नहुन सक्छ" - बजार नेता तपाईलाई आवश्यक पर्ने कुरा होइन। धेरै जरुरी छ! कार्यात्मक ग्राहकको अभावको परिणामको रूपमा, तिनीहरू सधैं "उचित" समाधानको सट्टा "उत्तम" समाधान खोजिरहेका हुन्छन्।
• "नमूना परिचालन" - MOPs को रूपमा संक्षिप्त। र सबैलाई पगहरूसँग कठिन समय छ! - (कूल पग विषयवस्तुले मोडेललाई काम गर्दछ)।
• "नोटबुक वातावरण" एउटा महत्त्वपूर्ण अवधारणा हो जहाँ कोड, टिप्पणी, डेटा र परिणामहरू सँगै आउँछन्। यो धेरै स्पष्ट, आशाजनक छ र उल्लेखनीय रूपमा UI कोड को मात्रा कम गर्न सक्छ।
• "OpenSource मा रुट" - राम्रो भन्यो - खुला स्रोत मा जरा लिन्छ।
• "नागरिक डाटा वैज्ञानिकहरू" - यस्तो सजिलो साथीहरू, त्यस्ता लामरहरू, विशेषज्ञहरू होइनन्, जसलाई दृश्य वातावरण र सबै प्रकारका सहायक चीजहरू चाहिन्छ। तिनीहरूले कोड गर्दैनन्।
• "लोकतन्त्र" - प्रायः "बृहत् दायराका मानिसहरूलाई उपलब्ध गराउनु" को अर्थ प्रयोग गरिन्छ। हामीले प्रयोग गर्ने खतरनाक "डेटा मुक्त गर्नुहोस्" को सट्टा "डेटा प्रजातान्त्रिक गर्नुहोस्" भन्न सक्छौं। "लोकतन्त्र" सधैं लामो पुच्छर हो र सबै विक्रेताहरू यसको पछि दौड्छन्। ज्ञानको तीव्रतामा हानि - पहुँचमा लाभ!
• "अन्वेषक डाटा विश्लेषण - EDA" - यी उपलब्ध साधनहरूको विचार। केही तथ्याङ्कहरू। एक सानो दृश्य। सबैले कुनै न कुनै रूपमा गर्ने काम। यसका लागि नाम छ थाहा थिएन
• "प्रजनन क्षमता" - सबै वातावरणीय मापदण्डहरू, आगतहरू र आउटपुटहरूको अधिकतम संरक्षण ताकि प्रयोग एक पटक दोहोर्याउन सकिन्छ। प्रयोगात्मक परीक्षण वातावरणको लागि सबैभन्दा महत्त्वपूर्ण शब्द!

त्यसैले:

Alteryx

कूल इन्टरफेस, खेलौना जस्तै। स्केलेबिलिटी, अवश्य पनि, अलि गाह्रो छ। तदनुसार, नागरिक समुदाय इन्जिनियरहरू वरपर उस्तै छोचचेस खेल्न। एनालिटिक्स एक बोतल मा सबै तपाइँको छ। मलाई स्पेक्ट्रल-सहसंबंध डेटा विश्लेषणको जटिलको सम्झना गराइयो Coscad, जुन 90 को दशक मा प्रोग्राम गरिएको थियो।

Anaconda

पाइथन र आर विशेषज्ञहरूको वरिपरि समुदाय। खुला स्रोत तदनुसार ठूलो छ। यो बाहिर भयो कि मेरा सहकर्मीहरूले यसलाई सबै समय प्रयोग गर्छन्। तर मलाई थाहा भएन ।

डाटाब्रिक्स

तीन ओपनसोर्स परियोजनाहरू मिलेर बनेको छ - स्पार्क विकासकर्ताहरूले 2013 बाट धेरै पैसा उठाएका छन्। मैले वास्तवमा विकीलाई उद्धृत गर्नुपर्छ:

"सेप्टेम्बर 2013 मा, डाटाब्रिक्सले घोषणा गर्‍यो कि यसले एन्ड्रिसेन होरोविट्सबाट $ 13.9 मिलियन उठाएको छ। कम्पनीले 33 मा $ 2014 मिलियन, 60 मा $ 2016 मिलियन, 140 मा $ 2017 मिलियन, 250 (फेब्रुअरी) मा $ 2019 मिलियन र 400 (अक्टुबर) मा $ 2019 मिलियन थप्यो" !!!

केही महान व्यक्तिहरूले स्पार्क काट्छन्। मलाई थाहा छैन, माफ गर्नुहोस्!

र परियोजनाहरू हुन्:

• डेल्टा ताल - स्पार्कमा ACID भर्खरै जारी गरिएको थियो (हामीले Elasticsearch को बारेमा सपना देख्यौं) - यसलाई डेटाबेसमा परिणत गर्दछ: कठोर स्कीमा, ACID, अडिटिङ, संस्करणहरू ...
• एमएल प्रवाह - ट्र्याकिङ, प्याकेजिङ्ग, व्यवस्थापन र मोडेल को भण्डारण।
• कोआलास - Spark मा Pandas DataFrame API - Pandas - Python API टेबल र सामान्य डेटा संग काम गर्न को लागी।

तपाईंले स्पार्कलाई थाहा नभएका वा बिर्सिएकाहरूका लागि हेर्न सक्नुहुन्छ: लिङ्क। मैले थोरै बोरिंग तर विस्तृत परामर्श वुडपेकरहरूका उदाहरणहरू सहित भिडियोहरू हेरे: डाटा विज्ञानका लागि डाटाब्रिक्स (लिङ्क) र डाटा इन्जिनियरिङका लागि (लिङ्क).

छोटकरीमा, डाटाब्रिक्सले स्पार्कलाई बाहिर निकाल्छ। क्लाउडमा सामान्य रूपमा स्पार्क प्रयोग गर्न चाहने जो कोहीले बिना हिचकिचाहट डाटाब्रिक्स लिन्छन्, जसरी उद्देश्य 🙂 स्पार्क यहाँ मुख्य भिन्नताकर्ता हो।
मैले सिकें कि स्पार्क स्ट्रिमिङ वास्तविक नक्कली वास्तविक समय वा माइक्रोब्याचिङ होइन। र यदि तपाईंलाई वास्तविक वास्तविक समय चाहिन्छ भने, यो Apache STORM मा छ। सबैले यो पनि भन्छन् र लेख्छन् कि Spark MapReduce भन्दा राम्रो छ। यो नारा हो ।

DATAIKU

चिसो अन्त देखि अन्त कुरा। त्यहाँ धेरै विज्ञापनहरू छन्। मैले बुझिन कि यो Alteryx बाट कसरी फरक छ?

डाटारोबोट

डेटा तयारीका लागि Paxata एउटा छुट्टै कम्पनी हो जुन डिसेम्बर २०१९ मा डाटा रोबोट्सले किनेको थियो। हामीले 2019 MUSD उठायौं र बेच्यौं। सबै 20 वर्षमा।

Paxata मा डाटा तयारी, Excel होइन - यहाँ हेर्नुहोस्: लिङ्क.
त्यहाँ स्वचालित लुकअपहरू र दुई डेटासेटहरू बीच जोडिने प्रस्तावहरू छन्। एउटा ठूलो कुरा - डेटा बुझ्नको लागि, पाठ्य जानकारीमा अझ बढी जोड दिइनेछ (लिङ्क).
डाटा क्याटलग बेकार "लाइभ" डाटासेटहरूको उत्कृष्ट सूची हो।
यो पनि चाखलाग्दो छ कि कसरी डाइरेक्टरीहरू Paxata (लिङ्क).

“विश्लेषक फर्मका अनुसार Ovum, सफ्टवेयर मा अग्रिम मार्फत सम्भव भएको छ भविष्यवाणी एनालिटिक्स, मेशिन सिकाइ र NoSQL डाटा क्यासिङ पद्धति।[15] सफ्टवेयर प्रयोग गर्दछ अर्थपूर्ण डेटा-सेटमा सम्भावित डुप्लिकेटहरू फेला पार्न डेटा तालिकाको स्तम्भहरू र ढाँचा पहिचान एल्गोरिदमहरूको अर्थ बुझ्नको लागि एल्गोरिदमहरू।[15][7] यसले अनुक्रमणिका, पाठ ढाँचा पहिचान र अन्य प्रविधिहरू पनि प्रयोग गर्दछ जुन परम्परागत रूपमा सामाजिक मिडिया र खोज सफ्टवेयरमा पाइन्छ।"

डाटा रोबोटको मुख्य उत्पादन हो यहाँ। तिनीहरूको नारा मोडेलदेखि इन्टरप्राइज अनुप्रयोग हो! मैले संकटको सम्बन्धमा तेल उद्योगको लागि परामर्श फेला पारे, तर यो धेरै सामान्य र चाखलाग्दो थियो: लिङ्क। मैले तिनीहरूका भिडियोहरू Mops वा MLops (लिङ्क)। यो 6-7 विभिन्न उत्पादनहरु को अधिग्रहण बाट भेला भएको यस्तो Frankenstein हो।

निस्सन्देह, यो स्पष्ट हुन्छ कि डाटा वैज्ञानिकहरूको ठूलो टोलीसँग मोडेलहरूसँग काम गर्नको लागि त्यस्तो वातावरण हुनुपर्छ, अन्यथा तिनीहरूले धेरै उत्पादन गर्नेछन् र कहिले पनि केही पनि प्रयोग गर्दैनन्। र हाम्रो तेल र ग्यास अपस्ट्रीम वास्तविकतामा, यदि हामीले एउटा सफल मोडेल सिर्जना गर्न सक्छौं भने, त्यो ठूलो प्रगति हुनेछ!

प्रक्रिया आफैंमा भूविज्ञान-जियोफिजिक्समा डिजाइन प्रणालीहरूसँगको कामको धेरै सम्झना थियो, उदाहरणका लागि। पेट्रेल। धेरै अल्छी नहुने सबैले मोडेल बनाउँछन् र परिमार्जन गर्छन्। मोडेलमा डाटा सङ्कलन गर्नुहोस्। त्यसपछि तिनीहरूले सन्दर्भ मोडेल बनाए र उत्पादनमा पठाए! भनौं, भूवैज्ञानिक मोडेल र एमएल मोडेलको बीचमा, तपाईले धेरै समानता पाउन सक्नुहुन्छ।

डोमिनो

खुला प्लेटफर्म र सहकार्यमा जोड। व्यापार प्रयोगकर्ताहरू नि: शुल्क भर्ती छन्। तिनीहरूको डाटा ल्याब सेयरपोइन्टसँग मिल्दोजुल्दो छ। (र नामले आईबीएमलाई कडा रूपमा चित्त बुझाउँछ)। सबै प्रयोगहरू मूल डेटासेटमा लिङ्क हुन्छन्। यो कत्ति परिचित छ :) हाम्रो अभ्यासमा जस्तै - केहि डाटा मोडेलमा तानियो, त्यसपछि यसलाई सफा गरी मोडेलमा क्रमबद्ध राखियो, र यो सबै पहिले नै त्यहाँ मोडेलमा रहन्छ र स्रोत डेटामा अन्त्यहरू फेला पार्न सकिँदैन। ।

डोमिनोसँग सुन्दर पूर्वाधार भर्चुअलाइजेशन छ। मैले मेसिनलाई एक सेकेन्डमा आवश्यक पर्ने धेरै कोरहरू जम्मा गरें र गणना गर्न गएँ। यो कसरी गरियो तत्काल स्पष्ट छैन। डकर जताततै छ। धेरै स्वतन्त्रता! नवीनतम संस्करण को कुनै पनि कार्यस्थान जडान गर्न सकिन्छ। प्रयोगहरूको समानान्तर प्रक्षेपण। ट्र्याकिंग र सफल व्यक्तिहरूको चयन।

DataRobot जस्तै - नतिजाहरू एप्लिकेसनहरूको रूपमा व्यापार प्रयोगकर्ताहरूको लागि प्रकाशित गरिन्छ। विशेष गरी प्रतिभाशाली "हितधारकहरू" को लागी। र मोडेलहरूको वास्तविक प्रयोग पनि निगरानी गरिन्छ। Pugs को लागी सबै कुरा!

म पूर्ण रूपमा बुझ्दिन कि कसरी जटिल मोडेलहरू उत्पादनमा समाप्त हुन्छन्। तिनीहरूलाई डाटा फिड गर्न र परिणामहरू प्राप्त गर्नको लागि केही प्रकारको API प्रदान गरिएको छ।

H2O

ड्राइभलेस एआई सुपरभाइज्ड एमएलको लागि एकदमै कम्प्याक्ट र सहज प्रणाली हो। सबै एक बक्स मा। ब्याकइन्डको बारेमा यो पूर्ण रूपमा स्पष्ट छैन।

मोडेल स्वचालित रूपमा REST सर्भर वा Java एपमा प्याकेज गरिएको छ। यो एक महान विचार हो। व्याख्या र व्याख्याको लागि धेरै गरिएको छ। मोडेलको नतिजाको व्याख्या र व्याख्या (के अन्तर्निहित रूपमा व्याख्या गर्न मिल्दैन, अन्यथा एक व्यक्तिले गणना गर्न सक्छ?)।
पहिलो पटक, असंरचित डाटा बारे एक केस स्टडी र एनएलपी। उच्च गुणस्तरको वास्तुकला चित्र। र सामान्यतया मलाई चित्रहरू मन पर्यो।

त्यहाँ एक ठूलो खुला स्रोत H2O फ्रेमवर्क छ जुन पूर्ण रूपमा स्पष्ट छैन (एल्गोरिदम/पुस्तकालयहरूको सेट?)। बृहस्पति जस्तै प्रोग्रामिङ बिना तपाईको आफ्नै भिजुअल ल्यापटप (लिङ्क)। मैले जाभामा पोजो र मोजो - H2O मोडेलहरूको बारेमा पनि पढें। पहिलो सीधा छ, दोस्रो अनुकूलन संग। H20 मात्र व्यक्तिहरू (!) हुन् जसलाई गार्टनरले टेक्स्ट एनालिटिक्स र NLP लाई तिनीहरूको शक्तिको रूपमा सूचीबद्ध गरेका छन्, साथै तिनीहरूको स्पष्टीकरण सम्बन्धी प्रयासहरू। यो धेरै महत्वपूर्ण छ!

एकै ठाउँमा: हार्डवेयर र क्लाउडहरूसँग एकीकरणको क्षेत्रमा उच्च प्रदर्शन, अनुकूलन र उद्योग मानक।

र कमजोरी तार्किक छ - Driverles AI तिनीहरूको खुला स्रोतको तुलनामा कमजोर र साँघुरो छ। Paxata को तुलनामा डाटा तयारी लंगडा छ! र तिनीहरूले औद्योगिक डेटा बेवास्ता गर्छन् - स्ट्रिम, ग्राफ, भू। खैर, सबै कुरा राम्रो हुन सक्दैन।

KNIME

मलाई मुख्य पृष्ठमा 6 धेरै विशिष्ट, धेरै चाखलाग्दो व्यापारिक केसहरू मन पर्यो। बलियो खुला स्रोत।

गार्टनरले तिनीहरूलाई नेताहरूबाट दूरदर्शीहरूमा पदोन्नति गरे। कमजोर पैसा कमाउनु प्रयोगकर्ताहरूको लागि राम्रो संकेत हो, नेता सधैं उत्तम विकल्प होइन।

मुख्य शब्द, H2O मा जस्तै, संवर्धित छ, जसको अर्थ गरिब नागरिक डेटा वैज्ञानिकहरूलाई मद्दत गर्नु हो। समीक्षामा प्रदर्शनको लागि कसैको आलोचना भएको यो पहिलो पटक हो! रोचक? त्यो हो, त्यहाँ यति धेरै कम्प्युटिङ पावर छ कि प्रदर्शन प्रणालीगत समस्या हुन सक्दैन? गार्टनरले यस शब्दको बारेमा "संवर्धित" अलग लेखजुन पुग्न सकिएन ।
र KNIME समीक्षामा पहिलो गैर-अमेरिकी जस्तो देखिन्छ! (र हाम्रा डिजाइनरहरूले वास्तवमै उनीहरूको ल्यान्डिङ पृष्ठ मन पराए। अनौठो मानिसहरू।

MathWorks

MatLab एक पुरानो मानद कामरेड हो जुन सबैलाई थाहा छ! जीवन र परिस्थिति को सबै क्षेत्रहरु को लागी उपकरण बाकस। धेरै फरक कुरा। वास्तवमा, जीवनमा सबै कुराको लागि धेरै र धेरै र धेरै गणित!

प्रणाली डिजाइनको लागि सिमुलिंक एड-अन उत्पादन। मैले डिजिटल जुम्ल्याहाका लागि उपकरण बाकसमा खनेँ - म यसको बारेमा केहि बुझ्दिन, तर यहाँ धेरै लेखिएको छ। को लागी तेल उद्योग। सामान्यतया, यो गणित र ईन्जिनियरिङ्को गहिराइबाट मौलिक रूपमा फरक उत्पादन हो। विशिष्ट गणित टूलकिटहरू चयन गर्न। गार्टनरका अनुसार, तिनीहरूका समस्याहरू स्मार्ट इन्जिनियरहरूको जस्तै छन् - कुनै सहयोग छैन - सबैजना आफ्नै मोडेलमा घुम्छन्, कुनै लोकतन्त्र, कुनै स्पष्टीकरण छैन।

र्यापिड माइनर

मैले राम्रो खुला स्रोतको सन्दर्भमा (म्याटलाबको साथ) पहिले धेरै कुरा सुनेको छु। मैले सामान्य रूपमा टर्बोप्रेपमा थोरै खनेँ। मलाई फोहोर डाटाबाट सफा डाटा कसरी प्राप्त गर्ने भन्नेमा रुचि छ।

फेरि तपाईले देख्न सक्नुहुन्छ कि मानिसहरू 2018 मार्केटिङ सामग्री र फिचर डेमोमा भयानक अंग्रेजी बोल्ने मानिसहरूको आधारमा राम्रो छन्।

र 2001 देखि डर्टमुन्डका मानिसहरू बलियो जर्मन पृष्ठभूमि भएका)

मैले अझै पनि साइटबाट खुला स्रोतमा के उपलब्ध छ भनेर बुझेको छैन - तपाईंले गहिरो खन्नुपर्छ। परिनियोजन र AutoML अवधारणाहरू बारे राम्रो भिडियोहरू।

RapidMiner सर्भर ब्याकइन्डको बारेमा केहि विशेष छैन। यो सम्भवतः कम्प्याक्ट हुनेछ र बक्स बाहिर प्रिमियम मा राम्रो काम गर्दछ। यो डकरमा प्याकेज गरिएको छ। RapidMiner सर्भरमा मात्र साझा वातावरण। र त्यसपछि त्यहाँ Radoop, Hadoop बाट डाटा, स्टुडियो कार्यप्रवाह मा स्पार्क बाट राइमहरू गणना।

अपेक्षित रूपमा, युवा तातो विक्रेताहरू "धारीदार लाठीहरू बेच्नेहरू" तिनीहरूलाई तल सारियो। गार्टनर, तथापि, इन्टरप्राइज स्पेस मा आफ्नो भविष्य सफलता भविष्यवाणी। तपाईं त्यहाँ पैसा उठाउन सक्नुहुन्छ। जर्मनहरूलाई यो कसरी गर्ने थाहा छ, पवित्र-पवित्र :) SAP उल्लेख नगर्नुहोस् !!!

तिनीहरूले नागरिकहरूको लागि धेरै गर्छन्! तर पृष्ठबाट तपाईले देख्न सक्नुहुन्छ कि गार्टनर भन्छन् कि तिनीहरू बिक्री नवाचारसँग संघर्ष गरिरहेका छन् र कभरेजको चौडाइको लागि लडिरहेका छैनन्, तर नाफाको लागि।

रह्यो एसएएस и टिब्को मेरो लागि सामान्य BI विक्रेताहरू... र दुबै धेरै शीर्षमा छन्, जसले मेरो विश्वासलाई पुष्टि गर्छ कि सामान्य डाटासाइन्स तार्किक रूपमा बढिरहेको छ।
BI बाट, र क्लाउड र Hadoop पूर्वाधारबाट होइन। व्यवसायबाट, त्यो हो, र IT बाट होइन। उदाहरण को लागी Gazpromneft मा जस्तै: लिङ्क,एक परिपक्व DSML वातावरण बलियो BI अभ्यासहरूबाट बढ्छ। तर हुनसक्छ यो MDM र अन्य चीजहरू तर्फ स्म्याकी र पक्षपाती छ, कसलाई थाहा छ।

एसएएस

भन्न धेरै छैन। केवल स्पष्ट चीजहरू।

TIBCO

रणनीति पृष्ठ-लामो विकि पृष्ठमा किनमेल सूचीमा पढिन्छ। हो, लामो कथा, तर 28 !!! चार्ल्स। मैले मेरो टेक्नो-युवामा BI Spotfire (2007) किनेको थिएँ। र Jaspersoft (2014) बाट पनि रिपोर्टिङ गर्दै, त्यसपछि तीनवटा भविष्यवाणी गर्ने विश्लेषक विक्रेताहरू Insightful (S-plus) (2008), Statistica (2017) र Alpine Data (2017), घटना प्रशोधन र स्ट्रिमिङ स्ट्रिमबेस प्रणाली (2013), MDM अर्केस्ट्रा। नेटवर्कहरू (2018) र स्न्याप्पी डाटा (2019) इन-मेमोरी प्लेटफर्म।

नमस्ते फ्रान्की!

स्रोत: www.habr.com