Авторы: Сергей Лукьянчиков, InterSystems инженер-консалтинг
Нақты уақыттағы AI/ML есептеу қиындықтары
InterSystems-тегі Data Science тәжірибесінің мысалдарынан бастайық:
- «Жүктелген» сатып алушы порталы онлайн кеңес беру жүйесіне қосылған. Бөлшек сауда желісінің ауқымында акцияларды қайта құрылымдау келе жатыр (мысалы, акциялардың «жалпақ» сызығының орнына енді «сегмент-тактика» матрицасы қолданылатын болады). Ұсынушыларға не болады? Деректерді ұсынатын механизмге беру және жаңарту (енгізу деректерінің көлемі 25000 XNUMX есе өсті) не болады? Ұсыныстарды әзірлеумен не болады (ұсынымдық ережелердің сүзгілеу шегін олардың саны мен «диапазонының» мың есе ұлғаюына байланысты мың есе төмендету қажеттілігі)?
- Жабдық түйіндеріндегі ақаулардың даму ықтималдығын бақылау жүйесі бар. Мониторинг жүйесіне әр секунд сайын мыңдаған технологиялық параметрлерді жіберетін процесті басқару жүйесі қосылды. Бұрын «қолмен үлгілерде» жұмыс істеген мониторинг жүйесімен не болады (ол екіншіден екіншіге дейінгі ықтималдық мониторингін қамтамасыз ете алады ма)? Процесті басқару жүйесіне жақында қосылған сенсорлардың көрсеткіштерімен кіріс деректерінде бірнеше жүз бағандары бар жаңа блок пайда болса не болады (жаңа сенсорлардың деректерін енгізу үшін бақылау жүйесін тоқтату қажет пе және қанша уақыт қажет болады). талдау)?
- Бір-бірінің жұмысының нәтижелерін пайдалана отырып, AI/ML механизмдерінің жиынтығы (ұсынымдық, мониторингтік, болжамдық) жасалды. Бұл кешеннің жұмысын кіріс деректеріндегі өзгерістерге бейімдеу үшін ай сайын қанша адам-сағат қажет? Шешім қабылдау кешені қолдайтын жалпы «баяулау» дегеніміз не (жаңа кіріс деректердің пайда болу жиілігіне қатысты ондағы жаңа қолдаушы ақпараттың пайда болу жиілігі)?
Осы және басқа да көптеген мысалдарды қорытындылай келе, біз машиналық оқытуды және нақты уақыттағы жасанды интеллект механизмдерін пайдалануға көшу кезінде туындайтын қиындықтарды тұжырымдауға келдік:
- Бізді компаниямыздағы AI/ML әзірлемелерін жасау және бейімдеу жылдамдығы (өзгеретін жағдайға) қанағаттандырады ма?
- Біз қолданатын AI/ML шешімдері нақты уақыттағы бизнесті басқаруды қаншалықты қолдайды?
- Біз қолданатын AI/ML шешімдері деректер мен бизнесті басқару тәжірибесіндегі өзгерістерге дербес (әзірлеушілерсіз) бейімделе ала ма?
Біздің мақалада InterSystems IRIS платформасының AI/ML механизмдерін орналастыруға әмбебап қолдау көрсету, AI/ML шешімдерін жинақтау (интеграциялау) және AI/ML шешімдерін қарқынды деректер бойынша оқыту (тестілеу) тұрғысынан егжей-тегжейлі шолу. ағындар. Біз осы мақалада нарықтық зерттеулерге, AI/ML шешімдерінің жағдайлық зерттеулеріне және нақты уақыттағы AI/ML платформасы деп атайтын нәрсенің тұжырымдамалық аспектілеріне жүгінеміз.
Сауалнамалардан не білеміз: нақты уақыттағы қолданбалар
нәтижелері Lightbend компаниясы 800 жылы 2019-ге жуық АТ мамандары арасында жүргізген жұмыстары өздері үшін айтады:
1-сурет Нақты уақыттағы деректердің жетекші тұтынушылары
Аудармада біз үшін маңызды болып табылатын осы сауалнаманың нәтижелері туралы есептің үзінділерін келтірейік:
«...Деректер ағынын біріктіру құралдарының танымалдылығының тенденциялары және сонымен бірге контейнерлік есептеулерді қолдау тиімді шешімдердің неғұрлым тиімді, ұтымды, серпінді ұсынысына нарық сұранысына синергетикалық жауап береді. Деректер ағындары ақпаратты дәстүрлі пакеттік деректерге қарағанда жылдамырақ тасымалдауға мүмкіндік береді. Бұған тұтынушылардың қанағаттануын арттыру арқылы бәсекелестік артықшылықтарды жасау үшін AI/ML негізіндегі ұсыныстар сияқты есептеу әдістерін жылдам қолдану мүмкіндігі қосылады. Шапшаңдық үшін жарыс DevOps парадигмасындағы барлық рөлдерге де әсер етеді - қолданбаларды әзірлеу мен орналастыруды тиімдірек етеді. … Сегіз жүз төрт IT маманы өз ұйымдарында деректер ағындарын пайдалану туралы ақпарат берді. Респонденттердің басым бөлігі Батыс елдерінде (Еуропада 41% және Солтүстік Америкада 37%) және шағын, орта және ірі компаниялар арасында біркелкі дерлік бөлінді. …
… Жасанды интеллект – бұлай емес. Өнімді AI/ML қолданбаларында деректер ағынын өңдеуді қолданып жүргендердің елу сегіз пайызы оларды AI/ML жүйесінде пайдалану келесі жылы ең үлкен табысқа ие болатынын растайды (басқа қолданбалармен салыстырғанда).
- Респонденттердің көпшілігінің пікірінше, AI/ML сценарийлерінде деректер ағындарын пайдалану келесі жылы ең үлкен өсімді алады.
- AI/ML қолданбалары сценарийлердің салыстырмалы түрде жаңа түрлері арқылы ғана емес, сонымен қатар нақты уақыттағы деректер жиі қолданылатын дәстүрлі сценарийлер арқылы да өседі.
- AI/ML-ден басқа, IoT деректер құбырларын пайдаланушылар арасындағы ынта деңгейі әсерлі - IoT деректерін біріктіріп қойғандардың 48% бұл деректер бойынша сценарийлерді жүзеге асыру жақын болашақта айтарлықтай өсетінін айтады. … »
Бұл өте қызықты сауалнамадан машиналық оқыту мен жасанды интеллект сценарийлерін деректер ағындарын тұтынуда көшбасшы ретінде қабылдау қазірдің өзінде «жолда» екенін көруге болады. Бірақ DevOps оптикасы арқылы нақты уақыттағы AI / ML қабылдау бірдей маңызды байқауға айналады: бұл жерде біз әлі де үстемдік ететін «толық қол жетімді деректер жиынтығы бар бір реттік AI / ML» мәдениетінің трансформациясы туралы айтуды бастауға болады.
Нақты уақыттағы AI/ML платформасының тұжырымдамасы
Нақты уақыттағы AI/ML үшін әдеттегі қолданбалардың бірі өндіріс процесін басқару болып табылады. Оның мысалында және алдыңғы ойларды ескере отырып, біз нақты уақыттағы AI / ML платформасының тұжырымдамасын тұжырымдаймыз.
Процесті басқаруда жасанды интеллект пен машиналық оқытуды пайдалану бірқатар мүмкіндіктерге ие:
- Технологиялық процестің жай-күйі туралы мәліметтер қарқынды түрде қабылданады: жоғары жиілікте және параметрлердің кең диапазонында (технологиялық процесті басқару жүйесінен секундына он мыңдаған параметр мәндеріне дейін жіберіледі)
- Ақауларды анықтау туралы деректер, олардың дамуы туралы мәліметтерді айтпағанда, керісінше, тапшы және тұрақты емес, ақаулардың жеткіліксіз типтелуімен және олардың уақытында оқшаулануымен сипатталады (көбінесе қағаздағы жазбалармен көрсетіледі).
- Тәжірибелік тұрғыдан алғанда, модельдерді оқыту және қолдану үшін технологиялық процестің динамикасын көрсететін, процесс параметрлерінің соңғы оқылатын мәндерімен аяқталатын бастапқы деректердің «сәйкестік терезесі» ғана қолжетімді.
Бұл мүмкіндіктер бізді процесстен қарқынды «кең жолақты енгізуді» нақты уақыт режимінде қабылдаудан және негізгі өңдеуден басқа, AI / ML модельдерін қолдану, оқыту және жұмыс нәтижелерінің сапасын бақылауды (параллельді) орындауға мәжбүр етеді - сонымен қатар нақты уақытта. Біздің модельдер өзектіліктің жылжымалы терезесінде «көретін» «кадр» үнемі өзгеріп отырады және онымен бірге өткен «кадрлардың» бірінде дайындалған AI / ML модельдерінің жұмыс нәтижелерінің сапасы да өзгереді. . Егер AI/ML модельдерінің жұмыс нәтижелерінің сапасы нашарласа (мысалы: «дабыл-норма» жіктеу қатесінің мәні біз анықтаған шекарадан асып кетсе), модельдерді қайта даярлауды автоматты түрде неғұрлым жоғары деңгейде бастау керек. сәйкес «кадр» - және модельдерді қайта даярлауды бастау сәтін таңдау оқу ұзақтығының өзін, сондай-ақ модельдердің ағымдағы нұсқасы сапасының нашарлау динамикасын (ағымдағы нұсқалардан бастап) ескеруі керек. үлгілердің нұсқалары үлгілер оқытылып жатқанда және олардың «қайта дайындалған» нұсқалары жасалғанша қолданыла береді).
InterSystems IRIS процесті басқару үшін нақты уақыттағы AI/ML шешімдерін қосу үшін негізгі платформа мүмкіндіктеріне ие. Бұл мүмкіндіктерді үш негізгі топқа бөлуге болады:
- InterSystems IRIS платформасында нақты уақытта жұмыс істейтін өнімді шешімге жаңа немесе бейімделген бар AI / ML механизмдерін үздіксіз орналастыру (Үздіксіз орналастыру / жеткізу, CD)
- Кіріс процестерінің деректер ағындарының, AI / ML механизмдерінің сапасын бақылауға / оқытуға / деректер кезектеріне және нақты уақыт режимінде реттелетін математикалық модельдеу орталарымен деректер / кодты / басқару алмасуларына арналған бір өнімді шешімге үздіксіз интеграция (CI) InterSystems IRIS платформасы
- InterSystems IRIS платформасы арқылы берілетін деректерді, кодты және басқару әрекеттерін («қабылданған шешімдер») пайдалана отырып, математикалық модельдеу орталарында орындалатын AI / ML механизмдерін үздіксіз (өздігінен) үйрену (Үздіксіз оқыту, CT)
Платформаның мүмкіндіктерін машиналық оқытуға және жасанды интеллектке қатысты дәл осындай топтарға жіктеу кездейсоқ емес. Әдістемелік нұсқаны келтірейік Бұл жіктеудің тұжырымдамалық негізін беретін Google, біздің аудармамызда:
«... Қазіргі уақытта танымал DevOps тұжырымдамасы ауқымды ақпараттық жүйелердің дамуы мен жұмысын қамтиды. Бұл тұжырымдаманы жүзеге асырудың артықшылықтары даму циклдерінің ұзақтығын қысқарту, әзірлеуді орналастыруды жеделдету, шығаруды жоспарлаудың икемділігі болып табылады. Осы артықшылықтарға қол жеткізу үшін DevOps кем дегенде екі тәжірибені енгізуді қамтиды:
- Үздіксіз интеграция (CI)
- Үздіксіз жеткізу (CD)
Бұл тәжірибелер өнімді AI/ML шешімдерінің берік және өнімді құрастыруларын қамтамасыз ету үшін AI/ML платформаларына да қолданылады.
AI/ML платформалары басқа ақпараттық жүйелерден келесі аспектілері бойынша ерекшеленеді:
- Топ құзыреттері: AI/ML шешімін құру кезінде команда әдетте деректерді талдауды, үлгіні әзірлеуді және тексеруді жүргізетін деректер ғалымдарын немесе деректер ғалымдарын қамтиды. Бұл топ мүшелері өнімді кодтың кәсіби әзірлеушілері болмауы мүмкін.
- Дамытушылық: AI/ML механизмдері эксперименттік сипатта. Мәселені ең тиімді жолмен шешу үшін кіріс айнымалыларының, алгоритмдердің, модельдеу әдістерінің және модель параметрлерінің әртүрлі комбинациялары арқылы сұрыптау қажет. Мұндай іздеудің күрделілігі «ненің жұмыс істегенін/жұмыс істемегенін» іздеуде, эпизодтардың қайталануын қамтамасыз етуде және қайталанатын іске асыру үшін әзірлемелерді жалпылауда жатыр.
- Тестілеу: AI/ML механизмдерін тестілеу басқа әзірлемелерге қарағанда кеңірек сынақтарды қажет етеді. Типтік бірлік және интеграциялық сынақтардан басқа, деректердің дұрыстығы және үлгіні оқыту және бақылау үлгілеріне қолдану нәтижелерінің сапасы тексеріледі.
- Қолдану: AI/ML шешімдерін қолдану бір рет оқытылған үлгіні қолданатын болжамды қызметтермен шектелмейді. AI / ML шешімдері автоматтандырылған оқытуды және модельдерді қолдануды жүзеге асыратын көп сатылы құбырлардың айналасында салынған. Мұндай құбырларды орналастыру үлгілерді үйрету және сынау мүмкіндігін алу үшін деректер ғалымдары дәстүрлі түрде қолмен орындайтын тривиальды емес қадамдарды автоматтандыруды қамтиды.
- Өнімді: AI/ML қозғалтқыштары тиімсіз бағдарламалауға ғана емес, сонымен қатар кіріс деректерінің үнемі өзгеретін сипатына байланысты өнімділікке ие болмауы мүмкін. Басқаша айтқанда, AI/ML механизмдерінің өнімділігі әдеттегі әзірлемелердің өнімділігіне қарағанда кеңірек себептерге байланысты нашарлауы мүмкін. Бұл AI/ML қозғалтқыштарымыздың өнімділігін бақылау (онлайн) қажеттілігіне әкеледі және өнімділік күткенге сай болмаса, ескертулер жіберу немесе нәтижелерді қабылдамау қажет.
AI/ML платформалары басқа ақпараттық жүйелерге ұқсас, өйткені екеуі де нұсқаларды басқарумен, бірліктерді сынаумен, интеграциялық тестілеумен, үздіксіз әзірлеуді орналастырумен үздіксіз кодты біріктіруді талап етеді. Дегенмен, AI/ML жағдайында бірнеше маңызды айырмашылықтар бар:
- CI (Үздіксіз интеграция) енді орналастырылған құрамдастардың кодын сынау және тексерумен шектелмейді – ол сонымен қатар деректерді және AI/ML үлгілерін сынау мен тексеруді қамтиды.
- CD (Үздіксіз жеткізу / орналастыру, үздіксіз орналастыру) пакеттерді немесе қызметтерді жазу және шығарумен шектелмейді, бірақ AI / ML шешімдерін құрастыруға, үйренуге және қолдануға арналған платформаны білдіреді.
- CT (Үздіксіз оқыту, үздіксіз оқыту) – жаңа элемент [шамамен. мақала авторы: КТ әдетте Үздіксіз тестілеу болып табылатын дәстүрлі DevOps тұжырымдамасына қатысты жаңа элемент, AI/ML платформаларына тән, AI/ML үлгілерін үйрену және қолдану тетіктерін автономды басқаруға жауапты. ...»
Нақты уақыттағы деректерде жұмыс істейтін машиналық оқыту және жасанды интеллект құралдар мен құзыреттердің кеңірек жиынтығын (кодты әзірлеуден математикалық модельдеу орталарын басқаруға дейін), барлық функционалдық және пәндік салалар арасындағы тығыз интеграцияны, адам мен жасанды интеллектті тиімді ұйымдастыруды талап ететінін айта аламыз. машина ресурстары.
Нақты уақыттағы сценарий: жем сорғыларындағы ақаулардың дамуын тану
Мысал ретінде процесті басқару саласын пайдалануды жалғастыра отырып, нақты тапсырманы қарастырыңыз (біз ең басында айтқан): процесс параметрлерінің ағыны негізінде сорғылардағы ақаулардың дамуын нақты уақыт режимінде бақылауды қамтамасыз ету қажет. және анықталған ақаулар туралы техникалық қызмет көрсету қызметкерлерінің есептері.
Сурет 2 Ақаулардың дамуын бақылау тапсырмасын тұжырымдау
Тәжірибеде осылайша қойылған міндеттердің басым бөлігінің ерекшелігі мәліметтерді алудың жүйелілігі мен тиімділігін (МБЖ) әр түрлі ақаулардың эпизодтық және ретсіз пайда болуы (және тіркеу) фонында қарастыру қажет. Басқаша айтқанда: технологиялық процестерді басқару жүйесінен мәліметтер секунд сайын дұрыс-дәл келеді, ал ақаулар цехтағы жалпы дәптерге күні көрсетілген өшпейтін қарындашпен жазылады (мысалы: «12.01 - қақпақтан ағып кету 3-ші подшипниктің жағы»).
Осылайша, мәселені тұжырымдауды келесі маңызды шектеумен толықтыруға болады: бізде белгілі бір типтегі ақаудың бір ғана «белгісі» бар (яғни, белгілі бір типтегі ақаудың мысалы, деректермен ұсынылған. белгілі бір күнге арналған процесті басқару жүйесі - және бізде осы нақты түрдегі ақаудың басқа мысалдары жоқ). Бұл шектеу бізді бірден классикалық машиналық оқыту (бақыланатын оқыту) шеңберінен шығарады, ол үшін көптеген «белгілер» болуы керек.
Сурет 3 Ақаулардың дамуын бақылау тапсырмасын нақтылау
Қолымыздағы жалғыз «белгіні» қалай да «көбейте» аламыз ба? Иә, аламыз. Сорғының ағымдағы күйі тіркелген ақауларға ұқсастық дәрежесімен сипатталады. Сандық әдістерді қолданбай-ақ, визуалды қабылдау деңгейінде, процесті басқару жүйесінен келетін деректер мәндерінің динамикасын бақылай отырып, сіз көп нәрсені біле аласыз:
4-сурет Берілген типтегі ақаудың «белгісінің» фонындағы сорғы күйінің динамикасы
Бірақ визуалды қабылдау (кем дегенде қазір) біздің тез өзгеретін сценарийімізде «тегтердің» ең қолайлы генераторы емес. Біз статистикалық сынақтың көмегімен сорғының ағымдағы күйінің хабарланған ақауларға ұқсастығын бағалаймыз.
5-сурет Ақаудың «белгісінің» фонында кіріс деректерге статистикалық сынақты қолдану
Статистикалық сынақ процесті басқару жүйесінен алынған «ағын пакетіндегі» технологиялық процесс параметрлерінің мәндері бар жазбалардың ақаудың белгілі бір түрінің «белгі» жазбаларына ұқсас болу ықтималдығын анықтайды. Статистикалық сынақты қолдану нәтижесінде есептелген ықтималдық мәні (статистикалық ұқсастық индексі) ұқсастық пакетіндегі әрбір нақты жазбада машиналық оқыту үшін «белгіге» айнала отырып, 0 немесе 1 мәніне түрлендіріледі. Яғни, жаңадан алынған сорғы күйі жазбаларының пакетін статистикалық сынақпен өңдегеннен кейін, бізде (а) бұл пакетті AI/ML моделін оқытуға арналған оқу үлгісіне қосу және (б) сапасын бақылау мүмкіндігі бар. осы бумаға қолданылған кездегі үлгінің ағымдағы нұсқасы.
6-сурет Ақаулық «белгісінің» фонында кіріс деректерге машиналық оқыту үлгісін қолдану
Бұрынғыларымыздың бірінде біз InterSystems IRIS платформасы модельдеу нәтижелерінің сенімділігін бақылайтын және модель параметрлерін бейімдейтін бизнес-процестерді үздіксіз орындау түріндегі кез келген AI/ML механизмін іске асыруға қалай мүмкіндік беретінін көрсетеміз және түсіндіреміз. Сценарийдің прототипін сорғылармен жүзеге асырған кезде біз вебинар барысында ұсынылған барлық InterSystems IRIS функционалдығын қолданамыз - классикалық бақыланатын оқыту емес, оқыту үшін үлгіні автоматты түрде басқаратын күшейтетін оқыту, біздің шешімнің бөлігі ретінде анализатор процесінде жүзеге асырылады. модельдер. Жазбалар статистикалық сынақты да, үлгінің ағымдағы нұсқасын да қолданғаннан кейін «анықтау консенсусы» пайда болатын оқу үлгісіне орналастырылады, яғни статистикалық тест (ұқсастық индексін 0 немесе 1-ге өзгерткеннен кейін) және модель осындай жазбалар бойынша нәтиже шығарды ұстап тұрыңыз» статистикалық сынақпен өңделгеннен кейін 1 нәтиже (оқытуда ақаудың бастапқы «жапсырмасынан» жазбалар үлгісінің тұрақты болуына байланысты) оқу үлгісінен алынып тасталады, ал үлгінің жаңа нұсқасы осыдан үйренеді. ақаудың «жапсырмасы» плюс ағындағы «ұсталатын» жазбалар.
7-сурет InterSystems IRIS жүйесінде AI/ML есептеулерін роботтандыру
InterSystems IRIS жүйесінде жергілікті есептеулер арқылы алынған анықтау сапасы туралы қандай да бір «екінші пікір» қажет болса, бұлттық қызметтерді (мысалы, Microsoft Azure) пайдалана отырып, басқару деректер жинағында оқыту-қолдану үлгілерін орындау үшін кеңесші процесі құрылады. , Amazon Web Services , Google Cloud Platform және т.б.):
8-сурет InterSystems IRIS ұйымдастырған Microsoft Azure екінші пікірі
InterSystems IRIS-тегі сценарийіміздің прототипі жабдық объектісімен (сорғымен), математикалық модельдеу орталарымен (Python, R және Julia) өзара әрекеттесетін және барлығын өздігінен үйренуді қамтамасыз ететін аналитикалық процестердің агент негізіндегі жүйесі түрінде жасалған. қатысты AI / ML механизмдері - нақты уақыттағы деректер ағындары бойынша.
9-сурет InterSystems IRIS жүйесіндегі нақты уақыттағы AI/ML шешімінің негізгі функционалдығы
Біздің прототипіміздің практикалық нәтижесі:
- Модель мойындаған ақау үлгісі (12 қаңтар):
- Үлгіге енбеген модель таныған дамып келе жатқан ақау (11 қыркүйек, ақаудың өзін жөндеу тобы екі күннен кейін - 13 қыркүйекте анықтады):
Бір ақаудың бірнеше эпизодтары бар нақты деректерге модельдеу InterSystems IRIS платформасында енгізілген біздің шешіміміз жөндеу тобы анықтағанға дейін осы түрдегі ақаулардың дамуын бірнеше күн бұрын анықтауға мүмкіндік беретінін көрсетті.
InterSystems IRIS – әмбебап нақты уақыттағы AI/ML есептеу платформасы
InterSystems IRIS платформасы нақты уақыттағы деректер шешімдерін әзірлеуді, орналастыруды және жұмысын жеңілдетеді. InterSystems IRIS бір уақытта транзакциялық және аналитикалық деректерді өңдеуді орындауға қабілетті; бірнеше үлгілерге (соның ішінде реляциялық, иерархиялық, объект және құжат) сәйкес деректердің синхрондалған көріністерін қолдау; деректер көздерінің кең ауқымы мен жеке қосымшалар үшін интеграциялық платформа ретінде әрекет ету; құрылымдалған және құрылымдалмаған деректерге нақты уақыттағы жетілдірілген аналитиканы қамтамасыз ету. InterSystems IRIS сонымен қатар сыртқы аналитикалық құралдарды пайдалану механизмдерін қамтамасыз етеді, бұлтта және жергілікті серверлерде хостингті біріктіруге икемділікке мүмкіндік береді.
InterSystems IRIS платформасында құрастырылған қолданбалар компанияларға стратегиялық және операциялық тұрғыдан маңызды экономикалық құндылыққа қол жеткізуге, шешім қабылдауды жақсартуға және оқиға, талдау және әрекет арасындағы алшақтықтарды жоюға көмектесетін салаларда орналастырылған.
10-сурет Нақты уақыттағы AI/ML контекстіндегі InterSystems IRIS архитектурасы
Алдыңғы диаграмма сияқты, төмендегі диаграмма жаңа «координаталар жүйесін» (CD/CI/CT) платформаның жұмыс элементтері арасындағы ақпарат ағынымен біріктіреді. Визуализация CD макро-механизмінен басталып, CI және CT макро-механизмдерімен жалғасады.
11-сурет InterSystems IRIS платформасының AI/ML элементтері арасындағы ақпарат ағындарының схемасы
InterSystems IRIS жүйесіндегі CD механизмінің мәні: платформа пайдаланушылары (AI / ML шешімдерін әзірлеушілер) мамандандырылған AI / ML механизмінің код редакторын пайдалана отырып, бұрыннан бар және / немесе жаңа AI / ML әзірлемелерін жасайды: Jupyter (толық аты: Jupyter Notebook; сонымен қатар, қысқаша айтқанда, осы редакторда жасалған құжаттар кейде деп аталады). Jupyter жүйесінде әзірлеушіде InterSystems IRIS жүйесінде орналастырылғанға дейін («орналастырылған») белгілі бір AI/ML әзірлеуінің өнімділігін (соның ішінде графиканы пайдалану) жазу, жөндеу және тексеру мүмкіндігі бар. Осылайша жасалған жаңа әзірлеме тек негізгі жөндеуді алатыны анық (өйткені, атап айтқанда, Jupyter нақты уақыттағы деректер ағындарымен жұмыс істемейді) - бұл заттардың тәртібінде, өйткені Юпитердегі дамудың негізгі нәтижесі жеке AI/ML-механизмінің іргелі жұмыс қабілеттілігін растау болып табылады («деректер үлгісінде күтілетін нәтижені көрсетеді»). Сол сияқты, Jupyter жүйесінде жөндеуден бұрын платформада орналастырылған механизм (келесі макро-механизмдерді қараңыз) «алдын ала платформа» пішініне «қайтаруды» қажет етуі мүмкін (файлдардан деректерді оқу, кестелердің орнына xDBC арқылы деректермен жұмыс істеу, глобалдармен тікелей әрекеттесу - көпөлшемді деректер массивтері InterSystems IRIS - т.б.).
InterSystems IRIS жүйесінде CD енгізудің маңызды аспектісі платформа мен Jupyter арасында екі бағытты интеграцияның жүзеге асырылуы болып табылады, бұл Python, R және Julia-да платформаға (және одан әрі платформада өңдеуге) мазмұнды тасымалдауға мүмкіндік береді (үшеуі де бар). математикалық модельдеудің сәйкес жетекші ашық бастапқы орталарында бағдарламалау тілдері). Осылайша, AI/ML контент әзірлеушілері Python, R, Julia тілдеріндегі таныс кітапханалармен таныс Jupyter редакторында жұмыс істеп, платформадан тыс негізгі жөндеуді (қажет болса) орындай отырып, бұл мазмұнды платформаға «үздіксіз орналастыру» мүмкіндігіне ие. .
InterSystems IRIS жүйесіндегі CI макро механизміне көшейік. Диаграммада «нақты уақыттағы роботтың» макропроцесі (мәліметтер құрылымдарының кешені, бизнес-процестер және олармен маттар тілдерінде және ObjectScript тілінде – InterSystems-тің аналық әзірлеу тілі) ұйымдастырылған код фрагменттері көрсетілген. IRIS). Бұл макропроцестің міндеті AI/ML механизмдерінің жұмысына қажетті деректер кезегін сақтау (платформаға нақты уақыт режимінде берілетін деректер ағыны негізінде), қолдану реттілігі және AI «диапазоны» туралы шешім қабылдау / ML механизмдері (олар сондай-ақ «математикалық алгоритмдер», «модельдер» және т.б. - іске асыру ерекшеліктері мен терминологиялық таңдауларға байланысты басқаша аталуы мүмкін), AI / ML механизмдерінің жұмыс нәтижелерін талдау үшін деректер құрылымдарын жаңартып отыру (текшелер, кестелер, көп өлшемді деректер массивтері және т.б.) және т.б. - есептер, бақылау тақталары және т.б.).
InterSystems IRIS жүйесінде CI енгізудің маңызды аспектісі платформа мен математикалық модельдеу орталары арасында екі бағытты интеграцияның жүзеге асырылуы болып табылады, бұл Python, R және Julia платформасында орналастырылған мазмұнды орындау нәтижелерін қайтарумен сәйкес орталарда орындауға мүмкіндік береді. . Бұл интеграция «терминал режимінде» де (яғни, AI/ML мазмұны кілемшелерге қоңырау шалатын ObjectScript коды ретінде тұжырымдалған) және «бизнес-процесс режимінде» де (яғни, AI/ML мазмұны графикалық редакторды пайдалана отырып, бизнес-процесс ретінде тұжырымдалған, немесе кейде Jupyter арқылы немесе IDE арқылы - IRIS Studio, Eclipse, Visual Studio Code). Jupyter жүйесіндегі бизнес-процестердің өңделуі CI деңгейіндегі IRIS және CD деңгейіндегі Jupyter арасындағы қатынас арқылы көрінеді. Төменде математикалық модельдеу орталарымен интеграцияның толығырақ шолуы берілген. Осы кезеңде, біздің ойымызша, платформада AI/ML әзірлемелерін («үздіксіз орналастырудан» келетін) нақты уақыттағы AI/ «үздіксіз интеграциясын» жүзеге асыру үшін барлық қажетті құралдардың болуын бекітуге толық негіз бар. ML шешімдері.
Ал негізгі макро механизмі: КТ. Онсыз AI / ML платформасы болмайды («нақты уақыт» CD / CI арқылы жүзеге асырылады). КТ мәні - платформаның машиналық оқытудың «артефактілерімен» және жасанды интеллектпен тікелей математикалық модельдеу орталарының жұмыс сессияларында жұмысы: модельдер, тарату кестелері, матрицалық векторлар, нейрондық желілердің қабаттары және т.б. Бұл «жұмыс» көп жағдайда орталарда аталған артефактілерді жасаудан тұрады (модельдер жағдайында, мысалы, «жасау» модельдің спецификациясын орнатудан және оның параметрлерінің мәндерін кейіннен таңдаудан тұрады - модельді «үйрету» деп аталатын), оларды қолдану (модельдер үшін: оларды мақсатты айнымалылардың «модельдік» мәндерін есептеу үшін пайдалану – категорияға жататын болжамдар, оқиғаның орын алу ықтималдығы және т.б.) және жақсарту бұрыннан жасалған және қолданылған артефактілер (мысалы, нұсқа ретінде болжау дәлдігін арттыру үшін қолдану нәтижелеріне негізделген үлгі енгізу айнымалыларының жиынын қайта анықтау). КТ рөлін түсінудің негізгі нүктесі оның CD және CI шындықтарынан «абстракциялауы» болып табылады: КТ нақты орталар беретін мүмкіндіктер шегінде AI / ML шешімінің есептеу және математикалық ерекшеліктеріне назар аудара отырып, барлық артефактілерді жүзеге асырады. . «Енгізілген деректерді беру» және «нәтижелерді жеткізу» жауапкершілігі CD және CI жауапкершілігінде болады.
InterSystems IRIS жүйесінде КТ енгізудің маңызды аспектісі: жоғарыда аталған математикалық модельдеу орталарымен интеграцияны пайдалана отырып, платформа орталарда оның бақылауымен жұмыс істейтін жұмыс сеанстарынан бірдей артефактілерді шығару және (ең бастысы) оларды айналдыру мүмкіндігіне ие. платформа деректер объектілері. Мысалы, жұмыс істейтін Python сеансында жаңа ғана жасалған тарату кестесін (Python-да сеансты тоқтатпай) платформаға, мысалы, ғаламдық (көпөлшемді InterSystems IRIS деректер массиві) түрінде тасымалдауға болады - және пайдаланылады басқа AI / ML- механизміндегі есептеулер үшін (басқа орта тілінде - мысалы, R тілінде қазірдің өзінде енгізілген) - немесе виртуалды кесте. Тағы бір мысал: модель жұмысының «қалыпты режимімен» қатар (Python жұмыс сеансында) оның кіріс деректерінде «auto-ML» жүзеге асырылады: оңтайлы кіріс айнымалылары мен параметр мәндерін автоматты түрде таңдау. «Үнемі» оқытумен қатар, өнімді модель нақты уақыт режимінде оның спецификациясы үшін «оңтайландыру ұсынысын» алады - онда кіріс айнымалылар жиынтығы өзгереді, параметр мәндері өзгереді (Python-да оқыту нәтижесінде емес) , бірақ «өзінің баламалы нұсқасын, мысалы, H2O стегінде) оқыту нәтижесінде жалпы AI/ML шешіміне кіріс деректері мен модельденетін құбылыстардың табиғатындағы күтпеген өзгерістерді автономды түрде жеңуге мүмкіндік береді.
InterSystems IRIS платформасының AI/ML функционалдылығымен нақты өмірлік прототип үлгісін қолдана отырып, толығырақ танысайық.
Төмендегі диаграммада слайдтың сол жағында Python және R-де сценарийлерді өңдеуді жүзеге асыратын бизнес-процестің бөлігі бар. Орталық бөлікте осы сценарийлердің кейбірін орындауға арналған көрнекі журналдар бар, тиісінше, Python және R. Олардың артында сәйкес орталарда орындау үшін жіберілген бір және басқа тілдегі мазмұн мысалдары бар. Соңында оң жақта сценарийді орындау нәтижелеріне негізделген визуализациялар бар. Жоғарғы жағындағы визуализациялар IRIS Analytics жүйесінде жасалған (деректер Python жүйесінен InterSystems IRIS деректер платформасына алынады және платформаны пайдаланып бақылау тақтасында көрсетіледі), төменгі жағында олар тікелей R жұмыс сессиясында жасалады және сол жерден шығады. графикалық файлдар. Маңызды аспект: прототипте ұсынылған фрагмент модельді (жабдық күйлерінің классификациясы) жабдықтың процесс-симуляторынан нақты уақыт режимінде келетін деректерге, жіктеу сапасының процесс-мониторының командасына оқытуға жауап береді. үлгіні қолдану барысында байқалады. AI/ML шешімін өзара әрекеттесетін процестердің («агенттер») жиынтығы ретінде енгізу одан әрі талқыланады.
12-сурет InterSystems IRIS жүйесінде Python, R және Julia-мен өзара әрекеттесу
Платформалық процестер (олар сондай-ақ контекстке байланысты «бизнес-процестер», «аналитикалық процестер», «құбырлар» және т.б.) негізінен платформаның өзінде графикалық бизнес-процес редакторында өңделеді және екеуі де оның блок-схемасы және сәйкес AI/ML механизмі (бағдарлама коды) бір уақытта жасалады. «AI / ML механизмі алынған» фактісі туралы айтатын болсақ, біз бастапқыда гибридті (сол процесс аясында) айтамыз: математикалық модельдеу орталарының тілдеріндегі мазмұн SQL мазмұнына (соның ішінде кеңейтімдерді қоса алғанда) іргелес. ), InterSystems ObjectScript бағдарламасында, басқа қолдау көрсетілетін тілдерде. Сонымен қатар, платформа процесі иерархиялық кірістірілген фрагменттер түрінде «сызу» үшін өте кең мүмкіндіктер береді (төмендегі диаграммадағы мысалда көруге болады), бұл тіпті өте күрделі мазмұнды «түсірмей» тиімді ұйымдастыруға мүмкіндік береді. графикалық пішімін кез келген жерде («графикалық емес» әдістерге/сыныптарға/процедураларға және т.б.). Яғни, қажет болған жағдайда (және бұл көптеген жобаларда күтіледі), мүлдем барлық AI / ML шешімдері графикалық өзіндік түсініктеме форматында жүзеге асырылуы мүмкін. Төмендегі диаграмманың орталық бөлігінде жоғарырақ «ұя салу деңгейін» көрсететін модельді оқытудың нақты жұмысынан басқа (Python және R көмегімен) ROC деп аталатын талдауды көруге болатынын ескеріңіз. Оқытылатын модельдің қисығы қосылады, бұл оқыту сапасын визуалды (және де есептеу арқылы) бағалауға мүмкіндік береді - және бұл талдау Юлия тілінде жүзеге асырылады (ол сәйкесінше Юлия ортасында орындалады).
13-сурет InterSystems IRIS жүйесінде AI/ML шешімдерін құрастыруға арналған визуалды орта
Бұрын айтылғандай, платформада енгізілген AI / ML механизмдерін бастапқы әзірлеу және (кейбір жағдайларда) бейімдеу Jupyter редакторында платформадан тыс жасалуы мүмкін. Төмендегі диаграммада біз бар платформа процесін бейімдеу мысалын көреміз (жоғарыдағы диаграммадағыдай) - модельді оқытуға жауапты фрагмент Jupyter-де осылай көрінеді. Python мазмұны тікелей Jupyter жүйесінде өңдеу, жөндеу, графикалық шығару үшін қол жетімді. Өзгерістер (қажет болса) платформа процесіне, оның ішінде оның өндірістік нұсқасына лезде синхрондау арқылы енгізілуі мүмкін. Сол сияқты, жаңа мазмұнды платформаға беруге болады (жаңа платформа процесі автоматты түрде жасалады).
14-сурет InterSystems IRIS платформасында AI/ML механизмін өңдеу үшін Jupyter жазу кітапшасын пайдалану
Платформа процесін бейімдеу тек графикалық немесе ноутбук пішімінде ғана емес, сонымен қатар «жалпы» IDE (Integrated Development Environment) пішімінде де орындалуы мүмкін. Бұл IDE-лер IRIS Studio (жергілікті IRIS студиясы), Visual Studio коды (VSCode үшін InterSystems IRIS кеңейтімі) және Eclipse (Atelier плагині). Кейбір жағдайларда әзірлеу тобының барлық үш IDE-ді бір уақытта пайдалануы мүмкін. Төмендегі диаграмма IRIS студиясында, Visual Studio Code және Eclipse бағдарламасында бірдей процесті өңдеудің мысалын көрсетеді. Барлық мазмұнды өңдеуге болады: Python / R / Julia / SQL және ObjectScript және бизнес-процесс.
15-сурет Әртүрлі IDE-де InterSystems IRIS бизнес-процесінің дамуы
Business Process Language (BPL) тіліндегі InterSystems IRIS бизнес-процестерін сипаттау және орындау құралдары ерекше атауға лайық. BPL бизнес-процестерде «дайын интеграциялық құрамдастарды» (әрекеттерді) пайдалануға мүмкіндік береді – бұл шын мәнінде InterSystems IRIS жүйесінде «үздіксіз интеграция» жүзеге асырылатынын растауға толық негіз береді. Дайын бизнес-процестің құрамдас бөліктері (әрекеттер мен олардың арасындағы байланыстар) AI/ML шешімін құрастыру үшін ең қуатты үдеткіш болып табылады. Тек ассамблеялар ғана емес: олардың арасындағы әрекеттер мен байланыстардың арқасында, әртүрлі AI / ML әзірлемелері мен механизмдерінің арқасында нақты уақыт режимінде жағдайға сәйкес шешім қабылдауға қабілетті «автономды басқару қабаты» пайда болады.
16-сурет InterSystems IRIS платформасында үздіксіз интеграцияға (CI) дайын бизнес-процес құрамдастары
Агенттік жүйелер тұжырымдамасы (олар да «көп агенттік жүйелер») робототехникада күшті орынға ие және InterSystems IRIS платформасы оны «өнім-процесс» құрылымы арқылы органикалық түрде қолдайды. Әрбір процесті жалпы шешімге қажетті функционалдылықпен «толтырудың» шексіз мүмкіндіктерінен басқа, платформалық процестер жүйесін «агенттік» қасиетімен қамтамасыз ету өте тұрақсыз имитацияланған құбылыстарға (әлеуметтік/биожүйелердің мінез-құлқы) тиімді шешімдер жасауға мүмкіндік береді. , ішінара бақыланатын технологиялық процестер және т.б.).
16-сурет InterSystems IRIS жүйесіндегі бизнес-процесс агент жүйесі ретінде AI/ML шешімін пайдалану
Біз InterSystems IRIS шолуымызды нақты уақыттағы мәселелердің барлық сыныптарын шешуге арналған платформаны қолдану туралы әңгімемен жалғастырамыз (InterSystems IRIS-тегі AI / ML платформасының кейбір ең жақсы тәжірибелерімен жеткілікті егжей-тегжейлі танысу біздің алдыңғы жұмыстардың бірінде орын алады. ).
Алдыңғы диаграмманың қызу ізденуінде төменде агент жүйесінің егжей-тегжейлі диаграммасы берілген. Диаграмма бірдей прототипті көрсетеді, барлық төрт агент процесі көрінеді, олардың арасындағы байланыстар схемалық түрде сызылған: ГЕНЕРАТОР - жабдық сенсорлары арқылы деректерді құруды өңдейді, BUFFER - деректер кезегін басқарады, ANALYZER - машинада оқытуды өзі орындайды, MONITOR - басқарады машиналық оқыту сапасы және модельді қайта даярлау қажет екендігі туралы сигнал береді.
17-сурет InterSystems IRIS жүйесіндегі бизнес-процесс агенті жүйесі ретінде AI/ML шешімінің құрамы
Төмендегі диаграмма біраз уақыт бойы басқа роботтық прототиптің (эмоциялық мәтінді тану) автономды жұмысын көрсетеді. Жоғарғы бөлігінде – модельді оқыту сапасының көрсеткішінің эволюциясы (сапа өсуде), төменгі бөлігінде – модельді қолдану сапа көрсеткішінің динамикасы және қайталап оқыту фактілері (қызыл жолақтар). Көріп отырғаныңыздай, шешім тиімді және автономды түрде өздігінен үйренді және берілген сапа деңгейінде жұмыс істейді (сапа көрсеткішінің мәндері 80% төмен емес).
18-сурет InterSystems IRIS платформасында үздіксіз (өздігінен) оқыту (КТ)
Біз сондай-ақ бұрын «auto-ML» туралы айттық, бірақ төмендегі диаграмма мысал ретінде басқа прототипті пайдалана отырып, осы функцияның қолданылуын егжей-тегжейлі көрсетеді. Бизнес-процес фрагментінің графикалық диаграммасы H2O стекіндегі модельдеуді бастайтын әрекетті көрсетеді, осы модельдеу нәтижелерін көрсетеді (ROC қисықтарының салыстырмалы диаграммасына сәйкес алынған модельдің «адам жасаған» модельдерден айқын басымдылығы) , сондай-ақ бастапқы деректер жинағында барлардан «ең ықпалды айнымалыларды» автоматтандырылған сәйкестендіру). Бұл жерде маңызды мәселе - «auto-ML» арқылы қол жеткізілетін уақыт пен сарапшылық ресурстарды үнемдеу: біздің платформа процесі жарты минутта не істейді (оңтайлы үлгіні табу және оқыту), сарапшы бір аптадан бір аптаға дейін уақыт алады. ай.
19-сурет InterSystems IRIS платформасына негізделген AI/ML шешіміне Auto-ML интеграциясы
Төмендегі диаграмма «шарықтау шегін» сәл төмендетеді, бірақ бұл нақты уақыттағы шешілетін мәселелердің сыныптары туралы әңгімені аяқтаудың жақсы тәсілі: InterSystems IRIS платформасының барлық мүмкіндіктерімен оқыту модельдері астында екенін еске саламыз. оны бақылау міндетті емес. Платформа PMML үлгісі деп аталатын спецификацияны платформамен бақыланбайтын құралда үйреніп, сырттан ала алады және бұл модельді импортталған сәттен бастап нақты уақытта қолдана алады. . Сонымен қатар, ең көп таралған артефактілердің көпшілігі бұған мүмкіндік берсе де, барлық AI / ML артефактілерін PMML спецификациясына дейін азайтуға болмайтынын ескеру маңызды. Осылайша, InterSystems IRIS платформасында «ашық цикл» бар және пайдаланушылар үшін «платформаның құлдығы» дегенді білдірмейді.
20-сурет InterSystems IRIS платформасына негізделген AI/ML шешіміне Auto-ML интеграциясы
Біз InterSystems IRIS платформасының қосымша артықшылықтарын тізімдейміз (түсініктілік үшін, процесті басқаруға қатысты), олар жасанды интеллектті автоматтандыруда және нақты уақытта машиналық оқытуда үлкен маңызға ие:
- Кез келген деректер көздерімен және тұтынушылармен кеңейтілген интеграция құралдары (PCS/SCADA, жабдық, MRO, ERP және т.б.)
- Кіріктірілген технологиялық деректердің кез келген көлемдерін жоғары өнімді транзакциялық-аналитикалық өңдеу (Hybrid Transaction/Analytical Processing, HTAP) үшін
- Python, R, Julia негізіндегі нақты уақыттағы AI/ML шешім қозғалтқыштарын үздіксіз орналастыруға арналған әзірлеу құралдары
- Нақты уақыттағы AI/ML шешімдерінің үздіксіз интеграциясы және (өздігінен) оқу механизмдері үшін бейімделген бизнес-процестер
- Процесс деректерін және AI/ML шешімі нәтижелерін визуализациялауға арналған кірістірілген Business Intelligence құралдары
- AI / ML шешімінің нәтижелерін процестерді басқару жүйелеріне / SCADA, ақпараттық және аналитикалық жүйелерге жеткізу, ескертулерді жіберу және т.б.
InterSystems IRIS платформасына негізделген AI / ML шешімдері бар АТ инфрақұрылымына оңай сәйкес келеді. InterSystems IRIS платформасы қатеге төзімді және апатқа төзімді конфигурацияларды қолдау және виртуалды орталарда, физикалық серверлерде, жеке және жалпы бұлттарда, Docker контейнерлерінде икемді орналастыру арқылы жоғары сенімді AI/ML шешімдерін ұсынады.
Осылайша, InterSystems IRIS әмбебап нақты уақыттағы AI/ML есептеу платформасы болып табылады. Біздің платформамыздың әмбебаптығы іс жүзінде жүзеге асырылатын есептеулердің күрделілігіне іс жүзінде шектеулердің жоқтығымен, InterSystems IRIS-тің әртүрлі салалардағы сценарийлерді өңдеуді (нақты уақытта) біріктіру мүмкіндігімен және ерекше бейімделгіштігімен расталады. пайдаланушының нақты қажеттіліктеріне платформаның кез келген функциялары мен механизмдері.
21-сурет InterSystems IRIS - әмбебап нақты уақыттағы AI/ML есептеу платформасы
Мұнда ұсынылған материалға қызығушылық танытқан оқырмандарымызбен неғұрлым мазмұнды өзара әрекеттесу үшін біз оны оқумен шектелмей, диалогты «тікелей эфирде» жалғастыруды ұсынамыз. Біз сіздің компанияңыздың ерекшеліктеріне қатысты нақты уақыттағы AI / ML сценарийлерін тұжырымдауға, InterSystems IRIS платформасында бірлескен прототиптерді жасауға, жасанды интеллект пен машиналық оқытуды енгізу үшін жол картасын қалыптастыруға және тәжірибеге енгізуге қолдау көрсетуге қуаныштымыз. өндірістік және басқару процестеріне. Біздің AI/ML сарапшылар тобының байланыс электрондық пошта мекенжайы .
Ақпарат көзі: www.habr.com