InterSystems IRIS е универзална AI/ML платформа во реално време

Автор: Сергеј Лукјанчиков, инженер консалтинг на InterSystems

Предизвици за пресметување со AI/ML во реално време

Да почнеме со примери од искуството на практиката на Data Science во InterSystems:

• „Вчитаниот“ портал за купувачи е поврзан со онлајн систем за препораки. Доаѓа реструктуирање на промоциите на скалата на малопродажната мрежа (на пример, наместо „рамна“ линија на промоции, сега ќе се користи матрицата „сегмент-тактика“). Што се случува со препорачувачите? Што се случува со доставувањето и ажурирањето на податоците до механизмот за препораки (обемот на влезните податоци е зголемен за 25000 пати)? Што се случува со развојот на препораките (потребата од илјадакратно намалување на прагот за филтрирање на препораките правила поради илјадакратно зголемување на нивниот број и „асортиман“)?
• Постои систем за следење на веројатноста за развој на дефекти во јазлите на опремата. Систем за контрола на процесот беше поврзан со системот за следење, пренесувајќи илјадници параметри на процесот секоја секунда. Што се случува со системот за следење кој претходно работел на „рачни примероци“ (дали е способен да обезбеди следење на веројатноста од секунда во секунда)? Што ќе се случи ако нов блок со неколку стотици колони се појави во влезните податоци со читањата на сензорите неодамна воведени во системот за контрола на процесот (дали и колку долго ќе биде неопходно да се запре системот за следење да вклучува податоци од нови сензори во анализа)?
• Создаден е сет на механизми за вештачка интелигенција/МЛ (препорака, следење, предвидување), користејќи ги резултатите од меѓусебната работа. Колку работни часови се потребни месечно за да се прилагоди работата на овој комплекс на промените во влезните податоци? Кое е целокупното „забавување“ поддржано од комплексот за одлучување (фреквенција на појавување на нови придружни информации во него во однос на зачестеноста на појавување на нови влезни податоци)?

Сумирајќи ги овие и многу други примери, дојдовме до формулацијата на предизвиците што се јавуваат кога се префрламе на употребата на машинско учење и механизмите за вештачка интелигенција во реално време:

• Дали сме задоволни од брзината на креирање и прилагодување (на променливата ситуација) на развојот на AI/ML во нашата компанија?
• До кој степен решенијата за AI/ML што ги користиме поддржуваат управување со бизнисот во реално време?
• Дали решенијата за AI/ML што ги користиме можат самостојно (без програмери) да се прилагодат на промените во практиките за управување со податоци и бизнис?

Нашата статија е детален преглед на можностите на платформата InterSystems IRIS во смисла на универзална поддршка за распоредување на механизми AI / ML, склопување (интеграција) на AI / ML решенија и обука (тестирање) на решенија за AI / ML за интензивни податоци тече. Ќе се свртиме кон истражување на пазарот, студии на случај на решенија за AI/ML и концептуални аспекти на она што го нарекуваме платформа AI/ML во реално време во оваа статија.

Што знаеме од анкетите: апликации во реално време

Наоди анкетаспроведено меѓу околу 800 ИТ професионалци во 2019 година од Lightbend зборуваат сами за себе:

Слика 1 Водечки потрошувачи на податоци во реално време

Да ги цитираме фрагментите од извештајот за резултатите од оваа анкета кои се важни за нас во нашиот превод:

„…Трендовите во популарноста на алатките за интеграција на протокот на податоци и, во исто време, поддршката за контејнеризирано пресметување обезбедуваат синергетски одговор на побарувачката на пазарот за поефикасен, рационален, динамичен предлог на ефективни решенија. Потоците на податоци овозможуваат пренос на информации побрзо од традиционалните пакетни податоци. На ова е додадена способноста за брзо примена на пресметковни методи, како што се препораките базирани на AI/ML, за да се создадат конкурентски предности преку зголемено задоволство на клиентите. Трката за агилност, исто така, влијае на сите улоги во парадигмата DevOps – што го прави развојот и распоредувањето на апликациите поефикасни. … Осумстотини и четири ИТ професионалци дадоа информации за употребата на тековите на податоци во нивните организации. Испитаниците беа претежно лоцирани во западните земји (41% во Европа и 37% во Северна Америка) и беа речиси рамномерно распоредени меѓу малите, средните и големите компании. …

… Вештачката интелигенција не е возбуда. Педесет и осум проценти од оние кои веќе користат обработка на проток на податоци во продуктивни AI/ML апликации потврдуваат дека нивната употреба во AI/ML ќе забележи најголеми придобивки следната година (во споредба со другите апликации).

• Според мнозинството испитаници, употребата на текови на податоци во сценаријата за вештачка интелигенција/МЛ ќе добие најголем пораст во следната година.
• Апликациите во AI/ML ќе растат не само преку релативно нови типови на сценарија, туку и преку традиционални сценарија, во кои се повеќе се користат податоците во реално време.
• Покрај AI/ML, нивото на ентузијазам кај корисниците на цевководи за податоци за IoT е импресивно - 48% од оние кои веќе ги интегрирале податоците за IoT велат дека имплементацијата на сценаријата за овие податоци ќе добие значително зголемување во блиска иднина. … »

Од оваа прилично интересна анкета, може да се види дека перцепцијата на сценаријата за машинско учење и вештачката интелигенција како лидери во потрошувачката на потоци на податоци е веќе „на пат“. Но, перцепцијата на AI / ML во реално време преку DevOps оптиката станува подеднакво важна опсервација: овде веќе можеме да започнеме да зборуваме за трансформацијата на сè уште доминантната култура на „еднократна AI / ML со целосно достапен збир на податоци“.

Концепт на платформа за AI/ML во реално време

Една типична апликација за AI/ML во реално време е контролата на производствениот процес. На неговиот пример и земајќи ги предвид претходните размислувања, ќе го формулираме концептот на AI / ML платформа во реално време.
Употребата на вештачка интелигенција и машинско учење во процесот на контрола има голем број карактеристики:

• Податоците за состојбата на технолошкиот процес се примаат интензивно: со висока фреквенција и во широк опсег на параметри (до десетици илјади вредности на параметрите се пренесуваат во секунда од системот за контрола на процесот)
• Податоците за откривање на дефекти, а да не ги спомнуваме податоците за нивниот развој, напротив, се оскудни и неправилни, се карактеризираат со недоволно типизирање на дефектите и нивна локализација на време (често претставени со записи на хартија)
• Од практична гледна точка, само „прозорецот за релевантност“ на првичните податоци е достапен за обука и примена на модели, што ја одразува динамиката на технолошкиот процес за разумен интервал на лизгање, завршувајќи со последните читани вредности на параметрите на процесот

Овие карактеристики не принудуваат, покрај примањето и основната обработка во реално време на интензивен „широкопојасен влез“ од процесот, да вршиме (паралелно) примена, обука и контрола на квалитетот на резултатите од работата на AI/ML моделите - исто така во реално време. „Рамката“ што нашите модели ја „гледаат“ во лизгачкиот прозорец на релевантност постојано се менува - а со тоа се менува и квалитетот на резултатите од работата на моделите со AI / ML обучени на една од „рамките“ во минатото. . Ако квалитетот на резултатите од работата на моделите AI / ML се влоши (на пример: вредноста на грешката во класификацијата „аларм-норма“ ги надмина границите што ги дефиниравме), преквалификацијата на моделите треба автоматски да започне на повеќе релевантна „рамка“ - и изборот на моментот за започнување со преквалификација на моделите треба да го земе предвид времетраењето на самата обука, како и динамиката на влошување на квалитетот на тековната верзија на моделите (од сегашните верзии од моделите продолжуваат да се применуваат додека моделите се обучуваат и додека не се генерираат нивните „ново обучени“ верзии).

InterSystems IRIS има клучни способности на платформата за да овозможи AI/ML решенија во реално време за контрола на процесот. Овие можности можат да се поделат во три главни групи:

• Континуирано распоредување (Континуирано распоредување / испорака, ЦД) на нови или приспособени постоечки механизми за вештачка интелигенција / ML во продуктивно решение кое работи во реално време на платформата InterSystems IRIS
• Континуирана интеграција (CI) во едно продуктивно решение на дојдовните текови на податоци од процесот, редици на податоци за примена / обука / контрола на квалитетот на механизмите за AI / ML и размена на податоци / код / ​​контрола со средини за математичко моделирање, кои се оркестрирани во реално време InterSystems IRIS платформа
• Континуирано (само) учење (Continuous Training, CT) на механизмите AI / ML извршени во околини за математичко моделирање користејќи податоци, код и контролни дејства („донесени одлуки“) пренесени од платформата InterSystems IRIS

Класификацијата на можностите на платформата во однос на машинското учење и вештачката интелигенција токму во такви групи не е случајна. Да го цитираме методолошкиот објавување Google, кој обезбедува концептуална основа за оваа класификација, во нашиот превод:

„… Концептот DevOps, кој е популарен овие денови, го покрива развојот и работењето на информациони системи од големи размери. Предностите на спроведувањето на овој концепт се намалувањето на времетраењето на развојните циклуси, забрзувањето на распоредувањето на развојот, флексибилноста на планирањето на ослободувањето. За да се постигнат овие придобивки, DevOps вклучува имплементација на најмалку две практики:

• Континуирана интеграција (CI)
• Континуирана испорака (ЦД)

Овие практики се применуваат и на AI/ML платформи за да се обезбеди робусна и извонредна градба на продуктивни решенија за AI/ML.

AI/ML платформите се разликуваат од другите информациски системи во следните аспекти:

• Тимски компетенции: При градење на AI/ML решение, тимот обично вклучува научници за податоци или научници за податоци кои спроведуваат анализа на податоци, развој на модел и валидација. Овие членови на тимот можеби не се професионални развивачи на продуктивен код.
• Развој: AI/ML механизмите се експериментални по природа. За да се реши проблемот на најефикасен начин, потребно е да се подредат различни комбинации на влезни променливи, алгоритми, методи на моделирање и параметри на моделот. Комплексноста на таквото пребарување лежи во следењето на „она што функционирало / не функционирало“, обезбедувајќи репродуктивност на епизодите, генерализирање на развојот за повторливи имплементации.
• Тестирање: Тестирањето на механизмите за AI/ML бара поголем опсег на тестови од повеќето други случувања. Покрај типичните тестови за единица и интеграција, се тестираат валидноста на податоците и квалитетот на резултатите од примената на моделот на примероци за обука и контрола.
• Распоредување: Распоредувањето на решенијата за AI/ML не е ограничено на услуги за предвидување кои применуваат некогаш обучен модел. AI / ML решенијата се изградени околу повеќестепени цевководи кои вршат автоматска обука и примена на модели. Распоредувањето на таквите цевководи вклучува автоматизирање на нетривијални чекори кои традиционално се изведуваат рачно од научниците за податоци за да можат да обучуваат и тестираат модели.
• Продуктивно: AI/ML моторите може да немаат перформанси не само поради неефикасното програмирање, туку и поради постојано менување на природата на влезните податоци. Со други зборови, перформансите на механизмите AI/ML може да се деградираат поради поширок опсег на причини отколку перформансите на конвенционалните случувања. Ова резултира со потреба да се следат (онлајн) перформансите на нашите AI/ML мотори и да се испраќаат предупредувања или да се отфрлат резултати доколку перформансите не се во согласност со очекувањата.

AI/ML платформите се слични на другите информациски системи со тоа што и двата бараат континуирана интеграција на кодот со контрола на верзијата, тестирање на единици, тестирање за интеграција, распоредување на континуиран развој. Меѓутоа, во случајот со AI/ML, постојат неколку важни разлики:

• CI (Континуирана интеграција) повеќе не е ограничена на тестирање и потврдување на кодот на распоредените компоненти - исто така вклучува тестирање и валидација на податоци и AI/ML модели.
• CD (континуирана испорака / распоредување, континуирано распоредување) не е ограничено на пишување и објавување пакети или услуги, туку подразбира платформа за составување, учење и примена на решенија за AI / ML.
• CT (Continuous Training, континуирано учење) - нов елемент [прибл. од авторот на статијата: нов елемент во однос на традиционалниот концепт на DevOps, во кој КТ обично е континуирано тестирање], својствен за AI / ML платформите, одговорни за автономно управување со механизмите за учење и примена на AI / ML модели. ...“

Можеме да кажеме дека машинското учење и вештачката интелигенција кои работат на податоци во реално време бараат поширок сет на алатки и компетенции (од развој на код до оркестрација на околини за математичко моделирање), поблиска интеграција помеѓу сите функционални и предметни области, поефикасна организација на луѓето и машински ресурси.

Сценарио во реално време: Препознавање на развојот на дефекти во пумпите за напојување

Продолжувајќи да го користите полето за контрола на процесот како пример, разгледајте одредена задача (веќе спомената од нас на самиот почеток): потребно е да се обезбеди следење во реално време на развојот на дефекти во пумпите врз основа на протокот на параметрите на процесот и извештаи на персоналот за одржување за откриени дефекти.

Слика 2 Формулирање на задачата за следење на развојот на дефекти

Особеноста на повеќето вака поставени задачи во практиката е дека регуларноста и ефикасноста на приемот на податоци (APCS) треба да се разгледуваат во однос на позадината на епизодното и неправилно појавување (и регистрирање) на различни видови дефекти. Со други зборови: податоците од системот за контрола на процесот доаѓаат еднаш во секунда точно-точни, а дефектите се запишуваат со неизбришлив молив со датумот во општата тетратка во работилницата (на пример: „12.01 - истекување во капакот од страна на 3-то лежиште“).

Така, можно е да се дополни формулацијата на проблемот со следново важно ограничување: имаме само една „ознака“ на дефект од одреден тип (т.е., пример за дефект од одреден тип е претставен со податоци од систем за контрола на процесот за одреден датум - и немаме повеќе примери за дефект од овој конкретен тип). Ова ограничување веднаш не носи надвор од опсегот на класичното машинско учење (надгледувано учење), за кое треба да има многу „етикети“.

Слика 3 Усовршување на задачата за следење на развојот на дефекти

Можеме ли некако да ја „умножиме“ единствената „етикета“ со која располагаме? Да ние можеме. Тековната состојба на пумпата се карактеризира со степенот на сличност со регистрираните дефекти. Дури и без употреба на квантитативни методи, на ниво на визуелна перцепција, набљудувајќи ја динамиката на вредностите на податоците што доаѓаат од системот за контрола на процесот, веќе можете да научите многу:

Слика 4 Динамика на состојбата на пумпата наспроти позадината на „ознаката“ на дефект од даден тип

Но, визуелната перцепција (барем засега) не е најсоодветен генератор на „ознаки“ во нашето брзо менувачко сценарио. Ќе ја оцениме сличноста на моменталната состојба на пумпата со пријавените дефекти користејќи статистички тест.

Слика 5 Примена на статистички тест на дојдовните податоци во однос на позадината на „етикетата“ на дефектот

Статистичкиот тест ја одредува веројатноста записите со вредностите на параметрите на технолошкиот процес во „протокот-пакет“ добиен од системот за контрола на процесот да бидат слични на записите „етикета“ на одреден тип дефект. Вредноста на веројатноста пресметана како резултат на примена на статистички тест (индекс на статистичка сличност) се претвора во вредност од 0 или 1, станувајќи „ознака“ за машинско учење во секој специфичен запис во пакетот за сличност. Односно, по обработката на новопримениот пакет записи за состојбата на пумпата со статистички тест, имаме можност (а) да го додадеме овој пакет во примерокот за обука за обука на моделот AI / ML и (б) да го следиме квалитетот на тековната верзија на моделот кога ќе се примени на овој пакет.

Слика 6 Примена на модел на машинско учење на дојдовни податоци во однос на позадината на „етикетата“ на дефектот

Во една од нашите претходни вебинари покажуваме и објаснуваме како платформата InterSystems IRIS ви овозможува да имплементирате кој било механизам AI/ML во форма на континуирано извршување на деловни процеси кои ја контролираат веродостојноста на резултатите од симулацијата и ги прилагодуваат параметрите на моделот. Кога го имплементираме прототипот на нашето сценарио со пумпи, ја користиме целата функционалност на InterSystems IRIS претставена за време на вебинарот - имплементирање во процесот на анализатор како дел од нашето решение, не класично надгледувано учење, туку учење за зајакнување, кое автоматски го контролира примерокот за обука модели. Во примерокот за обука се ставаат записи за кои се јавува „консензус за откривање“ по примената на статистичкиот тест и тековната верзија на моделот - т.е. и статистичкиот тест (по трансформацијата на индексот на сличност во 0 или 1), и модел произведе резултат на такви записи 1. Со нова обука на моделот, за време на неговата валидација (ново обучениот модел се применува на сопствен примерок за обука, со прелиминарна примена на статистички тест за него), евидентира дека „не држете го“ резултатот 1 по обработката со статистичкиот тест (поради постојаното присуство на обуката, примерокот записи од оригиналната „етикета“ на дефектот) се отстрануваат од примерокот за обука, а новата верзија на моделот учи од „етикетата“ на дефектот плус „задржените“ записи од потокот.

Слика 7 Роботизација на AI/ML пресметките во InterSystems IRIS

Доколку има потреба од еден вид „второ мислење“ за квалитетот на откривањето добиен со локалното пресметување во InterSystems IRIS, се создава советодавен процес за изведување модели со примена на обука на контролна база на податоци користејќи облак услуги (на пример, Microsoft Azure , веб-услуги на Амазон, платформа за облак на Google, итн.):

Слика 8 Второ мислење од Microsoft Azure оркестрирано од InterSystems IRIS

Прототипот на нашето сценарио во InterSystems IRIS е направен во форма на систем заснован на агенти на аналитички процеси кои комуницираат со објектот на опремата (пумпа), околините за математичко моделирање (Python, R и Julia) и обезбедуваат самостојно учење на сите вклучени механизми AI/ML - на текови на податоци во реално време.

Слика 9 Главна функционалност на AI/ML решението во реално време во InterSystems IRIS

Практичниот резултат на нашиот прототип:

• Шема на дефекти препознаена од моделот (12 јануари):

• Дефект во развој препознаен од моделот, кој не беше вклучен во примерокот (11 септември, самиот дефект беше констатиран од тимот за поправка само два дена подоцна - 13 септември):

Симулацијата на реални податоци кои содржат неколку епизоди од истиот дефект покажа дека нашето решение, имплементирано на платформата InterSystems IRIS, ни овозможува да откриеме развој на дефекти од овој тип неколку дена пред тие да бидат откриени од тимот за поправка.

InterSystems IRIS - универзална AI/ML компјутерска платформа во реално време

Платформата InterSystems IRIS го поедноставува развојот, распоредувањето и работењето на решенија за податоци во реално време. InterSystems IRIS е во состојба истовремено да врши трансакциска и аналитичка обработка на податоци; одржување на синхронизирани прикази на податоци во согласност со неколку модели (вклучувајќи релациски, хиерархиски, објект и документ); дејствува како платформа за интеграција за широк опсег на извори на податоци и индивидуални апликации; обезбедуваат напредна аналитика во реално време на структурирани и неструктурирани податоци. InterSystems IRIS, исто така, обезбедува механизми за користење на надворешни аналитички алатки, овозможува флексибилност да се комбинира хостирањето во облакот и на локалните сервери.

Апликациите изградени на платформата InterSystems IRIS се распоредени низ индустриите, помагајќи им на компаниите да постигнат значителна економска вредност од стратешка и оперативна перспектива, подобрувајќи го донесувањето одлуки и затворајќи ја празнината помеѓу настанот, анализата и акцијата.

Слика 10 InterSystems IRIS архитектура во контекст на AI/ML во реално време

Како и претходниот дијаграм, дијаграмот подолу го комбинира новиот „координатен систем“ (CD/CI/CT) со протокот на информации помеѓу работните ставки на платформата. Визуелизацијата започнува со ЦД макромеханизмот и продолжува со макромеханизмите CI и CT.

Слика 11 Шема на проток на информации помеѓу AI/ML елементи на платформата InterSystems IRIS

Суштината на механизмот за ЦД во InterSystems IRIS: корисниците на платформата (развивачи на решенија за AI / ML) ги прилагодуваат постоечките и / или создаваат нови AI / ML случувања користејќи специјализиран уредувач на кодови на механизмот AI / ML: Jupyter (целосно име: Jupyter Notebook; исто така, за краткост, документите создадени во овој уредувач понекогаш се нарекуваат). Во Jupyter, развивачот има можност да напише, дебагира и да ги потврди перформансите (вклучувајќи и користење графика) на специфичен развој на AI / ML пред да биде хостиран („распореден“) во InterSystems IRIS. Јасно е дека новиот развој создаден на овој начин ќе добие само основно дебагирање (бидејќи, особено, Jupyter не работи со потоци на податоци во реално време) - ова е по редот на работите, бидејќи главниот резултат на развојот во Jupyter е потврда за основната оперативност на посебен AI / ML-механизам („го покажува очекуваниот резултат на примерокот на податоци“). Слично на тоа, механизам кој веќе е поставен во платформата (видете ги следните макро-механизми) пред дебагирање во Jupyter може да бара „враќање“ во формата „пред-платформа“ (читање податоци од датотеки, работа со податоци преку xDBC наместо табели, директна интеракција со глобални - повеќедимензионални податочни низи InterSystems IRIS - итн.).

Важен аспект на имплементацијата на ЦД во InterSystems IRIS е дека двонасочната интеграција е имплементирана помеѓу платформата и Jupyter, што ви овозможува да ја пренесете содржината на платформата (и понатаму да ја обработувате во платформата) во Python, R и Julia (сите три се програмски јазици во соодветните водечки средини со отворен код за математичко моделирање). Така, развивачите на содржината на AI/ML имаат можност „континуирано да ја распоредуваат“ оваа содржина на платформата, работејќи во нивниот познат уредник Jupyter, со познати библиотеки достапни во Python, R, Julia и изведувајќи основно дебагирање (доколку е потребно) надвор од платформата. .

Ајде да преминеме на макро механизмот на CI во InterSystems IRIS. Дијаграмот го прикажува макропроцесот на „роботот во реално време“ (комплекс од структури на податоци, деловни процеси и фрагменти од код оркестрирани од нив на јазиците на душеците и јазикот ObjectScript - мајчин јазик за развој на InterSystems ИРИС). Задачата на овој макро процес е да ги одржува редиците на податоци неопходни за функционирање на механизмите AI / ML (врз основа на тековите на податоци што се пренесуваат на платформата во реално време), да донесува одлуки за редоследот на примена и „опсегот“ на AI / Механизмите за ML (тие се исто така „математички алгоритми“, „модели“ итн. - може да се нарекуваат поинаку во зависност од спецификите на имплементацијата и терминолошките преференци), одржувајте ги структурите на податоци ажурирани за анализа на резултатите од работата на механизмите за AI / ML (коцки, табели, повеќедимензионални низи со податоци, итн.) итн. - за извештаи, контролни табли итн.).

Важен аспект на имплементацијата на CI во InterSystems IRIS е тоа што се спроведува двонасочна интеграција помеѓу платформата и околините за математичко моделирање, што овозможува извршување на содржината хостирана во платформата во Python, R и Julia во нивните соодветни средини со враќање на резултатите од извршувањето. . Оваа интеграција е имплементирана и во „терминален режим“ (т.е. содржината на AI/ML е формулирана како код на ObjectScript што прави повици до душеци) и „режим на деловен процес“ (т.е. содржината на AI/ML е формулирана како деловен процес со помош на графички уредувач, или понекогаш со користење на Jupyter, или со користење на IDE - IRIS Studio, Eclipse, Visual Studio Code). Уредливоста на деловните процеси во Jupyter се рефлектира со односот помеѓу IRIS на ниво на CI и Jupyter на ниво на ЦД. Подетален преглед на интеграцијата со средини за математичко моделирање е даден подолу. Во оваа фаза, според наше мислење, постојат сите причини да се поправи присуството во платформата на сите потребни алатки за спроведување на „континуирана интеграција“ на развојот на AI / ML (кои доаѓаат од „континуирано распоредување“) во AI / во реално време ML решенија.

И главниот макро механизам: КТ. Без него, нема да има AI / ML платформа (иако „во реално време“ ќе се имплементира преку CD / CI). Суштината на КТ е работата на платформата со „артефакти“ на машинско учење и вештачка интелигенција директно во работните сесии на околините за математичко моделирање: модели, табели за дистрибуција, вектори на матрици, слоеви на невронски мрежи итн. Оваа „работа“, во повеќето случаи, се состои во создавање на споменатите артефакти во околините (во случај на модели, на пример, „креацијата“ се состои од поставување на спецификацијата на моделот и последователниот избор на вредностите на неговиот параметри - т.н. „обука“ на моделот), нивна примена (за модели: нивно користење за пресметување на вредностите на „модел“ на целните променливи - предвидувања, припадност на категорија, веројатност да се случи некој настан итн. ) и подобрување на веќе креираните и применетите артефакти (на пример, редефинирање на множеството на влезни променливи на моделот врз основа на резултатите од примената – со цел да се зголеми точноста на предвидувањето, како опција). Клучната точка во разбирањето на улогата на КТ е неговата „апстракција“ од реалноста на CD и CI: CT ќе ги имплементира сите артефакти, фокусирајќи се на пресметковните и математичките специфики на AI / ML решението во рамките на можностите обезбедени од специфични средини. . Одговорноста за „обезбедување влезни податоци“ и „испорачување резултати“ ќе биде одговорност на CD и CI.

Важен аспект на имплементацијата на КТ во InterSystems IRIS: користејќи ја интеграцијата со околините за математичко моделирање веќе споменати погоре, платформата има можност да ги извлече истите артефакти од работните сесии што се извршуваат под нејзина контрола во околините и (што е најважно) да ги претвори во податочни објекти на платформата. На пример, табела за дистрибуција која штотуку е креирана во работна сесија на Python може да се префрли (без да се запре сесијата во Python) на платформата во форма на, на пример, глобална (мултидимензионална низа на податоци InterSystems IRIS) - и да се користи за пресметки во друг механизам AI / ML- (веќе имплементиран на јазикот на друга средина - на пример, во R) - или виртуелна табела. Друг пример: паралелно со „нормалниот режим“ на операцијата на моделот (во работната сесија на Python), се врши „auto-ML“ на неговите влезни податоци: автоматски избор на оптимални влезни променливи и вредности на параметрите. И заедно со „редовната“ обука, продуктивниот модел во реално време добива и „предлог за оптимизација“ за неговата спецификација - во кој се менува множеството влезни променливи, се менуваат вредностите на параметрите (не како резултат на обука во Python , но како резултат на обуката за „алтернативна верзија од себе, на пример, во стекот H2O), што му овозможува на целокупното AI/ML решение автономно да се справи со непредвидените промени во природата на влезните податоци и феномените што се моделираат.

Ајде да се запознаеме подетално со функционалноста на платформата AI / ML на InterSystems IRIS, користејќи го примерот на реален прототип.

На дијаграмот подолу, на левата страна на слајдот, има дел од деловниот процес кој спроведува обработка на скрипти во Python и R. Во централниот дел има визуелни дневници за извршување на некои од овие скрипти. соодветно, во Python и R. Веднаш зад нив се примери на содржина на еден и друг јазик, поднесени за извршување во соодветните средини. На крајот од десната страна се визуелизациите врз основа на резултатите од извршувањето на скриптата. Визуелизациите на врвот се направени на IRIS Analytics (податоците се земаат од Python до платформата за податоци InterSystems IRIS и се прикажуваат на контролната табла со помош на платформата), на дното тие се направени токму во работната сесија R и од таму излегуваат на графички датотеки. Важен аспект: претставениот фрагмент во прототипот е одговорен за обука на моделот (класификација на состојбите на опремата) за податоци кои доаѓаат во реално време од процесниот симулатор на опремата, на команда од процесот-монитор за квалитетот на класификацијата забележани при примената на моделот. Имплементацијата на решение за AI/ML како збир на процеси во интеракција („агенти“) ќе се дискутира понатаму.

Слика 12 Интеракција со Python, R и Julia во InterSystems IRIS

Процесите на платформата (тие се и „деловни процеси“, „аналитички процеси“, „цевководи“ итн. - во зависност од контекстот), првенствено се уредуваат во графички уредувач на деловни процеси во самата платформа и на таков начин што и двете неговиот блок дијаграм и соодветниот AI/ML механизам (програмски код) се креираат истовремено. Зборувајќи за фактот дека „се добива механизам AI / ML“, првично мислиме на хибридност (во рамките на истиот процес): содржината на јазиците на околините за математичко моделирање е во непосредна близина на содржината во SQL (вклучувајќи екстензии од Интегриран ML), во InterSystems ObjectScript, со други поддржани јазици. Покрај тоа, процесот на платформа обезбедува многу широки можности за „цртање“ во форма на хиерархиски вгнездени фрагменти (како што може да се види на примерот на дијаграмот подолу), што ви овозможува ефективно да организирате дури и многу сложена содржина без да „испаднете“ графичкиот формат каде било (во „неграфички » методи/класи/процедури итн.). Тоа е, доколку е потребно (и тоа се очекува во повеќето проекти), апсолутно сите решенија за AI / ML може да се имплементираат во графички формат за самокоментирање. Ве молиме имајте предвид дека во централниот дел на дијаграмот подолу, кој покажува повисоко „ниво на гнездење“, можете да видите дека покрај вистинската работа за обука на моделот (со користење на Python и R), се прави анализа на т.н. се додава крива на обучениот модел, што овозможува визуелно (и пресметковно) да се оцени квалитетот на обуката - и оваа анализа се спроведува на јазикот Јулија (се извршува, соодветно, во околината Јулија).

Слика 13 Визуелна средина за составување AI/ML решенија во InterSystems IRIS

Како што беше споменато претходно, почетниот развој и (во некои случаи) адаптација на механизмите AI/ML веќе имплементирани во платформата ќе / може да се направи надвор од платформата во уредникот на Jupyter. На дијаграмот подолу, гледаме пример за прилагодување на постоечка процес на платформа (исто како на дијаграмот погоре) - вака изгледа фрагментот што е одговорен за обука на моделот во Јупитер. Содржината на Python е достапна за уредување, дебагирање, графички излез директно во Jupyter. Промените (доколку е потребно) може да се направат со инстант синхронизација со процесот на платформата, вклучувајќи ја и нејзината производствена верзија. Слично на тоа, нова содржина може да се пренесе на платформата (автоматски се генерира нов процес на платформа).

Слика 14 Користење Jupyter Notebook за уредување на AI/ML Engine во платформата InterSystems IRIS

Адаптацијата на процесот на платформата може да се изврши не само во графички или бележник, туку и во формат „вкупен“ IDE (Интегрирана развојна средина). Овие IDE се IRIS Studio (матично IRIS студио), Visual Studio Code (InterSystems IRIS екстензија за VSCode) и Eclipse (приклучок Atelier). Во некои случаи, можно е развојниот тим да ги користи сите три IDE во исто време. Дијаграмот подолу покажува пример за уредување на истиот процес во студиото IRIS, во Visual Studio Code и во Eclipse. Апсолутно целата содржина е достапна за уредување: Python / R / Julia / SQL и ObjectScript и деловен процес.

Слика 15 Развој на деловниот процес на InterSystems IRIS во различни IDE

Алатките за опис и извршување на деловните процеси на InterSystems IRIS во Јазикот за деловни процеси (BPL) заслужуваат посебно споменување. BPL овозможува користење на „готови интеграциски компоненти“ (активности) во деловните процеси - што, всушност, дава целосна причина да се тврди дека „континуираната интеграција“ е имплементирана во InterSystems IRIS. Готови компоненти на деловниот процес (активности и врски меѓу нив) се најмоќниот забрзувач за составување на AI/ML решение. И не само собранија: благодарение на активностите и врските меѓу нив, преку различните AI/ML случувања и механизми, се појавува „автономно управување со слој“ кој е способен да донесува одлуки според ситуацијата, во реално време.

Слика 16 Готови компоненти на деловниот процес за континуирана интеграција (CI) на платформата InterSystems IRIS

Концептот на агентски системи (тие се исто така „системи со повеќе агенти“) има силна позиција во роботиката, а платформата InterSystems IRIS органски го поддржува преку конструкцијата „производ-процес“. Покрај неограничените можности за „полнење“ на секој процес со функционалноста неопходна за целокупното решение, обдарувањето на системот на процеси на платформа со својството на „агенција“ ви овозможува да креирате ефективни решенија за екстремно нестабилни симулирани феномени (однесување на социјалните/биосистемите , делумно забележливи технолошки процеси итн.).

Слика 16 Работење на AI/ML решение како систем за агенти за деловни процеси во InterSystems IRIS

Го продолжуваме нашиот преглед на InterSystems IRIS со приказна за примената на платформата за решавање на цели класи на проблеми во реално време (прилично детално запознавање со некои од најдобрите практики на платформата AI / ML на InterSystems IRIS се случува во една од нашите претходни вебинари).

Во жешка потрага по претходниот дијаграм, подолу е подетален дијаграм на системот за агенти. Дијаграмот го покажува истиот прототип, видливи се сите четири процеси на агенти, врските меѓу нив се шематски нацртани: ГЕНЕРАТОР - се справува со креирањето податоци од сензорите на опремата, BUFFER - управува со редици за податоци, ANALYZER - врши машинско учење сам, MONITOR - го контролира квалитетот на машинското учење и дава сигнал дека моделот треба да се преквалификува.

Слика 17 Состав на AI/ML решение како систем за агенти за деловни процеси во InterSystems IRIS

Дијаграмот подолу го илустрира автономното функционирање на друг роботски прототип (емотивно препознавање текст) некое време. Во горниот дел - еволуцијата на индикаторот за квалитет на учење на моделот (квалитетот расте), во долниот дел - динамиката на индикаторот за квалитет на апликацијата на моделот и фактите за повторената обука (црвени шипки). Како што можете да видите, решението само-учило ефикасно и автономно и работи на дадено ниво на квалитет (вредностите на индикаторот за квалитет не паѓаат под 80%).

Слика 18 Континуирано (само)учење (КТ) на платформата InterSystems IRIS

Претходно споменавме и „auto-ML“, но дијаграмот подолу детално ја прикажува примената на оваа функционалност користејќи друг прототип како пример. Графичкиот дијаграм на фрагментот на деловниот процес ја прикажува активноста што ја започнува симулацијата во оџакот H2O, ги прикажува резултатите од оваа симулација (очигледна доминација на добиениот модел над моделите „направени од човек“, според компаративниот дијаграм на кривите ROC , како и автоматизирана идентификација на „највлијателните променливи“ од оние достапни во оригиналната база на податоци). Важна точка овде е заштедата на време и експертски ресурси, што се постигнува преку „авто-МЛ“: она што го прави процесот на нашата платформа за половина минута (пронаоѓање и обука на оптималниот модел), експертот може да потрае од една недела до месец.

Слика 19 Auto-ML интеграција во AI/ML решение базирано на платформата InterSystems IRIS

Дијаграмот подолу малку ја „соборува кулминацијата“, но ова е добар начин да се заврши приказната за класите на проблеми кои се решаваат во реално време: ве потсетуваме дека со сите можности на платформата InterSystems IRIS, моделите за обука под неговата контрола не е задолжителна. Платформата може надворешно да добие таканаречена спецификација на моделот PMML обучена во алатка која не е контролирана од платформата - и да го примени овој модел во реално време од моментот кога е увезен PMML спецификации. Во исто време, важно е да се земе предвид дека не сите артефакти на AI/ML може да се сведат на спецификација PMML, дури и ако повеќето од најчестите артефакти го дозволуваат тоа. Така, платформата InterSystems IRIS има „отворена јамка“ и не значи „платформско ропство“ за корисниците.

Слика 20 Auto-ML интеграција во AI/ML решение базирано на платформата InterSystems IRIS

Ги наведуваме дополнителните предности на платформата на InterSystems IRIS (за јасност, во однос на контролата на процесите), кои се од големо значење во автоматизацијата на вештачката интелигенција и машинското учење во реално време:

• Напредни алатки за интеграција со какви било извори на податоци и потрошувачи (PCS/SCADA, опрема, MRO, ERP, итн.)
• Вграден мулти-модел DBMS за трансакциско-аналитичка обработка со високи перформанси (Хибридна трансакција/Аналитичка обработка, HTAP) на кој било обем на податоци од процесот
• Развојни алатки за континуирано распоредување на мотори за одлучување AI/ML во реално време базирани на Python, R, Julia
• Адаптивни деловни процеси за континуирана интеграција и механизми за (само)учење на AI/ML решенија во реално време
• Вградени алатки за деловна интелигенција за визуелизирање на податоците од процесот и резултатите од решенијата за AI/ML
• Управување со API да ги испорача резултатите од решението AI / ML на системи за контрола на процеси / SCADA, информациски и аналитички системи, испраќање предупредувања итн.

Решенијата за AI/ML базирани на платформата InterSystems IRIS лесно се вклопуваат во постоечката ИТ инфраструктура. Платформата InterSystems IRIS обезбедува високо доверливи решенија за AI/ML преку поддршка за конфигурации толерантни за грешки и катастрофи и флексибилно распоредување во виртуелни средини, на физички сервери, во приватни и јавни облаци, контејнери Docker.

Така, InterSystems IRIS е универзална AI/ML компјутерска платформа во реално време. Универзалноста на нашата платформа е потврдена во пракса со отсуството на де факто ограничувања на сложеноста на имплементираните пресметки, способноста на InterSystems IRIS да комбинира (во реално време) обработка на сценарија од широк спектар на индустрии и исклучителна приспособливост. на сите функции и механизми на платформата за специфични потреби на корисниците.

Слика 21 InterSystems IRIS - Универзална AI/ML компјутерска платформа во реално време

За посуштинска интеракција со оние наши читатели кои се заинтересирани за материјалот презентиран овде, препорачуваме да не се ограничувате само на читање и да продолжите со дијалогот „во живо“. Со задоволство ќе обезбедиме поддршка со формулирање на сценарија за AI/ML во реално време во однос на спецификите на вашата компанија, ќе извршиме заедничко прототипирање на платформата InterSystems IRIS, ќе формираме и ќе спроведеме патоказ за воведување вештачка интелигенција и машинско учење во вашите процеси на производство и управување. Контактната е-пошта на нашата експертска група за AI/ML е [заштитена по е-пошта].

Извор: www.habr.com