Yazar: Sergey Lukyanchikov, InterSystems'de danışman mühendis
Gerçek zamanlı AI/ML bilgi işlem çağrıları
InterSystems'teki Veri Bilimi uygulama deneyiminden örneklerle başlayalım:
- Yüklenen alıcı portalı çevrimiçi bir öneri sistemine bağlıdır. Perakende ağı genelinde promosyonların yeniden yapılandırılması söz konusu olacaktır (örneğin, "düz" bir promosyon dizisi yerine artık "segment taktiği" matrisi kullanılacaktır). Öneri motorlarına ne olur? Verilerin öneri motoruna gönderilmesi ve güncellenmesine ne olacak (girilen verilerin hacmi 25000 kat arttı)? Önerilerin geliştirilmesine ne olur (sayılarının ve “aralığının” bin kat artması nedeniyle öneri kurallarının filtreleme eşiğini bin kat azaltma ihtiyacı)?
- Ekipman bileşenlerinde oluşabilecek kusurların olasılığını izlemeye yönelik bir sistem bulunmaktadır. İzleme sistemine, her saniye binlerce teknolojik süreç parametresini ileten otomatik bir süreç kontrol sistemi bağlandı. Daha önce “manuel numuneler” üzerinde çalışan izleme sistemine ne olacak (saniye saniye olasılık takibi sağlayabilecek kapasitede mi)? Proses kontrol sistemine yakın zamanda eklenen sensörlerden gelen okumalarla giriş verilerinde birkaç yüz sütundan oluşan yeni bir blok belirirse ne olacak (yeni sensörlerden gelen verileri analize dahil etmek için izleme sisteminin durdurulması gerekli olacak mı ve ne kadar süreyle durdurulacak?) )?
- Birbirlerinin çalışmalarının sonuçlarını kullanan bir dizi AI/ML mekanizması (öneri, izleme, tahmin) oluşturuldu. Bu kompleksin işleyişini girdi verilerindeki değişikliklere uyarlamak için her ay kaç adam-saat gerekiyor? Yönetim karar verme kompleksi tarafından desteklendiğinde genel "yavaşlama" nedir (yeni girdi verilerinin ortaya çıkma sıklığına göre yeni destekleyici bilgilerin ortaya çıkma sıklığı)?
Bunları ve diğer birçok örneği özetleyerek, makine öğrenimi ve yapay zeka mekanizmalarının gerçek zamanlı kullanımına geçerken ortaya çıkan zorlukların formülasyonuna geldik:
- Şirketimizdeki AI/ML gelişmelerinin oluşturulma ve (değişen duruma) uyarlanma hızından memnun muyuz?
- Kullandığımız AI/ML çözümleri gerçek zamanlı iş yönetimini ne kadar destekliyor?
- Kullandığımız AI/ML çözümleri, veri ve iş yönetimi uygulamalarındaki değişikliklere bağımsız olarak (geliştiriciler olmadan) uyum sağlayabiliyor mu?
Makalemiz, AI/ML mekanizmalarının dağıtımı, AI/ML çözümlerinin montajı (entegrasyonu) ve AI/ML çözümlerinin yoğun ortamlarda eğitimi (test edilmesi) için evrensel destek açısından InterSystems IRIS platformunun yeteneklerine kapsamlı bir genel bakış sunmaktadır. veri akışları. Bu makalede pazar araştırmasına, AI/ML çözümlerine ilişkin örnek olaylara ve gerçek zamanlı AI/ML platformu dediğimiz şeyin kavramsal yönlerine bakacağız.
Anketlerden bildiklerimiz: gerçek zamanlı uygulamalar
Bulgular Lightbend'in 800'da yaklaşık 2019 BT profesyoneli arasında gerçekleştirdiği araştırma, kendi adına konuşuyor:
Şekil 1 Gerçek zamanlı verilerin önde gelen tüketicileri
Bu anketin sonuçlarına ilişkin raporun önemli kısımlarını tercümemizde aktaralım:
“... Veri akışlarını entegre etmeye yönelik araçların popülaritesindeki eğilimler ve aynı zamanda kapsayıcılarda bilgi işlemin desteklenmesi, pazarın daha duyarlı, rasyonel, dinamik, etkili çözümler önerisine yönelik talebine sinerjik bir yanıt sağlıyor. Veri akışı, bilgileri geleneksel paket verilerinden daha hızlı aktarır. Buna, örneğin AI/ML tabanlı öneriler gibi hesaplamalı yöntemleri hızlı bir şekilde uygulama yeteneği de ekleniyor ve artan müşteri memnuniyeti yoluyla rekabet avantajı yaratılıyor. Çeviklik yarışı aynı zamanda DevOps paradigmasındaki tüm rolleri de etkileyerek uygulama geliştirmeyi ve devreye almayı daha verimli hale getiriyor. … Sekiz yüz dört BT uzmanı, kuruluşlarındaki veri akışlarının kullanımına ilişkin bilgi verdi. Katılımcılar ağırlıklı olarak Batı ülkelerinde (%41'i Avrupa'da ve %37'si Kuzey Amerika'da) bulunuyordu ve küçük, orta ve büyük şirketler arasında neredeyse eşit bir şekilde dağılmışlardı. ...
... Yapay zeka abartılı bir şey değil. Verimlilik AI/ML uygulamalarında halihazırda veri akışı işlemeyi kullananların yüzde elli sekizi, AI/ML kullanımlarının önümüzdeki yıl (diğer uygulamalarla karşılaştırıldığında) en büyük büyümeyi göreceğini doğruluyor.
- Ankete katılanların çoğunluğuna göre, önümüzdeki yıl en büyük büyüme AI/ML senaryolarında veri akışlarının kullanımında görülecek.
- AI/ML'deki uygulamalar yalnızca nispeten yeni senaryo türleri nedeniyle değil, aynı zamanda gerçek zamanlı verilerin giderek daha fazla kullanıldığı geleneksel senaryolar nedeniyle de büyüyecek.
- AI/ML'ye ek olarak, IoT veri hatları kullanıcıları arasındaki ilgi düzeyi de etkileyici; halihazırda IoT verilerini entegre etmiş olanların %48'i, bu veriler üzerinde senaryo uygulamasının yakın gelecekte önemli bir artış göreceğini söylüyor. ... "
Oldukça ilginç olan bu ankette, makine öğrenimi ve yapay zeka senaryolarının veri akışlarının tüketiminde lider olarak algılanmasının şimdiden "yolda olduğu" açıkça görülüyor. Ancak aynı derecede önemli bir gözlem de gerçek zamanlı AI/ML'nin DevOps merceğinden algılanmasıdır: Burada, hâlâ baskın olan "tamamen erişilebilir bir veri kümesiyle tek kullanımlık AI/ML" kültürünün dönüşümü hakkında konuşmaya başlayabiliriz.
Gerçek zamanlı AI/ML platform konsepti
Gerçek zamanlı AI/ML'nin tipik uygulama alanlarından biri üretimde süreç kontrolüdür. Onun örneğini kullanarak ve önceki düşünceleri dikkate alarak gerçek zamanlı bir AI/ML platformu konseptini formüle edeceğiz.
Yapay zeka ve makine öğreniminin süreç kontrolünde kullanımının bir takım özellikleri vardır:
- Teknolojik sürecin durumuna ilişkin veriler yoğun bir şekilde alınır: yüksek frekansta ve çok çeşitli parametreler için (proses kontrol sisteminden saniyede iletilen onbinlerce parametre değerine kadar)
- Kusurların tanımlanmasına ilişkin veriler, bunların gelişimine ilişkin verilerden bahsetmeye bile gerek yok, tam tersine, yetersiz ve düzensiz olup, kusurların yetersiz tiplendirilmesi ve zaman içinde lokalizasyonu (genellikle kağıt kayıtlarla temsil edilir) ile karakterize edilir.
- Pratik açıdan bakıldığında, teknolojik sürecin dinamiklerini, süreç parametrelerinin son okunan değerleriyle biten makul bir kayma aralığı boyunca yansıtan, modellerin eğitimi ve uygulanması için kaynak verilerin yalnızca bir "ilgililik penceresi" mevcuttur.
Bu özellikler bizi, teknolojik süreçten gelen yoğun "geniş bant giriş sinyalinin" gerçek zamanlı olarak alınması ve temel işlenmesinin yanı sıra, AI / sonuçlarının uygulama, eğitim ve kalite kontrolünü (paralel olarak) gerçekleştirmeye zorlar. ML modelleri - aynı zamanda gerçek zamanlı olarak. Modellerimizin kayan alaka penceresinde "gördüğü" "çerçeve" sürekli değişiyor ve bununla birlikte geçmişte "karelerden" biri üzerinde eğitilmiş AI/ML modellerinin çalışmalarının sonuçlarının kalitesi de değişiyor . AI/ML modellerinin çalışma sonuçlarının kalitesi kötüleşirse (örneğin: “alarm-norm” sınıflandırma hatasının değeri tanımladığımız limitlerin ötesine geçmişse), modellerin ek eğitimi otomatik olarak başlatılmalıdır. daha güncel bir “çerçeve” - ve modellerin ek eğitimini başlatma anının seçimi, eğitimin süresinin ve modellerin mevcut versiyonunun iş kalitesindeki bozulma dinamiklerinin nasıl olduğunu dikkate almalıdır (çünkü modeller eğitilirken ve “yeni eğitilmiş” versiyonları oluşana kadar modellerin güncel versiyonları kullanılmaya devam eder).
InterSystems IRIS, gerçek zamanlı süreç kontrolü için AI/ML çözümlerini mümkün kılan temel platform yeteneklerine sahiptir. Bu yetenekler üç ana gruba ayrılabilir:
- Yeni veya uyarlanmış mevcut AI/ML mekanizmalarının InterSystems IRIS platformunda gerçek zamanlı olarak çalışan üretken bir çözüme sürekli dağıtımı (Sürekli Dağıtım/Teslim, CD)
- Gelen teknolojik süreç veri akışlarının, uygulama/eğitim/AI/ML mekanizmalarının kalite kontrolü için veri kuyruklarının ve gerçek zamanlı olarak düzenlenen matematiksel modelleme ortamlarıyla veri/kod/kontrol eylemlerinin alışverişinin tek bir üretken çözüme Sürekli Entegrasyonu (CI) InterSystems IRIS platformu
- InterSystems IRIS platformu tarafından iletilen veriler, kod ve kontrol eylemleri ("alınan kararlar") kullanılarak matematiksel modelleme ortamlarında gerçekleştirilen AI/ML mekanizmalarının sürekli (kendi kendine) eğitimi (Sürekli Eğitim, CT)
Platform yeteneklerinin makine öğrenimi ve yapay zeka ile ilgili olarak tam olarak bu gruplara ayrılması tesadüf değildir. Metodolojik olarak alıntı yapalım Bu sınıflandırmaya kavramsal bir temel sağlayan Google, çevirimizde:
“... Günümüzde popüler olan DevOps kavramı, büyük ölçekli bilgi sistemlerinin geliştirilmesini ve işletilmesini kapsıyor. Bu konsepti uygulamanın avantajları, geliştirme döngülerinin süresinin kısaltılması, geliştirmelerin daha hızlı devreye alınması ve sürüm planlamasında esnekliktir. Bu avantajlara ulaşmak için DevOps en az iki uygulamanın uygulanmasını içerir:
- Sürekli Entegrasyon (CI)
- Sürekli Teslimat (CD)
Bu uygulamalar aynı zamanda üretken AI/ML çözümlerinin güvenilir ve performanslı bir şekilde birleştirilmesini sağlamak için AI/ML platformları için de geçerlidir.
AI/ML platformları diğer bilgi sistemlerinden aşağıdaki yönlerden farklılık gösterir:
- Ekip yeterlilikleri: Bir AI/ML çözümü oluştururken ekip genellikle veri analizi yapan, modelleri geliştiren ve test eden veri bilimcileri veya veri araştırması alanında "akademik" uzmanları içerir. Bu ekip üyeleri profesyonel, üretken kod geliştiricileri olmayabilir.
- Geliştirme: AI/ML motorları doğası gereği deneyseldir. Bir problemi en verimli şekilde çözmek için girdi değişkenlerinin, algoritmaların, modelleme yöntemlerinin ve model parametrelerinin çeşitli kombinasyonlarından geçmek gerekir. Böyle bir araştırmanın karmaşıklığı, “neyin işe yarayıp neyin yaramadığının” izini sürmek, bölümlerin tekrarlanabilirliğini sağlamak, tekrarlanan uygulamalar için gelişmelerin genelleştirilmesinde yatmaktadır.
- Test Etme: AI/ML motorlarını test etmek, diğer geliştirmelerin çoğundan daha geniş bir test yelpazesi gerektirir. Standart birim ve entegrasyon testlerine ek olarak, veri geçerliliği ve modelin eğitim ve kontrol örneklerine uygulanmasından elde edilen sonuçların kalitesi test edilir.
- Dağıtım: AI/ML çözümlerinin dağıtımı, bir kez eğitilmiş bir model kullanan tahmine dayalı hizmetlerle sınırlı değildir. AI/ML çözümleri, otomatik model eğitimi ve uygulamasını gerçekleştiren çok aşamalı işlem hatları etrafında oluşturulmuştur. Bu tür ardışık düzenlerin konuşlandırılması, modelleri eğitmek ve test edebilmek için veri bilimcileri tarafından geleneksel olarak manuel olarak gerçekleştirilen önemsiz eylemlerin otomatikleştirilmesini içerir.
- Üretkenlik: AI/ML motorları, yalnızca verimsiz programlama nedeniyle değil, aynı zamanda girdi verilerinin sürekli değişen doğası nedeniyle de üretkenlikten yoksun olabilir. Başka bir deyişle, AI/ML mekanizmalarının performansı, geleneksel geliştirmelerin performansından daha geniş bir yelpazedeki nedenlerden dolayı düşebilir. Bu da AI/ML motorlarımızın performansını (çevrimiçi) izleme ve performans göstergeleri beklentileri karşılamıyorsa uyarı gönderme veya sonuçları reddetme ihtiyacına yol açıyor.
AI/ML platformları, her ikisinin de sürüm kontrolü, birim testi, entegrasyon testi ve sürekli geliştirme dağıtımı ile sürekli kod entegrasyonu gerektirmesi açısından diğer bilgi sistemlerine benzer. Ancak AI/ML durumunda birkaç önemli farklılık vardır:
- CI (Sürekli Entegrasyon) artık dağıtılan bileşenlerin kodunun test edilmesi ve doğrulanmasıyla sınırlı değildir; aynı zamanda verilerin ve AI/ML modellerinin test edilmesini ve doğrulanmasını da içerir.
- CD (Sürekli Teslimat/Dağıtım, sürekli dağıtım), paketlerin veya hizmetlerin yazılması ve yayınlanmasıyla sınırlı değildir, aynı zamanda AI/ML çözümlerinin oluşturulması, eğitimi ve uygulanması için bir platform anlamına gelir.
- CT (Sürekli Eğitim, sürekli eğitim) yeni bir unsurdur [yaklaşık. makalenin yazarı: Geleneksel DevOps kavramıyla ilgili olarak CT'nin kural olarak Sürekli Test olduğu, AI/ML platformlarının doğasında bulunan, AI eğitimi ve uygulamasına yönelik mekanizmaların özerk yönetiminden sorumlu yeni bir unsur /ML modelleri. ... "
Gerçek zamanlı veriler üzerinde çalışan makine öğrenimi ve yapay zekanın, daha geniş bir araç ve yetkinlik seti (kod geliştirmeden matematiksel modelleme ortamlarının düzenlenmesine kadar), tüm işlevsel ve konu alanları arasında daha yakın entegrasyon, insan ve insan ilişkilerinin daha verimli organizasyonu gerektirdiğini ifade edebiliriz. makine kaynakları.
Gerçek zamanlı senaryo: besleme pompalarındaki kusurların gelişiminin farkına varılması
Örnek olarak proses kontrol alanını kullanmaya devam edersek, belirli bir sorunu düşünün (en başta da bahsetmiştik): proses parametre değerlerinin akışına dayalı olarak pompalardaki kusur gelişiminin gerçek zamanlı izlenmesini sağlamamız gerekiyor ve onarım personelinin tespit edilen kusurlarla ilgili raporları.
Şekil 2 Kusurların gelişiminin izlenmesi için problem formülasyonu
Uygulamada bu şekilde ortaya çıkan çoğu görevin bir özelliği, veri alımının (APCS) düzenliliği ve verimliliğinin, çeşitli türlerdeki kusurların aralıklı ve düzensiz oluşumu (ve kaydı) zemininde dikkate alınması gerektiğidir. Başka bir deyişle: Proses kontrol sisteminden saniyede bir kez doğru ve kesin veriler geliyor ve atölyedeki genel bir not defterine kimyasal kalemle tarih belirtilerek kusurlarla ilgili notlar yapılıyor (örneğin: “12.01 – kapakta sızıntı) 3. yatağın yanından").
Dolayısıyla problemin formülasyonunu aşağıdaki önemli sınırlamayla destekleyebiliriz: Belirli bir türdeki bir hatanın yalnızca bir “etiketi” var (yani, belirli bir türdeki bir hatanın bir örneği, proses kontrolünden gelen verilerle temsil edilir) belirli bir tarihte sistem - ve bu tür bir kusura ilişkin daha fazla örneğimiz yok). Bu sınırlama bizi hemen çok sayıda "etiket" olması gereken klasik makine öğreniminin (denetimli öğrenme) kapsamının ötesine götürür.
Şekil 3 Kusurların gelişimini izleme görevinin açıklığa kavuşturulması
Elimizdeki tek “etiketi” bir şekilde “çoğaltabilir miyiz”? Evet yapabiliriz. Pompanın mevcut durumu, kayıtlı kusurlara benzerlik derecesi ile karakterize edilir. Kantitatif yöntemler kullanılmadan bile, görsel algı düzeyinde, süreç kontrol sisteminden gelen veri değerlerinin dinamiklerini gözlemleyerek zaten çok şey öğrenebilirsiniz:
Şekil 4 Belirli bir türdeki bir kusurun "işaretinin" arka planına karşı pompa durumunun dinamiği
Ancak hızla değişen senaryomuzda görsel algı (en azından şimdilik) en uygun “etiket” oluşturucu değil. Mevcut pompa durumunun rapor edilen kusurlarla benzerliğini istatistiksel bir test kullanarak değerlendireceğiz.
Şekil 5 Gelen verilere bir kusur "etiketinin" arka planına karşı istatistiksel bir test uygulama
İstatistiksel bir test, süreç kontrol sisteminden alınan "akış paketindeki" teknolojik süreç parametrelerinin değerlerini içeren kayıtların, belirli türdeki bir kusurun "etiketinin" kayıtlarına benzer olma olasılığını belirler. İstatistiksel test uygulanması sonucu hesaplanan olasılık değeri (istatistiksel benzerlik indeksi), benzerlik açısından incelenen paketteki her bir kayıtta makine öğrenmesi için bir “etiket” haline gelerek 0 veya 1 değerine dönüştürülür. Yani, yeni alınan pompa durumu kayıtları paketini istatistiksel bir testle işledikten sonra, (a) bu paketi AI/ML modelini eğitmek için eğitim setine ekleme ve (b) pompanın kalite kontrolünü gerçekleştirme fırsatına sahip oluruz. Bu pakette kullanıldığında modelin güncel sürümü.
Şekil 6 Bir kusur "etiketinin" arka planına karşı gelen verilere bir makine öğrenimi modeli uygulama
Öncekilerimizden birinde InterSystems IRIS platformunun, modelleme sonuçlarının güvenilirliğini izleyen ve model parametrelerini uyarlayan iş süreçlerinin sürekli olarak yürütülmesi biçiminde herhangi bir AI/ML mekanizmasını uygulamanıza nasıl izin verdiğini gösteriyor ve açıklıyoruz. Pompalarla senaryomuzun bir prototipini uygularken, web semineri sırasında sunulan tüm InterSystems IRIS işlevlerini kullanıyoruz; çözümümüzün bir parçası olarak çözümümüzün bir parçası olarak klasik denetimli öğrenmeyi değil, eğitim modellerinin seçimini otomatik olarak yöneten takviyeli öğrenmeyi uyguluyoruz. . Eğitim örneği, hem istatistiksel testin hem de modelin mevcut versiyonunun (yani hem istatistiksel testin (benzerlik endeksini 0 veya 1'e dönüştürdükten sonra) hem de sonucu üreten modelin) uygulanmasından sonra üzerinde bir "tespit fikir birliğinin" ortaya çıktığı kayıtları içerir. bu tür kayıtlar hakkında 1. Modelin yeni eğitimi sırasında, validasyonu sırasında (yeni eğitilen model, istatistiksel bir testin ön uygulamasıyla birlikte kendi eğitim örneğine uygulanır), işlemden sonra sonucu 1 "tutmayan" kayıtlar istatistiksel test yoluyla (kusurun orijinal "etiketinden" bir kayıt örneğinin eğitimde sürekli bulunması nedeniyle), eğitim setinden kaldırılır ve modelin yeni bir versiyonu, kusurun "etiketinden" öğrenir. kusur artı akıştaki "tutulan" kayıtlar.
Şekil 7 InterSystems IRIS'te AI/ML hesaplamalarının robotlaştırılması
InterSystems IRIS'te yerel hesaplamalar sırasında elde edilen tespit kalitesine ilişkin bir tür "ikinci görüşe" ihtiyaç duyulursa, bulut hizmetlerini (örneğin, Microsoft) kullanarak bir kontrol veri kümesi üzerinde modellerin eğitimini ve uygulamasını gerçekleştirmek için bir danışman süreci oluşturulur. Azure, Amazon Web Hizmetleri, Google Bulut Platformu vb.):
Şekil 8 InterSystems IRIS tarafından düzenlenen Microsoft Azure'dan İkinci Görüş
InterSystems IRIS'teki senaryomuzun prototipi, bir ekipman nesnesi (pompa), matematiksel modelleme ortamları (Python, R ve Julia) ile etkileşime giren ve ilgili tüm yapay zeka/yapay zekaların kendi kendine öğrenmesini sağlayan, aracı tabanlı bir analitik süreç sistemi olarak tasarlanmıştır. ML mekanizmaları - gerçek zamanlı veri akışlarında.
Şekil 9 InterSystems IRIS'teki gerçek zamanlı AI/ML çözümünün ana işlevi
Prototipimizin pratik sonucu:
- Model tarafından tanınan örnek kusur (12 Ocak):
- Model tarafından tanınan ve örneğe dahil edilmeyen gelişen bir kusur (11 Eylül, kusurun kendisi onarım ekibi tarafından yalnızca iki gün sonra, 13 Eylül'de tespit edildi):
Aynı arızanın çeşitli bölümlerini içeren gerçek veriler üzerindeki simülasyon, InterSystems IRIS platformunda uygulanan çözümümüzün, bu tür kusurların gelişimini, onarım ekibi tarafından tespit edilmeden birkaç gün önce tespit etmemize olanak sağladığını gösterdi.
InterSystems IRIS - evrensel bir gerçek zamanlı AI/ML bilgi işlem platformu
InterSystems IRIS platformu, gerçek zamanlı veri çözümlerinin geliştirilmesini, konuşlandırılmasını ve çalıştırılmasını basitleştirir. InterSystems IRIS, işlemsel ve analitik veri işlemeyi aynı anda gerçekleştirme kapasitesine sahiptir; birden fazla modele (ilişkisel, hiyerarşik, nesne ve belge dahil) göre senkronize veri görünümlerini desteklemek; çok çeşitli veri kaynaklarının ve bireysel uygulamaların entegre edilmesine yönelik bir platform görevi görmesi; Yapılandırılmış ve yapılandırılmamış veriler üzerinde gelişmiş gerçek zamanlı analizler sağlar. InterSystems IRIS ayrıca harici analitik araçların kullanılmasına yönelik mekanizmalar sağlar ve bulutta ve yerel sunucularda barındırmanın esnek bir kombinasyonuna olanak tanır.
InterSystems IRIS platformu üzerinde oluşturulan uygulamalar, çeşitli endüstrilere dağıtılarak şirketlerin stratejik ve operasyonel açıdan önemli ekonomik faydalar elde etmesine yardımcı olur, bilinçli karar almayı artırır ve olay, analiz ve eylem arasındaki boşlukları kapatır.
Şekil 10 Gerçek zamanlı AI/ML bağlamında InterSystems IRIS mimarisi
Önceki şemada olduğu gibi, aşağıdaki şema da yeni "koordinat sistemini" (CD/CI/CT) platformun çalışma elemanları arasındaki bilgi akışının şemasıyla birleştiriyor. Görselleştirme makromekanizma CD'si ile başlar ve makromekanizmalar CI ve CT ile devam eder.
Şekil 11 InterSystems IRIS platformunun AI/ML öğeleri arasındaki bilgi akış şeması
InterSystems IRIS'teki CD mekanizmasının özü: platform kullanıcıları (AI/ML çözümlerinin geliştiricileri), AI/ML mekanizmaları için özel bir kod düzenleyici kullanarak mevcutları uyarlar ve/veya yeni AI/ML geliştirmeleri oluşturur: Jupyter (tam adı: Jupyter Notebook; Kısaca belirtmek gerekirse, bu düzenleyicide oluşturulan belgelere de bazen denir). Jupyter'da bir geliştirici, belirli bir AI/ML geliştirmesinin InterSystems IRIS'e yerleştirilmeden (“konuşlandırılmadan”) önce yazma, hata ayıklama ve performansını (grafik kullanımı dahil) doğrulama fırsatına sahiptir. Bu şekilde oluşturulan yeni bir geliştirmenin yalnızca temel hata ayıklamayı alacağı açıktır (özellikle Jupyter gerçek zamanlı veri akışlarıyla çalışmadığından) - bu her şeyin sırasına göredir, çünkü Jupyter'deki geliştirmenin ana sonucu ayrı bir AI / ML mekanizmasının temel çalışabilirliğinin doğrulanmasıdır (“bir veri örneğinde beklenen sonucu gösterir”). Benzer şekilde, Jupyter'da hata ayıklamadan önce platforma zaten yerleştirilmiş bir mekanizma (aşağıdaki makro mekanizmalara bakın), bir "platform öncesi" forma "geri alma" gerektirebilir (dosyalardan veri okumak, tablolar yerine xDBC aracılığıyla verilerle çalışmak, küresellerle doğrudan etkileşim - çok boyutlu veri dizileri InterSystems IRIS – vb.).
InterSystems IRIS'te CD uygulamasının önemli bir yönü: platform ile Jupyter arasında çift yönlü entegrasyon uygulanmış olup Python, R ve Julia'daki içeriğin platforma aktarılmasına (ve daha sonra platformda işlenmesine) olanak sağlanmıştır (üçünün tümü programlamadır) karşılık gelen önde gelen açık kaynaklı dillerdeki diller).kaynak matematiksel modelleme ortamları). Böylece, AI/ML içerik geliştiricileri, Python, R, Julia'da bulunan tanıdık kütüphanelerle tanıdık Jupyter editörlerinde çalışarak ve (gerekirse) temel hata ayıklamayı gerçekleştirerek bu içeriğin platformda "sürekli dağıtımını" gerçekleştirme fırsatına sahip olur. platformun dışında.
InterSystems IRIS'teki CI makro mekanizmasına geçelim. Diyagram, "gerçek zamanlı robotlaştırıcının" makro sürecini göstermektedir (matematik dillerinde ve InterSystems IRIS'in yerel geliştirme dili olan ObjectScript'te onlar tarafından düzenlenen bir veri yapıları, iş süreçleri ve kod parçaları kompleksi). Bu makro sürecin görevi, AI/ML mekanizmalarının çalışması için gerekli veri kuyruklarını korumak (platforma gerçek zamanlı olarak iletilen veri akışlarına dayalı olarak), uygulama sırası ve AI/ML "çeşitliliği" hakkında kararlar vermektir. Makine öğrenimi mekanizmaları (bunlar aynı zamanda "matematiksel algoritmalar", "modeller" vb.'dir - uygulamanın özelliklerine ve terminolojik tercihlere bağlı olarak farklı şekilde adlandırılabilir), yapay zeka/yapay zeka çalışmalarının sonuçlarını analiz etmek için veri yapılarını güncel tutar. Makine öğrenimi mekanizmaları (küpler, tablolar, çok boyutlu veri dizileri vb.) vb. – raporlar, gösterge tabloları vb. için).
InterSystems IRIS'te CI uygulamasının önemli bir yönü: platform ile matematiksel modelleme ortamları arasında çift yönlü entegrasyon uygulanmıştır; bu, Python, R ve Julia'da platformda barındırılan içeriği ilgili ortamlarında yürütmenize ve yürütme sonuçlarını geri almanıza olanak tanır. Bu entegrasyon hem "terminal modunda" (yani AI/ML içeriği, çevreye çağrı yapan ObjectScript kodu olarak formüle edilir) hem de "iş süreci modunda" (yani AI/ML içeriği bir iş süreci olarak formüle edilir) uygulanır. bir grafik düzenleyici kullanarak veya bazen Jupyter kullanarak veya bir IDE - IRIS Studio, Eclipse, Visual Studio Code kullanarak). Jupyter'de düzenleme için iş süreçlerinin kullanılabilirliği, CI düzeyinde IRIS ile CD düzeyinde Jupyter arasındaki bağlantı yoluyla yansıtılır. Matematiksel modelleme ortamlarıyla entegrasyona ilişkin daha ayrıntılı bir genel bakış aşağıda verilmiştir. Bu aşamada, bize göre platformun, AI/ML geliştirmelerinin ("sürekli dağıtımdan" gelen) "sürekli entegrasyonunu" gerçek zamanlı AI/ML çözümlerine uygulamak için gerekli tüm araçlara sahip olmasını sağlamak için her türlü neden var.
Ve ana makro mekanizma: CT. Bu olmadan AI/ML platformu olmayacak (ancak "gerçek zamanlı" CD/CI aracılığıyla uygulanacaktır). BT'nin özü, platformun doğrudan matematiksel modelleme ortamlarının çalışma oturumlarında makine öğrenimi ve yapay zekanın "yapıları" ile çalışmasıdır: modeller, dağıtım tabloları, matris vektörleri, sinir ağı katmanları vb. Bu "çalışma", çoğu durumda, söz konusu eserlerin ortamlarda oluşturulmasından oluşur (örneğin, modellerde "yaratma", modelin spesifikasyonunun ayarlanması ve ardından parametrelerinin değerlerinin seçilmesinden oluşur - modelin sözde "eğitimi"), bunların uygulanması (modeller için: hedef değişkenlerin "model" değerlerinin yardımıyla hesaplama - tahminler, kategori üyeliği, bir olayın olasılığı vb.) ve halihazırdaki iyileştirmeler oluşturulan ve uygulanan yapılar (örneğin, bir seçenek olarak tahmin doğruluğunu artırmak için uygulama sonuçlarına dayalı olarak bir dizi model giriş değişkeninin yeniden tanımlanması). CT'nin rolünü anlamadaki kilit nokta, CD ve CI gerçekliklerinden "soyutlanmasıdır": CT, belirli ortamların sağladığı yetenekler dahilinde AI/ML çözümünün hesaplamalı ve matematiksel özelliklerine odaklanarak tüm yapaylıkları uygulayacaktır. "Girdilerin sağlanması" ve "çıktıların sağlanması" sorumluluğu CD ve CI'nın sorumluluğunda olacaktır.
BT'nin özellikle InterSystems IRIS'te uygulanmasının önemli bir yönü: yukarıda bahsedilen matematiksel modelleme ortamlarıyla entegrasyonu kullanan platform, matematiksel ortamlarda kendi kontrolü altında yürütülen çalışma oturumlarından bu eserleri çıkarma ve (en önemlisi) dönüştürme yeteneğine sahiptir. bunları platform veri nesnelerine dönüştürür. Örneğin, çalışan bir Python oturumunda yeni oluşturulmuş bir dağıtım tablosu (Python oturumunu durdurmadan) platforma örneğin bir global (çok boyutlu bir InterSystems IRIS veri dizisi) biçiminde aktarılabilir ve kullanılabilir başka bir AI/ML mekanizmasındaki (başka bir ortamın dilinde uygulanan - örneğin R'de) - veya sanal bir tablodaki hesaplamalar için. Başka bir örnek: modelin çalışmasının "normal moduna" paralel olarak (Python çalışma oturumunda), giriş verilerinde "otomatik ML" gerçekleştirilir: optimum giriş değişkenlerinin ve parametre değerlerinin otomatik seçimi. Ve "düzenli" eğitimin yanı sıra, gerçek zamanlı olarak üretken bir model, aynı zamanda girdi değişkenleri kümesinin değiştiği, parametre değerlerinin değiştiği (artık eğitimin bir sonucu olmayan) spesifikasyonunun "optimizasyon önerisini" alır. Python'da, ancak H2O yığını gibi kendisinin "alternatif" bir sürümüyle yapılan eğitimin bir sonucu olarak), genel AI/ML çözümünün, modellenen girdi verilerinin ve olayların doğasındaki beklenmedik değişikliklerle özerk bir şekilde başa çıkmasına olanak tanır. .
Gerçek hayattaki bir prototip örneğini kullanarak InterSystems IRIS'in platform AI/ML işlevselliğini daha ayrıntılı olarak tanıyalım.
Aşağıdaki şemada, slaydın sol tarafında Python ve R'de komut dosyalarının yürütülmesini uygulayan iş sürecinin bir kısmı vardır. Orta kısımda sırasıyla bu komut dosyalarının bazılarının yürütülmesine ilişkin görsel günlükler vardır. Python ve R'de. Hemen arkasında, yürütülmek üzere uygun ortamlara aktarılan, bir ve diğer dildeki içerik örnekleri vardır. Sağ tarafta, komut dosyası yürütme sonuçlarına dayalı görselleştirmeler bulunur. Üstteki görselleştirmeler IRIS Analytics'te yapıldı (veriler Python'dan InterSystems IRIS veri platformuna alındı ve platform kullanılarak bir kontrol panelinde görüntülendi), alttaki görselleştirmeler doğrudan R çalışma oturumunda yapıldı ve buradan grafik dosyalarına çıktı verildi . Önemli bir husus: prototipte sunulan parça, modelin uygulanması sırasında gözlemlenen sınıflandırma kalitesi izleme sürecinden gelen komut üzerine, ekipman simülatör sürecinden gerçek zamanlı olarak alınan veriler üzerinde modelin eğitilmesinden (ekipman durumlarının sınıflandırılması) sorumludur. Bir AI/ML çözümünün bir dizi etkileşimli süreç ("aracı") biçiminde uygulanması daha ayrıntılı olarak tartışılacaktır.
Şekil 12 InterSystems IRIS'te Python, R ve Julia ile Etkileşim
Platform süreçleri (bunlar aynı zamanda bağlama bağlı olarak "iş süreçleri", "analitik süreçler", "boru hatları" vb.'dir) her şeyden önce platformun kendisindeki grafiksel iş süreci düzenleyicisinde düzenlenir ve böyle bir hem blok diyagramının hem de karşılık gelen AI/ML mekanizmasının (program kodu) aynı anda oluşturulduğu şekilde. "Bir AI/ML mekanizması elde edilir" dediğimizde başlangıçta hibritliği (tek bir süreç içinde) kastediyoruz: matematiksel modelleme ortamlarının dillerindeki içerik, SQL'deki içeriğe bitişiktir (uzantıları dahil) ), InterSystems ObjectScript'te desteklenen diğer dillerle birlikte. Üstelik platform süreci, hiyerarşik olarak iç içe geçmiş parçalar biçiminde (aşağıdaki diyagramdaki örnekte görülebileceği gibi) "oluşturma" için çok geniş fırsatlar sunar; bu, çok karmaşık içerikleri bile hiçbir zaman "düşmeden" etkili bir şekilde düzenlemenize olanak tanır. grafiksel formatın ("grafiksel olmayan" formatlara) » yöntemleri/sınıfları/prosedürleri vb.). Yani, gerekirse (ve çoğu projede öngörülüyor), kesinlikle tüm AI/ML çözümü grafiksel kendi kendini belgeleyen bir formatta uygulanabilir. Lütfen aşağıdaki diyagramın daha yüksek bir "yuvalama düzeyini" temsil eden orta kısmında, modelin (Python ve R kullanılarak) eğitilmesinin fiili çalışmasına ek olarak, sözde bir analizin açık olduğunu unutmayın. Eğitim kalitesinin görsel olarak (ve aynı zamanda hesaplamalı olarak) değerlendirilmesine olanak tanıyan eğitilmiş modelin ROC eğrisi eklenir - ve bu analiz Julia dilinde uygulanır (buna göre Julia matematik ortamında yürütülür).
Şekil 13 InterSystems IRIS'te AI/ML çözümlerinin bileşimi için görsel ortam
Daha önce de belirtildiği gibi, platformda halihazırda uygulanan AI/ML mekanizmalarının ilk geliştirilmesi ve (bazı durumlarda) uyarlanması, platformun dışında Jupyter editöründe gerçekleştirilecektir/yapılabilir. Aşağıdaki şemada mevcut bir platform sürecinin uyarlanmasının bir örneğini görüyoruz (yukarıdaki şemadakiyle aynı) - modelin eğitilmesinden sorumlu olan parça Jupyter'da bu şekilde görünüyor. Python içeriği doğrudan Jupyter'da düzenleme, hata ayıklama ve grafik çıktısı için kullanılabilir. Platform sürecinde, üretken versiyonu da dahil olmak üzere, anlık senkronizasyon ile değişiklikler (gerekirse) yapılabilir. Yeni içerikler de benzer şekilde platforma aktarılabilir (otomatik olarak yeni bir platform süreci oluşturulur).
Şekil 14 InterSystems IRIS platformunda AI/ML motorunu düzenlemek için Jupyter Notebook'u kullanma
Bir platform sürecinin uyarlanması yalnızca grafik veya dizüstü bilgisayar formatında değil, aynı zamanda "toplam" IDE (Entegre Geliştirme Ortamı) formatında da gerçekleştirilebilir. Bu IDE'ler IRIS Studio (yerel IRIS stüdyosu), Visual Studio Code (VSCode için InterSystems IRIS uzantısı) ve Eclipse'dir (Atelier eklentisi). Bazı durumlarda bir geliştirme ekibinin üç IDE'nin tümünü aynı anda kullanması mümkündür. Aşağıdaki şemada aynı işlemin IRIS Studio'da, Visual Studio Code'da ve Eclipse'de düzenlenmesine ilişkin bir örnek gösterilmektedir. Kesinlikle tüm içerik düzenlemeye uygundur: Python/R/Julia/SQL, ObjectScript ve iş süreci.
Şekil 15 Çeşitli IDE'lerde InterSystems IRIS iş sürecinin gelişimi
InterSystems IRIS iş süreçlerini İş Süreçleri Dilinde (BPL) tanımlamaya ve yürütmeye yönelik araçlar özel olarak anılmayı hak ediyor. BPL, iş süreçlerinde "hazır entegrasyon bileşenlerinin" (faaliyetlerin) kullanılmasını mümkün kılar - bu aslında InterSystems IRIS'te "sürekli entegrasyonun" uygulandığını söylemek için her türlü nedeni verir. Hazır iş süreci bileşenleri (faaliyetler ve aralarındaki bağlantılar), bir AI/ML çözümünün oluşturulması için güçlü bir hızlandırıcıdır. Ve sadece meclisler değil; farklı AI/ML geliştirmeleri ve mekanizmaları üzerinden aralarındaki faaliyetler ve bağlantılar sayesinde, gerçek zamanlı olarak duruma göre kararlar alabilen bir “otonom yönetim katmanı” ortaya çıkıyor.
Şekil 16 InterSystems IRIS platformunda sürekli entegrasyon (CI) için hazır iş süreci bileşenleri
Ajan sistemleri kavramı ("çoklu ajan sistemleri" olarak da bilinir) robotizasyonda güçlü bir konuma sahiptir ve InterSystems IRIS platformu bunu "ürün-süreç" yapısı aracılığıyla organik olarak desteklemektedir. Her süreci genel çözüm için gerekli işlevsellik ile "doldurmak" için sınırsız olanaklara ek olarak, platform süreçleri sistemine "ajans" özelliği kazandırmak, son derece istikrarsız simüle edilmiş olaylar (sosyal/sosyal davranış) için etkili çözümler yaratmanıza olanak tanır. biyosistemler, kısmen gözlemlenebilir teknolojik süreçler vb.).
Şekil 16 Bir AI/ML çözümünün InterSystems IRIS'te aracı tabanlı bir iş süreci sistemi olarak çalıştırılması
InterSystems IRIS incelememize, platformun tüm gerçek zamanlı sorun sınıflarını çözmek için uygulamalı kullanımına ilişkin bir hikaye ile devam ediyoruz (InterSystems IRIS'teki AI/ML platformunun en iyi uygulamalarından bazılarına oldukça ayrıntılı bir giriş, birinde bulunabilir) bizim önceki ).
Önceki diyagramın hemen ardından, aşağıda ajan sisteminin daha ayrıntılı bir diyagramı yer almaktadır. Diyagram aynı prototipi gösterir, dört etmen sürecinin tamamı görünürdür, aralarındaki ilişkiler şematik olarak çizilmiştir: JENERATÖR - ekipman sensörleri tarafından veri oluşturulmasını işler, BUFFER - veri kuyruklarını yönetir, ANALİZÖR - makine öğrenimini kendisi gerçekleştirir, MONİTÖR - verileri izler makine öğreniminin kalitesi ve modelin yeniden eğitilmesi ihtiyacı hakkında bir sinyal gönderir.
Şekil 17 InterSystems IRIS'te aracı tabanlı iş süreci sistemi biçiminde bir AI/ML çözümünün bileşimi
Aşağıdaki şema, başka bir robot prototipinin (metinlerin duygusal renklerinin tanınması) bir süre boyunca otonom işleyişini göstermektedir. Üst kısımda model eğitiminin kalite göstergesinin gelişimi (kalite artıyor), alt kısımda ise model uygulamasının kalite göstergesinin dinamikleri ve tekrarlanan eğitimin gerçekleri (kırmızı çizgiler) yer almaktadır. Gördüğünüz gibi çözüm kendini verimli ve otonom bir şekilde öğrenmiş ve belirli bir kalite seviyesinde çalışmaktadır (kalite puanı değerleri %80'in altına düşmemektedir).
Şekil 18 InterSystems IRIS platformunda sürekli (kendi kendine) eğitim (CT)
Daha önce “otomatik ML”den de bahsetmiştik ancak aşağıdaki şemada başka bir prototip örneği kullanılarak bu işlevselliğin kullanımı ayrıntılı olarak gösterilmektedir. Bir iş sürecinin bir parçasının grafik diyagramı, H2O yığınındaki modellemeyi tetikleyen aktiviteyi gösterir, bu modellemenin sonuçlarını gösterir (karşılaştırmalı şemaya göre, ortaya çıkan modelin "insan yapımı" modeller üzerindeki açık hakimiyeti) ROC eğrilerinin yanı sıra orijinal veri setinde mevcut olan "en etkili değişkenlerin" otomatik olarak tanımlanması). Burada önemli bir nokta, "otomatik makine öğrenimi" yoluyla elde edilen zamandan ve uzman kaynaklarından tasarruftur: Platform sürecimizin yarım dakikada yaptığı işlem (en uygun modeli bulma ve eğitme), bir uzmanın bir haftadan bir aya kadar zamanını alabilir.
Şekil 19 "Otomatik ML"nin InterSystems IRIS platformundaki bir AI/ML çözümüne entegrasyonu
Aşağıdaki şema asıl noktayı biraz gözden kaçırıyor, ancak çözülmekte olan gerçek zamanlı problemlerin sınıfları hakkındaki hikayeyi bitirmek için iyi bir yol: InterSystems IRIS platformunun tüm yetenekleriyle, onun kontrolü altındaki eğitim modellerinin zorunlu değil. Platform, modelin, platformun kontrolü altında olmayan bir araçla eğitilmiş PMML spesifikasyonunu dışarıdan alabilir ve bu modeli, içe aktarıldığı andan itibaren gerçek zamanlı olarak uygulayabilir. . En yaygın yapıtların çoğu buna izin verse bile, tüm AI/ML yapıtlarının bir PMML spesifikasyonuna indirgenemeyeceğini dikkate almak önemlidir. Dolayısıyla InterSystems IRIS platformu “açık döngü”dür ve kullanıcılar için “platform köleliği” anlamına gelmez.
Şekil 20 "Otomatik ML"nin InterSystems IRIS platformundaki bir AI/ML çözümüne entegrasyonu
Yapay zeka otomasyonu ve gerçek zamanlı makine öğrenmesinde büyük önem taşıyan InterSystems IRIS'in (süreç kontrolüyle ilgili olarak netlik sağlamak amacıyla) ek platform avantajlarını sıralayalım:
- Her türlü veri kaynağı ve tüketiciyle (proses kontrol sistemi/SCADA, ekipman, MRO, ERP vb.) entegrasyon araçları geliştirildi.
- Yerleşik Her türlü teknolojik süreç verisinin yüksek performanslı işlemsel ve analitik işlenmesi (Hibrit İşlem/Analitik İşleme, HTAP) için
- Python, R, Julia'ya dayalı gerçek zamanlı çözümler için AI/ML motorlarının sürekli dağıtımına yönelik geliştirme araçları
- Gerçek zamanlı AI/ML çözüm motorlarının sürekli entegrasyonu ve (kendi kendine) öğrenmesi için uyarlanabilir iş süreçleri
- Süreç verilerini ve bir AI/ML çözümünün sonuçlarını görselleştirmek için yerleşik İş Zekası araçları
- AI/ML çözümünün sonuçlarını süreç kontrol sistemlerine/SCADA'ya, bilgi ve analitik sistemlere iletmek, uyarı göndermek vb. için.
InterSystems IRIS platformundaki AI/ML çözümleri mevcut BT altyapısına kolaylıkla uyum sağlar. InterSystems IRIS platformu, sanal ortamlarda, fiziksel sunucularda, özel ve genel bulutlarda ve Docker konteynerlerinde hataya dayanıklı ve felakete dayanıklı yapılandırmaları ve esnek dağıtımı destekleyerek AI/ML çözümlerinin yüksek güvenilirliğini sağlar.
Dolayısıyla InterSystems IRIS evrensel bir gerçek zamanlı AI/ML bilgi işlem platformudur. Platformumuzun evrenselliği, uygulanan hesaplamaların karmaşıklığı üzerinde fiili kısıtlamaların bulunmaması, InterSystems IRIS'in çok çeşitli sektörlerden senaryoları (gerçek zamanlı) işlemeyi birleştirme yeteneği ve olağanüstü uyarlanabilirlik ile pratikte doğrulanmaktadır. Kullanıcıların özel ihtiyaçlarına göre her türlü platform işlevi ve mekanizması.
Şekil 21 InterSystems IRIS - evrensel bir gerçek zamanlı AI/ML bilgi işlem platformu
Burada sunulan materyalle ilgilenen okuyucularımızla daha kapsamlı bir etkileşim için, kendinizi onu okumakla sınırlamamanızı ve diyaloğu "canlı" olarak sürdürmenizi öneririz. Şirketinizin özelliklerine göre gerçek zamanlı AI/ML senaryolarının formülasyonu konusunda destek sağlamaktan, InterSystems IRIS platformunda ortak prototip oluşturma yapmaktan, yapay zeka ve makine öğrenimini tanıtmak için bir yol haritası formüle edip uygulamaya koymaktan mutluluk duyacağız. üretim ve yönetim süreçlerinize dahil edin. AI/ML Uzman Ekibimiz İletişim E-postası – .
Kaynak: habr.com