Son yıllarda, haber akışları, kelimenin tam anlamıyla birdenbire ortaya çıkan, çok çeşitli sorunları çözen (veya daha doğrusu çözmeye çalışan) - bir şehri akıllı hale getirmek, dünyayı telif haklarından kurtarmak gibi - yeni bir tür dağıtılmış bilgi işlem ağları hakkındaki mesajlarla dolup taştı. ihlal edenler veya tam tersi, bilgi veya kaynakların gizlice aktarılması, bir alanda veya diğerinde devlet kontrolünden kaçması. Alanı ne olursa olsun, büyümelerinin yakıtının kripto para birimleri ve ilgili teknolojilerdeki son patlama sırasında kamuoyuna sunulan algoritmalar ve teknikler olması nedeniyle hepsinin bir takım ortak özellikleri var. Muhtemelen o dönemde uzmanlaşmış kaynaklarla ilgili her üç makalenin başlığında "blockchain" kelimesi vardı - yeni yazılım çözümlerinin ve ekonomik modellerin tartışılması, dağıtılmış bilgi işlem sistemlerinin diğer uygulama alanlarının arka planına karşı bir süreliğine baskın eğilim haline geldi. arka plana itildi.
Aynı zamanda, vizyonerler ve profesyoneller olgunun ana özünü gördüler: Çok sayıda farklı ve heterojen katılımcıdan ağların inşasıyla ilişkili devasa dağıtılmış bilgi işlem, yeni bir gelişme düzeyine ulaştı. Absürt konuları kafanızdan atıp konuya diğer taraftan bakmanız yeterli: Binlerce izole heterojen katılımcıdan oluşan devasa havuzlardan toplanan bu ağların tümü kendi kendine ortaya çıkmadı. Kripto hareketinin meraklıları, veri senkronizasyonu ve kaynak ve görevlerin dağıtımıyla ilgili karmaşık sorunları yeni bir şekilde çözmeyi başardılar; bu, benzer bir ekipman kütlesini bir araya getirmeyi ve dar odaklı bir sorunu çözmek için tasarlanmış yeni bir ekosistem oluşturmayı mümkün kıldı.
Elbette bu, ücretsiz dağıtılmış bilgi işlemin geliştirilmesinde yer alan ekipler ve toplulukların gözünden kaçmadı ve yeni projelerin gelmesi uzun sürmedi.
Bununla birlikte, ağ kurma ve ekipmanlarla çalışma alanındaki gelişmelere ilişkin mevcut bilgilerin hacmindeki önemli artışa rağmen, gelecek vaat eden sistemlerin yaratıcılarının ciddi sorunları çözmesi gerekecek.
Bunlardan ilki kulağa ne kadar tuhaf gelse de yön seçme sorunudur.
Yön doğru olabilir veya bir çıkmaza yol açabilir - bundan kaçış yok; BT topluluğuna merkezi durugörü tedariki hala geç. Ancak seçim, ekibin çok geniş bir alanı ele geçirmesi ve baştan itibaren başka bir uzmanlaşmamış genel dağıtılmış hesaplama projesi yaratmaya çalışması şeklindeki geleneksel tuzağa düşmemek için yapılmalıdır. Görünüşe göre işin kapsamı o kadar da korkutucu değil, çoğunlukla sadece mevcut gelişmeleri uygulamamız gerekiyor: düğümleri bir ağda birleştirmek, topolojileri belirlemek için algoritmaları uyarlamak, veri alışverişi yapmak ve tutarlılıklarını izlemek, düğümleri sıralamak ve bulmak için yöntemler tanıtmak fikir birliğine varın ve elbette kendi sorgu dilinizi ve tüm dili ve bilgi işlem ortamını yaratın. Evrensel bir mekanizma fikri çok cazip ve sürekli olarak bir alanda veya başka bir yerde ortaya çıkıyor, ancak nihai sonuç hala üç şeyden biri: oluşturulan çözüm ya aslında bir sürü askıya alınmış sınırlı bir prototip olarak ortaya çıkıyor " ya da kokuşmuş "Turing bataklığına" dokunan herkesi sürüklemeye hazır, kullanılamaz bir canavara dönüşür ya da projeyi anlaşılmaz bir yöne çeken kuğu, kerevit ve turna balığının ölmesi nedeniyle güvenli bir şekilde ölür. , kendilerini aşırı zorladılar.
Aptalca hataları tekrarlamayalım ve açık bir görev yelpazesine sahip ve dağıtılmış hesaplama modeline çok uygun bir yön seçelim. Her şeyi aynı anda yapmaya çalışan insanları anlayabilirsiniz; elbette aralarından seçim yapabileceğiniz çok şey var. Ve pek çok şey hem Ar-Ge ve geliştirme açısından hem de ekonomi açısından son derece ilginç görünüyor. Dağıtılmış bir ağ kullanarak şunları yapabilirsiniz:
- Sinir ağlarını eğitin
- Proses sinyal akışları
- Protein yapısını hesaplayın
- XNUMXD sahneleri işleme
- Hidrodinamiği simüle edin
- Borsalar için ticaret stratejilerini test edin
İyice paralelleştirilmiş ilginç şeylerin bir listesini derlemeye kendini kaptırmamak için, bir sonraki konumuz olarak dağıtılmış oluşturmayı seçeceğiz.
Dağıtılmış işlemenin kendisi elbette yeni bir şey değil. Mevcut işleme araç setleri, farklı makineler arasında uzun süredir desteklenen yük dağılımına sahiptir; bu olmasaydı, yirmi birinci yüzyılda yaşamak oldukça üzücü olurdu. Ancak konunun çok geniş bir şekilde ele alındığını ve burada yapılacak bir şey olmadığını düşünmemelisiniz - ayrı bir acil sorunu ele alacağız: bir oluşturma ağı oluşturmak için bir araç oluşturmak.
Oluşturma ağımız, oluşturma görevlerini gerçekleştirmesi gereken düğümlerle, oluşturmayı işlemek için ücretsiz bilgi işlem kaynaklarına sahip düğümlerin birleşimidir. Kaynak sahipleri, ağın desteklenen işleme motorlarından birini kullanarak işleme işlerini almak ve yürütmek için istasyonlarını işleme ağına bağlayacaklardır. Bu durumda, görev sağlayıcılar ağla sanki bir bulutmuş gibi çalışacak, kaynakları bağımsız olarak dağıtacak, yürütmenin doğruluğunu izleyecek, riskleri ve diğer sorunları yönetecek.
Bu nedenle, bir dizi popüler işleme motoruyla entegrasyonu desteklemesi gereken ve heterojen düğümlerden oluşan bir ağ düzenlemek ve görev akışını yönetmek için araçlar sağlayan bileşenler içeren bir çerçeve oluşturmayı düşüneceğiz.
Böyle bir ağın varlığının ekonomik modeli temel bir öneme sahip değildir, bu nedenle ilk şema olarak kripto para birimi ağlarındaki hesaplamalarda kullanılana benzer bir şema alacağız - kaynağın tüketicileri, oluşturma işini gerçekleştiren tedarikçilere tokenler gönderecektir. Ağ katılımcıları arasındaki etkileşimin ana senaryosunu ele alacağımız bir çerçevenin hangi özelliklere sahip olması gerektiğini anlamak çok daha ilginç.
Ağda etkileşimin üç tarafı vardır: kaynak sağlayıcı, görev sağlayıcı ve ağ operatörü (metinde diğer adıyla kontrol merkezi, ağ vb.).
Ağ operatörü, kaynak sağlayıcıya, kaynaklarını sağlamak istediği makineye kuracağı konuşlandırılmış bir yazılım seti ve web arayüzü aracılığıyla erişilebilen kişisel bir hesap içeren bir istemci uygulaması veya işletim sistemi görüntüsü sağlar. kaynağa erişim parametrelerini ayarlayın ve sunucu ortamını uzaktan yönetin: donanım parametrelerini kontrol edin, uzaktan yapılandırma gerçekleştirin, yeniden başlatın.
Yeni bir düğüm bağlandığında, ağ yönetim sistemi ekipmanı ve belirtilen erişim parametrelerini analiz eder, sıralar, belirli bir derecelendirme atar ve kaynak kaydına yerleştirir. Gelecekte riski yönetmek için düğümün aktivite parametreleri analiz edilecek ve düğümün derecelendirmesi ağın istikrarını sağlayacak şekilde ayarlanacak. Sahnenin aşırı ısınma nedeniyle sık sık donan güçlü kartlara işlenmesi için gönderilmesinden kimse memnun olmayacak mı?
Bir sahneyi işlemesi gereken kullanıcı iki yoldan gidebilir: sahneyi web arayüzü aracılığıyla bir ağ havuzuna yüklemek veya modelleme paketini veya kurulu oluşturucuyu ağa bağlamak için bir eklenti kullanmak. Bu durumda, kullanıcı ile ağ arasında, tamamlanması için standart koşul, ağ tarafından sahne hesaplaması sonucunun üretilmesi olan bir akıllı sözleşme başlatılır. Kullanıcı, kişisel hesabının web arayüzü aracılığıyla bir görevi tamamlama sürecini izleyebilir ve parametrelerini yönetebilir.
Görev, sahnenin hacminin ve görev başlatıcısı tarafından talep edilen kaynak sayısının analiz edildiği sunucuya gönderilir, ardından toplam hacim, ağ tarafından tahsis edilen kaynakların sayısı ve türüne göre hesaplama için uyarlanmış parçalara ayrıştırılır. . Genel fikir, görselleştirmenin birçok küçük göreve bölünebilmesidir. Motorlar, bu görevleri birden fazla kaynak sağlayıcı arasında dağıtarak bundan yararlanır. En basit yol, sahnenin segment adı verilen küçük kısımlarını oluşturmaktır. Her segment hazır olduğunda yerel görev tamamlanmış sayılır ve kaynak bir sonraki bekleyen göreve geçer.
Bu nedenle, hesaplamaların tek bir makinede mi yoksa birçok bireysel hesaplama istasyonundan oluşan bir ızgarada mı gerçekleştirildiği işleyici açısından hiçbir fark yaratmaz. Dağıtılmış işleme, bir görev için kullanılan kaynak havuzuna daha fazla çekirdek ekler. Ağ aracılığıyla bir segmenti oluşturmak için gereken tüm verileri alır, onu hesaplar, bu segmenti geri gönderir ve bir sonraki göreve geçer. Genel ağ havuzuna girmeden önce, her bir bölüm, yürütme düğümlerinin kendileri için en uygun bilgi işlem görevlerini seçmesine olanak tanıyan bir dizi meta bilgi alır.
Hesaplamaların bölümlenmesi ve dağıtılması sorunları, yalnızca yürütme süresinin optimizasyonu açısından değil, aynı zamanda ağın ekonomik verimliliği buna bağlı olduğundan, kaynakların optimum kullanımı ve enerji tasarrufu açısından da çözülmelidir. . Çözüm başarısız olursa, gürültü yapmaması ve elektrik israfı yapmaması için düğüme bir madenci takılması veya kapatılması daha uygun olacaktır.
Ancak sürece geri dönelim. Bir görev alındığında havuz ile düğüm arasında da bir akıllı sözleşme oluşturulur ve görev sonucu doğru hesaplandığında bu sözleşme yürütülür. Sözleşmenin yerine getirilmesinin sonuçlarına bağlı olarak düğüm şu veya bu şekilde bir ödül alabilir.
Kontrol merkezi, görevin yürütülmesi sürecini kontrol eder, hesaplama sonuçlarını toplar, yeniden işlemek için yanlış olanları gönderir ve kuyruğu sıralar, görevi tamamlamak için standart son tarihi izler (böylece son bölümün üstlenilmemesi sağlanır). herhangi bir düğüm).
Hesaplamaların sonuçları birleştirme aşamasından geçer, ardından kullanıcı oluşturma sonuçlarını alır ve ağ bir ödül alabilir.
Böylece, dağıtılmış görselleştirme sistemleri oluşturmak için tasarlanmış bir peyzaj çerçevesinin işlevsel bileşimi ortaya çıkıyor:
- Web erişimi olan kişisel kullanıcı hesapları
- Düğümlere kurulum için yazılım kiti
- Kontrol sistemi ile:
- Erişim kontrolü alt sistemi
- Görev ayrıştırma alt sistemi oluşturma
- Görev dağıtım alt sistemi
- Birleştirme alt sistemi
- Sunucu ortamı ve ağ topolojisi yönetimi alt sistemi
- Günlük kaydı ve denetim alt sistemi
- Uzman alt sistemini öğrenme
- Harici geliştiriciler için Rest API'si veya başka bir arayüz
Ne düşünüyorsun? Konu hangi soruları gündeme getiriyor ve hangi cevaplarla ilgileniyorsunuz?
Kaynak: habr.com