W zeszłym tygodniu mój zespół był gospodarzem ekscytującego wydarzenia w hotelu Four Seasons w Houston w Teksasie. Miał on na celu kontynuację trendu zacieśniania relacji pomiędzy uczestnikami. Było to wydarzenie, które zgromadziło użytkowników, partnerów i klientów. Ponadto na wydarzeniu obecnych było wielu przedstawicieli Hitachi. Organizując to przedsięwzięcie stawiamy sobie dwa cele:
- Wzbudzanie zainteresowania ciągłymi badaniami nad nowymi problemami branżowymi;
- Sprawdź obszary, w których już pracujemy i rozwijamy się, a także ich korekty na podstawie opinii użytkowników.
i Matt Hall () rozpoczęliśmy od omówienia stanu branży i różnych wyzwań związanych z zarządzaniem danymi sejsmicznymi i ich przetwarzaniem. To było dość inspirujące i z pewnością odkrywcze usłyszeć, jak wielkość inwestycji jest rozdzielona pomiędzy produkcją, transportem i przetwarzaniem. Niedawno lwia część inwestycji trafiła na produkcję, która niegdyś była królem pod względem wielkości wykorzystanych środków, ale inwestycje stopniowo przenoszą się na przetwarzanie i transport. Matt opowiadał o swojej pasji polegającej na dosłownym obserwowaniu rozwoju geologicznego Ziemi za pomocą danych sejsmicznych.
Ogólnie uważam, że nasze wydarzenie można uznać za „pierwszy występ” pracy, którą rozpoczęliśmy kilka lat temu. O różnych osiągnięciach i sukcesach w naszej pracy w tym kierunku będziemy na bieżąco informować. Następnie, zainspirowani wykładem Matta Halla, odbyliśmy serię sesji, które zaowocowały bardzo cenną wymianą doświadczeń.
Edge (edge) czy przetwarzanie w chmurze?
Podczas jednej sesji Doug i Ravi (Hitachi Research w Santa Clara) poprowadzili dyskusję na temat przeniesienia części analiz do obliczeń brzegowych w celu szybszego i dokładniejszego podejmowania decyzji. Powodów jest wiele i myślę, że trzy najważniejsze to wąskie kanały danych, duże ilości danych (zarówno pod względem szybkości, objętości, jak i różnorodności) oraz napięte harmonogramy decyzyjne. Chociaż niektóre procesy (zwłaszcza geologiczne) mogą trwać tygodnie, miesiące lub lata, w tej branży istnieje wiele przypadków, w których pilność ma szczególne znaczenie. W takim przypadku brak dostępu do scentralizowanej chmury może mieć katastrofalne skutki! W szczególności kwestie HSE (zdrowie, bezpieczeństwo i środowisko) oraz kwestie związane z wydobyciem ropy i gazu wymagają szybkiej analizy i podejmowania decyzji. Być może najlepszym sposobem jest zilustrowanie tego różnymi liczbami – szczegółowe informacje pozostaną anonimowe, aby „chronić niewinnych”.
- W miejscach takich jak Basen Permski modernizowane są sieci bezprzewodowe ostatniej mili, przenosząc kanały z satelity (gdzie prędkości mierzono w kb/s) na kanał o przepustowości 10 Mb/s z wykorzystaniem 4G/LTE lub widma nielicencjonowanego. Nawet te zmodernizowane sieci mogą mieć problemy w obliczu terabajtów i petabajtów danych na brzegu.
- Systemy czujników takich firm jak FOTECH, które dołączają do wielu innych nowych i uznanych platform czujników, są w stanie wyprodukować kilka terabajtów dziennie. Dodatkowe kamery cyfrowe zainstalowane do celów nadzoru bezpieczeństwa i ochrony przed kradzieżą również generują duże ilości danych, co oznacza, że na granicy generowany jest pełen zakres kategorii dużych zbiorów danych (ilość, prędkość i różnorodność).
- W przypadku systemów sejsmicznych wykorzystywanych do gromadzenia danych projekty obejmują „konwergentne” kontenerowe systemy ISO do gromadzenia i przekształcania danych sejsmicznych, potencjalnie do skali 10 petabajtów danych. Ze względu na odległe lokalizacje, w których działają te inteligentne systemy, istnieje poważny brak przepustowości, aby przesyłać dane z krawędzi ostatniej mili do centrum danych przez sieci. Dlatego firmy usługowe dosłownie wysyłają dane z brzegu do centrum danych na taśmach, nośnikach optycznych lub wytrzymałych magnetycznych urządzeniach magazynujących.
- Operatorzy obiektów brownfield, gdzie każdego dnia mają miejsce tysiące zdarzeń i dziesiątki czerwonych alarmów, chcą działać bardziej optymalnie i konsekwentnie. Jednakże sieci o niskiej przepustowości i praktycznie brak urządzeń do gromadzenia danych do analizy w fabrykach sugerują, że przed rozpoczęciem podstawowej analizy bieżących operacji potrzebne jest coś bardziej fundamentalnego.
To z pewnością daje mi do myślenia, że choć dostawcy chmury publicznej próbują przenieść wszystkie te dane na swoje platformy, istnieje trudna rzeczywistość, z którą trzeba sobie poradzić. Być może najlepszym sposobem sklasyfikowania tego problemu jest próba przepchnięcia słonia przez słomkę! Jednak wiele zalet chmury jest niezbędnych. Więc co możemy zrobić?
Przejście do chmury brzegowej
Oczywiście Hitachi ma już na rynku zoptymalizowane (specyficznie dla branży) rozwiązania, które wzbogacają dane na brzegu, analizują je i kompresują do minimalnej użytecznej objętości danych oraz zapewniają systemy doradztwa biznesowego, które mogą usprawnić procesy związane z przetwarzaniem brzegowym. Jednakże wniosek z zeszłego tygodnia jest taki, że rozwiązania tych złożonych problemów w mniejszym stopniu opierają się na widżecie, który przedstawiasz, a bardziej na podejściu, jakie przyjmujesz do rozwiązania problemu. Taki jest prawdziwy duch platformy Lumada firmy Hitachi Insight Group, ponieważ obejmuje ona metody angażowania użytkowników i ekosystemów oraz, w stosownych przypadkach, zapewnia narzędzia do dyskusji. Byłem bardzo szczęśliwy, że mogłem wrócić do rozwiązywania problemów (zamiast sprzedawania produktów), ponieważ Matt Hall powiedział: „Cieszyłem się, widząc, że ludzie w Hitachi zaczęli naprawdę rozumieć skalę problemu”, kiedy zakończyliśmy nasz szczyt.
Czy zatem O&G (przemysł naftowy i gazowy) może być żywym przykładem potrzeby wdrażania obliczeń brzegowych? Wydaje się, że biorąc pod uwagę kwestie ujawnione podczas naszego szczytu, a także inne interakcje branżowe, prawdopodobna odpowiedź brzmi „tak”. Być może jest to tak jasne, ponieważ przetwarzanie brzegowe, budowanie zorientowane na branżę i mieszanie wzorców projektowych w chmurze są widoczne w miarę modernizacji stosów. Uważam, że w tym przypadku na uwagę zasługuje pytanie „jak”. Korzystając z cytatu Matta z ostatniego akapitu, rozumiemy, jak przenieść etos przetwarzania w chmurze do przetwarzania brzegowego. Zasadniczo branża ta wymaga od nas „staromodnych”, a czasem osobistych kontaktów z osobami zaangażowanymi w różne części ekosystemu przemysłu naftowego i gazowego, takimi jak geolodzy, inżynierowie wiertnicy, geofizycy i tak dalej. Po rozwiązaniu tych interakcji ich zakres i głębokość stają się bardziej widoczne, a nawet przekonujące. Następnie, gdy już ustalimy plany wykonawcze i je wdrożymy, podejmiemy decyzję o budowie systemów brzegowych w chmurze. Jeśli jednak usiądziemy pośrodku i po prostu będziemy czytać i wyobrażać sobie te kwestie, nie będziemy mieli wystarczającego zrozumienia i empatii, aby naprawdę dać z siebie wszystko. Powtórzę więc: tak, ropa i gaz spowodują powstanie systemów chmur brzegowych, ale zrozumienie rzeczywistych potrzeb użytkowników w terenie pomoże nam określić, które kwestie są najważniejsze.
Źródło: www.habr.com