{"id":80952,"date":"2020-05-10T01:42:22","date_gmt":"2020-05-09T23:42:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2"},"modified":"2020-05-10T01:42:22","modified_gmt":"2020-05-09T23:42:22","slug":"monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","title":{"rendered":"Monitoring w centrum danych: jak zmieniali\u015bmy star\u0105 BMS na now\u0105. Cz\u0119\u015b\u0107 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Monitoring<\/p>\n

W pierwszej cz\u0119\u015bci opowiedzieli\u015bmy, dlaczego zdecydowali\u015bmy si\u0119 na wymian\u0119 starego systemu zarz\u0105dzania budynkami (BMS) w naszych centrach danych na nowy. I to nie tylko wymian\u0119, ale opracowanie go od podstaw zgodnie z naszymi wymaganiami. W drugiej cz\u0119\u015bci przedstawiamy, jak to robi\u015bmy.
\n<\/a><\/noindex><\/p>\n

Analiza rynku<\/h2>\n

\nUwzgl\u0119dniaj\u0105c opisane w pierwszej cz\u0119\u015bci<\/a><\/noindex> \u017cyczenia i decyzj\u0119 o rezygnacji z aktualizacji istniej\u0105cego systemu, napisali\u015bmy specyfikacj\u0119 wymaga\u0144 w celu poszukiwania rozwi\u0105zania na rynku i wys\u0142ali\u015bmy zapytania do kilku du\u017cych firm, zajmuj\u0105cych si\u0119 wy\u0142\u0105cznie tworzeniem przemys\u0142owych system\u00f3w SCADA.\u00a0<\/p>\n

Pierwsze odpowiedzi od nich pokaza\u0142y, \u017ce liderzy rynku system\u00f3w monitorowania g\u0142\u00f3wnie nadal pracuj\u0105 na serwerach fizycznych, chocia\u017c proces migracji do chmury w tym segmencie ju\u017c si\u0119 rozpocz\u0105\u0142. Je\u015bli chodzi o rezerwacj\u0119 maszyn wirtualnych \u2013 ta opcja nie by\u0142a wspierana przez nikogo. Co wi\u0119cej, mo\u017cna by\u0142o odnie\u015b\u0107 wra\u017cenie, \u017ce nikt z zauwa\u017calnych na rynku deweloper\u00f3w nawet nie rozumia\u0142 potrzeby rezerwacji: \u201echmura przecie\u017c si\u0119 nie zawiesza\u201d by\u0142 najcz\u0119stsz\u0105 odpowiedzi\u0105. Faktycznie proponowano nam umie\u015bci\u0107 monitoring centrum danych w chmurze, fizycznie znajduj\u0105cej si\u0119 w tym samym centrum danych.<\/p>\n

Tutaj warto zrobi\u0107 ma\u0142e odchylenie dotycz\u0105ce procesu wyboru wykonawcy. Cena, oczywi\u015bcie, ma znaczenie, ale podczas ka\u017cdego przetargu na realizacj\u0119 skomplikowanego projektu, na etapie dialogu z dostawcami zaczynasz odczuwa\u0107, kto z kandydat\u00f3w jest bardziej zainteresowany i zdolny do jego realizacji.\u00a0<\/p>\n

Jest to szczeg\u00f3lnie widoczne w skomplikowanych projektach.\u00a0<\/p>\n

Ze wzgl\u0119du na charakter \u0443\u0442\u043e\u0447\u043d\u044f\u044e\u0449\u0438\u0445 pytania do specyfikacji wymaga\u0144 mo\u017cna podzieli\u0107 wykonawc\u00f3w na tych, kt\u00f3rzy s\u0105 zainteresowani jedynie sprzeda\u017c\u0105 (wida\u0107 standardowy nacisk mened\u017cera sprzeda\u017cy) oraz na tych, kt\u00f3rzy s\u0105 zainteresowani opracowaniem produktu, s\u0142uchaj\u0105c i rozumiej\u0105c zamawiaj\u0105cego, wprowadzaj\u0105c konstruktywne poprawki w specyfikacji jeszcze przed ostatecznym wyborem (nawet pomimo rzeczywistego ryzyka poprawienia cudzego wymagania i przegrania przetargu), w ko\u0144cu gotowych przyj\u0105\u0107 profesjonalne wyzwanie i stworzy\u0107 dobry produkt.<\/p>\n

Wszystko to sk\u0142oni\u0142o nas do zwr\u00f3cenia uwagi na stosunkowo ma\u0142ego lokalnego dewelopera \u2013 grup\u0119 firm \u201eSanline\u201d, kt\u00f3ra natychmiast odpowiedzia\u0142a na wi\u0119kszo\u015b\u0107 naszych wymaga\u0144 i by\u0142a gotowa zrealizowa\u0107 wszystkie potrzeby zwi\u0105zane z nowym systemem BMS.\u00a0<\/p>\n

Ryzyka<\/h2>\n

\nPodczas gdy duzi gracze pr\u00f3bowali zrozumie\u0107, czego chcemy, i prowadzili z nami powoln\u0105 korespondencj\u0119 z udzia\u0142em specjalist\u00f3w na poziomie presales, lokalny deweloper um\u00f3wi\u0142 spotkanie w naszym biurze z udzia\u0142em swojego zespo\u0142u technicznego. Na tym spotkaniu wykonawca po raz kolejny wyrazi\u0142 ch\u0119\u0107 uczestnictwa w projekcie i \u2013 co najwa\u017cniejsze \u2013 wyja\u015bni\u0142, jak wymagany system b\u0119dzie wdro\u017cony.\u00a0\u00a0\u00a0\u00a0<\/p>\n

Przed spotkaniem dostrzegli\u015bmy dwa ryzyka zwi\u0105zane z prac\u0105 z zespo\u0142em, kt\u00f3ry nie ma za sob\u0105 zasob\u00f3w du\u017cej krajowej lub mi\u0119dzynarodowej firmy:<\/p>\n

    \n
  1. Specjali\u015bci mogli przeszacowa\u0107 swoje mo\u017cliwo\u015bci i w efekcie po prostu nie poradzi\u0107 sobie, na przyk\u0142ad b\u0119d\u0105 korzysta\u0107 ze skomplikowanego oprogramowania lub zaprojektuj\u0105 niewykonalne algorytmy rezerwacji.<\/li>\n
  2. Po realizacji projektu zesp\u00f3\u0142 projektu mo\u017ce si\u0119 rozpa\u015b\u0107, a tym samym wsparcie produktu znajdzie si\u0119 w niebezpiecze\u0144stwie.<\/li>\n<\/ol>\n

    \nAby zminimalizowa\u0107 te ryzyka, zaprosili\u015bmy na spotkanie naszych specjalist\u00f3w ds. rozwoju. Pracownicy potencjalnego wykonawcy zostali dok\u0142adnie przes\u0142uchani w zakresie tego, na czym oparta jest system, jak planowane jest wdra\u017canie rezerwacji oraz w innych kwestiach, w kt\u00f3rych my, jako s\u0142u\u017cba eksploatacji, nie jeste\u015bmy wystarczaj\u0105co kompetentni.<\/p>\n

    Werdykt by\u0142 pozytywny: architektura istniej\u0105cej ju\u017c platformy BMS jest nowoczesna, prosta i niezawodna, mo\u017ce by\u0107 rozwijana, proponowany schemat rezerwacji i synchronizacji jest logiczny i funkcjonalny.\u00a0<\/p>\n

    Z pierwszym ryzykiem sobie poradzili\u015bmy. Drugie wykluczyli\u015bmy, otrzymuj\u0105c od wykonawcy potwierdzenie gotowo\u015bci przekazania nam \u017ar\u00f3d\u0142a kodu systemu oraz dokumentacji, a tak\u017ce wybieraj\u0105c j\u0119zyk programowania Python, dobrze znany naszym specjalistom. To zapewni\u0142o nam mo\u017cliwo\u015b\u0107 samodzielnego wsparcia systemu bez jakichkolwiek trudno\u015bci i d\u0142ugiego okresu szkolenia pracownik\u00f3w w przypadku wycofania si\u0119 firmy dewelopera z rynku.<\/p>\n

    Dodatkow\u0105 zalet\u0105 platformy by\u0142o to, \u017ce zosta\u0142a zrealizowana w kontenerach Docker: w tym \u015brodowisku dzia\u0142aj\u0105 j\u0105dro, interfejs webowy i baza danych produktu. Takie podej\u015bcie oferuje wiele korzy\u015bci, w tym wst\u0119pne ustawienia, kt\u00f3re zapewniaj\u0105 najwy\u017csz\u0105 pr\u0119dko\u015b\u0107 wdro\u017cenia rozwi\u0105zania w por\u00f3wnaniu do \u201eklasyki\u201d oraz \u0142atwe dodawanie nowych urz\u0105dze\u0144 do systemu. Zasada \u201ewszystko razem\u201d maksymalnie upraszcza wdra\u017canie systemu: wystarczy rozpakowa\u0107 system, aby od razu mo\u017cna by\u0142o go u\u017cywa\u0107.\u00a0<\/p>\n

    Z takim rozwi\u0105zaniem \u0142atwiej jest robi\u0107 kopie systemu, a udoskonalanie go oraz wprowadzanie aktualizacji mo\u017cna realizowa\u0107 w oddzielnym \u015brodowisku, bez zatrzymywania pracy rozwi\u0105zania jako ca\u0142o\u015bci.\u00a0\u00a0<\/p>\n

    Po zminimalizowaniu obu ryzyk, wykonawca dostarczy\u0142 ofert\u0119. Zawiera\u0142a ona wszystkie najwa\u017cniejsze dla nas parametry systemu BMS.<\/p>\n

    Rezerwa<\/h2>\n

    \nNowy system BMS mia\u0142 znajdowa\u0107 si\u0119 w chmurze, na maszynie wirtualnej.\u00a0<\/p>\n

    Brak sprz\u0119tu, brak serwer\u00f3w i wszelkich zwi\u0105zanych z tym niedogodno\u015bci i ryzyk \u2013 chmurowe rozwi\u0105zanie pozwoli\u0142o nam z nich zrezygnowa\u0107 na zawsze. Postanowiono, \u017ce system b\u0119dzie dzia\u0142a\u0142 w naszej chmurze na dw\u00f3ch lokalizacjach centrum danych w Petersburgu i Moskwie. To dwa w pe\u0142ni funkcjonalne systemy dzia\u0142aj\u0105ce w trybie active standby z dost\u0119pem dla wszystkich autoryzowanych specjalist\u00f3w.\u00a0<\/p>\n

    Oba systemy wzajemnie si\u0119 zabezpieczaj\u0105, zapewniaj\u0105c pe\u0142ny zapas zar\u00f3wno mocy obliczeniowej, jak i kana\u0142\u00f3w transmisji danych. Ustawiono tak\u017ce dodatkowe \u015brodki bezpiecze\u0144stwa, w tym kopie zapasowe danych i kana\u0142\u00f3w, system\u00f3w, maszyn wirtualnych jako ca\u0142o\u015bci oraz osobne kopie zapasowe baz danych raz w miesi\u0105cu (najcenniejszy zas\u00f3b w perspektywie zarz\u0105dzania i analizy).\u00a0<\/p>\n

    Warto zauwa\u017cy\u0107, \u017ce opcja rezerwacji w rozwi\u0105zaniu BMS zosta\u0142a opracowana specjalnie na nasze potrzeby. Schemat rezerwacji wygl\u0105da\u0142 nast\u0119puj\u0105co:<\/p>\n

    \"Monitoring<\/p>\n

    Wsparcie<\/h2>\n

    Najwa\u017cniejszym punktem efektywnej eksploatacji rozwi\u0105zania BMS jest wsparcie techniczne.\u00a0<\/p>\n

    Tutaj wszystko jest proste: nowy system kosztowa\u0142by nas w tym wymiarze 35 000 rubli miesi\u0119cznie za SLA \u201ereakcja w ci\u0105gu 8 godzin\u201d, czyli 35 000 x 12 \/ 80 = 5 250 USD rocznie. Pierwszy rok \u2013 za darmo.\u00a0<\/p>\n

    Dla por\u00f3wnania: wsparcie starego BMS od dostawcy kosztowa\u0142o 18 000 dolar\u00f3w rocznie, z rosn\u0105c\u0105 kwot\u0105 za ka\u017cde nowe urz\u0105dzenie! R\u00f3wnocze\u015bnie firma nie zapewnia\u0142a dedykowanego mened\u017cera, ca\u0142e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 odbywa\u0142o si\u0119 przez mened\u017cera sprzeda\u017cy, kt\u00f3ry by\u0142 zainteresowany nami jako potencjalnym klientem, z odpowiednim akcentem przy przetwarzaniu zapyta\u0144.\u00a0<\/p>\n

    Za mniejsze pieni\u0105dze otrzymali\u015bmy pe\u0142ne wsparcie produktu, z mened\u017cerem konta, kt\u00f3ry bra\u0142by udzia\u0142 w rozwoju produktu, z jedn\u0105 wsp\u00f3ln\u0105 wtyczk\u0105 itp. Wsparcie sta\u0142o si\u0119 znacznie bardziej elastyczne \u2013 dzi\u0119ki bezpo\u015bredniemu dost\u0119powi do programist\u00f3w na szybkie korekty w dowolnych aspektach dzia\u0142ania systemu, integracji przez API itp.<\/p>\n

    Aktualizacje<\/h2>\n

    \nW zaproponowanej ofercie w nowej BMS wszystkie aktualizacje s\u0105 wliczone w koszt wsparcia, tzn. nie wymagaj\u0105 dodatkowej op\u0142aty. Wyj\u0105tek stanowi opracowanie dodatkowej funkcjonalno\u015bci, ponad t\u0119, kt\u00f3ra jest okre\u015blona w specyfikacji.\u00a0<\/p>\n

    Stary system wymaga\u0142 p\u0142atno\u015bci zar\u00f3wno za aktualizacje wbudowanego, darmowego oprogramowania (typowo Java), jak i za poprawki b\u0142\u0119d\u00f3w. Nie mo\u017cna by\u0142o z tego zrezygnowa\u0107, a brak aktualizacji powodowa\u0142, \u017ce system og\u00f3\u0142em \u201espowalnia\u0142\u201d z powodu starych wersji wewn\u0119trznych komponent\u00f3w.<\/p>\n

    I oczywi\u015bcie nie mo\u017cna by\u0142o zaktualizowa\u0107 oprogramowania bez zakupu pakietu wsparcia.<\/p>\n

    Elastyczne podej\u015bcie<\/h2>\n

    \nKolejnym kluczowym wymaganiem dotyczy\u0142o interfejsu. Chcieli\u015bmy zapewni\u0107 dost\u0119p do niego przez przegl\u0105dark\u0119 internetow\u0105 z dowolnego miejsca, bez obowi\u0105zkowej obecno\u015bci in\u017cyniera na terenie Centrum Danych. Ponadto d\u0105\u017cyli\u015bmy do stworzenia animowanego interfejsu, aby dynamika dzia\u0142ania infrastruktury by\u0142a bardziej widoczna dla in\u017cynier\u00f3w dy\u017curnych.\u00a0<\/p>\n

    W nowym systemie nale\u017ca\u0142o r\u00f3wnie\u017c zapewni\u0107 wsparcie dla formu\u0142 do obliczania dzia\u0142ania wirtualnych czujnik\u00f3w w systemach in\u017cynieryjnych \u2013 na przyk\u0142ad do optymalnego rozdzia\u0142u mocy elektrycznych na stojaki z urz\u0105dzeniami. W tym celu nale\u017cy mie\u0107 w swoim zasi\u0119gu wszystkie znane operacje matematyczne, stosowane do wska\u017anik\u00f3w czujnik\u00f3w.\u00a0<\/p>\n

    Nast\u0119pnie wymagany by\u0142 dost\u0119p do bazy danych SQL, umo\u017cliwiaj\u0105cy pobieranie potrzebnych danych o pracy urz\u0105dze\u0144 \u2013 a mianowicie, wszystkich zapis\u00f3w dotycz\u0105cych monitorowania dw\u00f3ch tysi\u0119cy urz\u0105dze\u0144 i dw\u00f3ch tysi\u0119cy wirtualnych czujnik\u00f3w, generuj\u0105cych oko\u0142o 20 tysi\u0119cy zmiennych.\u00a0<\/p>\n

    Potrzebny by\u0142 r\u00f3wnie\u017c modu\u0142 monitorowania urz\u0105dze\u0144 w szafie rackowej, kt\u00f3ry zapewnia graficzn\u0105 reprezentacj\u0119 rozmieszczenia urz\u0105dze\u0144 w ka\u017cdej jednostce, z obliczeniem ca\u0142kowitej wagi sprz\u0119tu, prowadzeniem biblioteki urz\u0105dze\u0144 oraz szczeg\u00f3\u0142owymi informacjami o ka\u017cdym elemencie.\u00a0<\/p>\n

    Zatwierdzenie specyfikacji i podpisanie umowy<\/h2>\n

    \nKiedy nadszed\u0142 czas na rozpocz\u0119cie pracy nad nowym systemem, rozmowy z \"du\u017cymi\" firmami by\u0142y nadal bardzo dalekie od dyskusji na temat koszt\u00f3w ich ofert, dlatego por\u00f3wnali\u015bmy otrzyman\u0105 ofert\u0119 z kosztami zaktualizowania starego BMS (zob. pierwsz\u0105 cz\u0119\u015b\u0107<\/a><\/noindex>), a w rezultacie okaza\u0142a si\u0119 ona bardziej atrakcyjna cenowo i odpowiadaj\u0105ca naszym wymaganiom.<\/p>\n

    Dokonano wyboru.<\/p>\n

    Po wyborze wykonawcy prawnicy rozpocz\u0119li przygotowanie umowy, a zespo\u0142y techniczne z obu stron szlifowa\u0142y specyfikacj\u0119. Jak wiadomo, szczeg\u00f3\u0142owa i poprawna specyfikacja jest podstaw\u0105 sukcesu wszelkich prac. Im wi\u0119cej konkret\u00f3w w specyfikacji, tym mniej rozczarowa\u0144, takich jak \u201ea my chcieli\u015bmy inaczej\u201d.<\/p>\n

    Podam dwa przyk\u0142ady poziomu szczeg\u00f3\u0142owo\u015bci wymaga\u0144 w specyfikacji:<\/p>\n

      \n
    1. Dy\u017curni w centrum danych maj\u0105 uprawnienia do dodawania nowych urz\u0105dze\u0144 do BMS, najcz\u0119\u015bciej s\u0105 to PDU. W starym BMS istnia\u0142 poziom \u201eadministratora\u201d, kt\u00f3ry pozwala\u0142 m.in. na zmian\u0119 ustawie\u0144 zmiennych wszystkich urz\u0105dze\u0144, a podzia\u0142 funkcji by\u0142 niemo\u017cliwy. Nie odpowiada\u0142o nam to. W istniej\u0105cej wersji bazowej nowej platformy schemat by\u0142 analogiczny. Od razu w specyfikacji wskazali\u015bmy, \u017ce chcemy podzieli\u0107 te role: ustawienia powinien zmienia\u0107 tylko upowa\u017cniony pracownik, ale dy\u017curni powinni nadal mie\u0107 mo\u017cliwo\u015b\u0107 dodawania urz\u0105dze\u0144. Taki schemat zosta\u0142 przyj\u0119ty do realizacji.<\/li>\n
    2. \u00a0W ka\u017cdej standardowej BMS znajduj\u0105 si\u0119 trzy typowe kategorie powiadomie\u0144: CZERWONE \u2013 nale\u017cy natychmiast zareagowa\u0107, \u017b\u00d3\u0141TE \u2013 mo\u017cna obserwowa\u0107, NIEBIESKIE \u2013 \u201eInformacyjne\u201d. Tradycyjnie u\u017cywali\u015bmy \u201eniebieskich\u201d powiadomie\u0144 do monitorowania przekroczenia parametr\u00f3w komercyjnych, takich jak przekroczenie limitu mocy szafy klienta. Ten typ powiadomie\u0144 w naszym przypadku by\u0142 przeznaczony dla mened\u017cer\u00f3w i nie interesowa\u0142 s\u0142u\u017cby eksploatacji, ale w starej BMS regularnie zatyka\u0142 list\u0119 aktywnych incydent\u00f3w i przeszkadza\u0142 w pracy operacyjnej. Sam\u0105 logik\u0119 i kolorow\u0105 r\u00f3\u017cnic\u0119 powiadomie\u0144 uznali\u015bmy za udane i zachowali\u015bmy, jednak w specyfikacji technicznej zaznaczyli\u015bmy, \u017ce \u201eniebieskie\u201d powiadomienia powinny, nie rozpraszaj\u0105c dy\u017curnych, cicho \u201esypa\u0107\u201d si\u0119 do oddzielnej sekcji, gdzie zajm\u0105 si\u0119 nimi specjali\u015bci komercyjni.<\/li>\n<\/ol>\n

      \nZ podobnym poziomem szczeg\u00f3\u0142owo\u015bci okre\u015blono formaty budowy wykres\u00f3w i generowania raport\u00f3w, zarysy interfejs\u00f3w, list\u0119 urz\u0105dze\u0144, kt\u00f3re trzeba by\u0142o monitorowa\u0107 oraz wiele innych rzeczy.\u00a0<\/p>\n

      To by\u0142a naprawd\u0119 kreatywna praca trzech grup roboczych \u2013 s\u0142u\u017cby zamawiaj\u0105cego, kt\u00f3ra narzuca\u0142a swoje wymagania i warunki; specjalist\u00f3w technicznych z obu stron, kt\u00f3rych zadaniem by\u0142o przekszta\u0142cenie tych warunk\u00f3w w dokumentacj\u0119 techniczn\u0105; zespo\u0142u programist\u00f3w wykonawcy, kt\u00f3rzy wdra\u017cali wymagania zamawiaj\u0105cego zgodnie z opracowan\u0105 dokumentacj\u0105 techniczn\u0105... W rezultacie cz\u0119\u015b\u0107 naszych niekluczowych wymaga\u0144 dostosowali\u015bmy do funkcjonalno\u015bci ju\u017c istniej\u0105cej platformy, a co\u015b wykonawca zobowi\u0105za\u0142 si\u0119 dopisa\u0107 dla nas.\u00a0<\/p>\n

      R\u00f3wnoleg\u0142a praca dw\u00f3ch system\u00f3w<\/h2>\n

      \n\"Monitoring
      \nNadszed\u0142 czas realizacji. W praktyce oznacza\u0142o to, \u017ce dajemy wykonawcy mo\u017cliwo\u015b\u0107 uruchomienia prototypu BMS w naszej wirtualnej chmurze oraz zapewniamy dost\u0119p sieciowy do wszystkich urz\u0105dze\u0144 wymagaj\u0105cych monitorowania.<\/p>\n

      Jednocze\u015bnie nowy system nie by\u0142 jeszcze gotowy do pracy. Na tym etapie wa\u017cne by\u0142o dla nas zachowanie monitorowania w starym systemie i jednoczesne udost\u0119pnienie urz\u0105dze\u0144 nowemu systemowi. Nie mo\u017cna normalnie zbudowa\u0107 systemu, nie widz\u0105c w nim urz\u0105dze\u0144, kt\u00f3re z kolei nie mog\u0105 by\u0107 od\u0142\u0105czone od monitorowania starego systemu.\u00a0<\/p>\n

      Czy urz\u0105dzenia wytrzymaj\u0105 jednoczesne zapytania z dw\u00f3ch system\u00f3w, nie by\u0142o oczywiste bez rzeczywistych pr\u00f3b. Istnia\u0142o ryzyko, \u017ce podw\u00f3jne jednoczesne zapytania doprowadz\u0105 do cz\u0119stych odm\u00f3w odpowiedzi od urz\u0105dze\u0144, a to skutkowa\u0142oby licznymi b\u0142\u0119dami zwi\u0105zanymi z niedost\u0119pno\u015bci\u0105 urz\u0105dze\u0144, co z kolei zablokowa\u0142oby dzia\u0142anie starego systemu monitorowania.<\/p>\n

      Dzia\u0142 sieciowy pod\u0142\u0105czy\u0142 wirtualne trasy od prototypu nowej BMS wdro\u017conej w chmurze do urz\u0105dze\u0144, a my otrzymali\u015bmy wyniki:\u00a0<\/p>\n