téma: Blog

Airflow je nástroj na pohodlný a rýchly vývoj a udržiavanie procesov dávkového spracovania dát

Ahoj Habr! V tomto článku chcem hovoriť o jednom skvelom nástroji na vývoj procesov dávkového spracovania dát, napríklad v infraštruktúre firemného DWH alebo vášho DataLake. Budeme hovoriť o Apache Airflow (ďalej len Airflow). Na Habré je nespravodlivo ochudobnený o pozornosť a v hlavnej časti sa vás pokúsim presvedčiť, že aspoň Airflow stojí za pozretie […]

Organizátori E3 2019 omylom zverejnili osobné údaje dvoch tisícok novinárov

Americkej asociácii výrobcov softvéru a počítačových hier (Entertainment Software Association) unikli osobné údaje dvoch tisícok novinárov a blogerov. Podľa Rock, Paper, Shotgun spoločnosť registrovala účastníkov na E3 2019 a omylom zverejnila údaje online. Celé meno, adresa, telefónne číslo a e-mail boli zverejnené ako verejná doména. To všetko bolo k dispozícii v online tabuľke. […]

Skúsenosti s inštaláciou Apache Airflow na Windows 10

Preambula: vôľou osudu som sa zo sveta akademickej vedy (medicíny) ocitol vo svete informačných technológií, kde musím využiť svoje znalosti metodológie konštrukcie experimentu a stratégií analýzy experimentálnych dát, avšak , použiť technologický zásobník, ktorý je pre mňa nový. V procese osvojovania si týchto technológií sa stretávam s množstvom ťažkostí, ktoré sú, našťastie, zatiaľ prekonané. Možno tento príspevok […]

Hráči Team Fortress 2 si ponechajú vzácne predmety získané kvôli chybe v debne

Valve oznámilo, že nebude odstraňovať vzácne predmety od používateľov Team Fortress 2, ktorí ich dostali vďaka chybe s prepravkami. Informuje o tom webová stránka projektu. Ako poznamenali vývojári, toto rozhodnutie urobili preto, lebo malá časť používateľov dokázala získať vzácne predmety. Štúdio navyše umožní hráčom predať jednu položku. Zvyšok nemožno preniesť, [...]

Ako začať kariéru ešte na vysokej škole: hovoria absolventi piatich špecializovaných magisterských programov

Tento týždeň sme v našom blogu na Habré zverejnili celú sériu materiálov o tom, ako prebieha školenie a prax v magisterskom programe na Univerzite ITMO: Študenti magisterského štúdia z Fakulty IT a programovania sa delia o svoje skúsenosti Vzdelávací proces a práca s svetlo v našom magisterskom programe Štúdium a prax na Fakulte fotoniky a optickej informatiky Foto ITMO University Dnes je ďalším krokom […]

Valve sa ospravedlňuje za únik obsadenia Street Fighter V DLC

Valve sa verejne ospravedlnilo za únik informácií súvisiaci s postavami z prídavku do Street Fighter V. Vývojári uviedli, že v práci tímu nastal zmätok. „Vážení fanúšikovia Street Fighter V. Túto stredu nastal vo Valve nejaký zmätok, čo spôsobilo, že náš tím vydal doplnkový trailer skôr, ako bolo potrebné. Toto je nezamýšľaná situácia, už sme prijali opatrenia na zabránenie […]

Vydanie MAGMA 2.5.1

MAGMA (Kolekcia knižníc lineárnej algebry novej generácie na použitie na GPU. Vyvinutá a implementovaná tým istým tímom, ktorý vyvíja knižnice LAPACK a ScalAPACK) má nové dôležité vydanie 2.5.1 (2019-08-02): Turingova podpora má bol pridaný; teraz sa dá skompilovať cez cmake, na tento účel bol CMakeLists.txt opravený pre správnu inštaláciu spacku; opravy pre použitie bez FP16; zlepšenie kompilácie na rôznych […]

K dispozícii je správca okien i3wm 4.17

Bol vydaný mozaikový (dlaždicový) správca okien i3wm 4.17. Projekt i3wm bol vytvorený od nuly po sérii pokusov o odstránenie nedostatkov správcu okien wmii. I3wm má dobre čitateľný a zdokumentovaný kód, používa xcb namiesto Xlib, správne podporuje prácu v konfiguráciách s viacerými monitormi, používa stromové dátové štruktúry na umiestnenie okna, poskytuje rozhranie IPC, podporuje UTF-8 a zachováva minimalistický dizajn okna . […]

Nové zraniteľnosti v technológii zabezpečenia bezdrôtovej siete WPA3 a EAP-pwd

Mathy Vanhoef a Eyal Ronen identifikovali novú metódu útoku (CVE-2019-13377) na bezdrôtové siete pomocou bezpečnostnej technológie WPA3, ktorá umožňuje získať informácie o vlastnostiach hesla, ktoré možno použiť na uhádnutie v režime offline. Problém sa vyskytuje v aktuálnej verzii Hostapd. Pripomeňme, že v apríli tí istí autori identifikovali šesť zraniteľností vo WPA3, […]

GitHub označený ako obžalovaný v prípade úniku používateľskej základne Capital One

Advokátska kancelária Tycko & Zavareei podala žalobu v súvislosti s únikom osobných údajov viac ako 100 miliónov klientov bankového holdingu Capital One vrátane informácií o približne 140-tisíc číslach sociálneho poistenia a 80-tisíc číslach bankových účtov. Okrem Capital One medzi obžalovaných patrí aj GitHub, ktorý je poverený umožňovať hosťovanie, zobrazovanie a používanie informácií získaných […]

Algoritmy Facebooku pomôžu internetovým spoločnostiam hľadať duplicitné videá a obrázky na boj proti nevhodnému obsahu

Facebook oznámil otvorený zdrojový kód dvoch algoritmov, ktoré dokážu určiť stupeň identity pre fotografie a videá, aj keď sú vykonané menšie zmeny. Sociálna sieť aktívne používa tieto algoritmy na boj proti obsahu obsahujúcemu materiály súvisiace s vykorisťovaním detí, teroristickou propagandou a rôznymi formami násilia. Facebook poznamenáva, že je to prvýkrát, čo zdieľa takúto technológiu, a […]