Netflix åpen kildekode interaktivt datamiljø Polynote

Netflix-selskapet presentert nytt interaktivt datamiljø Polynote, designet for å følge prosessen med vitenskapelig forskning, prosessering og visualisering av data (lar deg kombinere kode med vitenskapelige beregninger og materialer for publisering). Polynote-kode er skrevet i Scala og distribuert av lisensiert under Apache 2.0.

Dokumenter i Polynote er en organisert samling av celler som kan inneholde kode eller tekst. Hver celle redigeres og utføres individuelt. Du kan omorganisere, slette og legge til celler, men tilstanden til dataene for hver celle avhenger av beregningene i tidligere celler (top-down kjøring). Denne tilnærmingen garanterer repeterbarheten til beregningene som er definert i dokumentet (å gjenta dokumentet på alle systemer vil føre til samme resultat).
Avhengighetsinformasjon og konfigurasjon lagres direkte i dokumentet i stedet for i separate filer.

Netflix åpen kildekode interaktivt datamiljø Polynote

I motsetning til lignende prosjekter jupyter и Zeppelin, lar det nye miljøet deg blande kode på flere programmeringsspråk i ett dokument, og gir delt tilgang til data fra kode på flere språk (et felles dataskjema er definert). Du kan for eksempel kombinere Scala-kode med populære maskinlærings- og visualiseringsbiblioteker for Python i ett dokument. På det nåværende utviklingsstadiet, støtte for Scala, Python, SQL og Vega.

Netflix åpen kildekode interaktivt datamiljø Polynote

Andre funksjoner i Polynote inkluderer avanserte verktøy for redigering av kode og tekst, nær mulighetene til integrerte utviklingsmiljøer og tekstbehandlere. Når du redigerer kode, støttes autofullføring, fremhever hvor feil oppstår, og viser hint for parametere for funksjoner og metoder. Planene inkluderer muligheten til å hoppe til definisjoner av variabler/funksjoner fra de stedene de kalles (hopp-til-definisjon).

Netflix åpen kildekode interaktivt datamiljø PolynoteNetflix åpen kildekode interaktivt datamiljø Polynote

Når det gjelder utarbeidelse av dokumentasjon og rapporter, utføres testredigeringsprosessen i WYSIWYG-modus, slik at du umiddelbart kan se det endelige formaterte resultatet. Samtidig, for å definere formler, er det mulig å sette inn uttrykk i LaTeX-format.

Netflix åpen kildekode interaktivt datamiljø PolynoteNetflix åpen kildekode interaktivt datamiljø Polynote

Miljøet lar deg kontrollere utførelsesprosessen fullt ut - oppgaveområdet viser hvilken kode som kjører for øyeblikket og på hvilket stadium beregningene er. Gjennom symboltabellen kan du se alle definerte funksjoner og variabler, samt inspisere deres betydning eller visualisere endringer. Alle utførelsesfeil og unntak utheves umiddelbart i koderedigeringsprogrammet. Redaktøren fremhever den gjeldende kodelinjen i sanntid.

Netflix åpen kildekode interaktivt datamiljø PolynoteNetflix åpen kildekode interaktivt datamiljø Polynote

De behandlede dataene vises i en visuell form, brutt ned etter type eller i en tabellvisning. Integrasjon med Apache Spark for visning, analyse og visualisering av store datamengder. For å forenkle visualisering tilbys en innebygd editor for grafer og diagrammer. Eventuelt tilgjengelig for visualisering Vega и Matplotlib.

Netflix åpen kildekode interaktivt datamiljø PolynoteNetflix åpen kildekode interaktivt datamiljø Polynote

Kilde: opennet.ru

Legg til en kommentar