{"id":54312,"date":"2019-12-23T00:00:00","date_gmt":"2019-12-22T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-rabotaet-videokodek-chast-1-osnovy"},"modified":"2020-02-18T14:02:18","modified_gmt":"2020-02-18T11:02:18","slug":"kak-rabotaet-videokodek-chast-1-osnovy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/kak-rabotaet-videokodek-chast-1-osnovy","title":{"rendered":"Come funziona un codec video. Parte 1. Fondamenti","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Seconda parte: Principi di funzionamento del codec video<\/a><\/noindex><\/h3>\n

Qualsiasi raster immagine<\/b> pu\u00f2 essere rappresentata sotto forma di matrice bidimensionale<\/b>. Quando si parla di colori, l'idea pu\u00f2 essere sviluppata considerando l'immagine come una matrice tridimensionale<\/b>, in cui le dimensioni aggiuntive vengono utilizzate per memorizzare i dati per ciascuno dei colori.<\/p>\n

Se consideriamo il colore finale come una combinazione dei cosiddetti colori primari (rosso, verde e blu), nella nostra matrice tridimensionale definiamo tre piani: il primo per il colore rosso, il secondo per il verde e l'ultimo per il blu.
\n\"Come<\/a><\/noindex>
\nOgni punto in questa matrice sar\u00e0 chiamato pixel (elemento dell'immagine). Ogni pixel contiene informazioni sull'intensit\u00e0 (di solito sotto forma di valore numerico) di ciascun colore. Ad esempio, un pixel rosso<\/b> significa che contiene 0 verde, 0 blu e il massimo di rosso. Un pixel di colore rosa<\/b> pu\u00f2 essere formato da una combinazione dei tre colori. Utilizzando un intervallo numerico da 0 a 255, un pixel rosa \u00e8 definito come Rosso = 255<\/b>, Verde = 192<\/b> e Blu = 203<\/b>.<\/a><\/noindex><\/p>\n

\"Come<\/a><\/noindex>

\nL'articolo \u00e8 stato pubblicato con il supporto della compagnia EDISON.<\/p>\n

Sviluppiamo applicazioni per videosorveglianza, video in streaming<\/a><\/noindex>, e ci occupiamo anche di video registrazione in sala operatoria<\/a><\/noindex>.<\/p><\/blockquote>\n

Metodi alternativi di codifica delle immagini a colori<\/h3>\n

\nPer rappresentare i colori di cui \u00e8 composta l'immagine, esistono molte altre modelli. Ad esempio, \u00e8 possibile utilizzare una palette indicizzata, in cui \u00e8 necessario solo un byte per rappresentare ogni pixel, invece dei tre necessari utilizzando il modello RGB. In tale modello, \u00e8 possibile utilizzare una matrice 2D invece di una matrice 3D per rappresentare ciascun colore. Questo risparmia memoria, ma offre una gamma di colori inferiore.<\/p>\n

\"Come
\n<\/p>\n

RGB<\/h2>\n

Ad esempio, guarda questa immagine qui sotto. Il primo volto \u00e8 completamente colorato. Gli altri sono i piani rosso, verde e blu (l'intensit\u00e0 dei colori corrispondenti \u00e8 mostrata in scala di grigi).<\/p>\n

\"Come
\n
\nSi vede che le tonalit\u00e0 di rosso nell'originale saranno negli stessi punti in cui si osservano le parti pi\u00f9 luminose del secondo volto. Mentre il contributo del colore blu pu\u00f2 essere visto principalmente solo negli occhi di Mario (l'ultimo volto) e negli elementi dei suoi vestiti. Nota dove tutti e tre i piani di colore contribuiscono meno (le parti pi\u00f9 scure delle immagini) \u2014 ci\u00f2 avviene nei baffi di Mario.<\/p>\n

Per memorizzare l'intensit\u00e0 di ogni colore \u00e8 necessario un certo numero di bit: questa quantit\u00e0 \u00e8 chiamata profondit\u00e0 di bit<\/b>. Supponiamo di usare 8 bit (con valori da 0 a 255) per un piano colore. Avremo quindi una profondit\u00e0 di colore di 24 bit (8 bit * 3 piani R\/G\/B).<\/p>\n

Un'altra propriet\u00e0 dell'immagine \u00e8 la risoluzione<\/b>, che rappresenta il numero di pixel in una dimensione. Spesso viene indicata come larghezza \u00d7 altezza<\/b>, come nel seguente esempio di immagine 4 su 4.
\n\"Come
\n
\nUn'altra propriet\u00e0 con cui abbiamo a che fare quando lavoriamo con immagini\/video \u00e8 il rapporto d'aspetto<\/b>, che descrive la consueta relazione proporzionale tra la larghezza e l'altezza dell'immagine o del pixel.<\/p>\n

Quando si dice che un certo film o immagine ha una dimensione di 16 su 9, di solito ci si riferisce al rapporto d'aspetto del display<\/b> (DAR<\/b> \u2014 da Display Aspect Ratio<\/i>). Tuttavia, talvolta possono esistere forme diverse dei singoli pixel: in questo caso si parla di rapporto dei pixel<\/b> (PAR<\/b> \u2014 da Pixel Aspect Ratio<\/i>).<\/p>\n

\"Come
\n
\n\"Come<\/p>\n

Nota per la padrona di casa: DVD<\/b> corrisponde a DAR 4 su 3<\/b><\/p>\n

Sebbene la risoluzione reale di un DVD sia 704\u00d7480, mantiene per\u00f2 un rapporto d'aspetto di 4:3, poich\u00e9 il PAR \u00e8 pari a 10:11 (704\u00d710 \/ 480\u00d711).<\/p><\/blockquote>\n

\nE infine, possiamo definire video<\/b> come una sequenza di n<\/b> fotogrammi per periodo di tempo<\/b>, che pu\u00f2 essere considerato una dimensione aggiuntiva. E n<\/b> allora - questa \u00e8 la frequenza dei fotogrammi o il numero di fotogrammi al secondo (FPS<\/b> \u2014 da Frames per Second<\/i>).<\/p>\n

\"Come
\n
\nIl numero di bit al secondo necessari per visualizzare un video \u00e8 la sua<\/b> \u2014 velocit\u00e0 di trasmissione<\/b>.<\/p>\n

bitrate = larghezza * altezza * profondit\u00e0 di bit * fotogrammi al secondo<\/p><\/blockquote>\n

\nAd esempio, per un video a 30 fotogrammi al secondo, con 24 bit per pixel, una risoluzione di 480\u00d7240 richiederebbe 82.944.000 bit al secondo o 82,944 Mbit\/s (30x480x240x24) \u2014 ma questo senza utilizzare alcuno dei metodi di compressione.<\/p>\n

Se la velocit\u00e0 di trasmissione \u00e8 quasi costante<\/i>, viene chiamata velocit\u00e0 di trasmissione costante<\/b> (CBR<\/b> \u2014 da constant bit rate<\/i>). Tuttavia, pu\u00f2 anche variare, in questo caso viene chiamata velocit\u00e0 di trasmissione variabile<\/b> (VBR<\/b> \u2014 da variable bit rate<\/i>).<\/p>\n

Questo grafico dimostra un VBR limitato, quando non vengono sprecati troppi bit in caso di un fotogramma completamente scuro.<\/p>\n

\"Come
\n
\nInizialmente, gli ingegneri hanno sviluppato un metodo per raddoppiare la frequenza percepita dei fotogrammi del video senza utilizzare banda aggiuntiva. Questo metodo \u00e8 conosciuto come video interlacciato<\/b>; principalmente, invia met\u00e0 dello schermo nel primo \"fotogramma\", mentre l'altra met\u00e0 nel successivo \"fotogramma\".<\/p>\n

Attualmente, la visualizzazione delle scene avviene principalmente utilizzando la tecnologia di scansione progressiva<\/b>. Questo \u00e8 un modo di visualizzare, memorizzare o trasmettere immagini in movimento, in cui tutte le linee di ciascun fotogramma vengono tracciate in sequenza.<\/p>\n

\"Come
\n
\nBene! Ora sappiamo come un'immagine viene rappresentata digitalmente, come sono strutturati i suoi colori, quanti bit al secondo utilizziamo per mostrare il video, se la velocit\u00e0 di trasmissione \u00e8 costante (CBR) o variabile (VBR). Siamo a conoscenza della risoluzione impostata utilizzando una frequenza fotogrammi predeterminata e ci siamo familiarizzati con molti altri termini, come video interlacciato, PAR e altri.<\/p>\n

Eliminazione della ridondanza<\/h2>\n

\n\u00c8 noto che \u00e8 impossibile utilizzare video non compressi normalmente. Un'ora di video a risoluzione 720p e 30 fotogrammi al secondo occuperebbe 278 GB. Raggiungiamo questo valore moltiplicando 1280 x 720 x 24 x 30 x 3600 (larghezza, altezza, bit per pixel, FPS e tempo in secondi).<\/p>\n

Utilizzo algoritmi di compressione senza perdita<\/b>, come DEFLATE (utilizzato in PKZIP, Gzip e PNG), non dar\u00e0 una riduzione sufficiente della larghezza di banda necessaria. Dobbiamo cercare altri modi per comprimere il video.<\/p>\n

Per farlo, possiamo utilizzare le caratteristiche della nostra visione. Siamo pi\u00f9 sensibili alla luminosit\u00e0 che ai colori. Il video \u00e8 un insieme di immagini sequenziali che si ripetono nel tempo. Tra i fotogrammi adiacenti di una scena, le differenze sono minime. Inoltre, ciascun fotogramma contiene molte aree che utilizzano lo stesso (o un colore simile).<\/p>\n

Colore, luminosit\u00e0 e i nostri occhi<\/h2>\n

\nI nostri occhi sono pi\u00f9 sensibili alla luminosit\u00e0 che al colore. Puoi verificarlo tu stesso guardando questa immagine.<\/p>\n

\"Come<\/p>\n

Se non noti che nella met\u00e0 sinistra dell'immagine i colori dei quadrati A<\/b> e B<\/b> sono effettivamente identici, va bene. Il nostro cervello ci porta a prestare maggiore attenzione alla luce e all'ombra, piuttosto che al colore. A destra, tra i quadrati segnalati, c'\u00e8 un collegamento dello stesso colore \u2014 quindi noi (cio\u00e8 il nostro cervello) rileviamo facilmente che, in effetti, \u00e8 lo stesso colore.<\/p>\n

Analizziamo (in modo semplificato) come funzionano i nostri occhi. L'occhio \u00e8 un organo complesso, composto da molte parti. Tuttavia, ci\u00f2 che ci interessa di pi\u00f9 sono i coni e i bastoncelli. L'occhio contiene circa 120 milioni di bastoncelli e 6 milioni di coni.<\/p>\n

Consideriamo la percezione del colore e della luminosit\u00e0 come funzioni separate di determinate parti dell'occhio (in realt\u00e0, la situazione \u00e8 un po' pi\u00f9 complessa, ma semplifichiamo). Le cellule dei bastoncelli rispondono principalmente alla luminosit\u00e0, mentre le cellule dei coni rispondono al colore. I coni sono suddivisi in tre tipi, a seconda del pigmento presente: coni S (colore blu), coni M (colore verde) e coni L (colore rosso).<\/p>\n

Poich\u00e9 abbiamo molti pi\u00f9 bastoncelli (luminosit\u00e0) che coni (colore), si pu\u00f2 dedurre che siamo pi\u00f9 capaci di distinguere i passaggi tra oscurit\u00e0 e luce piuttosto che i colori.<\/p>\n

\"Come
\n<\/p>\n

Funzioni di sensibilit\u00e0 al contrasto<\/h2>\n

\nI ricercatori di psicologia sperimentale e di molti altri campi hanno sviluppato numerose teorie sulla visione umana. E una di esse si chiama funzioni di sensibilit\u00e0 al contrasto<\/b>. Queste sono collegate all'illuminazione spaziale e temporale. In breve, si tratta di quanti cambiamenti sono necessari prima che l'osservatore li noti. Nota il plurale della parola \u201cfunzione\u201d. Questo \u00e8 dovuto al fatto che possiamo misurare le funzioni di sensibilit\u00e0 al contrasto non solo per immagini in bianco e nero, ma anche per immagini a colori. I risultati di questi esperimenti mostrano che, nella maggior parte dei casi, i nostri occhi sono pi\u00f9 sensibili alla luminosit\u00e0 rispetto al colore.<\/p><\/blockquote>\n

Dato che \u00e8 noto che siamo pi\u00f9 sensibili alla luminosit\u00e0 dell'immagine, si pu\u00f2 cercare di sfruttare questo fatto.<\/p>\n

Modello di colore<\/h2>\n

\nAbbiamo imparato un po' su come gestire le immagini a colori usando lo schema RGB. Esistono anche altri modelli. Ce n'\u00e8 uno che separa la luminosit\u00e0 dalla cromaticit\u00e0 ed \u00e8 conosciuto come YCbCr<\/b>. A proposito, ci sono anche altri modelli che fanno una divisione simile, ma noi considereremo solo questo.<\/p>\n

In questo modello di colore Y<\/b> \u2014 \u00e8 la rappresentazione della luminosit\u00e0, e sono utilizzati due canali di colore: Cb<\/b> (blu intenso) e Cr<\/b> (rosso intenso). YCbCr pu\u00f2 essere ottenuto da RGB, cos\u00ec come \u00e8 possibile anche la conversione inversa. Utilizzando questo modello, possiamo creare immagini a colori, come vediamo di seguito:<\/p>\n

\"Come
\n<\/p>\n

Conversione tra YCbCr e RGB<\/h2>\n

\nQualcuno potrebbe obiettare: come \u00e8 possibile ottenere tutti i colori, se non viene utilizzato il verde?<\/p>\n

Per rispondere a questa domanda, convertiamo RGB in YCbCr. Utilizzeremo i coefficienti stabiliti negli standard BT.601<\/b>, raccomandato dal dipartimento ITU-R<\/b>. Questo dipartimento definisce gli standard per il video digitale. Ad esempio: cosa significa 4K? Quali dovrebbero essere la frequenza dei fotogrammi, la risoluzione, il modello di colore?<\/p>\n

Iniziamo a calcolare la luminosit\u00e0. Utilizziamo le costanti proposte dall'ITU e sostituiamo i valori RGB.<\/p>\n

Y<\/b> = 0.299R<\/b> + 0.587G<\/b> + 0.114B<\/b> <\/p>\n

Dopo aver ottenuto la luminosit\u00e0, separiamo il blu e il rosso:<\/p>\n

Cb<\/b> = 0.564(B<\/b> \u2014 Y<\/b>)<\/p>\n

Cr<\/b> = 0.713(R<\/b> \u2014 Y<\/b>) <\/p>\n

E possiamo anche convertire indietro e persino ottenere il verde utilizzando YCbCr:<\/p>\n

R<\/b> = Y<\/b> + 1.402Cr<\/b><\/p>\n

B<\/b> = Y<\/b> + 1.772Cb<\/b><\/p>\n

G<\/b> = Y<\/b> \u2014 0.344Cb<\/b> \u2014 0.714Cr<\/b><\/p>\n

In generale, i display (monitor, TV, schermi, ecc.) utilizzano solo il modello RGB. Ma questo modello pu\u00f2 essere organizzato in modi diversi:<\/p>\n

\"Come
\n<\/p>\n

Sottocampionamento del colore<\/h2>\n

\nCon un'immagine rappresentata come una combinazione di luminosit\u00e0 e crominanza, possiamo sfruttare la maggiore sensibilit\u00e0 del sistema visivo umano alla luminosit\u00e0 rispetto alla crominanza, se rimuoviamo selettivamente le informazioni. Il sottocampionamento del colore \u00e8 un metodo di codifica delle immagini, utilizzando una risoluzione inferiore per la crominanza rispetto alla luminosit\u00e0.<\/p>\n

\"Come<\/p>\n

Quanto \u00e8 accettabile ridurre la risoluzione della crominanza?! Si scopre che ci sono gi\u00e0 alcuni schemi che descrivono come gestire la risoluzione e la fusione (Colore finale = Y + Cb + Cr).<\/p>\n

Questi schemi sono noti come sistemi di sottocampionamento<\/b> e vengono espressi in forma di rapporto 3:1 \u2014 a<\/b>:x<\/b>:y<\/b>, che definisce il numero di campioni di segnali di luminosit\u00e0 e differenza di colore.<\/p>\n

a<\/b> \u2014 campionamento orizzontale di riferimento (di solito uguale a 4)
\nx<\/b> \u2014 numero di campioni di crominanza nella prima riga di pixel (risoluzione orizzontale rispetto a a<\/b>)
\ny<\/b> \u2014 numero di cambiamenti di campioni di crominanza tra la prima e la seconda riga di pixel.<\/p>\n

L'eccezione \u00e8 4<\/b>:1<\/b>:0<\/b>, che fornisce un campione di crominanza in ogni blocco di risoluzione di luminosit\u00e0 4 su 4.<\/p><\/blockquote>\n

Schemi comuni utilizzati nei codec moderni:<\/p>\n