Втори HDMI монитор към Raspberry Pi3 чрез DPI интерфейс и FPGA платка

Това видео показва: платка Raspberry Pi3, към която чрез GPIO конектора е свързана платка FPGA Mars Rover2rpi (Cyclone IV), към която е свързан HDMI монитор. Вторият монитор е свързан чрез стандартния Raspberry Pi3 HDMI конектор. Всичко заедно работи като система с двоен монитор.

След това ще ви кажа как се изпълнява.

Популярната платка Raspberry Pi3 има GPIO конектор, чрез който можете да свържете различни разширителни платки: сензори, светодиоди, драйвери за стъпкови двигатели и много други. Специфичната функция на всеки щифт на конектора зависи от конфигурацията на порта. Конфигурацията GPIO ALT2 ви позволява да превключите конектора в режим на DPI интерфейс, Display Parallel Interface. Има разширителни платки за свързване на VGA монитори чрез DPI. Въпреки това, първо, VGA мониторите вече не са толкова често срещани, колкото HDMI, и второ, цифровият интерфейс става все по-добър от аналоговия. Освен това DAC на такива VGA разширителни карти обикновено се прави под формата на R-2-R вериги и често не повече от 6 бита на цвят.

В режим ALT2 щифтовете на GPIO конектора имат следното значение:

Тук оцветих RGB щифтовете на конектора съответно в червено, зелено и синьо. Други важни сигнали са V-SYNC и H-SYNC синхронизиращи сигнали, както и CLK. Тактовата честота на CLK е честотата, при която стойностите на пикселите се извеждат към конектора и зависи от избрания видео режим.

За да свържете цифров HDMI монитор, трябва да заснемете DPI интерфейсни сигнали и да ги конвертирате в HDMI сигнали. Това може да се направи, например, с помощта на всяка FPGA платка. Както се оказа, платката Mars Rover2rpi е подходяща за тази цел. Всъщност основната опция за свързване на тази платка чрез специален адаптер изглежда така:

Тази платка се използва за увеличаване на броя на GPIO портовете и за свързване на повече периферни устройства към малината. В същото време 4 GPIO сигнала с тази връзка се използват за JTAG сигнали, така че програмата от разпространението да може да зареди фърмуера на FPGA в FPGA. Поради това такава редовна връзка не ме устройва, 4 DPI сигнали отпадат. За щастие, допълнителните гребени на дъската имат щифтове, съвместими с Raspberry. За да мога да завъртя платката на 90 градуса и пак да я свържа с моята малина:

Разбира се, ще трябва да използвате външен JTAG програматор, но това не е проблем.

Все още има малък проблем. Не всеки щифт на FPGA може да се използва като вход за часовник. Има само няколко специални пина, които могат да се използват за тази цел. Така се оказа, че GPIO_0 CLK сигналът не достига до FPGA входа, който може да се използва като FPGA часовников вход. Така че все пак трябваше да хвърля една публикация на шал. Свързвам GPIO_0 и KEY[1] сигнал на платката:

Сега ще ви разкажа малко за проекта в FPGA. Основната трудност при формирането на HDMI сигнали са много високите честоти. Разглеждайки разводката на HDMI конектора, можете да видите, че RGB сигналите вече са серийни диференциални сигнали:

Използването на диференциален сигнал ви позволява да се справите с шума в общ режим на предавателната линия. В този случай оригиналният осем-битов код на всеки цветен сигнал се преобразува в 10-битов TMDS (минимизирано диференциално сигнализиране на прехода). Това е специален метод на кодиране за премахване на постояннотоковия компонент от сигнала и минимизиране на превключването на сигнала в диференциалната линия. Тъй като сега има 10 бита за предаване на байт цвят по серийната линия, се оказва, че тактовата честота на сериализатора трябва да бъде 10 пъти по-висока от тактовата честота на пикселите. Ако вземем за пример видео режим 1280x720 60Hz, тогава честотата на пикселите на този режим е 74,25MHz. Сериализаторът трябва да е 742,5 MHz.

Конвенционалните FPGA обикновено не са способни на това, за съжаление. Въпреки това, за наш късмет, FPGA имат вградени DDIO изводи. Това са заключения, които вече са, така да се каже, сериализатори 2 към 1. Тоест, те могат да изведат два бита последователно по нарастващата и спадащата тактова честота. Това означава, че в проекта FPGA можете да използвате не 740 MHz, а 370 MHz, но трябва да използвате изходните елементи DDIO в FPGA. Тук 370 MHz вече е доста постижима честота. За съжаление режимът 1280×720 е ограничението. По-висока разделителна способност не може да бъде постигната в нашия FPGA Cyclone IV, инсталиран на платката Rover2rpi.

И така, в проекта честотата на входния пиксел CLK се подава към PLL, където се умножава по 5. При тази честота байтовете R, G, B се преобразуват в двойки битове. Това прави енкодерът TMDS. Изходният код на Verilog HDL изглежда така:

module hdmi(
	input wire pixclk,		// 74MHz
	input wire clk_TMDS2,	// 370MHz
	input wire hsync,
	input wire vsync,
	input wire active,
	input wire [7:0]red,
	input wire [7:0]green,
	input wire [7:0]blue,
	output wire TMDS_bh,
	output wire TMDS_bl,
	output wire TMDS_gh,
	output wire TMDS_gl,
	output wire TMDS_rh,
	output wire TMDS_rl
);

wire [9:0] TMDS_red, TMDS_green, TMDS_blue;
TMDS_encoder encode_R(.clk(pixclk), .VD(red  ), .CD({vsync,hsync}), .VDE(active), .TMDS(TMDS_red));
TMDS_encoder encode_G(.clk(pixclk), .VD(green), .CD({vsync,hsync}), .VDE(active), .TMDS(TMDS_green));
TMDS_encoder encode_B(.clk(pixclk), .VD(blue ), .CD({vsync,hsync}), .VDE(active), .TMDS(TMDS_blue));

reg [2:0] TMDS_mod5=0;  // modulus 5 counter
reg [4:0] TMDS_shift_bh=0, TMDS_shift_bl=0;
reg [4:0] TMDS_shift_gh=0, TMDS_shift_gl=0;
reg [4:0] TMDS_shift_rh=0, TMDS_shift_rl=0;

wire [4:0] TMDS_blue_l  = {TMDS_blue[9],TMDS_blue[7],TMDS_blue[5],TMDS_blue[3],TMDS_blue[1]};
wire [4:0] TMDS_blue_h  = {TMDS_blue[8],TMDS_blue[6],TMDS_blue[4],TMDS_blue[2],TMDS_blue[0]};
wire [4:0] TMDS_green_l = {TMDS_green[9],TMDS_green[7],TMDS_green[5],TMDS_green[3],TMDS_green[1]};
wire [4:0] TMDS_green_h = {TMDS_green[8],TMDS_green[6],TMDS_green[4],TMDS_green[2],TMDS_green[0]};
wire [4:0] TMDS_red_l   = {TMDS_red[9],TMDS_red[7],TMDS_red[5],TMDS_red[3],TMDS_red[1]};
wire [4:0] TMDS_red_h   = {TMDS_red[8],TMDS_red[6],TMDS_red[4],TMDS_red[2],TMDS_red[0]};

always @(posedge clk_TMDS2)
begin
	TMDS_shift_bh <= TMDS_mod5[2] ? TMDS_blue_h  : TMDS_shift_bh  [4:1];
	TMDS_shift_bl <= TMDS_mod5[2] ? TMDS_blue_l  : TMDS_shift_bl  [4:1];
	TMDS_shift_gh <= TMDS_mod5[2] ? TMDS_green_h : TMDS_shift_gh  [4:1];
	TMDS_shift_gl <= TMDS_mod5[2] ? TMDS_green_l : TMDS_shift_gl  [4:1];
	TMDS_shift_rh <= TMDS_mod5[2] ? TMDS_red_h   : TMDS_shift_rh  [4:1];
	TMDS_shift_rl <= TMDS_mod5[2] ? TMDS_red_l   : TMDS_shift_rl  [4:1];
	TMDS_mod5 <= (TMDS_mod5[2]) ? 3'd0 : TMDS_mod5+3'd1;
end

assign TMDS_bh = TMDS_shift_bh[0];
assign TMDS_bl = TMDS_shift_bl[0];
assign TMDS_gh = TMDS_shift_gh[0];
assign TMDS_gl = TMDS_shift_gl[0];
assign TMDS_rh = TMDS_shift_rh[0];
assign TMDS_rl = TMDS_shift_rl[0];

endmodule

module TMDS_encoder(
	input clk,
	input [7:0] VD,	// video data (red, green or blue)
	input [1:0] CD,	// control data
	input VDE,  	// video data enable, to choose between CD (when VDE=0) and VD (when VDE=1)
	output reg [9:0] TMDS = 0
);

wire [3:0] Nb1s = VD[0] + VD[1] + VD[2] + VD[3] + VD[4] + VD[5] + VD[6] + VD[7];
wire XNOR = (Nb1s>4'd4) || (Nb1s==4'd4 && VD[0]==1'b0);
wire [8:0] q_m = {~XNOR, q_m[6:0] ^ VD[7:1] ^ {7{XNOR}}, VD[0]};

reg [3:0] balance_acc = 0;
wire [3:0] balance = q_m[0] + q_m[1] + q_m[2] + q_m[3] + q_m[4] + q_m[5] + q_m[6] + q_m[7] - 4'd4;
wire balance_sign_eq = (balance[3] == balance_acc[3]);
wire invert_q_m = (balance==0 || balance_acc==0) ? ~q_m[8] : balance_sign_eq;
wire [3:0] balance_acc_inc = balance - ({q_m[8] ^ ~balance_sign_eq} & ~(balance==0 || balance_acc==0));
wire [3:0] balance_acc_new = invert_q_m ? balance_acc-balance_acc_inc : balance_acc+balance_acc_inc;
wire [9:0] TMDS_data = {invert_q_m, q_m[8], q_m[7:0] ^ {8{invert_q_m}}};
wire [9:0] TMDS_code = CD[1] ? (CD[0] ? 10'b1010101011 : 10'b0101010100) : (CD[0] ? 10'b0010101011 : 10'b1101010100);

always @(posedge clk) TMDS <= VDE ? TMDS_data : TMDS_code;
always @(posedge clk) balance_acc <= VDE ? balance_acc_new : 4'h0;

endmodule

След това изходните двойки се подават към изхода DDIO, който последователно произвежда еднобитов сигнал при нарастване и спад.

Самият DDIO може да бъде описан с Verilog код по следния начин:

module ddio(
	input wire d0,
	input wire d1,
	input wire clk,
	output wire out
	);

reg r_d0;
reg r_d1;
always @(posedge clk)
begin
	r_d0 <= d0;
	r_d1 <= d1;
end
assign out = clk ? r_d0 : r_d1;
endmodule

Но вероятно няма да работи по този начин. Трябва да използвате мегафункцията ALTDDIO_OUT на Altera, за да използвате реално DDIO изходните елементи. В моя проект се използва библиотечният компонент ALTDDIO_OUT.

Може всичко да изглежда малко сложно, но работи.

Можете да видите целия изходен код, написан на Verilog HDL точно тук в github.

Компилираният фърмуер за FPGA е вграден в EPCS чипа, инсталиран на платката Mars Rover2rpi. По този начин, когато се подаде захранване към FPGA платката, FPGA ще се инициализира от флаш памет и ще стартира.

Сега трябва да поговорим малко за конфигурацията на самата Raspberry.

Правя експерименти с Raspberry PI OS (32 бита) на базата на Debian Buster, версия: август 2020 г.
Дата на издаване: 2020-08-20, Версия на ядрото: 5.4.

Трябва да направите две неща:

• редактирайте файла config.txt;
• създайте конфигурация на X сървър за работа с два монитора.

Когато редактирате файла /boot/config.txt, трябва да:

1. деактивирайте използването на i2c, i2s, spi;
2. активиране на DPI режим с наслагване dtoverlay=dpi24;
3. задайте видео режим 1280×720 60Hz, 24 бита на точка на DPI;
4. посочете необходимия брой framebuffers 2 (max_framebuffers=2, само тогава ще се появи второто устройство /dev/fb1)

Пълният текст на файла config.txt изглежда така.

# For more options and information see
# http://rpf.io/configtxt
# Some settings may impact device functionality. See link above for details

# uncomment if you get no picture on HDMI for a default "safe" mode
#hdmi_safe=1

# uncomment this if your display has a black border of unused pixels visible
# and your display can output without overscan
disable_overscan=1

# uncomment the following to adjust overscan. Use positive numbers if console
# goes off screen, and negative if there is too much border
#overscan_left=16
#overscan_right=16
#overscan_top=16
#overscan_bottom=16

# uncomment to force a console size. By default it will be display's size minus
# overscan.
#framebuffer_width=1280
#framebuffer_height=720

# uncomment if hdmi display is not detected and composite is being output
hdmi_force_hotplug=1

# uncomment to force a specific HDMI mode (this will force VGA)
#hdmi_group=1
#hdmi_mode=1

# uncomment to force a HDMI mode rather than DVI. This can make audio work in
# DMT (computer monitor) modes
#hdmi_drive=2

# uncomment to increase signal to HDMI, if you have interference, blanking, or
# no display
#config_hdmi_boost=4

# uncomment for composite PAL
#sdtv_mode=2

#uncomment to overclock the arm. 700 MHz is the default.
#arm_freq=800

# Uncomment some or all of these to enable the optional hardware interfaces
#dtparam=i2c_arm=on
#dtparam=i2s=on
#dtparam=spi=on

dtparam=i2c_arm=off
dtparam=spi=off
dtparam=i2s=off

dtoverlay=dpi24
overscan_left=0
overscan_right=0
overscan_top=0
overscan_bottom=0
framebuffer_width=1280
framebuffer_height=720
display_default_lcd=0
enable_dpi_lcd=1
dpi_group=2
dpi_mode=87
#dpi_group=1
#dpi_mode=4
dpi_output_format=0x6f027
dpi_timings=1280 1 110 40 220 720 1 5 5 20 0 0 0 60 0 74000000 3

# Uncomment this to enable infrared communication.
#dtoverlay=gpio-ir,gpio_pin=17
#dtoverlay=gpio-ir-tx,gpio_pin=18

# Additional overlays and parameters are documented /boot/overlays/README

# Enable audio (loads snd_bcm2835)
dtparam=audio=on

[pi4]
# Enable DRM VC4 V3D driver on top of the dispmanx display stack
#dtoverlay=vc4-fkms-v3d
max_framebuffers=2

[all]
#dtoverlay=vc4-fkms-v3d
max_framebuffers=2

След това трябва да създадете конфигурационен файл за X сървъра, за да използвате два монитора на два фреймбуфера /dev/fb0 и /dev/fb1:

Моят конфигурационен файл е /usr/share/x11/xorg.conf.d/60-dualscreen.conf така

Section "Device"
        Identifier      "LCD"
        Driver          "fbturbo"
        Option          "fbdev" "/dev/fb0"
        Option          "ShadowFB" "off"
        Option          "SwapbuffersWait" "true"
EndSection

Section "Device"
        Identifier      "HDMI"
        Driver          "fbturbo"
        Option          "fbdev" "/dev/fb1"
        Option          "ShadowFB" "off"
        Option          "SwapbuffersWait" "true"
EndSection

Section "Monitor"
        Identifier      "LCD-monitor"
        Option          "Primary" "true"
EndSection

Section "Monitor"
        Identifier      "HDMI-monitor"
        Option          "RightOf" "LCD-monitor"
EndSection

Section "Screen"
        Identifier      "screen0"
        Device          "LCD"
        Monitor         "LCD-monitor"
EndSection

Section "Screen"
        Identifier      "screen1"
        Device          "HDMI" 
	Monitor         "HDMI-monitor"
EndSection

Section "ServerLayout"
        Identifier      "default"
        Option          "Xinerama" "on"
        Option          "Clone" "off"
        Screen 0        "screen0"
        Screen 1        "screen1" RightOf "screen0"
EndSection

Е, ако вече не е инсталиран, тогава трябва да инсталирате Xinerama. Тогава пространството на работния плот ще бъде напълно разширено до два монитора, както е показано в демонстрационния видеоклип по-горе.

Това е може би всичко. Сега собствениците на Raspberry Pi3 ще могат да използват два монитора.

Описание и диаграма на платката Mars Rover2rpi може да бъде виж тук.

Източник: www.habr.com