基于FPGA的多路實(shí)時(shí)視頻處理系統(tǒng)設(shè)計(jì)

視頻顯示技術(shù)發(fā)展到21世紀(jì)，同時(shí)顯示多個(gè)視頻的需求仍然存在，人們需要從單個(gè)顯示器獲得更多、更復(fù)雜的信息。因此，人們對(duì)圖像處理的效率、實(shí)時(shí)性、功耗以及處理設(shè)備的體積也有了更嚴(yán)格的要求^［1］。當(dāng)前常用的嵌入式圖像處理平臺(tái)有ARM（Advanced RISC Machine）、數(shù)字信號(hào)處理（Digital Signal Processing，DSP）、專用集成電路（Application Specific Integrated Circuit，ASIC）以及現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（FPGA）等。ARM平臺(tái)有較不錯(cuò)的處理能力，配合一系列的開(kāi)源處理算法，開(kāi)發(fā)比較方便，因此這種方式能夠滿足部分圖像應(yīng)用場(chǎng)景的需求。但是隨著高速處理視頻圖像需求的增加以及算法的日趨復(fù)雜，單靠微處理器已經(jīng)無(wú)法滿足實(shí)時(shí)性處理的要求。DSP是一種專門(mén)用于實(shí)現(xiàn)快速數(shù)字信號(hào)處理算法的微處理器，其中有一些固定的運(yùn)算模塊，使得其信號(hào)處理的速度優(yōu)于微處理器，適合操作性強(qiáng)和運(yùn)算量大的場(chǎng)合，但是由于DSP采用的是串行指令系統(tǒng)，使用起來(lái)有諸多限制。ASIC是為專門(mén)應(yīng)用場(chǎng)景下所設(shè)計(jì)的芯片，雖然在特定使用場(chǎng)景下功耗低、性能強(qiáng)，但是在其他使用場(chǎng)景時(shí)需要重新設(shè)計(jì)，適用性較差。FPGA由于可編程以及并行運(yùn)算的特性，相比于ASIC雖然功耗較高，但其可無(wú)限重復(fù)編程^［2-5］，因此，采用FPGA作為核心處理器能夠滿足高分辨率、高幀率等性能需求。

針對(duì)傳統(tǒng)的實(shí)時(shí)視頻處理系統(tǒng)大多存在分辨率低、控制不靈活、視頻處理算法單一、實(shí)時(shí)性差等問(wèn)題^［6-8］，本文設(shè)計(jì)了一款具有4通道高速并行處理能力的多路視頻實(shí)時(shí)處理系統(tǒng)，采用高清多媒體接口（High Definition Multimedia Interface，HDMI）的視頻作為視頻源，經(jīng)過(guò)FPGA處理，最終實(shí)現(xiàn)將4路視頻任意比例縮放、漫游、疊加融合成一路視頻顯示。這使得用戶可以實(shí)時(shí)觀察真實(shí)直觀、細(xì)節(jié)豐富的多路超高清影像數(shù)據(jù)，也符合市場(chǎng)需求。

本設(shè)計(jì)發(fā)送卡和接收卡采用的FPGA芯片是由Xilinx生產(chǎn)的XC7K325系列的XC7K325-TFFG900，主要用來(lái)接收?qǐng)D像、處理圖像以及驅(qū)動(dòng)顯示器實(shí)時(shí)輸出顯示。

多路實(shí)時(shí)視頻處理系統(tǒng)采用一塊視頻發(fā)送卡對(duì)4路HDMI視頻數(shù)據(jù)進(jìn)行接收。系統(tǒng)上電后，首先將接收到的視頻數(shù)據(jù)進(jìn)行預(yù)處理，再根據(jù)串口接收到用戶的縮放參數(shù)、圖像裁剪參數(shù)，將處理后的視頻數(shù)據(jù)根據(jù)用戶命令參數(shù)進(jìn)行實(shí)時(shí)縮放處理，然后將縮放后的視頻數(shù)據(jù)根據(jù)用戶需要的視頻圖像大小進(jìn)行裁剪，通過(guò)讀寫(xiě)仲裁模塊按照一定的順序存儲(chǔ)到動(dòng)態(tài)內(nèi)存DDR3中，最后將讀出的每個(gè)通道的數(shù)據(jù)通過(guò)光纖發(fā)送模塊發(fā)送出去。視頻發(fā)送卡的內(nèi)部邏輯框圖如圖1所示。

圖1  視頻發(fā)送卡FPGA內(nèi)部邏輯框圖

Fig.1  Internal logic block diagram of the video sending card FPGA

接收卡通過(guò)4路光模塊接口接收到視頻數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行上采樣處理，再根據(jù)串口接收到用戶的旋轉(zhuǎn)角度參數(shù)，對(duì)接收到的4個(gè)通道數(shù)據(jù)進(jìn)行旋轉(zhuǎn)處理，然后通過(guò)多通道讀寫(xiě)仲裁模塊按照一定的順序存入到動(dòng)態(tài)內(nèi)存DDR3中，按照用戶選擇通道的數(shù)據(jù)從DDR3讀出對(duì)應(yīng)通道的有效數(shù)據(jù)，并對(duì)多通道視頻進(jìn)行疊加融合，最后進(jìn)行色彩空間轉(zhuǎn)換，并通過(guò)HDMI接口將融合后的一路數(shù)據(jù)在4K顯示器上顯示。視頻接收卡的內(nèi)部邏輯如圖2所示。

圖2  視頻接收卡FPGA內(nèi)部邏輯框圖

Fig.2  Internal logic block diagram of the video receiving card FPGA

常規(guī)視頻縮放算法有最鄰近插值算法、雙線性插值算法、雙三次插值縮放算法。由MATLAB仿真效果可知^［9］，最臨近插值算法效果差；雙線性插值法計(jì)算量和效果居于兩者之間；雙三次插值縮放算法效果最好、畫(huà)面細(xì)膩但計(jì)算量大；在既要保證效果的同時(shí)又要考慮視頻處理的實(shí)時(shí)性以及算法的復(fù)雜情況下，本次設(shè)計(jì)選用雙線性插值算法進(jìn)行基于FPGA的縮放邏輯設(shè)計(jì)^［10-13］。

3.1　雙線性插值縮放算法邏輯設(shè)計(jì)

雙線性插值縮放算法的邏輯設(shè)計(jì)框圖如圖3所示。

圖3  雙線性插值算法邏輯設(shè)計(jì)圖

Fig.3  Logic design diagram of the bilinear interpolation algorithm

由于雙線性插值采用周圍4個(gè)像素點(diǎn)確定目標(biāo)像素點(diǎn)，因此至少緩存兩行以上的數(shù)據(jù)才能根據(jù)周圍像素點(diǎn)值計(jì)算目標(biāo)像素點(diǎn)的值^［14-16］。本設(shè)計(jì)可以采用兩個(gè)RAM即可對(duì)目標(biāo)像素點(diǎn)周圍4個(gè)像素點(diǎn)進(jìn)行計(jì)算，但是為了提高處理速度，本設(shè)計(jì)采用4個(gè)雙口RAM進(jìn)行數(shù)據(jù)讀寫(xiě)的乒乓操作。且為防止處理效率低，第一次計(jì)算時(shí)必須保證4個(gè)RAM存滿才開(kāi)始進(jìn)行插值計(jì)算。

3.2　雙線性插值縮放計(jì)算

雙線性插值縮放計(jì)算流程如圖4所示。首先等待數(shù)據(jù)輸入，當(dāng)有效數(shù)據(jù)來(lái)臨時(shí)，將其存入RAM。本設(shè)計(jì)設(shè)定存滿4行視頻數(shù)據(jù)以后，系統(tǒng)才開(kāi)始進(jìn)行計(jì)算。最后將數(shù)據(jù)取整輸出。

圖4  實(shí)時(shí)視頻縮放流程圖

Fig.4  Flow chart of real-time video scaling

縮放算法的仿真波形如圖5所示。仿真波形是以1 280×1 024為輸入，縮小到960×768，根據(jù)輸入輸出水平像素點(diǎn)個(gè)數(shù)可以求出縮放比例、插值系數(shù)以及插值點(diǎn)與原圖像中像素點(diǎn)的水平距離和垂直距離。通過(guò)使用4個(gè)RAM實(shí)現(xiàn)對(duì)兩行數(shù)據(jù)的緩存，實(shí)現(xiàn)對(duì)插值像素點(diǎn)周圍4個(gè)像素點(diǎn)的緩存輸出。其中dOut為輸出數(shù)據(jù)，coeff為求得的插值系數(shù)，xScale、yScale為水平和垂直方向因子，inputXres、inputYres表示輸入水平、垂直方向像素點(diǎn)個(gè)數(shù)。outputXres、outputYres為輸出水平、垂直方向的像素點(diǎn)個(gè)數(shù)。

圖5  縮放算法的仿真波形

Fig.5  Simulation waveform of the scaling algorithm

3.3　雙線性插值算法驗(yàn)證與分析

在保證以上測(cè)試模塊均正常工作情況下，進(jìn)一步對(duì)縮放模塊進(jìn)行驗(yàn)證。實(shí)際板上驗(yàn)證時(shí)，通過(guò)HDMI接口輸入的1 080P視頻數(shù)據(jù)作為視頻源，ILA在線邏輯分析儀的波形窗口的顯示如圖6所示。在傳輸有效像素信號(hào)時(shí)，行同步（hs）信號(hào)、幀同步（vs）信號(hào)、有效信號(hào)（de）均符合圖像傳輸時(shí)序定義。從在線邏輯仿真圖中可以看出，在有效信號(hào)（de）保持為高電平時(shí)，從起始點(diǎn)1 130到終止點(diǎn)1 230，每行數(shù)據(jù)僅輸出100個(gè)有效數(shù)據(jù)其余數(shù)據(jù)均為0，說(shuō)明實(shí)現(xiàn)了100×100縮放設(shè)計(jì)，接下來(lái)進(jìn)一步進(jìn)行板上驗(yàn)證。

圖6  100×100縮放在線邏輯分析儀的波形圖

Fig.6  Waveform diagram of 100×100 zoom online logic analyzer

如圖7所示，實(shí)際板上驗(yàn)證時(shí)采用視頻流為1 080P的HDMI輸入作為視頻源，經(jīng)過(guò)縮放、緩存、同步等操作，最后再通過(guò)HDMI接口輸出至顯示器上顯示。圖7（a）、（b）分別為3 840×2 160縮放效果圖以及100×100縮放效果圖。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)雙線性插值圖像縮放能夠支持圖像進(jìn)行任意比例的縮放，但是在實(shí)際縮放效果觀察過(guò)程中可以發(fā)現(xiàn)，雖然理論上可以支持最低縮放到1×1分辨率，但是實(shí)際上板100×100效果已經(jīng)出現(xiàn)了比較嚴(yán)重的失真，縮放模塊滿足本次設(shè)計(jì)要求。

圖7雙線性插值在FPGA上實(shí)現(xiàn)效果圖

Fig.7Effect of bilinear interpolation on FPGA

視頻圖像疊加融合是將兩路視頻圖像信號(hào)中的一路作為背景，另一路為前景，在背景視頻圖中融入前景圖像，在同一終端上顯示多通道疊加圖像^［23-26］。本次設(shè)計(jì)采用Alpha疊加融合算法，視頻圖像疊加融合模塊采用兩路視頻源疊加進(jìn)行測(cè)試，為了方便觀察，首先將背景的值設(shè)置為一個(gè)固定值24’h108080。其中背景視頻大小為1 920×1 080，前景視頻大小為100×100。Alpha融合疊加算法的ILA在線邏輯分析儀波形窗口如圖12所示。當(dāng)前景視頻處于有效數(shù)據(jù)范圍內(nèi)并且Alpha為16’hff時(shí)，全部顯示為前景，輸出融合視頻數(shù)據(jù)等于前景視頻的有效數(shù)據(jù)；當(dāng)前景視頻處于無(wú)效數(shù)據(jù)范圍內(nèi)并且Alpha為16’h00時(shí)，輸出融合視頻數(shù)據(jù)等于背景視頻有效數(shù)據(jù)24’h108080。

圖12  Alpha融合疊加在線邏輯分析儀的波形

Fig.12  Waveform of Alpha fusion overlay on-line logic analyzer

Alpha融合疊加在FPGA上實(shí)現(xiàn)實(shí)際效果圖如圖13所示。其中圖13（a）為一路PC電腦桌面作為視頻源輸入，并將輸入的畫(huà)面進(jìn)行四通道復(fù)制。首先將輸入的1 080P視頻數(shù)據(jù)縮放至960×540大小，最后將4個(gè)通道數(shù)據(jù)進(jìn)行疊加融合輸出。實(shí)際上板驗(yàn)證的疊加效果圖a~d的Alpha值分別為16’h00，16’h40，16’h80，16’hff，其畫(huà)面對(duì)應(yīng)的透明度也依次降低。圖13（b）將兩路輸入的1 080P視頻縮放為兩路960×480大小的視頻，且將背景畫(huà)面的Alpha值設(shè)置為16’hff，前景畫(huà)面的Alpha值設(shè)置為16’h80，960×480的前景圖疊加在960×480背景圖上，其余區(qū)域均為黑色。根據(jù)疊加融合輸出效果圖可以看出，圖像清晰，無(wú)閃屏、無(wú)錯(cuò)位情況發(fā)生。另外可以通過(guò)串口設(shè)置參數(shù)，靈活改變疊加位置的大小和位置，滿足系統(tǒng)的設(shè)計(jì)需求。

圖13圖像疊加融合算法在FPGA上實(shí)現(xiàn)效果圖

Fig.13Effect of image superimposition and fusion algorithm implemented on FPGA

片上總消耗主要由動(dòng)態(tài)功耗和靜態(tài)功耗組成。從表1可以計(jì)算出，視頻發(fā)送卡的片上總功耗為1.479 W，其中動(dòng)態(tài)功耗占93%。從表2可以計(jì)算出，視頻發(fā)送卡的片上總功耗為3.520 W，其中動(dòng)態(tài)功耗占95%。系統(tǒng)在設(shè)計(jì)過(guò)程中對(duì)于功耗的分析是十分必要的，若功耗過(guò)高則會(huì)造成芯片發(fā)熱甚至損壞，其次會(huì)導(dǎo)致FPGA內(nèi)部時(shí)序的不穩(wěn)定，導(dǎo)致冒險(xiǎn)與競(jìng)爭(zhēng)的出現(xiàn)。為了進(jìn)一步降低功耗以及提高系統(tǒng)的穩(wěn)定性可以從以下兩個(gè)方面進(jìn)行優(yōu)化。

（1）資源優(yōu)化：以存儲(chǔ)器為例，在設(shè)置雙端口RAM時(shí)設(shè)置成NO CHANGE模式以及設(shè)置時(shí)鐘使能的情況下，可以實(shí)現(xiàn)對(duì)存儲(chǔ)器功耗的降低。

（2）算法優(yōu)化：首先要設(shè)計(jì)最優(yōu)的算法，使資源占用達(dá)到最少。比如流水線和狀態(tài)機(jī)結(jié)構(gòu)，需要根據(jù)實(shí)際情況進(jìn)行選擇，以達(dá)到面積和速度的平衡。

本次設(shè)計(jì)可以實(shí)現(xiàn)4K視頻的任意比例縮放、透明度調(diào)節(jié)以及4路視頻任意位置漫游、疊加與融合。首先進(jìn)行多通道縮放、漫游、旋轉(zhuǎn)以及疊加融合測(cè)試，其實(shí)際板上驗(yàn)證效果如圖14所示。為了方便觀察，本次選用比較有代表性的結(jié)果圖進(jìn)行展示。

圖14多路視頻融合效果圖

Fig.14Effect of multichannel video fusion

測(cè)試多路視頻輸入采用筆記本作為視頻源，其分辨率為1 920×1 080@60 Hz；由于筆記本輸出分辨率的限制，單路視頻輸入測(cè)試時(shí)采用臺(tái)式電腦作為視頻源，其分辨率為3 840×2 160@30 Hz，最后均通過(guò)4K分辨率顯示器顯示。

圖14（a）將四通道輸入視頻縮放至不同大小，最后將4路視頻在沒(méi)有疊加的情況下進(jìn)行漫游輸出。圖14（b）將單通道分辨率為3 840×2 160@30 Hz的視頻源，復(fù)制為4路視頻進(jìn)行輸入。將4路視頻縮放至960×540大小以后，分別設(shè)置Alpha值為16’h00，16’h40，16’h80，16’hff，實(shí)現(xiàn)對(duì)畫(huà)面透明度由高到低的調(diào)節(jié)。由實(shí)驗(yàn)結(jié)果可知，本系統(tǒng)實(shí)現(xiàn)了高清4K視頻的任意比例縮放、多路高清視頻的任意位置漫游、任意位置疊加融合。在實(shí)際調(diào)試過(guò)程中，由于時(shí)鐘速率不匹配，顯示效果圖可能會(huì)出現(xiàn)未知顯示效果，因此需要對(duì)系統(tǒng)進(jìn)行時(shí)序約束，防止競(jìng)爭(zhēng)冒險(xiǎn)的出現(xiàn)。

本文基于FPGA開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了一種多路實(shí)時(shí)視頻處理系統(tǒng)。采用Vivado 2019.1作為軟件開(kāi)發(fā)平臺(tái)完成了雙線性插值縮放算法設(shè)計(jì)，實(shí)現(xiàn)了最大分辨率為3 840×2 160、最低分辨率為100×100的縮放，滿足了用戶特殊分辨率的需求。同時(shí)可以將多路視頻數(shù)據(jù)進(jìn)行任意位置漫游以及疊加融合，滿足了人們需要從單個(gè)顯示器獲得更多、更復(fù)雜的信息的需求。

本系統(tǒng)目前僅支持單一的HDMI輸入輸出接口，為滿足用戶的各種需求，應(yīng)當(dāng)增加接口種類，并合理增加一些拓展接口。目前本系統(tǒng)在硬件上僅支持4路視頻源輸入，應(yīng)該在硬件上設(shè)計(jì)增加更多的視頻輸入接口數(shù)量，并對(duì)硬件進(jìn)行信號(hào)完整性驗(yàn)證。為了滿足用戶多樣化需求可以在現(xiàn)有的基礎(chǔ)上增加多樣視頻算法，并優(yōu)化系統(tǒng)的整體延時(shí)。