FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
# [* k3 m2 ]2 {5 d9 X. }" q  B" o- ^CameraLink協(xié)議
5 L0 W$ n1 c. [9 R0 j* `5 n/ U
CameraLink協(xié)議是一種專門針對機器視覺應用領域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進行數(shù)據(jù)的傳輸和通信。CameraLink標準是在ChannelLink標準的基礎上多加了6對差分信號線，其中4對用于并行傳輸相機控制信號，另外2對用于相機和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。

0 `$ z  |3 {" n) m0 ^CameraLink標準的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標準的規(guī)定標準時鐘頻率最大為85MHz。
8 \2 Q% x  \  P3 n3 m
* S5 H2 v1 q8 E* W5 F) X! v
​
" L  M. l1 a6 G% ]! E- y. w0 p
) R" Z+ u* d9 ?8 }圖1

/ z; ~) t1 T# D2 S9 mCameraLink + FPGA架構視頻采集系統(tǒng)
% T% Y$ n2 G5 w8 M% Q; k
采用CameraLink + FPGA架構的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實時處理、輸出等。該架構系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強的通用性、實用性和擴展性，靈活性也大大增強。CameraLink技術現(xiàn)已廣泛應用于航空航天、軍事、醫(yī)療、交通等領域。
4 `  `, d0 m4 l. _8 O1 h
​

- Q7 H8 G" Q# a; z圖2

; |' ~5 O/ w( n5 @! \9 I創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
3 d* w0 {, m1 Z- d
. L- E5 ?: m! j3 h1 z1 硬件平臺
本文基于創(chuàng)龍科技TLK7-EVM評估板進行演示。
% p, g& x% n" \" S0 j1 _
5 n6 x8 o% l$ B3 ^+ S$ Y6 \TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設計的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應用環(huán)境。
( Y7 j( w% {1 Q0 R* n評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進行產(chǎn)品方案評估與技術預研。

​

: b1 p) d7 b  L1 q圖3 TLK7-EVM評估板

& y# j; l: {" {2 A" N- X  [% A開發(fā)案例主要包括：
Ø CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
1 ~0 ]' h5 z" ^4 {Ø AD9361軟件無線電案例
6 ]" Y3 F0 r& [0 z! t% ?: MØ UDP(10G)光口通信案例
- x/ x1 d1 l5 W7 v. P# x& h9 t# QØ UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例

案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點site.tronlong.com/pfdownload獲取。
找廠家可申請TLK7-EVM評估板進行快速評估，免費哦！
% ^* p/ x9 W/ p1 e/ ]
$ `# ^9 A4 m, m* v0 L2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進行輸出。

( P+ v+ O$ n1 r4 ]; w! q9 W4 Q
​
+ U2 s( l% q/ P; @
% `* i8 b; H3 J5 P6 f圖6 程序功能框圖


3 案例演示
本案例支持三款CameraLink相機，具體說明如下。
  x9 ^; S5 A% u  n
: K2 y* E# w2 B; W7 Z3 x- ]3 h

廠家	相機型號 ' |2 a; N! `- p7 X9 I	支持模式	相機性能 . Q+ D1 ~, E% l8 R1 m+ u) D4 j
Microview 0 N0 H8 Y# T8 R（北京微視） 3 o2 O& n; B7 ?) w( V	RS-A5241-CM107-S00 & R' Q# i' c  I% v5 `4 @（黑白CameraLink相機）	Full , ^: k3 ]. J2 Q. B0 l7 P' |9 A	全幅面2560*2048下，幀率可達107fps $ W& ^2 r( H, R! x& X* j
		Base
	RS-A5241-CC107-S00 （彩色CameraLink相機）	Full % e6 }. c: W0 W! ^! M2 {" R. p7 f	全幅面2560*2048下，幀率可達107fps $ M' T8 B1 C2 f
		Base
	MVC1381SAM-CL60-S00 （黑白CameraLink相機） - ^/ `7 [/ [% P1 A- c1 J2 x	Base / }7 T: c0 N) a- ~* I' m& o9 \	全幅面1280*1024下，幀率可達60fps

Full模式硬件連接方法

  U: S. c  c: d" f  I) n  E" @如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
2 U0 ^) B! v- b2 z
將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
: S* O2 [2 p+ p# l3 y1 Y0 e( `​
4 Y/ C) ?$ E( F# o) `圖7
. \# y2 u. c* q6 m
Base模式硬件連接方法

如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
, ?! L) j; T# O! m) x! C
$ K, v0 t! |  D: o3 f) s​
, @: _9 n' ]4 L, i$ u圖8


0 G1 q% t9 V6 [; X5 k* s  ^* i下面對三款不同型號的CameraLink相機在Full/Base模式下的操作進行演示。
* X+ ^8 {* @5 a9 g/ y
( G2 Q" y2 X. J5 K+ M% Z（1） 黑白CameraLink相機RS-A5241-CM107-S00，F(xiàn)ull模式

請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
& ^& X+ J- a( \6 o圖9
; I; V: K+ L, l, p  B( x( e" S​
: u3 |9 V3 \& K, d, s5 Y' G7 c" q圖10

（2） 彩色CameraLink相機RS-A5241-CC107-S00，F(xiàn)ull模式

3 W4 R/ L7 i$ s  b" k2 U請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖11
​
. P0 ~) M! H; l: r. } 圖12
備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。

（3） 黑白CameraLink相機RS-A5241-CM107-S00，Base模式
8 ?, E$ X" I3 ^8 Y/ [/ T2 G9 I! }
0 [8 F9 p! v' b" G+ m5 M' ^' [請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。

' q4 T  S4 |* }' u* \6 u​
圖13
( f5 A# L* s, _  M​
圖14
2 \' g# w. Y: a; I8 v
! h' E/ W% I) u0 l1 [（4） CameraLink相機RS-A5241-CC107-S00，Base模式

請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
9 a, B; x0 V  |6 W: \​
圖15
) C% s; Y# a$ z$ q9 B​
7 o" _- N% O) b8 ]. H: h圖16

備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
( j* r8 d0 L- e3 a$ m

（5） 黑白CameraLink相機MVC1381SAM-CL60-S00，Base模式

請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
' V- `5 Y! U# i, y/ S+ I​
圖17
* l+ r; p/ x6 i% x​
圖18
  u9 q, B: E2 m  [

' m5 Y( Y, g+ b( i6 ]" V. \4 關鍵代碼(MicroBlaze)
MicroBlaze裸機源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關鍵代碼說明如下。

（1） main函數(shù)。
! B7 A" T8 k# i6 E( B1 _
! k- k( l7 O) Z% c+ r​

. z* \5 B4 p1 ]" c# ~7 @+ G圖19
) |1 L' z% Q8 g; S4 h  e" R​

7 h& o# c0 l- C, U  ^圖20


6 s5 d8 s+ j% X' J5 I( I​

: X! o. g7 Z9 D$ E  Z- G圖21

, d: Q& u- E/ d! B& O) P$ R- s（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進行HDMI視頻輸出。

0 H* `/ I9 \! e; ]; B
0 L* U* h5 U8 a, C) K​

圖22

（3） 初始化Sil9022A。

& }" r+ c$ m; Z0 @* j/ t* a% H0 z
​
# S# D3 `, Z( H/ J2 u: r9 U9 J
/ E9 E5 a. p( _) @7 {1 b圖23

  L' K: o- c4 C+ H. u  l（4） 初始化AXIS Switch IP核。
' |7 a7 u. {& Y
9 z. ]3 ?2 U- e7 B8 R​
% x6 V# o( R3 E 圖24
8 l& i/ ~8 c$ I

初始化Sensor Demosaic IP核，以將彩色CameraLink相機的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。


​
, |& ]4 u! k) j7 t5 w
圖25
- J  \0 _2 W$ Y" u4 C% W
3 g7 h% l3 o$ I（5） 初始化Video Mixer IP核。

​
& L. n2 j2 r/ _4 c& B9 ^  w 圖26

7 l5 c6 Q( D7 E( A+ {
2 O/ R7 ~) l4 q1 u8 \9 c5 H備注：關于Vivado工程說明及模塊/IP配置詳細內(nèi)容，可下載產(chǎn)品資料進行查看。

; O9 K/ d: W( k/ p6 F
- J1 q5 a/ `1 m, A, J3 t  Y3 \6 更多推薦
新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

​

9 o/ I: R% i! n. ^

lyl

很好的資料，好好的學習學習

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學習學習

8 C1 {7 u4 I8 ?8 \0 c大家互相學習和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666

hebinbin

很好的資料，好好的學習學習

ispy520

很好的資料，多多學習