FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

1 K5 ]8 Z( T# _0 U% d' W: b; V- @前言
CameraLink協(xié)議
" ?6 l* o6 Y9 ?1 \& }* F! l
$ f$ R! X, N- y% F( ^" D2 u& JCameraLink協(xié)議是一種專門針對機器視覺應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對差分信號線，其中4對用于并行傳輸相機控制信號，另外2對用于相機和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。
$ C9 H1 U. |4 X- f
CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時鐘頻率最大為85MHz。


: ]: X9 k* D! n& f" S5 [4 W0 @​
. b0 c# d: C; O
圖1
3 U8 n8 I2 z9 o$ w( s
CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實時處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強的通用性、實用性和擴(kuò)展性，靈活性也大大增強。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
6 ]* p4 ]0 z# v  a; p9 Y
1 g( C, u7 T. J/ [' b​

圖2
3 {8 M/ @  A2 |+ E. N
創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
8 }& B) I6 |- f4 O3 W  o+ F
1 硬件平臺
4 [* M; e+ [; `. W) x本文基于創(chuàng)龍科技TLK7-EVM評估板進(jìn)行演示。
- q1 l, W2 o( d4 c+ v$ r; Z
: ^/ m* ^9 R% R* gTLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
! |8 g; z: S5 d- U! m評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評估與技術(shù)預(yù)研。

: q3 Z( P3 F! y6 \​

圖3 TLK7-EVM評估板
8 Y5 [( v! X, X+ }) R& n% n
開發(fā)案例主要包括：
: J* R; h; p2 f5 T% oØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
$ a1 `5 A8 z% e3 L' W( F5 u! e( |, UØ AD9361軟件無線電案例
& W. \2 k3 C# j6 D  uØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
* [# O7 [. x% ~' L6 H% |Ø Aurora光口通信案例
$ u' t  Y. |% L8 h) S. VØ PCIe通信案例

; C8 a/ m5 v; M! a) f2 ]" N案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點site.tronlong.com/pfdownload獲取。
5 w0 O+ m- E" r; Y, c7 D找廠家可申請TLK7-EVM評估板進(jìn)行快速評估，免費哦！

2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。
; o+ _) ?9 S5 k$ x: K, R
) b8 T8 Y" K/ T  P0 p, o
​

圖6 程序功能框圖
4 r  P$ j7 P4 k, x! e. n

3 案例演示
' Q& }- I' e0 n本案例支持三款CameraLink相機，具體說明如下。

3 r% Q" P/ U* J" g8 }/ X4 C

廠家	相機型號 ! R/ [" Y/ R; F; _	支持模式 % I# k& {$ T3 [6 z( [+ b	相機性能 # h8 j1 Z5 X0 X/ p, ~6 g* E& R3 x( o
Microview / y0 [7 \+ U9 m3 I2 h3 K（北京微視）	RS-A5241-CM107-S00 （黑白CameraLink相機）	Full : {$ s' c, q1 n9 K6 G	全幅面2560*2048下，幀率可達(dá)107fps + ]# j6 @4 ^' E2 F% ~& l/ Q/ Z/ h
		Base : t9 u- E+ f0 o: g
	RS-A5241-CC107-S00 （彩色CameraLink相機） 6 G1 e7 m" ^( G: H* C* }/ C	Full 1 w# @. }% `) Q4 j6 D* B9 R1 \	全幅面2560*2048下，幀率可達(dá)107fps
		Base
	MVC1381SAM-CL60-S00 : m5 [% a" H/ r（黑白CameraLink相機） 7 e- {! x: ]6 y1 b& w	Base , t2 T5 Q5 g' E/ V: F	全幅面1280*1024下，幀率可達(dá)60fps

Full模式硬件連接方法

如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
6 Z6 H# M2 A+ v! I! S$ q7 O  G
! D3 ^) N$ z. a2 v+ b2 g, u( {將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
  A' y* W4 h4 o5 Q0 P- `​
圖7
6 A2 K/ p, i2 g& c: E  a  Z
3 ?' l# Z9 X# k$ Z& g, ~Base模式硬件連接方法

9 e: M" F" H: J) [' X6 J* W如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
9 p% f% X! O6 h6 R3 ^
  ~. A9 c8 a5 X​
圖8
/ \0 r3 T: X6 T: h  o) @
5 u# ^: q+ K+ d# _( S' z# K% B
0 B! T% O  e  W+ \0 L下面對三款不同型號的CameraLink相機在Full/Base模式下的操作進(jìn)行演示。
- y+ B( M" e/ p  t
" O( U0 r! U6 n9 k3 y（1） 黑白CameraLink相機RS-A5241-CM107-S00，F(xiàn)ull模式
3 _3 k4 `$ |' G  ~
請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
* |% B- r! S& Y7 j9 u+ P" L$ O​
3 a9 }0 a; \6 m4 H& h" L7 j; E圖9
​
4 H$ l: ?9 d/ H" w圖10
9 ^1 i7 i; m* `$ s3 z  G
/ v3 U* y! a/ T! \5 n6 V（2） 彩色CameraLink相機RS-A5241-CC107-S00，F(xiàn)ull模式
8 U% n* X" X/ C( e
) b% d- c1 @$ C( ~請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
& f+ w5 J' m# U' ~; P- X0 W, @​
- l* B: u) G( }圖11
​
圖12
備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。

4 z/ @9 J( `8 ^7 t0 C（3） 黑白CameraLink相機RS-A5241-CM107-S00，Base模式
) J8 [: C! e7 |0 J( J! U7 ]1 g
% ]3 _. r( P& y# b請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。

​
圖13
4 E) j' \- L9 Z4 i( D) r) E; _7 B​
' O( ^& D, A& e9 R: E圖14
" S; ~7 i, y( m6 Q" a! @' a
（4） CameraLink相機RS-A5241-CC107-S00，Base模式

4 D6 f& y) K+ I, B% ~& J/ m- d請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
! I9 {3 g& W. ^  A. x2 _​
# u' N8 \, W8 X& N  x% x圖16

& o* d' T4 \6 A* }+ ?: x' Q% L備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
2 L# Z7 r5 L$ b( ?8 g, Q

（5） 黑白CameraLink相機MVC1381SAM-CL60-S00，Base模式
' U# [/ }; `+ `, r  h2 J6 ^5 h0 J: C
請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
* ]+ ^9 S& U4 T, j% y" m​
# b% V$ Q- d3 Z6 E圖17
​
圖18
& G( K; ?5 z+ s
7 }4 w6 b' N2 ]3 K, i7 X9 ~
/ B% O4 h. o2 f6 T: L! @7 E4 關(guān)鍵代碼(MicroBlaze)
- I* k- r# ~/ i! S0 ~; _MicroBlaze裸機源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說明如下。
; B1 U/ v, w; W+ H9 D
（1） main函數(shù)。

3 P- A' ?4 N: y6 Y% @​
7 B; V" N8 M4 r+ _9 W2 u
圖19
​
2 c0 I5 R0 u& ~
( \7 S% O9 O# j圖20


​

2 V( Y+ V: f- g$ a* Z# \' w圖21
$ e8 t2 f* C; }% D; x- O- Y: @
（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。

' F* d1 K  d2 J
) y2 I8 p! P/ O0 p+ k2 D​

圖22
* F' E& s. X5 O# r
* N. t% m, a: v* I6 w5 W, J（3） 初始化Sil9022A。


+ v% {- v! O  L5 t3 N% n& \6 \​

圖23

（4） 初始化AXIS Switch IP核。
# l, `$ s9 h+ A# ?: T
3 g+ P& T9 j" N8 Q% J% p7 _​
0 |1 F3 n% u( Y6 W  p 圖24
, e& X  E0 ^) h* _

初始化Sensor Demosaic IP核，以將彩色CameraLink相機的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。

2 Y% z1 e( O) Q# Y$ i
/ o+ p, y5 M6 N( B3 u' ^! ~4 Q​

, O$ i8 j. q( o圖25
* L# H6 W& d5 l3 k& e$ t
9 \* |# K+ @4 e8 F5 @  F: G3 I（5） 初始化Video Mixer IP核。
; @  f' l5 g2 |; N; C
​
# ]% n# u7 |3 X  [$ k; f' P 圖26

! A) |, m2 e: G& |+ I1 c
+ V' N1 A0 Z. M  {備注：關(guān)于Vivado工程說明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。

$ b: a! w8 m/ N, v9 i
6 L4 Z1 [  p8 r% Q* Q& O6 更多推薦
5 _" n' _  y$ k2 o新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
3 W% A1 }1 ]0 G6 J
​
3 J3 Z0 s! K( e7 p. \+ @
# Z7 q& b, d! n5 m

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
+ R4 n9 ]: R& I/ [; ^- E: a很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

大家互相學(xué)習(xí)和交流O(∩_∩)O哈！
; a5 q4 Y, }) _* f1 t: N

IZH

6666666666666666666666666666666666666
) \  s& _* b; c* Q9 ]

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
: |+ i# u3 i& H) V3 e