FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
$ g# f7 A* U$ b# {CameraLink協(xié)議
6 P) v8 V4 q: L) t1 W" f
! x# T. C) `+ GCameraLink協(xié)議是一種專門針對機(jī)器視覺應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對差分信號線，其中4對用于并行傳輸相機(jī)控制信號，另外2對用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。
( i% t. `# E6 S' j; c+ u8 b
2 _2 U; m. n8 W' N8 ^' OCameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個(gè)端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時(shí)鐘頻率最大為85MHz。

- L! R4 {5 Z2 e  w8 ^. r
​

: B/ T2 V3 m% }8 i$ Q圖1
5 I" h" P3 `: y' Q# Z
CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

/ H$ G0 @/ M4 C采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實(shí)現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時(shí)實(shí)現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實(shí)時(shí)處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實(shí)用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
$ Q$ z6 |7 ?$ W0 V7 P& `% _2 c
​
- S8 Q. j4 @: C; O9 |) L9 [
$ z# w% \2 k4 C7 c/ _圖2

創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實(shí)現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
0 `1 v7 |, H% Y8 W! l! |0 V
1 硬件平臺
本文基于創(chuàng)龍科技TLK7-EVM評估板進(jìn)行演示。
% R0 w& v4 C- S; b
TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計(jì)的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗(yàn)證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
  b3 X9 w/ h" N, e評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評估與技術(shù)預(yù)研。

​

圖3 TLK7-EVM評估板
4 v, R  E! ?2 b. d7 D2 F
7 R2 s: d* j+ _9 P+ F+ Q' G) p開發(fā)案例主要包括：
Ø CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
8 s5 `& z/ E$ J2 u0 `) @6 qØ AD9361軟件無線電案例
, x% N0 U+ }0 l- IØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例

案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點(diǎn)site.tronlong.com/pfdownload獲取。
' p/ t8 B6 T( J) ?9 x; l: y2 W# ^找廠家可申請TLK7-EVM評估板進(jìn)行快速評估，免費(fèi)哦！
0 f( |' P' L- {
2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。


​

圖6 程序功能框圖


( S! ~- g* `3 }" @5 P2 t$ O8 P& S3 案例演示
本案例支持三款CameraLink相機(jī)，具體說明如下。
* g, z; b& \8 _: P
' y$ I! T( U5 T- i

廠家 5 Y" q- J& b: m( J; }/ s% J	相機(jī)型號	支持模式	相機(jī)性能 ) l$ n: b) B: H
Microview （北京微視） ; j4 A4 V; j; A9 \! w	RS-A5241-CM107-S00 : S1 V1 b  \$ L, S. E/ ~! U- E/ [（黑白CameraLink相機(jī)）	Full ) ~: ^3 w9 F$ {6 [9 k+ z	全幅面2560*2048下，幀率可達(dá)107fps % i1 a1 J" K+ N( Q1 R2 @
		Base
	RS-A5241-CC107-S00 （彩色CameraLink相機(jī)） ; ~2 s4 |4 Z! f2 m/ e8 N% \5 F	Full	全幅面2560*2048下，幀率可達(dá)107fps
		Base
	MVC1381SAM-CL60-S00 （黑白CameraLink相機(jī)） 9 U9 ^$ ^" c9 X- j	Base	全幅面1280*1024下，幀率可達(dá)60fps ; P+ N1 e6 {7 r

Full模式硬件連接方法
( a2 S' Z5 K) A8 n  y6 Y1 {
如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
% V/ A0 @2 Z6 C- o$ k, k
將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
/ B8 f' \$ q$ p5 A6 I圖7
' N5 H; d. a0 ^+ N; j- a! R
Base模式硬件連接方法

如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
4 @5 e! S5 e! j+ X
將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
# z* p, E! i! |1 F, \5 j
+ T3 ?, Y+ {2 Y" T' a$ I+ }​
圖8
1 e6 w) g$ C# R6 H5 F

下面對三款不同型號的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。

( W; d6 Y" V7 {- V（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

4 O; }: \5 r; Y3 D: y請運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機(jī)型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
- k  h) ~9 o( c4 y2 {& u( A6 ]​
- H8 e" g1 D5 L圖9
: Y7 e: u, q7 w8 X* ]​
8 I$ t+ @' T) @. y圖10
4 U, s+ j6 X  {& F: N$ C
（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式

$ n! Y2 A, j+ ], J, [# [  Q, C$ F/ J請運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機(jī)型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
! F+ M* P2 ]4 \* H% [% l) a( R. b圖11
0 A- N% d* t9 [/ e2 b' r​
  P. W0 I# c' j( m$ Z, _8 ]9 y 圖12
備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。

（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式

請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機(jī)型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。

​
圖13
: a1 h" D9 d+ @4 ^​
圖14
! v3 L( L' K% L+ c
（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式
3 R6 e" s7 E1 b; r% N' N, W! [
請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機(jī)型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
: G, F- n% R0 T, K5 g+ x​
8 E' U0 S: L& B& z# i 圖15
​
4 @) Q- l1 W1 M0 e) P, X# M圖16

備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
! a* c* G: K3 w2 h
* Q: ~6 `' \2 Y6 ^7 p
+ H0 b/ o7 ^9 v8 F* P( I2 a" F（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式
6 f* v$ O( [) Y9 d* Y
$ F, h1 l, f, _- A1 i4 d請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機(jī)型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
+ r% H) |8 P: E) V圖17
# g% C* e2 ~  D- h4 E  l: m5 G​
圖18

. n2 J9 B3 D. B! w2 J: C
4 關(guān)鍵代碼(MicroBlaze)
MicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說明如下。
$ o% P; t' |5 O3 X* |+ k
$ C; e& m/ U' ^) w（1） main函數(shù)。

​
% [7 }" ~0 `" N9 ^
% a5 d% L$ p0 `1 c圖19
$ h8 P& \$ S  U' }3 Z8 |​
9 h4 c7 }2 P: S" Q
圖20
) s  H  N3 h8 a9 ?' i

​

& p7 _& g. h0 _6 ]+ _9 Z圖21
8 ~" k9 d) x9 N# t
& {# G! Y  c3 {# ]$ T% l" r（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。
# `3 c, r0 u+ M6 T" I' ^

, s$ T6 S. M: w0 I7 b6 L  B  s# ^1 _​

圖22
0 G  v& S- L$ o- L, N) X/ @+ d
# H& g/ e6 l1 D; W（3） 初始化Sil9022A。
2 h# x% `- }- B9 y5 ~

! i: o* v5 f/ _* ]​

  C$ E  L4 x) g  P1 h圖23

6 ?. R$ r$ Z6 n1 ~（4） 初始化AXIS Switch IP核。
( |4 _6 x6 b# C* x7 z
​
8 A. g( k) q( b! T* K$ J. h! } 圖24

: D! @- c; N: Q# c
初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。
, r+ J* U! e) e7 |

) t1 S' a$ k8 \3 Y1 i+ b$ Y​

7 t, p) ?' T5 f' {* m4 a/ g' I圖25
# D* E  m+ U! X& ?# w. ^
（5） 初始化Video Mixer IP核。

​
8 ~+ O1 @' j7 ]* j& O% `2 k8 f 圖26
% x0 D- [9 s0 L8 Q* v

備注：關(guān)于Vivado工程說明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。


6 更多推薦
新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
2 k% G% T9 j# t9 w" B+ d& M8 |
' U; g3 @( @" M& J5 M​

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

大家互相學(xué)習(xí)和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
% {2 K; |8 u" I