視覺(jué)AI MPU-高算力、低功耗、實(shí)時(shí)性常見(jiàn)問(wèn)題

嵌入式專欄

轉(zhuǎn)自 | 瑞薩嵌入式小百科

之前由瑞薩主辦了關(guān)于“瑞薩RZ/V2H視覺(jué)AI MPU-高算力、低功耗、實(shí)時(shí)性”在線研討會(huì)。然后今天分享一下視覺(jué)AI MPU-高算力、低功耗、實(shí)時(shí)性常見(jiàn)的問(wèn)題。Q1
RZ/V2H高算力主要體現(xiàn)在哪些方面?
集成四核Arm? Cortex?-A55 （1.8GHz） Linux處理器以及瑞薩自有DRP-AI3加速器，提供高達(dá)8 TOPS（dense模型）/80 TOPS（sparse模型）的AI推理能力。

Q2
RZ/V2H如何兼顧低功耗和高性能呢？
瑞薩利用自己的DRP核心IP做AI的運(yùn)算。實(shí)現(xiàn)8 TOPS（dense模型）/80 TOPS（sparse模型）AI算力以及10 TOPS/W的高能效。

軟、硬結(jié)合系統(tǒng)性地實(shí)現(xiàn)AI模型的高算力和低功耗

模型量化：從傳統(tǒng)的16位浮點(diǎn)運(yùn)算更改為8位整數(shù)運(yùn)算

模型裁剪：采用靈活的N:M修剪方法AI系統(tǒng)架構(gòu)實(shí)現(xiàn)高功效

通過(guò)數(shù)據(jù)重用技術(shù)減少外部存儲(chǔ)器通信

使用輸入的零數(shù)據(jù)控制功耗

操作流程調(diào)度

Q3
Sparse和dense模型是有什么區(qū)別？
Dense是稠密算法，通常來(lái)講大部分原生模型都是Dense類型，它的模型參數(shù)較多，精度高，同時(shí)消耗較高的算力。Sparse是對(duì)原生模型進(jìn)行分支裁剪，將復(fù)雜模型進(jìn)行簡(jiǎn)化來(lái)減少模型參數(shù)，這樣可以在同樣算力的平臺(tái)上運(yùn)行Sparse模型來(lái)達(dá)到更高的幀率。用戶可以根據(jù)調(diào)節(jié)剪枝系數(shù)，來(lái)滿足對(duì)幀率和精度綜合要求。

Q4
RZ/V2H相關(guān)資料在哪里查閱?
RZ/V2H已量產(chǎn)上市，在RZ/V2H主頁(yè)可以獲得產(chǎn)品介紹、用戶手冊(cè)、開(kāi)發(fā)板及開(kāi)發(fā)板設(shè)計(jì)、軟件及開(kāi)發(fā)工具以及相關(guān)視頻培訓(xùn)等內(nèi)容。

RZ/V2H產(chǎn)品頁(yè)：
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2h-quad-core-vision-ai-mpu-drp-ai3-accelerator-and-high-performance-real-time-processor
Renesas RZ/V AI應(yīng)用網(wǎng)站https://renesas-rz.github.io/rzv_ai_sdk/latest/Q5
使用DRP-AI進(jìn)行開(kāi)發(fā)需要哪些軟件工具和環(huán)境資源？
瑞薩提供全套開(kāi)發(fā)的AI SDK軟件包，AI開(kāi)發(fā)工具及AI應(yīng)用一站式網(wǎng)站，即使是AI剛?cè)腴T的用戶，也可以利用AI應(yīng)用一站式網(wǎng)站提供的資源和指導(dǎo)來(lái)開(kāi)發(fā)相應(yīng)的AI應(yīng)用。

RZ/V2H AI Software Development Kit
https://www.renesas.cn/cn/zh/software-tool/rzv2h-ai-software-development-kit

AI開(kāi)發(fā)工具
1
DRP-AI Translator
DRP-AI Translator i8
https://www.renesas.cn/cn/zh/software-tool/drp-ai-translator-i8

經(jīng)過(guò)調(diào)整以最大限度地提高DRP-AI性能的工具

AI模型的所有操作都可以由DRP-AI執(zhí)行，從而實(shí)現(xiàn)高速性能，并降低CPU負(fù)載
2
DRP-AI TVM
github - renesas-rz - rzv_drp-ai_tvm
https://github.com/renesas-rz/rzv_drp-ai_tvm

支持多個(gè)AI框架（ONNX、PyTorch、TensorFlow等）

此外，它還支持與CPU一起運(yùn)行，從而可以運(yùn)行更多的AI模型
3
DRP-AI EXTENSION（支持V2H）
DRP-AI Extension Pack (Pruning Tool)
https://www.renesas.cn/cn/zh/software-tool/drp-ai-extension-pack-pruning-tool

DRP-AI擴(kuò)展包，用于在AI模型訓(xùn)練環(huán)境中創(chuàng)建稀疏模型

瑞薩電子提供豐富的AI應(yīng)用一站式網(wǎng)站指南。在這網(wǎng)站內(nèi)，易于查找和獲取所需的AI應(yīng)用程序以及免費(fèi)的預(yù)訓(xùn)練庫(kù)資源。
Renesas RZ/V AI應(yīng)用網(wǎng)站
https://renesas-rz.github.io/rzv_ai_sdk/latest/

------------ END ------------


單片機(jī)和PHY芯片連接時(shí)的注意事項(xiàng)


瑞薩RA8系列教程 | RA8輸出PWM實(shí)現(xiàn)方法


Cortex-M3與M85單片機(jī)的SysTick使用上有區(qū)別嗎？