欢迎访问云渡桥财经网

迅为电子基于RK182X算力卡的多路视频事件分析与检索案例

频道:体育时讯 日期: 浏览:6366

摄像头天天在录,可出了事还得人盯回放——几路视频同时看不过来,事件靠人记、检索靠翻。想上AI分析,又得把视频传到云端,数据安全过不了关。

本期分享一个基于RK182X算力卡的multistream-event例程:四路视频硬件解码、目标检测、视觉语言理解、事件语义检索,全都在本地完成,数据不出设备。一张卡负责看和懂,另一张卡负责搜,开箱就能用。

方案背景

在智慧安防、智慧园区、智慧家居、养老看护等场景中,视频监控已经非常普遍,但“用起来”仍然困难:

看不过来:几路视频同时播放,人眼很难持续盯住每个画面;

记不住:出了事只能翻回放,事件靠人回忆、靠人记录;

搜不到:想找“快递员放包裹”的片段,只能按时间轴硬翻;

不敢上云:视频传云端做AI分析,数据安全与合规过不了关。

迅为基于RK3588主控 + 双RK182X算力卡平台,推出multistream-event例程:把“看、识、懂、搜”四大能力完整跑在本地。四路1080P视频硬件解码,YOLO持续检测目标,VLM自动理解事件并写入本地事件库,第二张算力卡负责语义检索——一句话就能找到想看的事件。视频数据全程不出设备。

方案架构

主控:RK3588负责四路视频采集、硬件解码、任务调度与Web服务

算力卡1:RK1828负责YOLO目标检测 + Qwen3-VL视觉语言理解,判断“正在发生什么事”

算力卡2:RK1828负责LLM embedding语义检索,把事件变成向量存入本地库

事件库:SQLite本地存储,含事件类型、置信度、中文摘要、视频片段起止时间

部署:deploy.sh一键部署,18082端口开箱即用;不联网、不上云,内网与保密场景可用

核心优势:四路硬解、目标检测、VLM事件理解、自然语言语义检索、双卡分工、全本地推理。

方案演示

1. 四路实时预览 + 目标检测

打开实时预览页,四路画面同屏呈现——门口、客厅、厨房、儿童房,每一路1080P硬件解码,稳定25帧,浏览器直接看,无需安装任何客户端。

每一路画面背后,YOLOv8n目标检测持续运行:快递员走进门口,系统和“人”“包裹”实时锁定;客厅里的猫同样在监测之中。检测不是目的,系统还要进一步弄明白——到底发生了什么事。

2. VLM事件理解 + 自动入库

9eea61d8-d9ba-11f1-8a4b-92fbcf53809c.png

算力卡上的Qwen3-VL-2B会结合检测目标和画面内容,自动判断“正在发生什么事”,并写入本地事件库。

实测事件列表:

门口画面:“快递员将包裹放置在门口”,置信度0.94;

客厅画面:“橘猫在食盆前进食”,置信度0.91;

人员从门外走出,记为“人员返回”,置信度0.94。

每条事件都有时间、通道、类型、置信度和中文摘要,还关联了视频片段的起止时间,可以随时跳回预览回看现场。不止看到,更能看懂——像一位24小时在岗的值班员,把每一路画面自动写成值班日志。

3. 语义检索:一句话找事件

事件多了怎么搜?用自然语言就行。

第二张RK1828算力卡专门跑语义检索模型,把每条事件变成向量,存进本地数据库。输入想找的内容,系统不是匹配关键词,而是理解语义,从几百条事件里把最相关的排到最前面。

比如输入“有人放包裹”“猫吃东西”,对应事件直接命中。素材再多,也能一句话搜出来。

4. 单卡也能用,双卡更完整

可能有朋友会问:只插一张卡怎么办?

没问题——看画面、做检测、记事件这些活儿,一张卡全包了,照样跑得好好的。想用语义检索,再加一张卡就行,即插即用,双卡分工协作。

方案价值

看:四路1080P硬解,单路25帧,浏览器直接看

识:YOLO目标检测,人、包裹、宠物持续锁定

懂:VLM自动理解事件,生成中文摘要与置信度

搜:自然语言语义检索,一句话找到事件

双卡分工:一张看识懂,一张做检索,即插即用

可回看:事件关联视频片段起止时间,一键跳回现场

全本地:不联网、不上云,数据不出设备,满足内网与保密场景

国产化:RK3588 + RK182X,自主可控,开箱即用

适用场景:智慧安防、智慧园区、智慧家居、养老看护、本地视频事件分析等。

关于RK182X算力卡

瑞芯微业界首款3D堆叠AI协处理器

20TOPS INT8算力,5GB板载显存

支持INT4/INT8/FP16,可运行7B级大模型

功耗低于5W,工作温度-40°C~85°C

M.2 2280标准形态,PCIe 2.0/USB 3.0接口

配套RKNN3工具链,PyTorch/ONNX一键转换

结语

本次分享的multistream-event例程,把看(四路硬解预览)、识(YOLO目标检测)、懂(VLM事件理解)、搜(语义检索)四大能力,完整跑在了RK3588 + 双RK1828算力卡上。视频数据全程本地处理——国产化、本地化、数据不出设备、开箱即用。

对于智慧安防、智慧园区、智慧家居、养老看护这类场景,这就是一个开箱即用的端侧AI视频平台。

如果您对RK182X算力卡的更多行业解决方案感兴趣,欢迎联系北京迅为电子,获取技术资料与开发支持。