![]() |
DvsenseDriver
1.3.0
The SDK for dvsense products.
|
语言:English
1.3.0 扩展融合相机接口并重构底层实现。DvsenseBase、DvsenseHal、DvsenseDriver 的共享库 SOVERSION 均由 1 升级为 2;ApsFrame 布局和 FusionCamera 虚函数接口发生变化。旧应用不能仅替换动态库继续使用:请配套安装新 SDK 与 Insight,并重新编译、链接所有自研 C++ 程序及扩展模块。
自定义 FusionCamera 子类需实现新增的 addSharedEventsStreamHandleCallback() 和 removeSharedEventsStreamHandleCallback()。只通过 DvsCameraManager::openFusionCamera() 使用 SDK 相机时,不必直接实例化具体相机类。
Ubuntu 当前支持 22.04/24.04 的 amd64、arm64;20.04 不再支持,26.04 支持即将加入。安装方法见 软件与SDK安装 。
getCameraDescs() 会更新设备列表。普通 DVSync 的 product 为 DVSync;机内 MIPI 设备为 DVSyncPro,接口类型为 INTERFACE_TYPE::MIPI。当前参考板使用逻辑序列号 DVSyncPro-MIPI-0,这不是设备存储的唯一硬件序列号。两类设备均使用 openFusionCamera(desc.serial)。
DVSyncCameraBase 承载公共融合逻辑,DVSyncCamera 负责 USB,DVSyncProCamera 负责机内 Linux MIPI/V4L2。Windows 安装包不会提供机内 MIPI 采集能力。参考板 DVSyncPro 的 start() 仅接受 FUSION_STREAM,DVS/APS 单独启动返回错误;APS Master 路径使用独立示例。
底层开发可参考 dvsense::DVSyncProInterface 和 dvsense::V4l2StreamConfig 。默认 V4L2、I2C、PWM 节点对应参考板,不能直接套用到任意 ARM 板卡。上位机 USB 接入和机内桌面/WebRTC 操作见 DVSyncPro(融视 Pro)快速入门 。
| 接口 | 数据生命周期 | 使用方式 |
|---|---|---|
| FusionCamera::addEventsStreamHandleCallback() | [begin, end) 仅在回调执行期间有效 | 回调内处理;异步使用前复制 |
| FusionCamera::addSharedEventsStreamHandleCallback() | 最后一个 shared_ptr 释放前有效 | 保留共享事件批次后转交工作线程 |
| DvsApsFusionProccessor::addFusionDataCallback() | APS 引用、DVS 指针仅在回调期间有效 | 即时处理匹配数据 |
| DvsApsFusionProccessor::addSharedFusionDataCallback() | DVS 缓冲区可继续持有;APS 引用仍限于回调期间 | 复制 ApsFrame 对象并保留事件 shared_ptr |
这些共享回调本身不会创建工作线程。回调仍应尽快返回;不要长期保留无限数量的事件缓冲区。共享不表示可以无锁修改数据,多消费者应将输入视为只读。
相机级共享事件回调通过其独立 ID 调用 removeSharedEventsStreamHandleCallback(id) 移除。融合处理器每类只保留一个回调;同时注册时先调用普通回调,再调用共享回调,removeFusionDataCallback() 会清除两者。
dvsense::ApsFrame 的复制构造和赋值共享像素存储,clone() 才执行深拷贝。新增构造函数接受 std::shared_ptr<std::vector<uint8_t>>,持有该缓冲区以延长像素生命周期;缓冲区必须非空且至少包含 width * height * 3 字节的连续 BGR888 数据,持有期间不要调整 vector 容量。
外部指针构造函数的 own_data=false 仅借用内存,不延长外部数据的有效期;own_data=true 会复制到内部存储,并不接管或释放输入指针。
DvsApsFusionProccessor::addApsData() 深拷贝图像。addSharedApsData() 只复制帧对象并共享存储;只有帧副本能维持存储有效时才适用,不能将即将失效的借用内存传入队列。
max_events_per_frame=0 表示不设事件数上限;正值会忽略该同步组的超额事件。latest_only=true 会丢弃旧队列数据,适合低延迟预览,不适合要求完整数据的处理。处理器按 FIFO 配对 APS 帧和由同步上升沿结束的 DVS 组,不是通用时间戳最近邻匹配器。
使用 addDvsData()、addSharedApsData()(或 addApsData())、addSyncSignal() 接入三个数据源。融合回调可能在 APS/同步信号输入函数返回前执行,且执行时持有队列互斥锁:不要在回调中调用 clear() 或再次向同一处理器输入 APS/同步信号;初始化注册应在启动取流之前完成。DVS 累积输入和回调变更需由调用方串行化,不能将处理器视为任意多线程调用均安全的对象。
Calibrator::mapApsToDvs() 保留原有返回新帧的用法。新增 mapApsToDvsBgr(src, dst, dst_size) 可将结果写入调用方复用的缓冲区:输出大小至少为标定参数 dvs_cols * dvs_rows * 3 字节,输入须匹配标定 APS 尺寸且为连续 BGR888;输出为 DVS 尺寸,图像外映射点置黑。空输出指针或输出容量不足返回 false。mapDvsToAps(begin, end) 原地更新事件坐标,并不返回图像。
Python 新增 DvsApsFusionProccessor.connect_camera(camera),在 C++ 内部连接事件、APS 和同步信号,返回的 DvsApsFusionConnection 必须持续持有。先调用 camera.stop() 停止采集,再调用 connection.disconnect() 移除连接。add_fusion_data_callback() 内部使用共享事件缓冲区,回调得到的 NumPy 事件数组通过 capsule 保持底层数据有效。
Calibrator.render_fusion(aps_frame, events) 在 C++ 中完成映射和事件叠加,计算期间释放 GIL。Python 不直接暴露上述 C++ 共享方法或 mapApsToDvsBgr(),不能将 C++ 方法名直接转换为 snake_case 调用。完整使用方式见 python/samples/dvsync_camera_sample.py。
dvsense_fusion_sync_viewer 兼容 DVSync 系列。Linux WebRTC 示例需 GStreamer、libsoup 3、json-glib 等额外依赖;APS Master 示例还依赖 Rockchip RKAIQ。源码构建选项分别是 BUILD_DVSYNCPRO_WEBRTC_VIEWER 和 BUILD_DVSYNCPRO_APS_MASTER_WEBRTC_VIEWER,默认关闭,需同时开启 BUILD_SAMPLES。开发包提供示例源码,默认的预编译 Samples 包不包含这两个可选程序。