处理未结构化的数据与树莓派AI工具包 — Hailo 边缘AI (Hailo Edge AI)

未结构化数据处理, Raspberry Pi 5, Raspberry Pi AI套件, Milvus, Zilliz, 数据, 图像, 计算机视觉, 深度学习, Python.

在边缘设备中实时检测、显示并保存摄像头流中的图像

即使预算不多，你也可以借助像 Raspberry Pi 5（配备 8GB 内存）和 NVIDIA Jetson Orin Nano 这样的设备开始构建一些边缘 AI 应用场景。最近 Raspberry Pi AI Kit 为 RPI5 平台发布了，所以我买了一个来试试看。

AI Kit 添加了一个AI加速器，每秒13万亿次操作的性能（TOPS），对于70美元来说性价比很高。附在这个 M.2 帽上的 Hailo-8L M.2 入门级加速器将为我们提供强大的AI能力。

在第一个演示中，我修改了一个提供的Raspberry Pi 5 Hailo AI Python示例（简称RPI5），以在实时摄像头图像上进行检测，並將检测结果发送到Slack频道，更为重要的是将带有元数据的检测结果向量化并存入Milvus。

使用来自logi的USB摄像头

在 Raspberry Pi 5 上实时运行

我们使用了Hailo提供的RPI5对象检测程序示例，并对其进行改进，以便将其发送到Slack、MinIO和Milvus。

所以使用了示例对象检测程序，但首先我添加了一些导入项，用于Slack、Milvus、S3、TIMM、Scikit-learn、PyTorch和UUID的库。我还设置了一些常量以备后用。然后我们连接到Milvus服务器和Slack频道，然后开始GStreamer循环。我设置了一个时间检查点，如果有检测到的内容，我会将摄像头帧保存到文件中，并将文件上传到S3，同时发送到我的Slack频道。最后，我添加了图像向量及其S3路径、文件名、标签和置信度等重要元数据。每个条目都会自动生成一个ID。

我们的影像已上传到 MinIO 服务器。

他们也被我们通过短信通知发送到了我们的话题为#reports的Slack频道。

最重要的是，我们的数据标签和数据向量已经上传，现在就可以进行极快的搜索。

ATTU 浏览集

我们现在可以开始玩转这些向量了，我将通过一个Jupyter notebook演示具体操作。

查数据库并显示图片

Jupyter Notebook 用于查询数据库的工具

我已经录下了这个演示的运行，你可以看到实际的运行情况。

若你得到一个并想设置它来模仿我的演示，请参考本文结尾提供的步骤。

打包示例清单

MinIO / S3, Milvus, Slack, Python, Boto3, OpenCV2, Pytorch, Sci-Kit Learn, TIMM, Hailo, YOLOv6，物体检测，Raspberry Pi AI Kit，8GB RAM的Raspberry Pi 5，Logi的摄像头，resnet34，Torchvision，PyMilvus，Hailo8L M.2模块（M.2 M-Key 帽），散热器。

开始

这样一来，在添加了硬件（请参考下面的视频和链接）之后，安装所需的库，重启，你就可以开始了。

    tspann@five:/opt/demo $   
    hailortcli fw-control identify  

    在设备上执行操作: 0000:01:00.0  
    识别板卡  
    控制协议版本: 2  
    固件版本: 4.17.0 (发布,应用,扩展上下文切换缓冲)  
    日志版本: 0  
    板卡型号: Hailo-8  
    设备架构: HAILO8L  
    序列号: HLDDLBB241601635  
    部件编号: HM21LB1C2LAE  
    产品名称: HAILO-8L AI ACC M.2 B+M KEY MODULE EXT TMP  

    tspann@five:/opt/demo $   
    dmesg | grep -i hailo  

    [    .155152] hailo: 初始化模块，驱动程序版本为 4.17.0  
    [    3.155295] hailo 0000:01:00.0: 在 1e60:2864 进行探测...  
    [    3.155301] hailo 0000:01:00.0: 分配设备扩展内存 11600  
    [    3.155321] hailo 0000:01:00.0: 将设备从 0000 启用至 0002  
    [    3.155327] hailo 0000:01:00.0: 设备已启用  
    [    3.155350] hailo 0000:01:00.0: 映射 bar 0 为 0000000095e362ea，大小为 16384  
    [    3.155357] hailo 0000:01:00.0: 映射 bar 2 为 000000005e2b2b7e，大小为 4096  
    [    3.155362] hailo 0000:01:00.0: 映射 bar 4 为 000000008db50d03，大小为 16384  
    [    3.155365] hailo 0000:01:00.0: 强制设置 max_desc_page_size 为 4096 (推荐值为 16384 字节)  
    [    3.155375] hailo 0000:01:00.0: 启用 64 位 DMA 功能  
    [    3.155378] hailo 0000:01:00.0: 使用用户空间分配的 vdma 缓冲区  
    [    3.155382] hailo 0000:01:00.0: 禁用 ASPM L0s 模式  
    [    3.155385] hailo 0000:01:00.0: ASPM L0s 模式已成功禁用  
    [    3.417111] hailo 0000:01:00.0: 固件加载成功  
    [    3.427885] hailo 0000:01:00.0: 添加板卡 1e60-2864 至 /dev/hailo0

代码示例 GitHub - hailo-ai/hailo-rpi5-examples通过在GitHub上创建一个账户，您可以为hailo-ai/hailo-rpi5-examples项目贡献。

模型仓库 Hailo Model Zoo/docs/public_models/HAILO8L at master · hailo-ai/hailo_model_zoo包含预训练模型和完整的构建与评估环境……github.com

视频游览

额外的命令

    gst-inspect-1.0 hailotools . （检查hailotools插件）
    lspci | grep Hailo . （查找Hailo相关设备信息）
    uname -a . （显示系统信息）
    v4l2-ctl --list-formats-ext -d /dev/video0 . （列出视频设备的格式信息）
    ls /dev/video* . （列出所有视频设备）
    ffplay -f v4l2 /dev/video0 . （播放视频设备的视频流）

资源站 安装说明 - hailo-rpi5-examples/doc/install-raspberry-pi5.md 在 hailo-ai/hailo-rpi5-examples 项目的主要分支中贡献代码 开始使用RPI5-Hailo8L大家好，今天欢迎来到Hailo社区！这个帖子旨在帮助您开始使用Hailo，并指导您……community.hailo.ai

https://www.raspberrypi.com/products/ai-kit/ (树莓派 AI套件主页 Shùměipài AI Tàojiàn zhǔmiàn)

https://www.raspberrypi.com/documentation/accessories/ai-kit.html

请在评论区留言告诉我你是否喜欢你看到的内容，我怎样才能做得更好，我接下来应该展示什么内容？谢谢，希望很快能在普林斯顿、费城、纽约市这些地方或 YouTube 上见到你。

来吧 Milvused！

向量数据库 — Milvus，Milvus 是一个强大的向量数据库，专为处理和搜索大量向量数据而设计。它在这一点上表现出色。了解更多详情请访问：milvus.io

每周别忘了看我的周报（Newsletter）！

AIM周报 2024年6月17日 周日 medium.com

为了了解更多关于非结构化数据、AI和向量数据库的精彩视频，请点击这里观看Milvus向量数据库的相关视频。

Zilliz 是一家领先的 AI 向量数据库公司。由创建 Milvus 的工程师打造...www.youtube.com x.com编辑x.com x.com编辑x.com

点击这里查看Zilliz的LinkedIn公司页面: https://www.linkedin.com/company/zilliz/

https://www.linkedin.com/in/timothyspann/

快来加入！加入Milvus的Discord服务器！来Milvus的Discord社区看看，和1734位其他成员一起聊天，享受免费的语音和文字聊天。

https://milvusio.medium.com"米尔维斯IO的Medium博客"

开放源代码向量数据库www.opensourcevectordb.cloud GitHub - hailo-ai/tappas: 高性能、优化的预训练AI应用模板……适用于使用Hailo设备的系统……github.com Hailo 社区 Topic 回复 查看 网络编译器 Raspberry Pi 用户的可用性 嗨，大家好，我们有…community.hailo.ai GitHub - hailo-ai/hailort: 一个基于Hailo设备的轻量级高性能推理框架 - hailo-ai/hailort 专为边缘设备设计的顶级性能AI处理器Hailo开发了专为边缘设备设计的顶级性能AI处理器。我们的AI加速器芯片广泛应用于智能…hailo.ai 使用USB摄像头作为输入时，原本运行速度很快的管道现在变慢了……讨论来自community.hailo.ai](https://community.hailo.ai/t/pipelines-using-usb-camera-are-running-with-very-low-fps/69/2?source=post_page-----c959dd7fff47--------------------------------) [如何开始使用RPI5-Hailo8L]大家好，欢迎来到Hailo社区！本贴旨在帮助您开始使用Hailo并指导您……community.hailo.ai](https://community.hailo.ai/t/getting-started-with-rpi5-hailo8l/740?source=post_page-----c959dd7fff47--------------------------------) 搭载Hailo-8L的Raspberry Pi 5 预期性能概览以下表格展示了针对流行AI模型和任务（如物体检测等）的性能基准测试结果…community.hailo.ai

Note: The ellipsis and the text following it should be removed as per the expert suggestions, so the correct translation should actually be:

搭载Hailo-8L的Raspberry Pi 5 预期性能概览以下表格展示了针对流行AI模型和任务（如物体检测等）的性能基准测试结果 GitHub - hailo-ai/hailo_model_zoo: Hailo 模型动物园包含了预训练的模型以及一套完整的构建与评估环境，这是一个开源项目……github.com hailo_model_zoo/docs/public_models/HAILO8L/HAILO8l_face_detection.rst at master ·…Hailo Model Zoo 包含预训练模型和完整的构建与评估环境 更多详情请参见…github.com