“智元素-高级版”
配套的实验课程：《机器视觉与AI》、《机器视觉综合实践》、《人工智能综合实践》、《具身智能综合实践》。
对应的竞赛：两个白名单大赛的3个项目，及一个机器人竞赛指数榜单大赛的2个项目。
“智元素-高级版”是一款以人工智能技术应用为特色的轮式人形机器人，深度整合毁伤融合算法、体感交互、人脸识别、手势识别、目标识别及具身智能等多元前沿技术。配置运动控制（STM32）、行为处理（Arduino）、AI处理（瑞芯微RK3588S）三种不同层次的处理器，均可独立编程开发，支持Arduino、C、C++、Python等多种编程语言。运动性能强大，全向移动速度可达2m/s，具有航向和角速度双闭环，配置双4自由度机械手臂。采用Linux操作系统，支持嵌入式AI与Python视觉编程，在控制器上部署了深度学习框架，预置模型可实现目标检测、人脸识别、手势识别等关键视觉+AI应用。算法高度封装，使用者可通过简易Python代码调用API获取精准推理结果，也可调用预训练模型开展深度开发。可选配体感控制组件包，与机器人本体协作可做人机交互遥操作方面的人工智能应用，开展敏捷式人机交互和共融控制方向的学习和实践，是用于实践教学和竞赛的最佳的具身智能体之一。
配套的实验课程大纲如下:
|
Python智能硬件编程（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Python简介 |
了解智能硬件中的Python应用，了解为什么Python是机器人很重要的开发语言，使用vscode配置Python开发环境。 |
2 |
|
2 |
Python数据结构 |
在嵌入式AI处理器中，开发Python应用程序，学习Python中的变量，数组与数据类型。 |
2 |
|
3 |
Python运算符 |
在嵌入式AI处理器中，开发Python应用程序，学习Python中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
4 |
Python的控制结构 |
在嵌入式AI处理器中，开发Python应用程序，学习if-else，while等各类控制结构。 |
2 |
|
5 |
Python的函数与指针 |
在嵌入式AI处理器中，开发Python应用程序，学习并了解函数与指针。 |
2 |
|
6 |
Python的面向对象编程 |
在嵌入式AI处理器中，开发Python应用程序，学习并了解面向对象编程。 |
2 |
|
7 |
AI+硬件常用Python库 |
Python中机器人开发常用的标准库，如Numpy，MatPlotlib等知识，嵌入式AI处理器中开发案例调用标准库。 |
2 |
|
8 |
Python串口编程 |
了解Python的串口库pyserial，安装串口调试助手，了解Python如何调用系统中的串口，与Windows主机进行通信。 |
2 |
|
9 |
Python网络编程 |
了解Python的网络编程类socket，了解数据交换格式Json，安装网络调试助手，了解Python如何与Windows主机进行网络通信。 |
2 |
|
10 |
UI编程框架PyQt |
了解Python的UI编程架构PyQt，基于PyQt编写UI程序，查询嵌入式AI处理器信息。 |
2 |
|
11 |
环境管理工具Conda |
了解Python为什么要做环境隔离，在嵌入式AI处理器系统中安装并使用环境包管理工具Conda。 |
2 |
|
12 |
交互式开发工具Jupyter |
了解Jupyter开发工具，在嵌入式AI处理器系统中安装Jupyter并进行交互式Python开发与调试。 |
2 |
|
数字图像处理基础（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
OpenCV简介 |
了解数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV。 |
2 |
|
2 |
图像采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存。 |
2 |
|
3 |
图像生成 |
在嵌入式AI处理器中，开发OpenCV应用程序，生成图像，并对图像进行操作。 |
2 |
|
4 |
图像滤波 |
在嵌入式AI处理器中，开发OpenCV应用程序，实现图像的各种滤波操作。 |
2 |
|
5 |
图像变换 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的平移旋转缩放等各类操作。 |
2 |
|
6 |
图像特征提取 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的点特征和线特征提取。 |
2 |
|
7 |
图像的像素处理 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的像素计算。 |
2 |
|
8 |
图像颜色空间 |
了解灰度，RGB，HSV等各种颜色空间，并在嵌入式AI处理器中，开发OpenCV应用程序进行各类颜色空间转换。 |
2 |
|
9 |
形态学运算 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行对图像的腐蚀膨胀与开闭运算。 |
2 |
|
10 |
阈值处理与图像分割 |
了解图像二值化的原理，了解阈值分割的方法，在嵌入式AI处理器中开发程序基于图像像素颜色阈值进行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI处理器中开发程序实现多种特征匹配算法。 |
2 |
|
12 |
霍夫变换 |
了解霍夫变换算法原理，在嵌入式AI处理器中开发程序，基于霍夫变换提取出直线，线段，圆形特征。 |
2 |
|
机器视觉技术（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
图像采集 |
基于Python+OpenCV实现图像加载、保存，USB摄像头视频流获取，WEB视频流获取，摄像头图像录制，绘制圆形、方形、线条、文字等操作。 |
2 |
|
2 |
相机内参标定 |
理解相机成像模型，使用Python和OpenCV实现经典的张正友标定法相机标定。 |
2 |
|
3 |
机器人动作控制 |
了解Python如何通过串口控制移动机器人底盘，如何控制智元素做出对应预设动作，在嵌入式AI处理器中编写程序控制底盘移动。 |
2 |
|
4 |
双机械臂关节控制 |
了解双机械臂各关节的位置，在嵌入式AI处理器中编写程序控制双臂各关节，并作出整体动作。 |
2 |
|
5 |
二维码识别 |
了解如何使用Python和OpenCV的库检测定位二维码位置并识别二维码信息。 |
2 |
|
6 |
AprilTag检测与跟踪 |
了解AprilTag的原理，学习如何使用AprilTag定位物体信息，并实现智元素的AprilTag检测与跟踪。 |
2 |
|
7 |
颜色识别与跟随 |
HSV颜色空间、图像二值化、形态学运算等处理方法，基于Python+OpenCV实现颜色目标检测与分类，结合颜色识别实现颜色跟随。 |
2 |
|
8 |
形状识别 |
了解霍夫变换的原理，基于霍夫变换实现形状识别，结合形状识别实现特定形状的跟随。 |
2 |
|
9 |
视觉巡线 |
通过颜色重心法判断线条中心，基于视觉进行视觉巡线。 |
2 |
|
10 |
SVM行人检测 |
了解SVM支持状态机的原理，基于支持状态机识别行人并做出避让。 |
2 |
|
11 |
表盘读数 |
通过机器视觉算法提取仪表盘的指针终点与圆心，通过刻度分析当前仪表盘数值。 |
2 |
|
12 |
缺陷检测 |
基于颜色直方图的方法识别缺陷，判断完好物体与缺陷物体。 |
2 |
|
人工智能技术（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
视觉与AI框架简介 |
了解机器视觉的基本内容，了解最常用的数字图像处理库OpenCV，了解机器学习与深度学习的原理和通用框架。 |
2 |
|
2 |
Conda入门 |
了解Python下的环境配置架构Conda，学习如何通过Conda 管理各个功能环境，进行版本隔离。 |
2 |
|
3 |
Jupyter入门 |
了解交互式编程环境Jupyter NoteBook，如何在Jupyter中进行简单的Python开发与调试。 |
2 |
|
4 |
机器人动作控制 |
了解Python如何通过串口控制移动机器人底盘，如何控制智元素做出对应预设动作，在嵌入式AI处理器中编写程序控制底盘移动。 |
2 |
|
5 |
双机械臂关节控制 |
了解双机械臂各关节的位置，在嵌入式AI处理器中编写程序控制双臂各关节，并作出整体动作。 |
2 |
|
6 |
人脸识别 |
使用机器学习的Haar特征实现人脸检测识别，使用深度学习模型实现基于AI的人脸检测与识别，体验深度学习边缘计算的优势，开发基于人脸识别的考勤系统。 |
2 |
|
7 |
目标跟踪 |
使用机器学习KCF目标跟踪方法实现目标跟踪，使用深度学习实现目标跟踪，体验深度学习边缘计算的优势，开发基于目标跟踪的跟随机器人系统。 |
2 |
|
8 |
深度学习目标检测 |
基于Yolo-V5卷积神经网络模型，部署在AI处理器上，实现目标检测与分类，不同的物体智元素设备可做出对应的响应。 |
2 |
|
9 |
表情识别的人机交互 |
基于深度学习卷积神经网络模型，实现表情识别的人机交互系统，根据不同的表情，智元素可做出不同的对应动作。 |
2 |
|
10 |
手势识别的人机交互 |
使用MediaPipe实现手势识别，基于深度学习神经网络模型，实现手势识别的人机交互系统。体会不同类型深度学习算法的不同应用。 |
2 |
|
机器视觉综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
图像采集 |
基于Python+OpenCV实现图像加载、保存，USB摄像头视频流获取，WEB视频流获取，摄像头图像录制，绘制圆形、方形、线条、文字等操作。 |
2 |
|
2 |
机器人动作控制 |
了解Python如何通过串口控制移动机器人底盘，如何控制智元素做出对应预设动作，在嵌入式AI处理器中编写程序控制底盘移动。 |
2 |
|
3 |
双机械臂关节控制 |
了解双机械臂各关节的位置，在嵌入式AI处理器中编写程序控制双臂各关节，并作出整体动作。 |
2 |
|
4 |
灰度阵列调试 |
安装并配置好灰度阵列，实现可基于灰度阵列的重复定位。 |
2 |
|
5 |
AprilTag检测 |
了解AprilTag的原理，学习如何使用AprilTag定位物体信息，并实现AprilTag物块的抓取放置。 |
2 |
|
6 |
颜色识别与抓取放置 |
HSV颜色空间、图像二值化、形态学运算等处理方法，基于Python+OpenCV实现颜色目标检测与分类，结合颜色识别实现抓取分拣。 |
2 |
|
7 |
视觉巡线 |
通过颜色重心法判断线条中心，基于视觉进行视觉巡线。 |
2 |
|
8 |
灰度巡线 |
通过灰度阵列判断机器人与线条的偏移，编写控制程序进行灰度巡线。 |
2 |
|
9 |
单任务串联 |
串联上述任务，实现巡线到指定位置，通过AprilTag确定待抓取物体，定位抓取。 |
2 |
|
10 |
多任务串联 |
在完成了单个任务抓取后，通过多任务连续进行识别与抓取。 |
2 |
|
人工智能综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
人工智能与AI硬件 |
了解机器视觉与数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV，了解机器学习与深度学习，了解AI如何赋能智能硬件。 |
2 |
|
2 |
WSL2安装 |
在个人电脑上安装WSL2，配置Conda和Jupyter，配置VSCode开发环境，为后续实验打下基础。 |
2 |
|
3 |
Conda入门 |
了解Python下的环境配置架构Conda，学习如何通过Conda 管理各个功能环境，进行版本隔离。 |
2 |
|
4 |
Jupyter入门 |
了解交互式编程环境Jupyter NoteBook，如何在Jupyter中进行简单的Python开发与调试。 |
2 |
|
5 |
数据集采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存，采集数据集。 |
2 |
|
6 |
图像标注 |
在WSL2中安装Label-Studio，进行数据标注，生成Yolo格式的标注数据。 |
2 |
|
7 |
数据增强与数据集划分 |
了解为什么要进行数据增强，在Jupyter中进行数据增强，将增强的数据集划分为训练集和测试集。 |
2 |
|
8 |
模型训练 |
基于Yolo-V5模型，在Pytorch下训练卷积神经网络模型。 |
2 |
|
9 |
模型转化 |
将Pytorch训练出的pt模型转化为onnx中间模型，再转化为可硬件推理的rknn模型，边缘计算芯片可部署推理。 |
2 |
|
10 |
基于深度学习识别挑选武器 |
结合机械臂，实现挑选武器的案例，在武器库中通过AI识别出不同武器，并挑选出来。 |
2 |
|
具身智能综合实践（16课时） |
|||
|
课次 |
课程名称 |
内容 |
课时 |
|---|---|---|---|
|
1 |
基于python的硬件驱动控制 |
了解串口通信，实现基于Python驱动机器人动，底盘的移动，Python控制人形机器人关节运动等。 |
2 |
|
2 |
图像处理基础 |
了解视觉传感器，了解OpenCV视觉库，图像的保存与加载，在图像上绘制圆形，方形，线条、文字等信息，摄像头图像获取与保存。 |
2 |
|
3 |
基于颜色重心法的巡线功能 |
了解HSV颜色空间，图像二值化，形态学运算，联通阈提取等图像处理方法，基于Python+OpenCV实现对颜色的目标检测和分类，了解边缘检测算法与霍夫变换的原理，基于霍夫变换实现形状的识别。实现基于颜色形状识别的运动控制。实现基于颜色提取的视觉巡线功能。 |
2 |
|
4 |
人脸识别 |
实现基于深度学习模型的人脸识别，人脸特征提取，人脸向量匹配，识别并定位人脸。 |
2 |
|
5 |
人脸特征分析 |
实现基于DeepFace具身智能库，识别人脸的表情，年龄，性别，种族，并根据不同的特征做出不同的对应决策动作。 |
2 |
|
6 |
具身环境交互 |
通过视觉模型了解并分析出视野中的环境场景，依据强化学习做出对应的动作展示。 |
2 |
|
7 |
强化学习的理解 |
介绍强化学习的基本概念、算法（如 Q - learning、Deep Q - Network 等）和应用场景。使用强化学习算法训练机器人，并观察其学习效果。 |
2 |
|
8 |
综合任务实现 |
串联前述单个技能模块，实现一个综合案例：半仿人机器人通过巡线在场地中穿梭，在穿梭过程中感知周围的环境，根据环境决策实现抢险救援，解救受困人员的任务。 |
2 |