手势识别

修订履历

NO	版本	修订内容	修订日期
1	Ver1.0	新建	2026/06/30

本文档中的信息可能会因文档改进而在不事先通知的情况下变更。最新版请参阅本公司网站。

未经株式会社日昇科技书面许可，严禁以任何形式复制本文档。

1. 手势识别算法概要

　　手势识别算法是一种高级姿态估计模型。该模型基于关键点数据集训练，可在图像或视频中针对人物手部检测 21 个关键点和 26 种手势。每个关键点表示手部的不同部位。该算法广泛应用于体育分析、动物行为监测、机器人等领域，用于帮助机器实时理解物理动作。手势识别的特性与改进提升了性能和灵活性，使其成为适用于多种计算机视觉任务的选择。本算法执行效率高，实时性良好。

在 CSUN RV1126B 上的运行效率如下：

算法类型	模型大小	运行效率
Gestures Pose	11.6 MB	53ms
Gestures Classify	2.81 MB	5ms

图1-1　手势识别索引定义和示例

26 种手势索引定义：

索引	定义	样式
0	call
1	dislike
2	fist
3	four
4	grabbing
5	grip
6	like
7	little_finger
8	middle_finger
9	no_gesture
10	ok
11	one
12	palm
13	peace
14	peace_inverted
15	point
16	rock
17	stop
18	stop_inverted
19	three
20	three_gun
21	three2
22	Three3
23	thumb_index
24	two_up
25	two_up_inverted
26	gestures_bg	背景（不存在手）

2. 快速开始

2.1 开发环境准备

　　如果您是首次阅读本文档，请参考《入门指南/开发编译环境的准备与更新》，并按照相关步骤部署编译环境。

在 PC 端 Ubuntu 系统中执行 run 脚本，进入 Docker 开发环境。步骤如下：

cd ~/linuxshare/work/rv1126b/jp/embedded/images/develop_environment
./run.sh 2204

图2-1　Docker 开发环境启动

2.2 源代码下载

在 Docker 开发环境中，创建用于保存源代码仓库的管理目录。

cd /opt/linuxshare/work/rv1126b/jp/AI/demo/ai-algorithm

使用 git 工具，在管理目录中克隆远程仓库。

git clone https://github.com/csunltd/rv1126b-ai-toolkit.git

※ 即使从 GitHub 网页下载，也请下载整个仓库。请不要只单独下载与本示例对应的目录。

※ 如果已经下载完成，可以跳过此步骤。

2.3 模型部署

要运行算法 Demo，首先需要下载手势识别算法模型。

下载链接：

https://dl.dragonwake.com/download/rv1126b/AI/demo/12_gestures.zip

之后，请将下载的手势识别模型复制到 Release/ 目录。

图2-2　Release 目录内的文件配置

2.4 示例构建

进入示例所在目录并执行构建。具体命令如下：

cd rv1126b-ai-toolkit/Demos/algorithm-gestures/

./build.sh cpres

* 依赖库已配置在开发板上，因此交叉编译过程中需要保持 /mnt 挂载。

sudo mount -t nfs -o vers=3,proto=tcp,mountproto=tcp,nolock,retrans=5,timeo=5 192.168.10.85:/ /mnt

* 为 build.sh 脚本指定 cpres 参数后，Release/ 目录内的所有资源都会被复制到开发板。

图2-3　示例构建结果

2.5 示例运行及结果

将已编译的文件复制到基板。

cp Release/\* /mnt/userdata/Demo/algorithm-gestures/

※ 如果使用 ./build.sh cpres 编译，会自动复制。

通过串口调试或 SSH 调试进入开发板后台，并按如下方式移动到示例部署目录。

cd /userdata/Demo/algorithm-gestures/

执行示例的命令如下：

./test-gestures gesture_pose.model gesture_classify.model ok.jpg

图2-4　示例运行结果

在 Docker 开发环境中，将测试结果图片从基板复制出来。

cp /mnt/userdata/Demo/algorithm-gestures/result.jpg .

图2-5　结果图像复制命令

识别结果如下图所示。

图2-6　手势识别结果

关于 API 的详细说明以及 API 调用方式（本示例的源代码），请参见以下内容。

3. 手势识别API 说明

3.1 引用方法

　　为了使客户能够从本地项目中直接调用 EASY EAI API 库，本项目需要链接的库、头文件等如下所示。用户可以直接添加。

项目	说明
头文件目录	easyeai-api/algorithm/gestures
库文件目录	easyeai-api/algorithm/gestures
库链接参数	-lgestures

3.2 手势识别算法初始化函数

手势识别初始化函数原型如下。

int gestures_init(const char \*p_gestures_path, const char \*p_mobilenet_path, rknn_gestures_context_t &gestures, int cls_num);

详细说明如下。

函数名： gestures_init()
头文件	gestures.h
输入参数	p_gestures_path：手势关键点模型路径
输入参数	p_mobilenet_path：手势姿态模型路径
输入参数	gestures：手势识别上下文
输入参数	cls_num：类别数
返回值	成功时返回值：0
	失败时返回值：-1
注意事项	无

3.3 手势识别算法执行函数

手势识别执行函数 gestures_run 原型如下。

std::vector\<rknn_gestures_result_t\> gestures_run(rknn_gestures_context_t &gestures, cv::Mat image, float conf_threshold, float nms_threshold);

详细说明如下。

函数名：gestures_run()
头文件	gestures.h
输入参数	gestures：手势识别上下文
输入参数	image：识别目标图像
输入参数	conf_threshold：gestures物体检测信頼度

输入参数	nms_threshold：gestures非极大值抑制阈值
返回值	std::vector<rknn_gestures_result_t>：gestures检测结果
注意事项	无

3.4 手势识别算法释放函数

手势识别释放函数原型如下。

int gestures_release(rknn_gestures_context_t &gestures);

详细说明如下。

函数名：gestures_release()
头文件	gestures.h
输入参数	gestures：算法句柄
返回值	成功时返回值：0
	失败时返回值：-1
注意事项	无

4. 手势识别示例

示例目录为 Demos/algorithm-gestures/test-gestures.cpp，操作流程如下。

图4-1　手势识别算法处理流程

参考示例如下。

#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <opencv2/opencv.hpp>
#include "gestures.h"


/// 分類名
char gpp_gestures[27][100] = { "00-call", "01-dislike", "02-fist", "03-four", "04-grabbing", "05-grip", "06-like", "07-little_finger", "08-middle_finger",
  "09-no_gesture", "10-ok", "11-one", "12-palm", "13-peace", "14-peace_inverted", "15-point", "16-rock", "17-stop", "18-stop_inverted", "19-three",
   "20-three_gun", "21-three2", "22-three3", "23-thumb_index", "24-two_up", "25-two_up_inverted", "26-gestures_bg" };


/// ジェスチャーを描画します
cv::Mat draw_image(cv::Mat image, std::vector<rknn_gestures_result_t> results)
{
  long unsigned int i =0;
  for (i = 0; i < results.size(); i++) {
    cv::Rect rect(results[i].left, results[i].top, (results[i].right - results[i].left), (results[i].bottom - results[i].top));
    cv::rectangle(image, rect, CV_RGB(255, 0, 0), 2);
    char p_text[128];
    sprintf(p_text, "%s-%0.2f", gpp_gestures[results[i].gesture], results[i].score);
    cv::putText(image, p_text, cv::Point(rect.x, rect.y - 5), 1, 1.2, CV_RGB(255, 0, 0), 2);

    cv::Point pt0(results[i].keypoints[0][0], results[i].keypoints[0][1]);
    cv::circle(image, pt0, 2, CV_RGB(0, 255, 0), 3);
    for (int m = 0; m < 5; m++) {
      int idx = 4 * m + 1;
      cv::Point pt1(results[i].keypoints[idx][0], results[i].keypoints[idx][1]);
      cv::Point pt2(results[i].keypoints[idx + 1][0], results[i].keypoints[idx + 1][1]);
      cv::Point pt3(results[i].keypoints[idx + 2][0], results[i].keypoints[idx + 2][1]);
      cv::Point pt4(results[i].keypoints[idx + 3][0], results[i].keypoints[idx + 3][1]);
      cv::circle(image, pt1, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt2, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt3, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt4, 2, CV_RGB(0, 255, 0), 3);
      cv::line(image, pt0, pt1, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt1, pt2, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt2, pt3, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt3, pt4, CV_RGB(255, 0, 0), 2);
    }
  }
  return image;
}

/// メイン関数
int main(int argc, char **argv)
{
    if (argc != 4) {
        printf("%s <gesture_pose_path> <gesture_classify_path> <image_path>\n", argv[0]);
        return -1;
    }

    const char *p_gesture_pose_path = argv[1];
  const char *p_gesture_classify_path = argv[2];
    const char *p_img_path = argv[3];
  printf("gesture pose model path = %s, gesture classify path = %s, image path = %s\n", p_gesture_pose_path, p_gesture_classify_path, p_img_path);

  // 画像を読み込みます
  cv::Mat image = cv::imread(p_img_path);
    if(image.empty()){
        printf("Image is empty.\n");
        return 0;
    }
  printf("Image size = (%d, %d)\n", image.rows, image.cols);

  // ジェスチャー認識を初期化します
  int ret;
  rknn_gestures_context_t gestures;
  gestures_init(p_gesture_pose_path, p_gesture_classify_path, gestures, 1);

  // ジェスチャー認識関数
  double start = static_cast<double>(cv::getTickCount());

  std::vector<rknn_gestures_result_t> results = gestures_run(gestures, image, 0.35, 0.35);

  double end = static_cast<double>(cv::getTickCount());
  double runtime = (end - start) / cv::getTickFrequency() * 1000;
  std::cout << "Gestures run time: " << runtime << " ms" << std::endl;

  // 結果を描画します
  image = draw_image(image, results);

  cv::imwrite("result.jpg", image);
  printf("Detect size = %ld\n", results.size());

  // メモリを解放します
    ret = gestures_release(gestures);

    return ret;
}