ジェスチャー認識

修正履歴

NO	バージョン	修正内容	修正日
1	Ver1.0	新規作成	2026/06/30

この文書の情報は、文書を改善するため、事前の通知なく変更されることがあります。最新版は弊社ホームページからご参照ください。

株式会社日昇テクノロジーの書面による許可のない複製は、いかなる形態においても厳重に禁じられています。

1. ジェスチャー認識アルゴリズム概要

　　ジェスチャー認識アルゴリズムは、高度な姿勢推定モデルです。キーポイントデータセットで学習され、画像または動画内の人物の手について、21個のキーポイントと26種類のジェスチャーを検出できます。各キーポイントは手の異なる部位を表します。このアルゴリズムは、スポーツ解析、動物行動モニタリング、ロボットなどの分野で広く利用され、機械が物理的な動作をリアルタイムに理解するために使用されます。ジェスチャー認識の特性と改良により性能と柔軟性が向上しており、さまざまなコンピュータビジョンタスクに適した選択肢となります。本アルゴリズムは、実行効率が高く、リアルタイム性に優れています。

CSUN RV1126Bでの実行効率：

アルゴリズム種別	モデルサイズ	実行効率
Gestures Pose	11.6 MB	53ms
Gestures Classify	2.81 MB	5ms

図1-1　ジェスチャー認識インデックス定義とサンプル

26种手势インデックス定義：

インデックス	定義	スタイル
0	call
1	dislike
2	fist
3	four
4	grabbing
5	grip
6	like
7	little_finger
8	middle_finger
9	no_gesture
10	ok
11	one
12	palm
13	peace
14	peace_inverted
15	point
16	rock
17	stop
18	stop_inverted
19	three
20	three_gun
21	three2
22	Three3
23	thumb_index
24	two_up
25	two_up_inverted
26	gestures_bg	背景（手が存在しない）

2. クイックスタート

2.1 開発環境の準備

　　本ドキュメントを初めてお読みになる場合は、『入門ガイド/開発コンパイル環境の準備と更新』を参照し、関連する手順に従ってコンパイル環境をデプロイしてください。

PC側のUbuntuシステムで run スクリプトを実行し、Docker開発環境に入ります。手順は次のとおりです。

cd ~/linuxshare/work/rv1126b/jp/embedded/images/develop_environment
./run.sh 2204

図2-1　Docker開発環境の起動

2.2 ソースコードのダウンロード

Docker開発環境で、ソースコードリポジトリを保存する管理ディレクトリを作成します。

cd /opt/linuxshare/work/rv1126b/jp/AI/demo/ai-algorithm

gitツールを使用して、管理ディレクトリ内にリモートリポジトリをクローンします。

git clone https://github.com/csunltd/rv1126b-ai-toolkit.git

※GitHubのWebページからダウンロードする場合でも、リポジトリ全体をダウンロードしてください。本サンプルに対応するディレクトリだけを単独でダウンロードしないでください。

※すでにダウンロードした場合、飛ばしてください。

2.3 モデルデプロイ

アルゴリズムDemoを実行するには、まずジェスチャー認識アルゴリズムモデルをダウンロードする必要があります。

ダウンロードリンク：

https://dl.dragonwake.com/download/rv1126b/AI/demo/12_gestures.zip

その後、ダウンロードしたジェスチャー認識モデルを Release/ ディレクトリへコピーしてください。

図2-2　Releaseディレクトリ内のファイル配置

2.4 サンプルのビルド

サンプルがあるディレクトリに移動してビルドを実行します。具体的なコマンドは次のとおりです。

cd rv1126b-ai-toolkit/Demos/algorithm-gestures/

./build.sh cpres

* 依存ライブラリは開発ボード上に配置されているため、クロスコンパイル中は /mnt のマウントを保持する必要があります。

sudo mount -t nfs -o vers=3,proto=tcp,mountproto=tcp,nolock,retrans=5,timeo=5 192.168.10.85:/ /mnt

* build.sh スクリプトに cpres パラメータを指定すると、Release/ ディレクトリ内のすべてのリソースが開発ボードへコピーされます。

図2-3　サンプルビルド結果

2.5 サンプル実行および結果

コンパイル済みのものを基板にコピーします。

cp Release/\* /mnt/userdata/Demo/algorithm-gestures/

※./build.sh cpresでコンパイルした場合、自動的にコピーされます。

シリアルデバッグまたはSSHデバッグで開発ボードのバックエンドに入り、次のようにサンプルのデプロイ先へ移動します。

cd /userdata/Demo/algorithm-gestures/

サンプルを実行するコマンドは次のとおりです。

./test-gestures gesture_pose.model gesture_classify.model ok.jpg

図2-4　サンプル実行結果

Docker開発環境でテスト結果写真を基板からコピーしましょう。

cp /mnt/userdata/Demo/algorithm-gestures/result.jpg .

図2-5　結果画像のコピーコマンド

認識結果は下図通りです。

図2-6　ジェスチャー認識結果

APIの詳細説明およびAPI呼び出し（本サンプルのソースコード）については、以下を参照してください。

3. ジェスチャー認識API説明

3.1 参照方法

　　お客様がローカルプロジェクトからEASY EAI APIライブラリを直接呼び出せるように、本プロジェクトでリンクする必必要がありますがあるライブラリおよびヘッダファイルなどを以下に示します。ユーザーはそのまま追加できます。

項目	説明
ヘッダファイルディレクトリ	easyeai-api/algorithm/gestures
ライブラリファイルディレクトリ	easyeai-api/algorithm/gestures
ライブラリリンクパラメータ	-lgestures

3.2 ジェスチャー認識アルゴリズム初期化関数

ジェスチャー認識初期化関数原型次のとおりです。

int gestures_init(const char \*p_gestures_path, const char \*p_mobilenet_path, rknn_gestures_context_t &gestures, int cls_num);

詳細は次のとおりです。

関数名： gestures_init()
ヘッダファイル	gestures.h
入力パラメータ	p_gestures_path：ジェスチャーキーポイントモデルパス
入力パラメータ	p_mobilenet_path：ジェスチャー姿勢モデルパス
入力パラメータ	gestures：ジェスチャー認識コンテキスト
入力パラメータ	cls_num：クラス数
戻り値	成功時の戻り値：0
	失敗時の戻り値：-1
注意事項	なし

3.3 ジェスチャー認識アルゴリズム実行関数

ジェスチャー認識実行関数gestures_run原型次のとおりです。

std::vector\<rknn_gestures_result_t\> gestures_run(rknn_gestures_context_t &gestures, cv::Mat image, float conf_threshold, float nms_threshold);

詳細は次のとおりです。

関数名：gestures_run()
ヘッダファイル	gestures.h
入力パラメータ	gestures：ジェスチャー認識コンテキスト
入力パラメータ	image：認識対象画像
入力パラメータ	conf_threshold：gestures物体検出信頼度

入力パラメータ	nms_threshold：gestures非最大抑制しきい値
戻り値	std::vector<rknn_gestures_result_t>：gestures検出結果
注意事項	なし

3.4 ジェスチャー認識アルゴリズム解放関数

ジェスチャー認識解放関数原型次のとおりです。

int gestures_release(rknn_gestures_context_t &gestures);

詳細は次のとおりです。

関数名：gestures_release()
ヘッダファイル	gestures.h
入力パラメータ	gestures：アルゴリズムハンドル
戻り値	成功時の戻り値：0
	失敗時の戻り値：-1
注意事項	なし

4. ジェスチャー認識サンプル

サンプルディレクトリとしてDemos/algorithm-gestures/test-gestures.cpp、操作フロー如以下。

図4-1　ジェスチャー認識アルゴリズム処理フロー

参考サンプルは次のとおりです。

#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <opencv2/opencv.hpp>
#include "gestures.h"


/// 分類名
char gpp_gestures[27][100] = { "00-call", "01-dislike", "02-fist", "03-four", "04-grabbing", "05-grip", "06-like", "07-little_finger", "08-middle_finger",
  "09-no_gesture", "10-ok", "11-one", "12-palm", "13-peace", "14-peace_inverted", "15-point", "16-rock", "17-stop", "18-stop_inverted", "19-three",
   "20-three_gun", "21-three2", "22-three3", "23-thumb_index", "24-two_up", "25-two_up_inverted", "26-gestures_bg" };


/// ジェスチャーを描画します
cv::Mat draw_image(cv::Mat image, std::vector<rknn_gestures_result_t> results)
{
  long unsigned int i =0;
  for (i = 0; i < results.size(); i++) {
    cv::Rect rect(results[i].left, results[i].top, (results[i].right - results[i].left), (results[i].bottom - results[i].top));
    cv::rectangle(image, rect, CV_RGB(255, 0, 0), 2);
    char p_text[128];
    sprintf(p_text, "%s-%0.2f", gpp_gestures[results[i].gesture], results[i].score);
    cv::putText(image, p_text, cv::Point(rect.x, rect.y - 5), 1, 1.2, CV_RGB(255, 0, 0), 2);

    cv::Point pt0(results[i].keypoints[0][0], results[i].keypoints[0][1]);
    cv::circle(image, pt0, 2, CV_RGB(0, 255, 0), 3);
    for (int m = 0; m < 5; m++) {
      int idx = 4 * m + 1;
      cv::Point pt1(results[i].keypoints[idx][0], results[i].keypoints[idx][1]);
      cv::Point pt2(results[i].keypoints[idx + 1][0], results[i].keypoints[idx + 1][1]);
      cv::Point pt3(results[i].keypoints[idx + 2][0], results[i].keypoints[idx + 2][1]);
      cv::Point pt4(results[i].keypoints[idx + 3][0], results[i].keypoints[idx + 3][1]);
      cv::circle(image, pt1, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt2, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt3, 2, CV_RGB(0, 255, 0), 3);
      cv::circle(image, pt4, 2, CV_RGB(0, 255, 0), 3);
      cv::line(image, pt0, pt1, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt1, pt2, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt2, pt3, CV_RGB(255, 0, 0), 2);
      cv::line(image, pt3, pt4, CV_RGB(255, 0, 0), 2);
    }
  }
  return image;
}

/// メイン関数
int main(int argc, char **argv)
{
    if (argc != 4) {
        printf("%s <gesture_pose_path> <gesture_classify_path> <image_path>\n", argv[0]);
        return -1;
    }

    const char *p_gesture_pose_path = argv[1];
  const char *p_gesture_classify_path = argv[2];
    const char *p_img_path = argv[3];
  printf("gesture pose model path = %s, gesture classify path = %s, image path = %s\n", p_gesture_pose_path, p_gesture_classify_path, p_img_path);

  // 画像を読み込みます
  cv::Mat image = cv::imread(p_img_path);
    if(image.empty()){
        printf("Image is empty.\n");
        return 0;
    }
  printf("Image size = (%d, %d)\n", image.rows, image.cols);

  // ジェスチャー認識を初期化します
  int ret;
  rknn_gestures_context_t gestures;
  gestures_init(p_gesture_pose_path, p_gesture_classify_path, gestures, 1);

  // ジェスチャー認識関数
  double start = static_cast<double>(cv::getTickCount());

  std::vector<rknn_gestures_result_t> results = gestures_run(gestures, image, 0.35, 0.35);

  double end = static_cast<double>(cv::getTickCount());
  double runtime = (end - start) / cv::getTickFrequency() * 1000;
  std::cout << "Gestures run time: " << runtime << " ms" << std::endl;

  // 結果を描画します
  image = draw_image(image, results);

  cv::imwrite("result.jpg", image);
  printf("Detect size = %ld\n", results.size());

  // メモリを解放します
    ret = gestures_release(gestures);

    return ret;
}