RKLLM 大規模言語モデル紹介
修正履歴
| NO | バージョン | 修正内容 | 修正日 |
|---|---|---|---|
| 1 | Ver1.0 | 新規作成 | 2026/06/20 |
この文書の情報は、文書を改善するため、事前の通知なく変更されることがあります。最新版は弊社ホームページからご参照ください。
株式会社日昇テクノロジーの書面による許可のない複製は、いかなる形態においても厳重に禁じられています。
1. RKLLM 概要
1.1 RKLLM ツールチェーン紹介
1.1.1 RKLLM-Toolkit機能紹介
RKLLM-Toolkitは、コンピュータ上で大規模言語モデルの量子化と変換を行うための開発キットです。このツールが提供するPythonインターフェースにより、以下の機能を簡単に実行できます。
(1) モデル変換：Hugging FaceおよびGGUF形式の大規模言語モデル（LLM）をRKLLMモデルに変換する機能をサポートします。現在サポートされているモデルには、LLaMA、Qwen、Qwen2、Qwen3、Phi-2、Phi-3、ChatGLM3、Gemma、Gemma2、Gemma3、Gemma3n、InternLM2、TeleChat2、MiniCPM-S、MiniCPM、MiniCPM3、MiniCPM4が含まれます。変換されたRKLLMモデルは、Rockchip NPUプラットフォームにロードして使用できます。
(2) 量子化機能：浮動小数点モデルを固定小数点モデルに量子化する機能をサポートします。現在サポートされている量子化タイプは以下のとおりです。
a. w4a16;
b. w4a16ブロック量子化（32、64、128ブロックに対応）；
c. w8a8；
d. w8a8ブロック量子化（128、256、512ブロックに対応）；
1.1.2 RKLLMランタイム機能の概要
RKLLMランタイムは、RKLLMツールキットによって変換されたRKLLMモデルをロードし、ボードレベルでNPUドライバを呼び出すことで、Rockchip NPU上でのRKLLMモデルの推論を高速化する役割を担います。RKLLMモデルの推論中、ユーザーは推論パラメータを定義したり、さまざまなテキスト生成方法を定義したり、定義済みのコールバック関数を通じてモデルの推論結果を継続的に取得したりできます。
1.2 RKLLM開発プロセスの概要
RKLLMの開発プロセスは、主にモデル変換とオンボード展開・運用という2つの部分から構成されます。
(1) モデル変換：
この段階では、ユーザーから提供されたHugging Face形式の大規模言語モデルを、Rockchip NPUプラットフォーム上での効率的な推論のためにRKLLM形式に変換します。このステップには以下の内容が含まれます。
-
オリジナルモデルの取得：
-
Hugging Face形式のオープンソース大規模言語モデル
-
2. 自己学習済み大規模言語モデル（保存されたモデル構造がHugging Faceプラットフォーム上のモデル構造と一致している必要があります）
3. GGUFモデル（現在、q4_0とfp16型のみをサポート）。
b. モデルのロード：`rkllm.load_huggingface()`関数を使用してHugging Face形式のモデルをロードし、`rkllm.load_gguf()`関数を使用してGGUFモデルをロードします。
c. モデル量子化設定：`rkllm.build()`関数を使用してRKLLMモデルを構築します。
構築プロセス中に、ハードウェア上でのモデルのパフォーマンスを向上させるためにモデル量子化を実行するかどうか、また、異なる最適化レベルと量子化タイプを選択できます。
d. モデルのエクスポート：`rkllm.export_rkllm()`関数を使用して、RKLLMモデルを.rkllm形式のファイルとしてエクスポートし、後続のデプロイメントに使用します。
(2) オンボードデプロイメントと運用：
この段階では、モデルの実際のデプロイメントと運用について説明します。通常、以下の手順が含まれます。
a. モデルの初期化：RKLLMモデルをRockchip NPUプラットフォームにロードし、必要なテキスト生成方法を定義するために対応するモデルパラメータを設定し、リアルタイム推論結果を受信するためのコールバック関数を事前に定義して、推論の準備をします。
b. モデル推論：推論操作を実行し、入力データをモデルに渡してモデル推論を実行します。ユーザーは、事前に定義されたコールバック関数を通じて推論結果を継続的に取得できます。
c. モデルの解放：推論処理が完了したら、モデルリソースを解放し、他のタスクがNPUの計算リソースを引き続き利用できるようにします。
これら2つのステップがRKLLM開発プロセス全体を構成しており、大規模な言語モデルをRockchip NPU上で効率的に変換、デバッグ、そして最終的にデプロイできることを保証します。
1.3 資料ダウンロード
本マニュアルに必要の資料及びソースコードは下記リンクからダウンロードしてください。
GoogleドライブからLLMモデル関連資料ダウンロード：
https://drive.google.com/drive/folders/1nsL3pk75dyZHF_39KCKVoSevMq2F6Be9?usp=sharing
ドライブフォルダーの構成は下図通りです。
図：RKLLM-Toolkit インストール用パッケージの配置例
図：RKLLM-Toolkit から RKLLM Runtime / RKNPU までのツールチェーン全体像