跳转到内容

RKLLM 开发环境搭建

修改履历

NO版本修改内容修改日期
1Ver1.0新建2026/06/21

本文档信息可能会因文档改进而在未事先通知的情况下变更。最新版请参照本公司网站。

未经株式会社日昇科技书面许可,严禁以任何形式复制本文档。

1. 开发环境搭建

1.1. RKLLM-Toolkit安装

本节主要说明如何通过 pip 方式来安装 RKLLM-Toolkit,用户可以参考以下的具体流程说明 完成 RKLLM-Toolkit 工具链的安装。

RKLLM-Toolkit 安装包可通过以下两种方式下载。

图:RKLLM-Toolkit 安装包的放置示例

1.1.1. 安装miniforge3工具

为防止系统对多个不同版本的 Python 环境的需求,建议使用 miniforge3 管理 Python 环 境。 检查是否安装 miniforge3 和 conda 版本信息,若已安装则可省略此小节步骤。

下载 miniforge3 安装包:

Terminal window
wget -c https://mirrors.bfsu.edu.cn/github-release/conda-

forge/miniforge/Release%2025.9.1/Miniforge3-25.9.1-0-Linux-x86_64.sh

安装miniforge3:

Terminal window
chmod 777 Miniforge3-Linux-x86_64.sh
bash Miniforge3-Linux-x86_64.sh

1.1.2. 创建 RKLLM-Toolkit Conda 环境

进入 Conda base 环境:

Terminal window
source ~/miniforge3/bin/activate

创建一个 Python3.8 版本(建议版本)名为 RKLLM-Toolkit 的 Conda 环境:

conda create -n RKLLM-Toolkit python=3.8

进入 RKLLM-Toolkit Conda 环境:

conda activate RKLLM-Toolkit

1.1.3. 安装RKLLM-Toolkit

在 RKLLM-Toolkit Conda 环境下使用 pip 工具直接安装所提供的工具链 whl 包,在安装过 程 中,安装工具会自动下载 RKLLM-Toolkit 工具所需要的相关依赖包。

pip install vidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl
pip install scipy-1.10.1-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
pip install torchvision-0.18.0-cp38-cp38-manylinux1_x86_64.whl
pip install transformers-4.46.3-py3-none-any.whl
pip install triton-2.3.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
pip install torch-2.3.0-cp38-cp38-manylinux1_x86_64.whl
pip install rkllm_toolkit-1.2.2-cp38-cp38-linux_x86_64.whl

若在安装的过程中,某些文件安装很慢,可以登录python官网单独下载:

https://pypi.org/

执行以下命令没有报错,则安装成功。 RKLLM-Toolkit 安装成功确认的终端输出

图:RKLLM-Toolkit 安装成功确认的终端输出