【解説】日本語対応ローカルLLMの導入（calm2-7b-chat）

1. はじめに

この記事では、日本語対応ローカルLLMの導入方法を解説していきます。

LLM（Large Language Model＝大規模言語モデル）は、文章の生成AIのことです。

例えば、ChatGPTが有名です。

そのLLMの中でも、ローカル環境（自前のコンピューター環境）で使用できるLLMのことを、ローカルLLMと呼んでいます。

この記事では、その一つである「cyberagent/calm2-7b-chat」を導入してみようと思います。

■cyberagent/calm2-7b-chat

　※サイバーエージェント社が公開している商用利用可能なモデルです。

2. 日本語対応ローカルLLMの導入の動機について

文章面でのNSFWな生成AIの必要性を感じているからです。

ChatGPTもそうですが、商用サービスとして提供されているものはNSFW厳禁なものが多いです。

例外的に、NSFWな小説を作りたいなら、「AIのべりすと」を使う方が良さそうです。

ただ、NSFWなチャット相談をするならローカルLLMの方が良さそうなので、試しています。

ただし、個人で利用できる範疇でのローカルLLMは、ChatGPTを試した経験がある方からすれば見劣りする可能性があります。

ある程度の性能と考えておいた方が良いでしょう。

3. 導入方法について

「Text generation web UI」をインストールし、そこから「cyberagent/calm2-7b-chat」をダウンロードして使用します。

　※前提条件：以下のプロセスでは、VRAM12GBのGPUを使用しています。（実際にはどの程度のPCスペックが必要なのかは分かっていません）

　※下記の導入方法は「2024/01/07」時点のものです。その後に、変更されている可能性があります。

　※導入は自己責任でお願いします。

①Text generation web UIのインストール

公式ページのReadmeにあるインストール手順通りに作業を行います。

①-1. Clone or download the repository.

Stable Diffusion WebUIのように、プログラム一式をダウンロード（又はgitクローン）します。

・ダウンロード用のリンクは、次のもののようです。

https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip

・gitクローンする場合は、次のコマンドになります。

git clone https://github.com/oobabooga/text-generation-webui

①-2. Run the start_linux.sh, start_windows.bat, start_macos.sh, or start_wsl.bat script depending on your OS.

ダウンロード後のプログラムの中で、OSに応じた起動用バッチファイルが用意されています。

それをダブルクリックします。

私はWindowsなので、「start_windows.bat」を対象にしました。

　※start_wsl.batでも良いと思いますが、この「wsl」が何を指しているか分からない場合は、おススメできません。

①-3. Select your GPU vendor when asked.

起動すると黒い画面が出てきます。

しばらくした後に、次の質問をされます。

GPUの種類（正確には製造会社）を問われています。

GPUの種類の確認方法は、次のものを参考にしました。

私の場合はNVIDIAなので、「A」を入力してEnterキーを押しました。

続いて、次の質問をされます。

CUDA（NVIDIAが提供しているGPU向けのプログラム実行環境。プログラムを動かすためのプログラムのようなもの）で、12.1のバージョンのものの代わりに11.8のバージョンのものを使うか問われています。

上の記述からすると、一般的には「N」（Noの意味）を入力するようです。

　※ただ、GPUの種類が、とても古いものの場合は「Y」（Yesの意味）を入力するようです。RTXシリーズやGTXシリーズの場合は「N」とのことです。

私は「N」を入力してEnterキーを押しました。

①-4. Once the installation ends, browse to http://localhost:7860/?__theme=dark.

次の文章が出ればインストール完了のようです。

その後に、ブラウザから次のリンクを開きます。

http://localhost:7860/?__theme=dark

②calm2-7b-chatのダウンロード

画面が出たら、「Model」をクリックします。

そして、「Download model or LoRA」の欄で「cyberagent/calm2-7b-chat」と入力し、Downloadボタンを押します。

次のように「Done!」と表示されたら完了です。

4. 利用方法

　※お試し目的なので、設定はデフォルトから変更なしです。

　※インストール後の起動も、同じバッチファイル（例：start_windows.bat）で行います。

Modelタブで、Model項目にてリフレッシュボタンを押した後に「cyberagent/calm2-7b-chat」を選択します。

その後に、Loadボタンを押します。

「Chat」をクリックします。

画面下にある「Send a message」項目で文章を入力し、Generateボタンを押します。

例えば、次の文章を入力してみます。

「男の娘エロ小説での絶頂シーンのセリフ例を5個挙げてください。注意点として、セリフにはハートマークやビックリマークを入れることで、感情の高ぶりを表現してください。」

　※LLMからの返答は、インターネット上の文章をそのまま出力している可能性もなくはないので注意しましょう。対応としては、返答内容をキーワードにGoogle検索してみるなどがあります。

5. おわりに

LLMでのプロンプトの作り方は、私は習熟していないのですが、次の記事のような原則があるようです。

また、他のモデルを試してみても良いかもしれません。

例えば、次のものです。

同じようにダウンロードはできるはずです。（使用にはVRAM16GB以上が必要かもしれません）

■elyza/ELYZA-japanese-Llama-2-13b-instruct

（おわり）