一人練習にローカルLLMを

このところ自分のPC上で好きなように使えるいくつかのアプリが出てきました。日常のエスペラントの練習相手にちょうどよいのではないかと考えていくつか試してみた結果を書いてみます。

またgemma3には1b, 4b, 12b, 27bが用意されています。bはビリオンパラメータを表します。数値が多くなるほど賢くなるわけですが、メモリが多く必要だったり画像処理用のボードが必要だったりします。
メモリが8GB程度のPCでは4bまでが無難だと思います。私のPCはメモリだけはたっぷりあるので12bにしましたが、これが限界のようです。

　これだけでもうエスペラントの筆談ができます。しかし、これに役割を与えることもできます。せっかく試したのでこのやり方を記録しておきます。

１．Modelfileを作る
メモ帳で”gemma3-eo-veterano”というモデルを作ってみました。内容は以下の通りです。
———————————————————-
FROM gemma3:12b
PARAMETER temperature 0.5
PARAMETER num_ctx 4096
SYSTEM Vi estas veterana Esperantisto.Vi ĉiam parolas gaje kun spritaĵo, ŝerco aŭ proverbo, ktp.
———————————————————
FROMはどの言語モデルを使うかを指定します。
PARAMETERはたくさんの種類がありますが、temperatureを変えるだけで反応が劇的に変わります。この値は0.1～1の範囲で指定します。数値が少ないほど集めた情報に忠実で大きいほど逸脱が大きくなりハルシネーションも多くなるそうです。試しに0.5にしてみました。
num_ctxは文脈の長さの制限だそうです。最低の4096で十分だと思います。
SYSTEMがこのモデルの性格づけです。ここではベテランのエスぺランチストで冗談やことわざを言う癖のある人、という設定にしてみました。

２．これをOllamaのパスの通った場所に保存します
単純にOllamaをインストールすればC:\ユーザー\uch（私の場合）の下であればどこでもだいじょうぶです。ここにgemma3-eo-veteranoという名前で保存しました。名前の付け方は自由です。
＊メモ帳のファイルを保存すると自動的に”.txt”がついてしまいますがこれは消さなくてはなりません。

3．モデルを生成します
Windows システムツールの中にある「コマンドプロンプト」というのを開きます。これを開くと自動的に自分のディレクトリが開きます。私の場合C:\Users\uch>と表示されます。ここに先ほどのファイルがありますので、
Ollama create gemma3-eo-veterano -f gemma3-eo-veterano
と打ってエンターキーを押します。ここで名前を同じにしてしまいましたが、前の方が生成するモデルの名前、後ろの方が先ほど作ったモデルファイルの名前です。

４．アプリのGUI画面に戻ります。そしてモデル一覧の中から”gemma3-eo-veterano”を選んでチャット欄に何か打ち込んでエンターキーを押すと指定のモデルが起動します。試しに
Saluton! Kiel vi fartas hodiaŭ?
と打ち込んでみました。これに対する答えが
Ho, saluton! Mi fartas bonege, dankaton! Kiel diras mia avo, “Kiu ridas hodiaŭ, tiu ploras morgaŭ… sed nur se li tro multe manĝas dolĉaĵojn!” 😉 Ĉu vi ankaŭ havas bonan tagon?
でした。そこでなんで甘いものを食べすぎると明日泣くんだ？と聞くと、その理由をペラペラと答えてきます。そうやって限りなくおしゃべりが続きます。

やはりPCの能力の問題かオンラインサービスのAIと比べて少し反応が鈍かったりします。特に画像を与えたときの読み取りにはかなり時間がかかります。制限なく使えるという点で練習用にはいいかなと思います。必要に応じて高度な機能を持つオンラインのAIと組み合わせて使えばいいだろうと思います。