生成AIは、もはや仕事に欠かせない相棒です。けれど便利さに比例して、別の感情も育っていないでしょうか。「このデータ、外に出していいのか」「ここまで依存して、もし止まったら」――そんな引っかかりです。
当社が社内マシン『GX10』に自前のローカルLLMを立てたのは、流行りに乗ったからではありません。明確な“目的”があったからです。
本記事は構築手順書ではなく、「なぜローカルなのか」という目的と、AI（Claude Code）を相棒に組み上げる中で見えてきたことを、現場の言葉でお伝えします。
なぜローカルなのか──「守りたいもの」と「止めたくないもの」
ローカルLLMを立てる理由は、突き詰めると3つに集約されました。
| 目的 | 解決したい不安 |
|---|---|
| データ主権 | 機密文書や顧客情報を、社外のAIに渡したくない |
| 可用性 | 提供側の都合（仕様変更・規制・障害）で、ある日業務が止まるのを避けたい |
| 自由度 | 使うほど増えるAPI課金や制限を気にせず、用途に合わせて自由に使い倒したい |
クラウドAIの“賢さ”には及ばなくても、「外に出さず、止まらず、気兼ねなく使える」AIには独自の価値があります。これがエッジAIの本質です。
何に使うのか──“そこそこ賢いAI”を社内で使い倒す
目的が定まると、用途も具体化します。実際にGX10で動かしているのは、Googleの『Gemma』とAlibabaの『Qwen』。社内文書の要約、PDFの読み取り、音声の文字起こし、社内向けの質問応答といった“地味だが効く”業務が対象です。
ポイントは「1つの万能AIを選ばない」こと。速さ重視ならGemma、正確さ重視ならQwen、と目的ごとにモデルを使い分ける。これはローカルだからこそできる贅沢です。
作って実感した、AIと組む3つのコツ──任せきりでは進まない
今回の構築は、AI（Claude Code）と対話しながら進めました。コマンドや設定をAIに相談し、提案を実機で試す、という進め方です。効率は劇的に上がりましたが、“AIに任せきり”では進まない場面も多くありました。そこで身についたコツが3つあります。
- ① 環境の前提を、最初に渡す。 「最新GPU搭載機で」「OSはこれ」と前提を伝えないと、AIは一般的な（＝この環境では的外れな）手順を返します。聞き方が曖昧だと、答えも曖昧になります。
- ② エラーは“全文”を渡す。 こちらで要約して渡すと原因がぼやけ、AIも迷走します。ログをそのまま見せるのが、解決への最短ルートでした。
- ③ 提案は鵜呑みにせず、実機で検証する。 もっともらしい回答が必ずしも正解とは限りません。動かして確かめる一手間が、結局いちばん速いのです。
失敗が教えてくれたこと──最新ハードの“宿命”と、AIの限界
つまずき：最新すぎて、AIも知らなかった
GX10のGPUは世代が新しく、AIの学習データにもまだ載っていないほど。音声合成の起動エラーは、AIの“一般論”では解けませんでした。最終的にはエラーログを一緒に読み解き、原因（GPU向けコード生成の非対応）を切り分けて回避。「最新ハードは速いが、ソフトの対応待ちがある」という宿命を、身をもって学びました。
ここに、AIと組む時代の本質があります。AIは“調べ物と手数”を高速化する最強の相棒。しかし未知の領域の“最後の切り分け”は、人間の仕事として残る。だからこそ、AIを使いこなす人材の価値はむしろ上がっています。
まとめ──ローカルAIは「目的」から逆算する
ローカルLLMは、手順をなぞれば誰でも立てられます。けれど大事なのは、その手前の「なぜ立てるのか」です。
- データ主権・可用性・自由度――守りたいものから逆算して設計する
- モデルは1つに絞らず、目的で使い分ける
- 構築はAIと組めば加速する。ただし前提とログを渡し、最後は人が検証する
「便利だけど、ちょっと不安」――そのモヤモヤは、社内に“自前のAI”を持つことで、かなり晴れます。御社の「守りたいもの」は何でしょうか。そこから、ローカルAIの設計は始まります。