日本語を扱う業務に生成AIを使えるか。判断の材料が公開情報だけでは足りなかったため、社内サーバーで4つのモデルを同一条件で測定しました。設問240問・翻訳1万件・計算150問、のべ42,670件の回答を採点した結果をまとめます。
検証の狙い
日本語性能を比べた公開情報は数多くあります。ただし多くは英語ベンチマークの和訳か、総合スコア1本での比較です。それでは敬語の使い分け、助数詞の正しさ、指示どおりの文字数に収める力といった、実務で真っ先に問われる部分が見えません。
そこで設問を自作し、同じ素材・同じ採点基準・同じ実行環境で4モデルを測りました。以下はすべて自社の実測値です。
測定の設計
| 種別 | 手法 | 規模 | 採点 |
|---|---|---|---|
| 日本語能力 | 12カテゴリ×20問を1〜10点で絶対評価（2軸） | 1,920件 | 大規模モデルによる採点 |
| 翻訳精度 | 日→英翻訳を1〜10点で絶対評価 | 40,000件 | 大規模モデルによる採点 |
| 計算能力 | 日本語で出題し正解と自動照合 | 750件 | プログラム |
| 応答速度 | サーバー側のナノ秒計測（単独常駐・3回の中央値） | 4モデル | — |
設問240問の内訳は敬語・自然さ・作文・語彙・説明・要約・気遣い・表記校正・助数詞・文体変換・読解・論理の12カテゴリです。うち表記校正・助数詞・文体変換・読解・論理の5カテゴリは今回の検証のために新設しました。
実行環境はローカルの推論サーバー1台で、4モデルとも同じ量子化（4bit）で動かしています。外部のクラウドAPIは通していません。
結果1 ─ 日本語の質と回答の質
2つの軸で別々に測りました。「日本語の質」は文法・語彙表記・敬語・流暢さを見る軸で、出力のばらつきを排除する設定で実行しています。「回答の質」は指示遵守・正確さ・有用性・簡潔さを見る軸で、実際のチャット画面と同じ設定です。
| モデル | 日本語の質 | 回答の質 | 敬語 |
|---|---|---|---|
| gemma4:31b | 7.42 | 7.38 | 7.05〜7.20 |
| gemma4:12b | 7.32 | 6.71 | 6.00〜7.10 |
| qwen3.6:27b | 7.09 | 6.28 | 5.40〜5.65 |
| qwen3.6:35b | 6.86 | 5.89 | 5.15〜5.45 |
順位は両軸で完全に一致しました。そのうえで差の開き方が違います。首位と最下位の差は日本語の質で0.56点にとどまるのに対し、回答の質では1.49点まで開きます。文章として整っているかより、指示にどこまで従えるかで実力差が出るという結果です。
カテゴリ別で最も差がついたのが敬語で、1.6点。低いモデルには謙譲語と尊敬語の取り違えを指摘しても直せない例が目立ちました。低スコアが集中したのは敬語・語彙・助数詞の3カテゴリで、いずれも今回追加した領域です。設問を増やしていなければ「4モデルともほぼ同等」で終わっていました。
結果2 ─ 破綻率という指標
平均点だけでは業務での使いやすさが測れません。そこで1〜3点、つまり日本語として成立していない回答が全体の何割かを別に数えました。
| モデル | 破綻率（回答の質） | 体感 |
|---|---|---|
| gemma4:31b | 2.5% | 40回に1回 |
| gemma4:12b | 10.0% | 10回に1回 |
| qwen3.6:27b | 15.8% | 6回に1回 |
| qwen3.6:35b | 20.0% | 5回に1回 |
破綻の主な形は同一句の反復ループでした。実際に出た例を挙げます。
- 文章を3割短くする指示に対し「ご多忙のところ恐縮ではございますが」を20回以上反復
- 語句の意味を尋ねた設問で「うがる（ugaru）＝」を無限に反復
- 「『歩く』は『歩いたり』ではなく『歩いたり』でも」という自己矛盾した文の反復
平均点で0.5点の差は資料の上では小さく見えます。しかし破綻率が2.5%と20.0%では、使う側の印象がまったく別物になります。導入判断では平均点より破綻率を見るべきというのが、今回いちばん実務に効いた発見でした。
結果3 ─ 翻訳・計算・速度
| モデル | 翻訳（10点満点） | 翻訳の失格率 | 計算の正答率 | 生成速度 |
|---|---|---|---|---|
| gemma4:31b | 9.82 | 0.20% | 99.3% | 10.5 トークン/秒 |
| gemma4:12b | 9.60 | 0.21% | 98.7% | 25.1 トークン/秒 |
| qwen3.6:27b | 9.70 | 1.02% | 96.0% | 11.9 トークン/秒 |
| qwen3.6:35b | 9.46 | 1.20% | 96.7% | 74.0 トークン/秒 |
「失格」は翻訳になっていない回答を指します。原文の指示に答えてしまった回答などが該当します。1万件規模で測ると95%信頼区間が0.03程度まで狭まり、この順位が偶然でないと確認できました。
検証で分かった3つのこと
1. 翻訳の上手さは日本語能力の代理指標にならない
翻訳スコアの順位と日本語回答品質の順位を並べると、2位と3位が入れ替わります。翻訳が上手いモデルを選んでも、日本語で書かせたときの順位を再現できません。手軽に測れる翻訳スコアで日本語力を代用する判断には根拠がない、という結果です。
2. 採点者を替えると順位が入れ替わる
検証の途中で採点役のモデルを差し替えたところ、同じ設問のまま順位が逆転しました。設問を18問から240問へ増やしたことで動いたのは0.10点分で、逆転の主因は採点者の交代でした。
AIが採点する形式のベンチマークを読むときは、スコアの数字より「誰が採点したか」を先に確認する必要があります。自社で測る場合も、採点者を固定しないまま前後比較をすると結論が壊れます。
3. 速度と日本語能力の逆相関
最も速いモデルが日本語で最下位、最も遅いモデルが日本語で1位でした。4モデルの中に品質と速度の両方で上位に立つものはありません。用途ごとにどちらを取るかの判断が要ります。
なお速度差の主因はパラメータ数ではなく構造の違いにあります。最速のモデルは必要な部分だけを使う構造のため、公称の規模が最大でも実際に読み出す量が最も少なくなります。「大きいモデルほど遅い」という見立ては、この種の構造には当てはまりません。
まとめ
- 日本語能力を測るなら平均点より破綻率を見る。2.5%と20.0%では使用感が別物になる
- 敬語・助数詞・表記校正は差がはっきり出る領域で、汎用ベンチではほぼ測れていない
- 翻訳スコアは日本語能力の代わりにならない
- AI採点のベンチマークは採点者で順位が動く。数字の前に測り方を確認する
ハバス合同会社では、日本語を扱う業務に生成AIを組み込む際の検証をこのように自社で行っています。公開されているスコアをそのまま使うのではなく、業務で問われる形に設問を作り直して測ることを重視しています。検証の設計や結果についてのご相談はお問い合わせページよりご連絡ください。
測定日: 2026年8月／実行環境: ローカル推論サーバー1台、4bit量子化、外部APIへの送信なし