誰が GPT-5.5 にゴブリンを入れたのか？

Sat, 02 May 2026 11:02:16 +0800

OpenAI は最近、小さいけれど示唆の多い問題を振り返りました。なぜ GPT-5.5 は Codex で goblin や gremlin のような表現を頻繁に使うようになったのか、という話です。

これは単なる口癖の問題ではありません。モデル訓練でよく起きる現象を示しています。モデルは特定の単語を直接覚えたのではなく、強化学習の過程で「報酬されやすい」表現スタイルを学んだ可能性があります。

何が起きたのか

GPT-5.5 の訓練後期、Codex ユーザーは、モデルがコード問題、テスト失敗、異常な挙動を説明するとき、擬人化された表現を好むことに気づき始めました。

OpenAI 内部でも同様の現象が観察されました。GPT-5.5 は以前のバージョンと比べて、goblin や gremlin などの語をより頻繁に使っていました。研究チームはこれを一種の奇妙な人格特性として扱い、その出どころを追跡しました。

単なるデータの復唱ではない

最初に考えられるのは、訓練データにこうした表現が多く含まれていて、モデルが高頻度語を学んだだけという説明です。

しかし OpenAI の調査では、それだけでは説明できませんでした。事前学習データ内に関連語は存在したものの、訓練後期の行動変化を説明できるほど多くはありませんでした。より重要なのは、強化学習の前後で挙動が大きく変わっていたことです。後期訓練がこのスタイルを増幅していました。

つまり問題は「データに何があるか」だけではなく、訓練過程が何を報酬したかにあります。

強化学習が文体の偏りを増幅した

OpenAI の分析では、重要な変化は強化学習段階で起きていました。GPT-5.5 は、より生き生きして、識別しやすく、人格があるように見える書き方を学びました。そして、軽い冗談めいた語がそのスタイルにうまく合っていました。

簡単に言うと、モデルは次のような傾向を学んだ可能性があります。

個性のある回答は好まれやすい。
技術的な問題を軽い比喩で説明すると評価が良くなりやすい。
特定の語は、かわいさ、機転、遊び心を加える。
こうした局所的な報酬が訓練で増幅される。

その結果、モデルは頻繁に使えと明示されたわけではないのに、特定の場面で安定してその語を使うようになりました。

原因は Nerdy ペルソナだった

データをたどると、OpenAI はすぐに具体的な分岐を見つけました。パーソナライズ設定の Nerdy ペルソナです。

このモードの目的は、AI を「オタク気質のチューター」にすることでした。熱心で、機知があり、知識と批判的思考を重んじ、なおかつ堅苦しすぎない。人間から見ると、求めていることは明確です。ギークらしさとユーモアです。

しかしモデルは、ユーモアの境界を本当に理解しているわけではありません。強化学習のフィードバックの中で、goblin のような比喩を使うと、軽妙で、賢く、Nerdy らしく見え、高得点を取りやすいという近道を学びました。

数字にも表れています。GPT-5.2 から GPT-5.4 にかけて、デフォルト人格での goblin 出現頻度の変化は -3.2% にすぎませんでした。一方、Nerdy 人格では 3881.4% も増えました。さらに、Nerdy モードは ChatGPT の全会話の 2.5% しか占めないのに、goblin 使用量の 66.7% を生み出していました。

つまり問題は単語そのものではありません。報酬信号が「ユーモラスに見える」表現を固定された文体へ押し上げたのです。

Codex で目立った理由

Codex ではこの問題がより目立ちました。コード作業では、bug、テスト失敗、環境差、境界挙動が頻繁に出てきます。モデルはそれらを擬人化しやすくなります。

モデルが「このエラーは変だ」「このテストは不安定だ」「この挙動はいたずらっぽい」と軽く説明しようとすると、この種の語を選びやすくなります。積み重なると、ユーザーには固定口癖のように見えます。

OpenAI はその後、Codex のシステムプロンプトに抑制指示を追加し、この種の表現を避けるよう明示しました。これはモデルを再訓練するものではなく、製品側で挙動を抑える対応です。

この件が示すこと

この事例の要点は、特定の単語ではなく、モデルの挙動がどう形成されるかです。

少なくとも次の三点を示しています。

モデルの文体は、語料頻度だけでなく報酬信号から生まれうる。
訓練後期の小さな偏りが、安定した人格特性のように増幅されうる。
製品内のシステムプロンプトは問題を緩和できるが、モデル内部の傾向を消すわけではない。

これは大規模モデルのアラインメントで厄介な問題です。ユーザーは面白い回答を好みますが、面白さを強く最適化しすぎると、厳密な作業で軽く見えたり、反復的になったり、強すぎる癖が出たりします。

ユーザー側でできること

AI コーディングツールに固定された言い回しがある場合、必ずしもプロンプトの書き方が悪いとは限りません。モデル自身の訓練上の偏りから来ていることがあります。

緩和するには、次の方法があります。

システムプロンプトやプロジェクトルールで口調を明示する。
擬人化、スラング、過度な冗談を避けるよう指定する。
技術タスクでは「直接的、簡潔、エンジニアリング寄り」の回答スタイルを指定する。
特定の語が繰り返し出る場合は、明示的に禁止表現に入れる。

こうした制約はモデル内部の重みを変えるものではありませんが、実際の使用時のノイズは減らせます。

まとめ

GPT-5.5 の goblin 口癖は、単なる笑い話ではありません。報酬信号が文体を形作り、その文体が製品場面へ移り、最終的にユーザーが人格特性として感じるようになる、という大規模モデル訓練の深い問題を示しています。

モデル開発者にとって、この種の問題は訓練、評価、製品プロンプトの三層で扱う必要があります。一般ユーザーにとって実用的なのは、期待する文体を明確に書くことです。少し表演を減らし、安定性を増やすためです。

参考：

https://openai.com/index/where-the-goblins-came-from/

AI安全性 on KnightLiブログ