生成AIを使っていて「長い資料を貼ったら、途中から指示を無視され始めた」「会話が続くほど答えがぼやける」と感じたことはないでしょうか。これは使い方が下手なせいというより、生成AIの構造上の制約に触れている状態です。鍵になるのが「トークン」と「コンテキストウィンドウ」という2つの言葉です。仕組みを知っておくと、うまくいかない場面で何を直せばいいかの見当がつくようになります。
トークンとは｜AIが文章を数える単位
生成AIは文章を単語や文字のまま扱っているわけではありません。文章を「トークン」と呼ばれる細かい単位に分割し、その並びとして処理しています。英語なら単語や語幹に近い区切りになり、日本語では1文字がそのまま1トークンになることもあれば、1文字が複数トークンに分かれることもあります。分割の仕方はAIのモデルごとに違うため、同じ文章でもトークン数は一定ではありません。
実務で覚えておきたいのは、トークンが「AIにとっての文章の長さの単位」であり、入力にも出力にも上限があるという点です。有料プランの料金がトークン数で決まるサービスもあり、長い文章を投げるほど処理量が増えるという関係になっています。
コンテキストウィンドウとは｜一度に見渡せる範囲
コンテキストウィンドウは、AIが一度の処理で参照できるトークンの上限です。これまでの会話、貼り付けた資料、システム側の指示、そしてこれから出力する回答まで、すべてがこの枠の中に収まる必要があります。机の上に広げられる資料の量に上限がある、とイメージすると近いかもしれません。
枠を超えた分は、単純に見えなくなります。多くのチャットサービスでは、古いやりとりから順に切り落とされたり、要約に置き換えられたりして枠に収める処理が入ります。ここで、最初に伝えた前提や口調の指定が失われることがあるわけです。
長い会話や資料で答えが崩れる理由
最初の指示が押し出される
会話が長くなると、冒頭で伝えた「箇条書きで」「専門用語は使わない」といった条件が枠の外に出てしまいます。AIが指示を忘れたように見えるのは、実際には指示がもう見えていないためです。
細部が要約に置き換わる
古い部分を要約して圧縮する仕組みが働くと、数字や固有名詞といった細部から失われます。前半に貼った資料の数値を後半で聞き返すと答えがずれる、というのはこのパターンです。
仕事で使うときの5つの対処法
構造を踏まえると、対処は「枠に入れる情報を減らす」か「大事な情報を枠の中に居続けさせる」かの2方向になります。
第一に、目的が変わったら新しいチャットを始めることです。同じスレッドを使い続けるほど過去のやりとりが枠を圧迫します。第二に、重要な条件は毎回書き直すこと。前提が長くなってきたら、その回のメッセージに条件を再掲すれば確実に読まれます。
第三に、資料は全文ではなく必要な章だけを貼ること。第四に、長い文書は「まず要約させ、その要約に対して質問する」と二段構えにすること。第五に、出力が長くなりそうなときは分割して依頼することです。回答もトークンを消費するため、一度に大量に書かせようとすると途中で切れたり品質が落ちたりします。
こうした工夫は指示文そのものの書き方とも関係します。基本の型は生成AIのプロンプト入門｜精度を上げるコツとよくある失敗5つで整理しているので、あわせて確認すると再現性が上がります。
「たくさん貼れば賢くなる」わけではない
枠が大きいモデルが増えたことで、資料をまとめて貼ればいいと考えたくなります。しかし情報量が増えるほど、AIが本当に見るべき箇所を取り違える可能性も上がります。関係の薄い資料が混ざっていると、そちらに引っ張られた回答が返ってくることもあります。
枠に余裕があっても、渡す情報は絞ったほうが精度は安定します。「入れられる最大量」ではなく「答えに必要な最小量」を意識するほうが、結果として手戻りが減ります。
そして、枠に収まっていれば内容が正しいわけでもありません。参照できた情報の中でもっともらしい文章を組み立てるという性質は変わらないため、確認の手順は別途必要です。この点は生成AIの答えを鵜呑みにしない｜ハルシネーションと確認の基本で扱っています。
まとめ
トークンは生成AIが文章を数える単位、コンテキストウィンドウはその単位で測った「一度に見渡せる範囲」です。長い会話で指示が抜ける、資料の細部がずれるといった現象は、多くがこの枠からあふれたことで起きています。目的ごとにチャットを分ける、重要な条件は再掲する、資料は必要な部分だけ渡す。この3つを習慣にするだけでも、生成AIの答えは安定します。
仕組みを踏まえた使い方を体系的に身につけたい場合は、生成AIは独学とスクールどちらで学ぶ？向き不向きと後悔しない選び方も参考に、自分に合う学び方を検討してみてください。
文脈の長さだけでなく、そもそも生成AIの出力にはばらつきがあります。その理由は生成AIの答えが毎回違うのはなぜ？出力がゆらぐ理由と付き合い方で解説しています。
よくある質問
トークン数は自分で数える必要がありますか？
日常的にチャット形式で使う分には、数える必要はありません。おおまかに「文章が長いほどトークンを消費する」と理解しておけば十分です。ただしAPIを使って開発する場合や、従量課金のサービスを使う場合は、入力と出力の両方でトークンが消費されるため、コスト試算のうえで意識する場面があります。
コンテキストウィンドウの大きさはどう調べますか？
各AIサービスの公式ドキュメントやモデル一覧のページに記載されています。モデルの更新頻度が高く、数値は頻繁に変わるため、まとめ記事の情報ではなく提供元の公式情報を確認するのが確実です。同じサービスでもプランやモデルによって上限が異なる場合があります。
会話が長くなったら何をすればいいですか？
目的が一段落したところで新しいチャットを開くのが最も簡単です。続きを扱いたい場合は、それまでの結論と前提を自分で短くまとめ、新しいチャットの冒頭に貼り直します。この「引き継ぎメモ」を作る手間を惜しまないほうが、結果的にやり取りの回数は減ります。
長い資料を扱うにはどうすればいいですか？
全文を一度に貼るのではなく、章ごとに分けて要約させ、その要約をもとに全体の問いに答えさせる進め方が扱いやすくなります。数値や固有名詞が重要な資料では、該当箇所だけを抜き出して渡すほうが正確です。出力された内容は必ず元の資料と照合してください。
