AIに何か頼むとき、最後に「ステップバイステップで考えてください」と付け足す。プロンプトの定番として広まっているし、自分も書いていた。
これ、本当に効くのか。
調べたら、2022年には劇的に効いていた。数字が残っている。そしていまのモデルでは、効かないか、むしろ足を引っ張る場合があるという研究も出ていた。
3年で前提が変わっている。定番と言われているものほど、賞味期限を確かめたほうがいいらしい。
この記事は育ちます。公開後も、会話パート・トーク・補足を足していきます。
公開 2026-10-04 ／ 最終更新 2026-10-04（公開）
水深 — 17.7%が78.7%になった論文
もとになった研究がある。
東京大学の小島武らによる「Large Language Models are Zero-Shot Reasoners」（2022年）。松尾豊研究室からの論文だ。
やったことは、拍子抜けするほど単純だった。
質問のあとに「Let’s think step by step.（ステップバイステップで考えよう）」という一文を足しただけ。
それだけで、算数の文章題の正答率がこう変わった。
| ベンチマーク | そのまま | 一文を足す |
|---|---|---|
| MultiArith | 17.7% | 78.7% |
| GSM8K | 10.4% | 40.7% |
MultiArithは4倍以上。GSM8Kも4倍近い。
使われたモデルは InstructGPT（text-davinci-002）と、540Bパラメータの PaLM。いまから見れば古いモデルだ。
例示も、追加学習も、何もしていない。一文だけ。 これが当時どれだけ驚かれたか、数字を見ると分かる。
なぜ一文で変わったのか
理屈はこう説明されている。
言語モデルは、次に来る言葉を選び続けることで文章を作っている。質問のあとにいきなり答えを出させると、考える場所がない。最初の一手で答えを言わされる。
そこに「ステップバイステップで考えよう」と置くと、モデルは途中の計算過程を書き始める。書かれた途中式が、次の一手の材料になる。
紙に書きながら考えるのと同じことが起きていると言える。頭の中だけで暗算するのをやめて、途中を書き出させる。それだけで正答率が変わった。
この「途中を書かせる」やり方をChain-of-Thought（思考の連鎖、CoT）という。もともとはお手本をいくつか見せる形（Wei らの2022年の研究）で提案されていて、小島らの論文はお手本なしでも一文で起きることを示したものだった。
効く場所と、効かない場所がある
2024年に、これを検証したメタ分析が出ている。
Sprague らの「To CoT or not to CoT?」（2024年、ICLR 2025）。100本以上の論文を対象にした定量的なメタ分析と、14モデル・20データセットの独自評価を行ったものだ。
結論は、はっきりしていた。
CoT gives strong performance benefits primarily on tasks involving math or logic, with much smaller gains on other types of tasks
（CoTが大きな効果を出すのは主に数学か論理を含むタスクであり、それ以外の種類のタスクでの改善ははるかに小さい）
つまり、計算と記号操作には効く。それ以外にはあまり効かない。
面白い観察も載っている。MMLUという知識系のベンチマークでは、問題文に等号（＝）が含まれていない場合、CoTの有無で精度がほぼ変わらなかった。等号があるかどうかが、効くか効かないかの目印になっていた。
論文はさらに踏み込んで、CoTの利得の多くは「記号的な実行を改善していること」から来ていると述べている。そして、きちんとした記号ソルバー（計算ツール）を使ったほうが強いとも書いている。
要するに、計算させたいなら計算機を使わせたほうがいい。CoTは、計算機がないときの次善策だった。
いまのモデルでは、むしろ邪魔になりうる
もうひとつの変化が、モデル側で起きた。
2024年以降、推論モデルと呼ばれる種類が出てきた。答える前に自分で長く考える工程が、あらかじめ訓練で組み込まれているモデルだ。
こうしたモデルに「ステップバイステップで考えて」と指示するとどうなるか。すでにやっていることを、もう一度やれと言うことになる。
指摘されている影響は2つある。
- 推論モデルでは、明示的なCoT指示は得るものがほとんどないまま、応答時間とトークン消費を大きく増やす
- そうでないモデルでも、ばらつきが増え、そのまま答えれば正解できた簡単な問題を外すことがある
「考えすぎて間違える」という現象が、人間だけのものではなくなった。
さらに、意図的に推論を抑える手法（NoThinking と呼ばれる）が、同等かそれ以上の結果を出すという報告もある。特に、使えるトークン量が限られている状況で有効とされる。
ただし、ここは研究がまだ動いているところだ。「効かなくなった」と断言するには早いと思う。効く場面と効かない場面が分かれてきた、というのが正確なところだろう。
では、いま何を書けばいいのか
3年ぶんの流れを踏まえて、実務でどう書くか。自分なりに整理するとこうなる。
① 計算や手順が絡むなら、まだ有効
金額の按分、日数の計算、条件分岐のある判定。こういうものは途中を書かせたほうがいい。ただし「ステップバイステップで」より、手順そのものを指定するほうが効く。
- ×「ステップバイステップで考えて計算して」
- ○「①税抜金額を税率ごとに合計 ②それぞれに税率を掛ける ③1円未満を切り捨て ④順に表示」
② 事実を答えるだけなら、要らない
「この用語の意味は」「この制度はいつから」。こういう質問に思考過程を求めても、長くなるだけで正確にはならない。むしろ根拠を示させるほうが効く。
③ 出力の形を指定するほうが効く
「結論を先に」「表で」「3つに絞って」。こちらのほうが、読める答えが返ってくる確率は高い。
④ 計算は、計算させない
数字の精度が要るなら、表計算やコードにやらせる。CoTの研究自体が「記号ソルバーのほうが強い」と言っている。AIに暗算させて検算する時間があるなら、最初からExcelに入れたほうが早い。
実務で効いた書き方、4つ
もう少し具体的に書く。仕事で使っていて、手応えのあったものを挙げる。
① 役割より、条件を書く
「あなたは優秀な経理担当です」と書くより、「当社は3月決算、税込経理、インボイス登録済み」と書いたほうが、出てくる答えが変わる。肩書きより前提条件が効く。
② 出してほしくない形を書く
「一般論は不要」「前置きなし」「箇条書きにしない」。禁止のほうが具体的に書ける場合が多い。
③ 判断できないときの振る舞いを指定する
「情報が足りない場合は、推測せずに何が足りないかを挙げて」。これを入れておくと、それらしい嘘が減る。いちばん効いたのはこれだと思う。
④ 長さを先に決める
「400字で」「表で3行」。長さの指定は、内容の密度を変える。制限がないと、どうしても薄く長くなる。
どれも「魔法の一文」ではなく、普通の指示だ。人に頼むときと同じ書き方に近づいてきている。
「効くと言われている」の賞味期限
この件でいちばん学びになったのは、内容より構造のほうだった。
2022年に、確かな実験で効果が示された。数字が強かったので、広く引用された。引用されるうちに、条件が落ちて「こう書けば精度が上がる」という言い切りになった。そのあいだにモデルが変わり、前提が崩れた。
根拠のある話が、根拠ごと持ち運ばれずに広まる。
QWERTYの「わざと遅くするため」という俗説も、元の論文から「意図せずして」の一語が落ちて生まれていた。構図が同じだと思う。
プロンプトの定番と言われるものは、たいてい何年か前の論文が出典になっている。いつの、どのモデルで、何を測った話なのか。そこを確かめる癖をつけておくと、古い呪文を唱え続けずに済む。
自分で確かめる方法
とはいえ、論文を追い続けるのは現実的でない。手元で確かめる方法を書いておく。
同じ質問を、2通りで投げて比べる。
- A：そのまま聞く
- B：手順指示を付けて聞く
これを、自分がよく使う種類の仕事で5回ずつやる。答えが安定しているか、速さはどうか、無駄に長くなっていないか。
大事なのは、自分の使い方で測ることだ。ベンチマークは算数の文章題で測っている。あなたが頼んでいるのが議事録の要約なら、その結果は参考にしかならない。
5回でも、傾向は見える。1回だけだとたまたまに引きずられる。
そして、勝ったほうを社内のテンプレートに書く。これをやらないと、個人の勘で終わってしまう。
ベンチマークの数字を、そのまま信じない
もうひとつ、覚えておきたいこと。
冒頭の「17.7%→78.7%」は、MultiArithという算数の文章題のベンチマークでの数字だ。小学校レベルの文章題を集めたものになる。
この数字を見て「精度が4倍になる」と受け取ると、ずれる。4倍になったのは、そのベンチマークで、そのモデルでの話だ。
ベンチマークの数字を読むときに確認したいのは3つ。
- 何を測ったか（算数か、知識か、要約か）
- どのモデルか（いつのものか）
- 比較対象は何か（何もしない場合か、別の手法か）
これを確認すると、たいていの「〇〇すると精度が上がる」は、条件付きの話だと分かる。条件付きでも役に立つが、条件を落として持ち運ぶと誤解になる。
航路 — 呪文ではなく、指示として書く
整理する。
- 「Let’s think step by step」の出典は小島ら（2022年）。MultiArithで17.7%→78.7%、GSM8Kで10.4%→40.7%
- 当時のモデル（text-davinci-002、PaLM）での話
- Sprague らのメタ分析（2024年）は、効くのは主に数学と論理で、それ以外の改善は小さいと結論している
- 推論モデルでは、明示的な指示は時間とトークンを増やすだけになりうる
- 計算の精度が要るなら、AIに暗算させず計算ツールを使う
- 「ステップバイステップで」より、手順を具体的に書くほうが効く
- ベンチマークの数字は、何を・どのモデルで測ったかまで見る
3年前に確かに効いたものが、いまも効くとは限らない。そして、効かなくなったことのほうは、あまり広まらない。
呪文として唱えるのをやめて、指示として書く。結局それがいちばん確実だった。
お手本を見せる（Few-shot）はどうなのか
「ステップバイステップ」の前に提案されていたのが、お手本を見せるやり方だった。
Wei らの2022年の論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」がそれで、質問の前に「こういう問題は、こう考えて、こう答える」という例を2〜3個置く。すると、同じ考え方で新しい問題を解くようになる。
小島らの「一文だけ」は、このお手本なし版だった。だから論文の題名が「Zero-Shot Reasoners（お手本なしでも推論できる）」になっている。
では、お手本を見せるやり方はいまも有効か。用途が変わって、まだ有効だと思う。
昔は「考え方を教える」ために使っていた。いまは「出力の形を揃える」ために使うほうが効く。
- 議事録の書式を揃えたい
- 稟議の要約を毎回同じ項目で出したい
- 取引先への返信を、自社の文体に寄せたい
こういうとき、完成品を1〜2個見せるのがいちばん早い。言葉で「丁寧に」「簡潔に」と書くより、現物を1つ見せるほうが確実に伝わる。
人に仕事を教えるときと同じで、口で説明するより過去の成果物を渡したほうが早い。あれと同じことをしている。
AIが計算を間違えるのは、数字の持ち方が原因でもある
「計算はAIにさせない」と書いた。その理由をもう少し書いておく。
言語モデルは、文章をトークンという単位に切って扱う。単語より細かく、文字より大きい塊だ。
このとき、数字も塊で切られる。「12345」が「123」「45」のように分かれることがある。桁の位置が、モデルから見て安定しない。
人間が筆算をするとき、一の位から順に揃えて計算する。桁がずれたら答えは合わない。モデルは、その桁揃えを保証されていない状態で計算している。
最近のモデルは数字を1桁ずつ切るなど改善が進んでいる。それでも、桁数が増えるほど間違いやすいという傾向は残る。
だから、こう分けるのが現実的だと思う。
- 考え方を整理させる → AIが得意
- 数字を合わせる → 表計算かコードにやらせる
AIに「Excelの式を書いて」と頼んで、計算はExcelにさせる。これがいちばん事故が少ない。
設定でも変わる — 長さと、ばらつき
プロンプトの文面だけでなく、設定でも結果は変わる。ツールによって触れる範囲は違うが、考え方は共通している。
出力の長さ
長く書かせると、間違いも増える。関係ない情報が混ざる余地が増えるからだ。要るものだけを要る長さで頼むほうが、精度が上がることが多い。
ばらつき（温度）
創作なら高いほうがいい。事実を扱うなら低いほうがいい。触れる設定があるなら、仕事の文章では下げておく。
文脈の量
資料をたくさん渡せば正確になる、とは限らない。関係ない資料が混ざると、そちらに引っ張られる。渡す資料は選ぶ。全部入れるのは、かえって逆効果になる。
このあたりは、プロンプトの文言より効くことがある。呪文を探す前に、量と長さを整えるほうが手っ取り早い。
テンプレートを1枚持つ
毎回考えるのは続かない。使い回せる形にしておくのがいいと思う。
自分が使っている骨格を書いておく。
① 前提 いつの、誰の、何の話か。会社の条件（決算月、経理方式、規模）
② 依頼 何をしてほしいか。動詞で書く（整理して／比較して／下書きして）
③ 材料 参照してほしい資料。貼るか、要点を書く
④ 形 長さ、形式（表・箇条書き・文章）、順番
⑤ 逃げ道 情報が足りないときにどうするか
この5つを埋めるだけで、たいていの仕事は通る。「ステップバイステップで」は、どこにも入っていない。
必要なら②に手順を書く。それが今回の結論だった。
効かない指示の例
逆に、書いても効きにくいものも並べておく。
- 「正確に」「間違えないで」 → 何をもって正確かが書かれていない
- 「プロとして」「専門家として」 → 条件を書くほうが効く
- 「絶対に」「必ず」 → 強調しても保証にはならない
- 「詳しく」 → 長くなるだけで、精度は上がらない
どれも、人に頼むときなら「で、具体的には？」と聞き返される種類の指示だ。人に頼んで通じない書き方は、AIにも通じない。
そう考えると、プロンプトの上達は、結局依頼の仕方の上達とほぼ同じことをしている。
この記事は、まだ書きかけです
この記事は、公開してから足していく形にしています。調べたことを書いた本文がまず先にあって、あとから「聞き手と話し手の会話」「あとで思い出したこと」「読んだ人から教わった補足」が積もっていきます。
だから、同じURLでも半年後には別のものになっているはずです。もし一度読んだことがある記事なら、下の更新ログだけ見てください。増えたところが分かります。
更新ログ
- 2026-10-04 公開（本文のみ。会話パートはこれから足します）
