1986年、経済学者たちはすでに「掲載済みの論文を第三者が再現できるか」を調べていました。約30年後の2015年、13の有力経済学誌に載った67本を著者提供のデータとコードで検証すると、著者へ問い合わせず主要な定性的結果を再現できたのは22本、33％でした。機密データ6本と利用できないソフトウェア2本を除き、著者の助けを得た場合でも29本／59本、49％でした。
2026年現在のAmerican Economic Association（AEA）では、掲載前にデータ、コード、README、ソフトウェア情報などを提出し、Data Editorの仕組みを通じて実際の再現確認まで行います。経済学の再現性問題は、単なる「昔の研究の失敗」ではなく、40年かけて出版制度そのものを変えてきた歴史です。
経済学の「再現性」とは何を確かめること？
National Academiesは2019年、reproducibilityとreplicabilityを分けて整理しました。計算再現性（reproducibility）は、同じ入力データと同じ計算手順、方法、コード、分析条件を使い、同じ計算結果を得られるかを確かめることです。
追試再現性（replicability）は、同じ科学的問いに対して新しいデータを集め、別の研究でも整合的な結果が得られるかを確かめることです。さらにgeneralizabilityは、別の国、時代、集団、状況へ結果がどこまで当てはまるかという問題です。
- 計算再現性：同じデータ＋同じコードをもう一度動かし、同じ表・数字・グラフが出るか
- 追試再現性：別の被験者・別のデータでも、同じ科学的結論になるか
- 一般化可能性：別の国・時代・集団にも結果が当てはまるか
古い経済学論文では“replication”という語が、現在のNational Academiesの区分では計算再現性に近い意味で使われることがあります。以下では論文タイトルの原語を尊重しつつ、内容に応じて区別します。
再現性危機はどこから始まった？
1986年――そもそもデータやプログラムが手に入らない
William Dewald、Jerry Thursby、Richard Andersonは1986年、Journal of Money, Credit and Bankingの掲載論文などを対象に、著者からプログラムとデータを集めて結果を再現するプロジェクトを報告しました。大きな障害は、結果以前に再計算へ必要な材料が揃わないことでした。
この研究は、意図しないエラーが珍しくないことも報告しました。後年の文献では54件を調べたプロジェクトとして引用されますが、完全なデータとコードを取得できた対象は限られていました。当時の核心は、第三者が検証へ進むための入口そのものが狭かった点です。
2015年――データとコードがあっても約半数
Andrew ChangとPhillip Liは2015年、13の経済学誌に掲載された67本を検証しました。著者へ連絡せず主要な定性的結果を再現できたのは22本、33％でした。機密データ6本と利用できないソフトウェア2本を除き、著者の助けを得た場合は29本／59本、49％でした。
重要なのは、残りが「科学的に誤り」だったという意味ではないことです。missing files、説明不足、software version、file path、manual steps、data accessなど、計算再現性を止める原因は複数ありました。
データ・コード提出を掲載条件としていた雑誌では35本中29本、83％で材料を入手できたのに対し、提出義務のない雑誌では26本中11本、42％でした。公開ルールがあるほど、第三者が再現作業へ入れる確率は高くなりました。
2017年――追試そのものがどれだけ存在したか
American Economic Reviewは2017年、2010年のempirical papers 70本を調べた研究を掲載しました。後続文献の中に元結果を部分的にreplicateするcitationが確認できたのは29％、replication・robustness test・extensionのいずれかがあったのは60％でした。
これは計算再現成功率ではなく、「後続文献に追試や頑健性確認が存在した割合」です。再現性研究では、同じ“replication rate”という言葉でも分母と意味が大きく違います。
別のデータで追試するとどうなる？経済実験18件
Colin Camererらは2016年、2011～2014年にAERとQJEへ掲載された18のlaboratory experimentsを追試しました。事前に分析計画を公開し、元の効果を検出する統計的検出力を90％以上に設定しています。
元研究と同じ方向で統計的に有意な効果が出たのは11本／18本、61％でした。追試の効果量は平均で元研究の66％。別の判定指標では67～78％という結果も出ています。
この18本は計算再現性ではなく、別データを使う追試再現性の検証です。成功判定も一つではなく、対象数も18本です。61％という数字を経済学全体の固定的な「再現率」と扱うと意味が変わります。
同時期、心理学でも大規模追試が行われ、2015年のOpen Science Collaborationでは100研究の追試で有意結果の割合が大きく低下しました。社会科学全体で、追試と研究透明性が重要テーマになった時期です。分野や研究選定が異なるため、心理学と経済学の数字は別々の研究条件で解釈する必要があります。
なぜ「有意な結果」ばかり出る？p-hackingとpublication bias
統計的有意性は、観察された差が偶然だけでは起きにくいかを判断する一つの基準です。p値はその判断に使う指標で、慣行的にp<0.05が注目されてきました。
同じデータでも、年齢をcontrolするか、期間をどう切るか、一部観測を外すか、outcome定義をどう置くか、model specificationをどう変えるかで結果は動きます。結果を見た後に何十通りも試し、有意になった仕様だけを採用すると、偶然の差まで「発見」に見える余地が生まれます。これがp-hackingです。
publication biasは「効果なし」より「効果あり」の研究が出版されやすい偏り、file drawer problemは有意でなかった研究が表に出ず研究者の引き出しに残る問題です。p-hackingは必ずしも故意の不正を意味せず、分析上の選択肢が多い制度の中で起きる偏りとして研究されています。
2016年“Star Wars”――約5万件の統計検定
Abel BrodeurらはAER、JPE、QJEの約50,000 testsを調べ、p値0.25～0.10付近の不足と、5％有意水準を超えた直後への集中を報告しました。欠けているtestsはmarginally rejected testsの10～20％程度に相当すると推計されています。
この10～20％は研究者の不正率ではなく、test statisticsの分布についての推計です。2026年には同論文のCorrigendumも公開されており、再現性問題の研究自体も修正対象になり得ます。
2020年Methods Matterと2022年の修正
Brodeur、Nikolai Cook、Anthony Heyesは2020年、25の主要経済学誌から21,000超のhypothesis testsを集め、RCT、Difference-in-Differences（DID）、Instrumental Variables（IV）、Regression Discontinuity Design（RDD）を比較しました。IVで強い偏りを報告し、DIDにも問題を示しました。
2022年、Sebastian KranzとPeter Pützはrounding errorsを調整すると、DIDの5％threshold付近のp-hacking evidenceは消えると指摘しました。IVではevidenceが残りました。原著者側もReplyで、DIDに関する弱いfindingが調整後に変わることを認めています。
研究、再検証、一部結果の修正、原著者の応答という流れそのものが、科学の自己修正過程です。
Excelのミスが世界的論争へ――Reinhart–Rogoff
Carmen ReinhartとKenneth Rogoffは2010年の“Growth in a Time of Debt”で、44カ国・約200年間のデータを分析し、政府債務/GDP比が90％を超える国では成長率が低いという結果を示しました。
Thomas Herndon、Michael Ash、Robert Pollinは2013～2014年にspreadsheetを再分析し、1946～2009年のadvanced economiesで債務比率90％超の平均実質GDP成長率は、Reinhart–Rogoffの−0.1％に対して2.2％になると報告しました。
指摘された要因は複数ありました。spreadsheet coding error、利用可能データの選択的除外、summary statisticsのweightingが重なっていました。ReinhartとRogoff自身もspreadsheet calculation errorを認めています。一方、高債務と低成長のassociation自体については主張を維持し、解釈をめぐる議論は続きました。
この事件が示した制度上の意味は明確です。元データと計算過程へ第三者がアクセスできれば、重要な結果を具体的に検証できます。
追試論文は全体の約0.1％しかなかった
Mueller-Langerらは2019年、1974～2014年のtop 50 economics journalsを調べ、replication studiesが全掲載論文の約0.1％だったと報告しました。high-impact papersは追試されやすい一方、top 5掲載論文はreplication probabilityが低いという結果も出ています。
背景には研究者個人の姿勢より、学術制度のincentiveがあります。新しい発見の方がpublication、citation、careerで評価されやすく、既存研究を丁寧に確認する仕事は相対的に報われにくい構造でした。
経済学界はどう制度を変えた？
2005年――AEAがデータとコード提出を制度化
AEAは2005年、empirical work、simulations、experimental workを含むaccepted papersについて、publication前にdata、programs、computationsのdetailsを提供し、第三者がreplicationできる状態を求める方針を導入しました。READMEも必要になりました。
論文に数字を書く段階から、第三者が再計算できる材料を残す段階へ制度が進みました。
2013年――実験を始める前に登録する
AEA RCT Registryは2013年5月に始まりました。RCT（ランダム化比較試験）は対象者をランダムに群分けして政策や介入の効果を比べる方法です。Registryには研究概要、主要outcome、開始・終了などを事前に残せます。
現在のAEA journalsではfield experimentsを投稿する前にRegistryへの登録が求められます。laboratory experimentsはこのRegistry policyの必須対象とは別扱いです。
preregistrationは「この研究を行う」と事前登録する仕組みです。pre-analysis plan（PAP）はさらに、主要指標、sample、分析方法まで詳しく固定します。結果を見た後で分析方法を都合よく変える余地を小さくする狙いがあります。
2024年――事前登録だけでは足りなかった
Brodeur、Cook、Jonathan Hartley、Heyesは2024年、15の主要経済学誌に掲載されたRCT studiesから15,992 test statisticsを分析しました。preregistration単独ではp-hackingやpublication biasの減少を明確に確認できず、詳細なPAPを伴う場合には減少と整合的なevidenceが見られました。
登録の有無だけでなく、事前にどこまで具体的な分析計画を固定したかが重要だという結果です。
2018～2019年――ファイルを置く制度から、実際に動かす制度へ
AEAは2018年1月、Lars Vilhuberを初代Data Editorに任命しました。2019年7月10日にはData and Code Availability Policyを更新し、必要材料のguidance、quality control、publication processのより早い段階でのreviewを強化しました。
2019年9月からはLDI Replication Labなどがprocessingを担い、提出されたデータとコードを第三者が実際に確認する運用へ進みました。2005年の「提出する」から、2019年以降の「動くか確かめる」への転換です。
2024年の大規模検証――ファイルがあるだけでは足りない
Herbertらは2024年、American Economic Journal: Applied Economicsのpublished articles 363本を調べ、274本を評価しました。274本すべてに何らかのmaterialsがありましたが、confidential / proprietary dataや、replicator自身がdata取得を要する研究など122本を除外しています。
実際にreproduceを試みた152本のうち、fully reproducedは68本、44.7％、partially reproducedは66本、43.4％でした。多くの論文ではpartial reproductionに到達するためにも複雑なcode changesが必要でした。
このsampleは、2026年現在のpublication前verification制度とは対象時期とpolicy環境が異なります。結果が示すのは、ファイルを置かせるだけでは十分でなく、実際に第三者が動かすverificationへ制度が進んだ理由です。
2026年現在、経済学論文は何を提出する？
AEAのcurrent Data and Code Availability PolicyはFebruary 2026版です。empirical work、simulations、experimental workを含むpaperは、publication acceptance前にdata、code、computational detailsを提供し、replication可能な状態にすることが求められます。
Data Editorの仕組みではpolicy complianceとreproducibility checksを確認し、提供された情報のaccuracyも点検します。対象は理論の正しさ全体を保証する審査ではなく、第三者が計算過程を追えるかという再現性の確認です。
- Data Availability Statement：data provenance、入手条件、制限、時間・費用
- Raw Data：原則として元データ。非公開dataなどは例外
- Analysis Data：分析に使う整形済みデータ
- Cleaning / Transformation Code：raw dataからanalysis dataを作る全program
- Analysis Code：推定、simulation、model solution、visualizationなどを作るprogram
- Experiment / Survey Materials：instructionsやinstruments
- README：software / hardware、version、libraries、expected running time、実行手順、各table/figureを作るprogram、data citation
理想的なreplication packageは、READMEを読み、raw dataを入手し、cleaning codeでanalysis dataを作り、analysis codeを実行すると、論文の表やグラフへたどり着ける構造です。data provenanceは、元データがどこから来て、どの条件で入手できるかという来歴を記録します。
AEA Data Editor Officeの2025年11月3日時点の累計では、2,791 unique manuscripts、4,470 verification reports、推計4,973 authorsに対応し、年間約400 articlesを処理していました。複数roundでreportが出るため、reports数はmanuscripts数を上回ります。Data Editor単独ではなく、trained staffやstudentsを含む運用です。
機密データでも再現性を確保できる？
現代経済学では、税務data、銀行data、企業内部data、行政記録、個人情報など、公開に制約のあるデータが増えています。公開可否と再現性は別問題です。
AEA policyは、公開できない正当な制約がある場合でも、publication後最低5年間のdata/code保存、clarificationやreplication requestへのreasonable assistance、codeの公開、data sourceとcontactの明示、Data Editorへの制約申告などを求めます。可能な場合はData Editorまたはdesignated third-party replicatorへprivate dataを提供して検証します。
third-party verificationでは、replicatorが著者projectへ関与していないこと、conflictを開示すること、arm’s-lengthで検証することが条件です。機密性と第三者確認を両立させる仕組みです。
再現できなかった研究は「間違い」なのか
National Academiesは、non-reproducibilityやnon-replicabilityの原因として、未知のvariation、条件の微妙な差、measurement、記録不足、technology limitation、bias、training、institutional barriers、まれなmisconductなどを挙げています。
一度のfailed replicationは、original claimを再検討する材料の一つです。どの条件が違ったか、元研究と追試の設計に何があったか、計算再現性と追試再現性のどちらが問題かを切り分ける必要があります。
研究が社会で使われるほど、第三者が検証できる仕組みの価値も高まります。ノーベル経済学賞の研究が社会でどう使われているかを見ると、制度設計や政策評価でも再検証可能性が重要だと分かります。
経済学は科学なのか？再現性危機が変えたもの
再現性危機から確認できるのは、経済学が「失敗を検出し、修正する仕組み」を増やしてきた歴史です。
- 1986年：第三者が再現しようとしてもdataやprogramが揃わない
- 2005年：AEAがdata/code提出を制度化
- 2013年：RCT事前登録
- 2018年：初代Data Editor
- 2019年：publication前verification
- 2026年：data provenance、raw data、cleaning code、analysis code、README、software version、runtimeまで制度化
科学の信頼性は、第三者が確かめ、問題が見つかったときに結果や制度を修正できる仕組みにも支えられます。経済危機のたびに理論や政策分析が更新されてきた歴史は、危機によって経済学がどう変わったかでも確認できます。
主な参考文献
- National Academies of Sciences, Engineering, and Medicine (2019), Reproducibility and Replicability in Science
- Dewald, Thursby, Anderson (1986), “Replication in Empirical Economics”
- Chang & Li (2015), “Is Economics Research Replicable?”
- Camerer et al. (2016), “Evaluating replicability of laboratory experiments in economics”
- Berry et al. (2017), “Assessing the Rate of Replication in Economics”
- Brodeur et al. (2016), “Star Wars: The Empirics Strike Back”
- Brodeur, Cook, Heyes (2020), “Methods Matter”
- Kranz & Pütz (2022), Comment; Brodeur et al. (2022), Reply
- Reinhart & Rogoff (2010), “Growth in a Time of Debt”
- Herndon, Ash, Pollin (2014), “Does high public debt consistently stifle economic growth?”
- Mueller-Langer et al. (2019), Research Policy
- Brodeur et al. (2024), JPE Microeconomics
- Herbert et al. (2024), Canadian Journal of Economics
- American Economic Association, Data and Code Availability Policy / RCT Registry / Third-Party Verification Policy
