재현 가능성이 왜 지금 유행 판별 기준으로 떠올랐나?
결론부터 말하면, 지금 뜨는 흐름 중 오래 남는 쪽은 결과를 '보여주는' 쪽이 아니라 결과를 '다시 만들 수 있게' 남기는 쪽이다. 2019~2025년 컴퓨터과학 논문의 재현성은 10%~22% 구간에서 정체됐고, 실패 원인은 대부분 코드·데이터·환경 파일 같은 실행 자산의 누락이었다[1]. 즉 재현 가능성은 발표 순간의 인상보다, 나중에 누가 다시 돌려봐도 같은 결과가 나오는가로 판정된다.
- 재현성은 결과 수치가 아니라 코드·데이터·환경·문서 묶음의 완성도로 갈린다[1]
- AI 관련 논문에서는 버전 고정 여부가 재현성을 가르는 축으로 떠올랐다[9]
- 공공기관·학계 모두 2025년부터 재현성 자료 공개를 발표의 기본 요구사항으로 다루기 시작했다[7][12]
- 반짝 유행은 결과만 공개하지만, 지속 흐름은 재실행 절차까지 문서화한다[11]
최근 눈에 띄는 건, 이 기준이 학계 안에서만 도는 게 아니라는 점이다. AI 모델 발표, 정책 보고서, 공공 데이터 릴리스까지 "다시 돌려볼 수 있는가"를 묻는 절차가 붙기 시작했다.
연구자들은 왜 결과 대신 '패키지'를 공개하기 시작했나?
이유는 단순하다. 원자료·코드·부가자료·재실행 안내가 한 묶음으로 있어야 다른 사람이 실제로 재현을 시도할 수 있기 때문이다. 월드뱅크는 2025년부터 발표물에 reproducibility package를 붙이는 흐름을 강화했고, 2026년 6월 기준 누적 500개 이상의 패키지를 공개했다[11]. 이 패키지는 원자료와 코드, 재실행 안내를 포함하며, 내부 검증을 통과한 자료에는 재현 가능하다는 표시가 붙는다[11]. 공개 저장소 기록을 보면 실제 절차는 do-file이나 R 프로젝트를 열고, 경로를 수정하고, 스크립트를 실행해 결과를 다시 만드는 반복 작업으로 적혀 있다[2][8][10]. 화려한 발표보다 이 지루한 절차가 신뢰를 쌓는다는 게 관찰 포인트다.
AI 논문에서는 왜 버전 고정이 재현성을 가르는 축이 됐나?
버전이 고정되지 않으면 같은 코드를 돌려도 다른 결과가 나오기 때문이다. LLM 소프트웨어공학 논문 분석에서 코드·실행 관련 재현성 문제 비중은 2020년 14.3%에서 2023년 44.1%까지 치솟았다가 2024년 22.8%, 2025년 31.4%로 출렁였다[9]. 같은 분석에서 버전 관리 문제 비중은 2022년 12.5%에서 2025년 50%까지 올라갔다[9]. 모델이 빠르게 바뀌는 분야일수록 모델 식별자·라이브러리 버전·실행 환경을 고정하지 않으면 재현성이 빠르게 흔들린다는 뜻이다.
결과 발표와 재현 자산 사이엔 왜 여전히 격차가 남나?
가장 큰 이유는 '보여주기'와 '남기기'가 서로 다른 노력을 요구하기 때문이다. 결과 그래프 하나를 만드는 일과, 그 결과를 처음 보는 사람이 다시 돌릴 수 있도록 코드·데이터·환경까지 정리하는 일은 작업량이 다르다. 컴퓨터과학 분야의 재현성이 수년째 10%대에서 크게 못 벗어난 배경에는 이 격차가 자리한다[1]. 발표는 빠르게 늘어나지만, 재현 자산 정리는 그만큼 빠르게 따라가지 못한다.
재현성이 정책 요구사항으로 이동한 배경은 무엇인가?
배경은 신뢰의 검증 단위가 개인에서 기관으로 넘어갔다는 데 있다. 2026년 HHS 연례보고서는 재현성과 반복가능성을 위해 엄격한 방법론, 자료·코드 공유, 독립 검증이 필요하다고 명시했고, CDC는 모델 코드와 파이프라인, 기계판독형 데이터를 공개하는 절차를 운영 중이라고 밝혔다[7]. 같은 보고서는 NIH의 복제 지원 이니셔티브와 ARPA-H의 관련 프로그램도 함께 소개했다[7]. TOP 2025와 연계된 2026년 논문은 재현성 핵심 항목을 국제 합의로 정리하는 단계까지 갔다[12]. 개인 연구자의 미덕이던 것이 기관 단위 정책으로 옮겨간 셈이다.
반짝 유행과 지속 흐름은 어떤 신호로 갈리나?
가장 분명한 신호는 '결과 이후에 남는 것'이다. 결과만 남으면 그 순간 화제성으로 끝나지만, 코드·데이터·환경·버전이 함께 남으면 다른 사람이 이어받아 검증하고 확장할 수 있다. AI 논문의 버전 관리 문제가 2025년 50%까지 늘어난 것[9]과 월드뱅크 패키지가 500개 넘게 누적된 것[11]은 같은 축의 양면이다 — 한쪽은 관리가 안 될 때 흔들리는 사례, 다른 쪽은 관리 절차가 표준화될 때 쌓이는 사례다. 재현 절차가 표준화된 분야일수록 유행이 지나가도 자료가 남는다.
이 흐름을 지금 어떻게 읽어야 하나?
지금 시점에서 재현 가능성은 화제성과 별개의 축으로 움직인다. 2026년 기준으로 보면, 발표량 자체는 계속 늘지만 그중 "다시 돌릴 수 있는" 비율은 여전히 낮은 상태에서 서서히 관리 대상이 되고 있다. 이 신호를 읽는 방법은 간단하다 — 결과만 있는지, 아니면 그 결과를 다시 만들 절차까지 함께 있는지를 보는 것이다.
핵심 정리
- 컴퓨터과학 논문 재현성은 2019~2025년 10%~22%에서 정체됐고, 실패는 코드·데이터·환경·문서 누락에 집중됐다[1]
- LLM 논문의 버전 관리 문제 비중은 2022년 12.5%에서 2025년 50%까지 증가했다[9]
- 월드뱅크는 2025년부터 reproducibility package를 강화해 2026년 6월 기준 500개 이상을 공개했다[11]
- 2026년 HHS 보고서는 재현성 확보를 위한 방법론·자료 공유·독립 검증을 정책 요구사항으로 명시했다[7][12]
- 판단 기준은 결과 공개 여부가 아니라, 코드·데이터·환경·버전이 함께 남아 재실행 가능한가다