밤새 돌린 AI 리서치, 결과를 믿어도 될까? ARIS로 검증 체크리스트부터 만들기

밤에 컴퓨터한테 "이 문제 좀 연구해놔" 하고 자러 갔는데, 아침에 일어나니 멋진 보고서가 나와 있다. 좋다. 그런데 그 보고서, 진짜로 맞는 걸까 아니면 그럴듯하게 지어낸 걸까? 자동 리서치의 진짜 고민은 "돌릴 수 있냐"가 아니라 "결과를 믿어도 되냐"다.

ARIS(Auto-Research-In-Sleep)가 잡는 지점이 바로 여기다. GitHub 저장소 wanshuiyin/auto-claude-code-research-in-sleep의 설명을 그대로 옮기면, ARIS는 "자율 ML 리서치를 위한 가볍고 Markdown 전용인 스킬" 묶음이고, 핵심은 세 가지다 — 교차 모델 리뷰 루프(cross-model review loops), 아이디어 발굴, 실험. 한 모델이 낸 결과를 다른 모델이 다시 검수하게 만드는 게 이름값의 절반이다.

ARIS가 보통의 "AI한테 시키기"와 다른 점

소스가 강조하는 문장이 하나 있다. "ARIS는 플랫폼이 아니라 방법론이다(ARIS is a methodology, not a platform)." 즉 특정 앱을 깔아야 쓰는 게 아니라, 스킬이라는 형태로 여러 도구에 얹어 쓰는 워크플로우다. 실제로 저장소는 Claude Code, Codex CLI, Cursor, Trae, Antigravity, GitHub Copilot CLI, OpenClaw에서 스킬 기반 워크플로우로 쓸 수 있다고 안내한다. 또 standalone CLI인 ARIS-Code도 따로 있다.

여기서 빌드 관점의 포인트가 나온다. ARIS가 "Markdown 전용 스킬"이라는 건, 무겁게 설치할 게 아니라 텍스트 파일 몇 개로 워크플로우를 정의한다는 뜻이다. 그러니 오늘 우리가 손에 남길 산출물도 거창한 코드가 아니라, 검수 절차를 강제하는 작은 스킬 폴더와 체크리스트로 잡는 게 결이 맞는다.

오늘 만들 산출물: 검수 강제 스킬 폴더 한 벌

자동 리서치에서 제일 위험한 건 "검수 없이 결과만 받는" 흐름이다. 그래서 자는 동안 돌리되, 아침에 사람이 5분 안에 신뢰도를 판단할 수 있게 하는 폴더 구조를 만든다. 이름은 예시이고, 실제 ARIS 스킬 구성은 저장소 원문을 따른다.

my-aris-skill/
  SKILL.md          # 무엇을 리서치할지 + 출력 규칙
  REVIEW.md         # 다른 모델이 검수할 항목
  CHECKLIST.md      # 아침에 사람이 확인할 기준

SKILL.md에는 리서치 주제, 그리고 "결과에 반드시 근거 출처를 붙인다" 같은 출력 규칙을 적는다. REVIEW.md는 교차 모델 리뷰가 무엇을 보게 할지 적는 자리다 — ARIS의 핵심이 교차 모델 리뷰 루프이므로, 이 파일이 워크플로우의 심장이다.

아침 5분 검수 체크리스트

따라 하다 막히는 지점은 보통 "결과는 나왔는데 뭘 봐야 할지 모르겠다"는 순간이다. 그래서 CHECKLIST.md에 판단 기준을 미리 박아둔다.

• [ ] 주장마다 근거(링크/실험 결과)가 붙어 있나
• [ ] 다른 모델의 리뷰 코멘트가 실제로 반영됐나
• [ ] 실험이 있다면 재현 가능한 절차가 적혀 있나
• [ ] 숫자·성능 수치가 출처 없이 등장하진 않았나
• [ ] "그럴듯하지만 검증 안 된" 문장에 표시가 돼 있나

마지막 두 항목이 특히 중요하다. 자동 리서치가 가장 잘 하는 실수가 없는 수치를 그럴듯하게 만드는 것이기 때문이다.

검증을 도구로도 — Anti-Autoresearch

흥미로운 건 ARIS 만든 쪽이 검증 문제를 따로 떼어 도구로 만들었다는 점이다. 소스에 따르면 "ARIS가 자기 출력을 감사하더니, 이제 Anti-Autoresearch가 모두의 것을 감사한다"고 하며, 이 도구는 7개 계열에 걸친 39개의 autoresearch 핵 패턴을 목록화하고 제출물을 끝까지 점검해 리뷰어가 바로 볼 수 있는 무결성 리포트를 낸다. 소스는 이것이 "AI 텍스트 탐지기가 아니라 자기일관성 + 조작 포렌식"이라고 분명히 선을 긋는다.

수동 체크리스트로 시작하고, 점검을 자동화하고 싶어지면 이 별도 저장소를 보는 게 다음 단계다.

언제 ARIS를 안 써도 되나

질문 하나로 잘게 쪼개 답할 수 있는 일, 검수 루프가 필요 없는 단발성 요약이라면 굳이 스킬 폴더까지 만들 필요는 없다. ARIS의 값어치는 밤새 도는 긴 작업 + 검수 강제가 같이 필요할 때 나온다. 멀티모달로 확장한 사례로 소스는 ARIS-Movie-Director(레퍼런스 런 = 19개 장면)를 든다 — 긴 호흡의 작업에서 기억 소실과 장면별 검수를 어떻게 다루는지가 ARIS가 푸는 문제다.

다음에 확인할 한 가지

원문은 github.com/wanshuiyin/auto-claude-code-research-in-sleep에서 직접 볼 수 있고, AI 에이전트용으로는 AGENT_GUIDE.md를 따로 읽으라고 안내한다. 오늘은 폴더 세 개와 체크리스트만 손에 쥐고, 첫 판단 기준은 이 하나로 닫자 — 내가 받은 결과의 모든 주장에 출처가 붙어 있는가. 그 답이 "아니오"면, 자동화보다 검수 루프부터 다시 짜야 한다.

---

🐦 X에서 더 빠르게: @baegseungh7061
📚 이 시리즈 더 보기: Code 빌드
💌 새 글 알림: X 팔로우 또는 블로그 RSS 구독