문헌은 검색 도구 출력 그대로
논문 제목·저자·DOI 는 LLM 이 쓰지 않습니다. 공개 학술 API 가 돌려준 레코드만 쓰고, DOI 가 없는 문헌은 버립니다. 가짜 인용이 구조적으로 불가능합니다.
연세대 DAS6035 AI 에이전트 설계 및 응용 · 중간 해커톤
연구 주제 한 줄로,
근거가 검증된 Research Brief
주제 한 줄을 넣으면 문헌을 찾고, 평가하고, 종합해 Research Gap 까지 제안하는 연구 착수용 브리프를 만듭니다. 모든 인용은 실제 문헌이고, 모든 주장에는 출처가 붙습니다.
초대된 계정만 쓸 수 있습니다 · 계정당 24시간 3회 · 1회 6~8분
- 인용 실존 검증률
- 100%
- ablation 20회·반복 6회·클린룸 2회 전부
- 주장-근거 지지율
- 78%
- 베이스라인 ReAct 52% 대비 (초록 verbatim 대조)
- 1회 실행 시간
- 6~8분
- 약 $0.7 · 상한 $1 · 10분
- 필요한 API 키
- 1개
- Anthropic 만. 학술 API 는 키 없음
어떻게 작동하나
역할이 분리된 노드가 Pydantic 스키마로만 주고받습니다. 3~6단계는 Critic 검사를 통과할 때까지 반복됩니다.
- 1주제 이해
연구 질문·범위·핵심 개념을 TopicFrame 으로 고정
- 2조사 계획
sub-RQ 와 검색 쿼리를 설계
- 3문헌 탐색
OpenAlex·arXiv·Crossref 에서 실제 문헌만 수집
- 4문헌 평가
sub-RQ 마다 관련성·신뢰도·핵심 발견 기록
- 5종합
주장마다 출처를 붙여 Evidence 기반으로 정리
- 6Gap 도출
근거 2편 이상으로 Research Gap 과 제안 RQ 작성
↻ Critic → Replan결정적 검사 5종(인용 실존·출처 연결·sub-RQ 당 근거 수·Gap 근거·필드 채움) → 통과 시에만 LLM 비판 → 미달이면 걸린 sub-RQ 의 새 쿼리 1~3개로 3단계부터 다시. 최대 2회. 그 뒤 리포트 작성.
왜 이 구조인가
멀티에이전트는 성능 기법이 아니라 근거가 있을 때 고르는 선택입니다. 단일 에이전트 기준선을 먼저 재고, 과제 구조에 맞는 토폴로지를 골랐습니다.
- 질문 1
단일 에이전트로 충분한가?
아니오 — 같은 도구·모델로 단일 ReAct 를 돌리면 주장-근거 지지율 52%, 출처 있는 주장 76%. 스스로 쓴 답을 스스로 검토하면 같은 맹점을 반복합니다.
→ 작성자와 검토자를 분리
- 질문 2
하위 과제가 독립적이고 병렬 가능한가?
부분적으로 — sub-RQ 별 검색·평가는 독립이라 병렬로 돌리지만, 이해 → 계획 → 검색 → 평가 → 종합 → Gap 은 앞 단계 출력이 뒤 단계 입력입니다.
→ 노드 간은 고정 순서, 병렬은 노드 안에서만
- 질문 3
역할마다 권한·모델을 분리해야 하는가?
아니오 — 읽기 전용 학술 API 3개가 전부 검색 노드 하나에 속하고, LLM 을 부르는 노드는 도구가 없습니다. LLM 이 다음 단계를 고를 판단거리도 없습니다.
→ 감독자(Supervisor)는 LLM 이 아니라 코드
결론은 고정 파이프라인 + 검증 단계(Critic) 입니다. 실행 경로·종료 조건·예산은 코드가 정하고, LLM 은 “미달인가, 어느 sub-RQ 를 다시 찾을까” 를 제안할 뿐 승인은 결정적 검사가 합니다. 종료는 Critic 통과 · Replan 상한 2회 · 예산 60% 가드 · $1·10분 상한 · 진전 없음 감지, 다섯 겹입니다. 기각한 대안(Supervisor·Swarm·Blackboard·Debate)과 이유는 설계 문서 §1.3 에 있습니다.
무엇이 다른가
품질을 모델의 똑똑함에 맡기지 않고 파이프라인 구조가 보장합니다.
품질 하한은 코드가 보장
인용 실존 검증 100%, 모든 주장에 출처, Gap 마다 근거 ≥ 2편. 이 세 가지는 모델의 성실함이 아니라 Pydantic 스키마와 결정적 검사가 확인합니다.
Critic → Replan 루프
결정적 검사 5종을 통과한 뒤에만 LLM 비판을 받습니다. 미달이면 부족한 sub-RQ 만 다시 검색합니다(최대 2회). 끝까지 못 채운 항목은 리포트 §7 한계에 자동 기재됩니다.
실행마다 달라지는 것 / 아닌 것
문장과 선택 문헌은 실행마다 달라도 됩니다. 리포트 구조·필드 채움·인용 검증률은 달라지지 않습니다. 주제 5개 × 조건 4개 ablation 20회, 독립 반복 6회, 클린룸 2회에서 확인했습니다.
같은 주제, 베이스라인과 비교하면
단일 ReAct 루프(베이스라인)와 최종 구조를 같은 검색 스냅샷 위에서 비교했습니다. 인용 실존은 둘 다 100% 이지만, “초록이 그 주장을 실제로 뒷받침하는가”는 구조에 따라 달라졌습니다.
| 지표 | 베이스라인 (단일 ReAct) | 최종 구조 (Critic·Replan) | 왜 차이가 나는가 |
|---|---|---|---|
| 인용 실존 검증률 | 100% | 100% | 문헌이 도구 출력 그대로라 둘 다 가짜 인용이 없음 |
| 주장-근거 지지율 (supported) | 52% | 78% | 평가 노드가 문헌별 finding 을 먼저 적고, 종합은 그 범위 안에서만 쓰기 때문 |
| 지지 문헌이 있는 주장 비율 | 76% | 94% | 출처 없는 주장은 Critic 이 걸러냄 |
| 정답 서베이 참고문헌 회수율 | 0.6% | 3.6% | 검색 6~10회 vs 24회. 절대값은 낮음 — 키워드 검색만 쓰는 한계로 §7 에 기재 |
sonnet-5-5, 주제 5개 × 조건 4개 ablation 20회 전부 완주. 지지율은 A·D 조건 10건, 판정은 opus, 인용문은 초록과 verbatim 대조. 출처: research_agent/docs/design.md §3~§5.
무엇을 받게 되나
읽는 순서대로 구성된 리포트 한 편. 산문 속 DOI 도 번호 인용 [n] 으로 치환되고, 참고문헌 번호는 BibTeX/RIS 와 동일합니다.
- 1.요약 (한국어)
- 2.먼저 읽을 문헌 Top 10 — 관련성·신뢰도·연도 순
- 3.품질 지표 카드 — 인용 검증률·출처 연결·Gap 근거
- 4.§1 주제 이해 · §2 조사 계획 · §3 문헌 평가표
- 5.§4 종합 — 주장마다 번호 인용 [n]
- 6.§5 Research Gap · §6 향후 연구 방향
- 7.§7 한계 — 자동 기재된 미해결 항목 포함
- 8.참고문헌 + BibTeX / RIS 다운로드
이 웹에서 하는 일
- 1주제 입력한국어·영어 한 줄. 모드(graph/baseline)·모델(sonnet/haiku)·리포트 언어 선택.
- 2진행 보기6단계 타임라인, 라운드별 Critic 판정과 Replan 쿼리, 누적 비용을 실시간으로. 대기열은 취소 가능.
- 3리포트 열람한국어본과 영어 원문 전환. 접힌 Evidence 표, 지표 카드.
- 4내보내기report.md · brief.json · papers.json · references.bib · references.ris 다운로드.
웹은 CLI 와 같은 함수·설정·캐시를 그대로 호출합니다. 품질·비용·시간이 제출물과 동일합니다.
자주 묻는 질문
왜 초대된 계정만 쓸 수 있나요?
문헌 검색에 쓰는 OpenAlex 가 IP 당 하루 약 100회로 제한되고(그래프 실행 약 3회분), 실행마다 Anthropic 비용이 듭니다. 그래서 가입을 막고 계정당 24시간 3회로 제한합니다.
한 번 실행에 얼마나 걸리나요?
claude-sonnet-5-5 기준 6~8분, 약 $0.7 입니다(한국어 번역 포함 시 +$0.12). 상한은 $1 · 10분이며 넘으면 안전하게 멈춥니다. 진행 화면에서 6단계 타임라인·Critic 판정·누적 비용을 실시간으로 볼 수 있습니다.
결과는 어떤 언어로 나오나요?
파이프라인은 영어로 쓰고, 끝난 뒤 산문만 한국어로 옮깁니다. 논문 제목·DOI·초록 인용은 번역하지 않고, 숫자·DOI 가 빠지지 않았는지 코드가 검사합니다. 영어 원문도 함께 제공됩니다.
어떤 모델과 데이터를 쓰나요?
LLM 은 Anthropic Claude 하나(기본 sonnet, 저비용 haiku 선택 가능). 문헌은 키가 필요 없는 공개 학술 API 세 곳 — OpenAlex(전 분야), arXiv(CS 보강), Crossref(DOI 검증·폴백) 입니다.