실험 노트 · 2
긴 문서 요약 프롬프트 5가지를 비교해봤다
요약은 AI를 쓰는 가장 흔한 이유인데, 정작 "어떻게 시켜야 잘 요약하는지"를 비교한 자료는 드뭅니다. 그래서 30쪽짜리 공개 산업 동향 보고서 하나를 두고, 프롬프트만 바꿔가며 5번 요약시켰습니다.
실험 방법
- 같은 문서, 같은 AI, 매번 새 대화창 (앞 대화의 영향 제거)
- 평가 기준: ① 핵심 누락 여부 ② 원문에 없는 내용(환각) ③ 바로 써먹을 수 있는 정도
- 원문을 제가 먼저 정독하고 "꼭 들어가야 할 핵심 7개"를 정해둔 뒤 채점
프롬프트 5종과 결과
① "요약해줘" (7점 만점에 4점)
기본기는 했지만 문서 앞부분에 치우쳤습니다. 핵심 7개 중 4개만 포함. 뒷장의 중요한 반론 파트가 통째로 빠졌습니다.
② "3줄로 요약해줘" (3점)
짧으니 명료했지만 그만큼 뭉개졌습니다. "여러 과제가 남아 있다"처럼 아무 정보가 없는 문장이 한 줄을 차지했습니다.
③ "핵심 주장 / 근거 / 한계로 나눠 요약해줘" (6점)
구조를 지정하자 품질이 확 뛰었습니다. 특히 '한계' 칸을 만들어주니 ①에서 빠졌던 반론 파트가 살아났습니다.
④ "우리 팀장에게 보고할 요약. 의사결정에 필요한 것 중심으로" (6점)
독자를 지정하니 문장이 실용적으로 변했습니다. "~라는 점은 우리에게 기회 요인"처럼 해석까지 붙었는데, 이건 장점이자 (해석이 틀릴 수 있으니) 주의점.
⑤ ③+④ 결합 + "원문에 없는 내용 추가 금지, 각 항목에 근거 페이지 표기" (7점)
우승. 핵심 7개 모두 포함, 페이지 표기 덕에 검증도 빨랐습니다. 환각 문장 0개.
배운 것
- 요약 품질은 "얼마나 똑똑한 AI냐"보다 "어떻게 시키느냐"에 더 좌우된다.
- 구조 지정(③) + 독자 지정(④) + 근거 표기(⑤)가 삼신기. 특히 "원문에 없는 내용 금지"와 "페이지 표기"는 검증 시간을 극적으로 줄여준다.
- "3줄 요약"은 이미 아는 문서를 리마인드할 때만 쓸 것. 처음 보는 문서엔 위험하다.
최종 추천 프롬프트: "이 문서를 [핵심 주장 / 근거 / 한계·반론] 구조로 요약해줘. [나의 상황]에서 의사결정에 필요한 내용 중심으로. 원문에 없는 내용은 추가하지 말고, 각 항목 끝에 근거가 나온 페이지를 표기해줘."