AI가 쓴 글은 문체가 아니라 이야기 구조에서 걸립니다

읽는 데 13분2026-08-18 공개

AI로 쓴 글은 단어를 아무리 다듬어도 티가 납니다. 연구진이 글 6만 편을 뜯어보니 진짜 단서는 단어나 문장 길이가 아니라 이야기를 짜는 방식이었고, 문체를 하나도 보지 않고 93.2%를 잡아냈습니다. 이 자료는 그 논문을 한국어로 정리하고, 내가 쓴 글을 같은 기준으로 진단받는 프롬프트까지 담았습니다.

⚡ 복사해서 바로 쓰는 프롬프트: 내 글이 AI처럼 보이는지 논문 기준으로 진단받기
역할: 내가 쓴 한국어 글이 AI가 쓴 글처럼 보이는지 StoryScope 논문 기준으로 진단하는 편집자
맥락: 나는 AI로 글을 쓰거나 다듬고 있고, 문체는 손봤지만 이야기를 짜는 방식은 점검한 적이 없습니다
입력: <검사할 글 원문>, <글의 용도, 예: 인스타그램 릴스 대본>, <읽는 사람, 예: AI를 처음 써보는 직장인>
작업: 아래 네 가지를 순서대로 하세요.
  1. AI 쪽으로 기운 항목 점검 — 화자가 주제와 교훈을 직접 말하는지, 감정을 몸의 감각이나 냄새 묘사로 바꿔 쓰는지, 인과가 한 줄로만 이어지고 곁가지 이야기가 없는지, 결말을 깔끔하게 닫아버리는지 항목마다 판정하세요.
  2. 사람 쪽 항목 대비 부족분 지적 — 다른 작품이나 작가를 실명으로 부르는지, 읽는 사람에게 직접 말을 거는지, 시간을 흔들어 답을 미루는지, 인물이 도덕적으로 애매한 선택 앞에 서는지 확인하고 빠진 것을 짚으세요.
  3. 구체적 수정 제안 — 항목별로 고칠 문장을 원문에서 그대로 인용하고, 바꾼 문장을 나란히 써 주세요. 글 전체를 새로 쓰지는 마세요.
  4. 초보자 눈높이 정리 — 이 글이 AI처럼 보이는 가장 큰 이유와 다음 글에서 지킬 규칙을 쉬운 말로 정리하세요.
제약: 원문의 사실, 숫자, 고유명사, 인용문을 바꾸지 마세요. 단어만 바꿔놓고 끝내지 마세요. 원문에 없는 근거를 지어내지 마세요.
출력: 항목별 판정표, 인용한 원문 문장과 고친 문장, 마지막에 초보자용 정리 다섯 줄
검증: 판정마다 원문에서 근거 문장을 그대로 인용해 붙이세요. 붙일 근거 문장을 찾지 못한 항목은 판정하지 말고 확인 불가로 남기세요. 근거 없이 단정한 항목이 하나라도 있으면 완료로 보고하지 마세요.

Quick Start

논문 이름은 StoryScope입니다. 바쁘면 아래 세 줄만 기억하면 됩니다.

  1. 단서는 문체가 아니라 이야기 구조였습니다. 단어 선택과 문장 길이를 아예 안 보고 이야기를 짜는 방식만 봤는데도 사람 글과 AI 글을 93.2%로 갈라냈습니다.
  2. AI는 독자를 못 믿습니다. 주제를 직접 설명하고, 감정을 몸의 감각으로 바꿔 쓰고, 줄거리를 한 줄로 폅니다. 사람은 빈칸을 남기고 시간을 흔듭니다.
  3. 모델마다 버릇이 다릅니다. Claude는 사건을 세게 몰아붙이지 않고, GPT는 소문을 사건 장치로 쓰고, Gemini는 배경을 어둡게 깔고 결말을 말끔히 정리합니다.

사람 글과 AI 글을 가르는 핵심 특징

이 자료는 논문을 처음부터 끝까지 읽지 않아도 되도록 순서대로 풀어놓은 것입니다. 마지막 STEP까지 따라오면 내 글에 바로 적용할 수 있습니다.

STEP 1. 이 연구가 던진 질문

이 단계에서는 연구진이 무엇을 의심했는지부터 봅니다. 질문을 알아야 뒤의 숫자가 왜 나왔는지 이해됩니다.

지금까지 AI 글 탐지는 대부분 문체를 봤습니다. 어떤 단어를 자주 쓰는지, 문장이 얼마나 긴지, 특정 표현이 반복되는지를 셌습니다.

용어: 문체는 겉으로 드러나는 표현입니다. 단어 선택, 문장 길이, 말투 같은 것이 여기 들어갑니다.

문제는 이게 너무 쉽게 지워진다는 점입니다. AI에게 "더 사람처럼 고쳐줘"라고 시키거나 사람이 몇 문장만 손봐도 문체 흔적은 사라집니다.

그래서 연구진은 다른 곳을 봤습니다. 표현 말고 이야기를 짜는 선택을 보면 어떨까 하는 질문입니다.

용어: 서사 특징은 이야기를 구성하는 선택입니다. 주인공이 몇 명인지, 사건이 시간 순서대로 흐르는지, 결말을 열어두는지 같은 것을 말합니다.

이 선택은 글을 통째로 다시 쓰지 않으면 잘 안 바뀝니다. 단어를 바꿔도 줄거리 구조는 그대로 남기 때문입니다. 연구진은 여기에 걸어봤습니다.

논문 정보는 이렇습니다. 제목은 「StoryScope: Investigating idiosyncrasies in AI fiction」이고 2026년 COLM에 실렸습니다. 저자는 메릴랜드대학교(University of Maryland, College Park)의 Jenna Russell, Rishanth Rajendhran, Chau Minh Pham, Mohit Iyyer 네 명과 구글 딥마인드의 John Wieting 한 명입니다.

STEP 2. 어떻게 실험했나

이 단계에서는 실험 설계를 봅니다. 숫자를 믿을지 말지는 어떻게 모았는지에 달려 있습니다.

먼저 데이터를 만들었습니다. 사람이 쓴 소설 10,272편을 Books3에서 가져왔습니다.

용어: Books3는 책 본문을 모아둔 대규모 텍스트 묶음입니다. 여기서는 사람이 쓴 글의 기준선으로 썼습니다.

그다음이 이 연구의 핵심 설계입니다. 사람 글에서 "이 글을 쓰게 하려면 어떤 주문을 넣어야 할까"를 거꾸로 뽑아 프롬프트 10,272개를 만들었습니다. 그리고 같은 프롬프트를 AI 5종에게 그대로 줬습니다.

투입한 모델은 Gemini 3 Flash, Kimi K2.5, DeepSeek V3.2, Claude Sonnet 4.6, GPT-5.4입니다. 사람까지 합쳐 소스가 여섯 개가 됩니다.

이렇게 모인 글이 61,608편입니다. 사람 글 10,272편에 AI 글 51,336편을 더한 수입니다. 한 편 평균 길이는 약 4,753단어입니다.

같은 주제로 여섯 벌을 쓰게 한 이유가 중요합니다. 주제가 다르면 차이가 주제 탓인지 작성자 탓인지 알 수 없습니다. 주제를 묶어놓으면 남는 차이가 곧 작성자의 버릇입니다.

StoryScope 파이프라인 3단계

6만 편을 사람이 다 읽을 수는 없습니다. 그래서 처리 과정을 3단계로 나눴습니다.

1단계, 문체를 버리고 구조만 남깁니다. 글마다 인물·사건·시간 같은 항목을 채운 표로 바꿉니다. 이때 표현은 사라지고 이야기의 뼈대만 남습니다. 항목 체계는 NarraBench라는 기존 분류를 따랐습니다.

2단계, 소스끼리 맞대어 비교합니다. 같은 프롬프트로 쓴 여섯 편을 나란히 놓고 어디서 선택이 갈리는지 찾습니다. 이 비교에는 600편을 썼습니다. 전부 비교하면 비용이 감당이 안 되기 때문입니다.

3단계, 판별 기준을 뽑아냅니다. 갈리는 지점을 사람이 읽을 수 있는 항목으로 바꾸고 비슷한 것끼리 합쳤습니다. 그렇게 남은 것이 특징 304개입니다.

여기까지 세 단계는 GPT-5.1이 맡았습니다. 그리고 완성된 특징 304개를 61,608편 전체에 하나씩 매기는 작업은 Gemini 3 Flash가 했습니다. 기준을 만드는 모델과 대량으로 적용하는 모델을 나눈 구조입니다.

마지막으로 이 점수표를 학습시켜 어떤 항목이 실제로 판별에 쓰이는지 골라냈습니다. 여기서 핵심 특징 30개와 지문 특징 75개가 나왔습니다.

용어: 핵심 특징은 사람 글과 AI 글을 가르는 데 쓰이는 항목이고, 지문 특징은 어느 모델이 썼는지 가리는 데 쓰이는 항목입니다.

STEP 3. 결과: 얼마나 맞혔나

이 단계에서는 성능 숫자를 봅니다. 이 숫자가 낮으면 뒤의 해석은 의미가 없습니다.

탐지 성능 수치

용어: macro-F1은 한쪽만 잘 맞히는 걸 막고 사람 글과 AI 글을 고르게 맞혔는지 보는 점수입니다. 100에 가까울수록 좋습니다.

무엇을 봤나 macro-F1
이야기 구조만 (문체 아예 안 봄) 93.2
이야기 구조 + 문체 96.0
핵심 특징 30개만 84.8
핵심 30개 + 모델 지문 91.1
누가 썼는지 6지선다 (구조만) 68.4

읽는 법은 간단합니다. 문체를 통째로 버려도 93.2가 나옵니다. 문체를 같이 넣은 96.0의 97% 수준을 이야기 구조만으로 지켜낸 셈입니다.

특징을 30개로 줄여도 84.8이 나옵니다. 여기에 모델 지문을 더하면 91.1까지 올라갑니다. 몇십 개 항목만으로도 상당 부분이 잡힌다는 뜻입니다.

숫자를 볼 때 흔히 나오는 의심 두 가지가 있습니다. 논문은 둘 다 확인했습니다.

"AI 글이 짧아서 잡힌 거 아닌가." 길이를 맞춰놓고 다시 돌렸는데 성능이 그대로였습니다. 길이 때문이 아닙니다.

"문체를 다듬으면 못 잡는 거 아닌가." 이걸 확인하려고 Gemini가 쓴 글 278편을 골라 LAMP라는 리라이터로 다듬었습니다. 상투적인 표현과 군더더기 설명을 걷어내는 작업이고 리라이터도 Gemini입니다. 결과는 95.5에서 93.9로 1.6포인트 하락입니다.

글자를 고치는 방식으로는 이야기 구조가 잘 안 지워집니다. 이게 이 논문의 핵심 주장입니다.

STEP 4. AI 글의 세 가지 습관

이 단계에서는 AI가 자주 하는 선택을 봅니다. 내 글에서 지워야 할 항목이라 가장 실용적인 부분입니다.

첫째, 주제를 대놓고 설명합니다. 화자가 나서서 교훈을 직접 말합니다. 인물끼리의 대화를 철학 논쟁에 쓰는 경우가 많습니다. 다른 작품을 언급할 때도 실명 대신 흐릿한 암시로 처리합니다.

한 줄로 요약하면 AI는 독자를 못 믿습니다. 그래서 알아서 이해하도록 두지 못하고 답을 떠먹입니다.

둘째, 감각과 신체를 과하게 묘사합니다. 감정을 이름으로 부르는 대신 몸의 감각으로 바꿔 씁니다. 특히 냄새 묘사가 잦습니다. 인물의 속마음까지 깊이 들어가고, 배경을 인물의 심리를 비추는 거울처럼 씁니다.

사람은 오히려 감정을 그냥 이름으로 부르는 쪽이 많았습니다.

셋째, 구조를 단순하게 만듭니다. 인과가 한 줄로 쭉 이어집니다. 곁가지 이야기가 아예 없는 경우가 흔합니다. 인물을 소개할 때 겉모습 설명부터 시작하고, 첫 장면에서 장소를 또렷하게 못 박습니다. 결말은 주인공의 선택이나 깨달음으로 깔끔하게 닫습니다.

세 가지를 묶으면 하나의 그림이 됩니다. AI 글은 깔끔하고 친절합니다. 그리고 그 깔끔함이 티가 납니다.

STEP 5. 사람 글이 하는 것

이 단계에서는 반대쪽을 봅니다. AI 습관을 지우는 것만으로는 부족하고, 사람 쪽 항목을 채워야 하기 때문입니다.

다른 작품을 실명으로 부릅니다. 사람은 특정 작가와 책 제목을 그대로 씁니다. 암시로 두르지 않고 직접 인용도 섞습니다.

독자에게 말을 겁니다. 이야기 밖으로 나와 읽는 사람을 직접 부르는 경우가 사람 글에 훨씬 많았습니다.

용어: 제4의 벽을 깬다는 건 이야기 속 인물이나 화자가 독자가 있다는 걸 아는 것처럼 말을 거는 방식입니다.

시간을 흔들고 답을 미룹니다. 회상과 시간 도약을 씁니다. 중요한 사실을 일부러 늦게 꺼내 긴장을 만듭니다.

인물을 애매한 자리에 세웁니다. 도덕적으로 딱 잘라 말할 수 없는 선택 앞에 주인공을 놓습니다. 곁가지 이야기도 더 많이 붙입니다.

여기에 하나 더 있습니다. 사람 글은 훨씬 다양합니다. 특징들을 좌표로 펼쳐보면 AI 5종은 한 덩어리로 모이고 사람 글만 따로 떨어져 넓게 퍼집니다.

틀리는 경우도 대부분 AI끼리 헷갈리는 것이지 사람과 AI를 바꿔 부르는 게 아닙니다. 사람 글은 흔치 않은 조합을 더 자주 고른다는 뜻입니다.

STEP 6. 모델별 서사 지문

이 단계에서는 모델별 버릇을 봅니다. 어떤 모델로 초안을 쓰느냐에 따라 지워야 할 습관이 달라지기 때문입니다.

모델별 서사 지문

누가 썼는지 여섯 중에 고르는 문제에서 이야기 구조만으로 68.4가 나왔습니다. 문체를 같이 넣으면 77.3까지 올라갑니다. 사람과 AI를 가르는 것보다는 어렵다는 뜻입니다.

소스별로 보면 사람이 가장 뚜렷했습니다. 문체를 같이 넣었을 때 93.0, 이야기 구조만 봤을 때 88.5입니다. 그다음이 Claude로 89.3과 77.1, 이어서 GPT가 82.1과 73.0입니다.

Claude(클로드): AI 5종 중 가장 뚜렷합니다. 사건을 세게 몰아붙이지 않습니다. 화자의 목소리가 처음부터 끝까지 일정하고 전통적인 이야기 관습을 지키는 편입니다.

GPT(지피티): 소문과 뒷말을 사건을 굴리는 장치로 자주 씁니다. 지난 일을 멀리서 돌아보는 형태로 이야기를 자주 짭니다. 사람 사이의 관계에 무게가 실립니다.

Gemini(제미나이): 인물을 겉모습으로 소개합니다. 결말을 길게 정리해서 말끔하게 닫습니다. 배경을 어둡게 까는 버릇이 특히 강해서, 배경의 88%가 음울한 쪽으로 분류됐습니다.

DeepSeek(딥시크): 중요한 맥락을 초반에 먼저 꺼냅니다. 뒤로 아껴두지 않는 편입니다.

Kimi(키미): 구별되는 선택이 가장 적습니다. AI 다섯 개의 평균값 자리에 앉아 있습니다.

Gemini, DeepSeek, Kimi 셋은 서로 헷갈리는 무리를 이룹니다. 이야기 짜는 방식이 비슷해서 구조만으로는 잘 안 갈립니다.

STEP 7. 내 글에 적용하기

이 단계에서는 논문을 실제 작업으로 옮깁니다. 읽고 끝내면 다음 글도 똑같이 나오기 때문입니다.

AI 초안을 다듬을 때 아래를 순서대로 확인하세요. 앞의 네 개는 빼는 항목이고 뒤의 네 개는 넣는 항목입니다.

  • 화자가 주제나 교훈을 직접 말하는 문장이 있는지: 있으면 지우고 장면으로 대체합니다
  • 감정을 몸의 감각이나 냄새로 바꿔 쓴 곳이 몰려 있는지: 두세 곳이면 하나로 줄입니다
  • 인과가 한 줄로만 이어지는지: 곁가지를 하나 붙이거나 설명 한 겹을 덜어냅니다
  • 결말이 너무 말끔하게 닫히는지: 답을 하나 남겨두고 끝냅니다
  • 실제 작품·사람·사건을 이름으로 부른 곳이 있는지: 흐릿한 암시를 실명으로 바꿉니다
  • 읽는 사람에게 직접 말을 거는 문장이 있는지: 없으면 한 번 넣습니다
  • 시간이 순서대로만 흐르는지: 중요한 사실 하나를 뒤로 미룹니다
  • 판단이 한쪽으로만 정리됐는지: 애매한 선택을 하나 남깁니다

체크리스트가 손에 안 익으면 위쪽 토글에 있는 진단 프롬프트를 쓰세요. 쓰는 방법은 이렇습니다.

  1. 토글을 열어 프롬프트 전체를 복사합니다.
  2. <검사할 글 원문> 자리에 내 글을 그대로 붙여넣습니다. 나머지 꺾쇠 자리도 내 상황으로 채웁니다.
  3. Claude나 ChatGPT 대화창에 붙여넣고 실행합니다.
  4. 항목별 판정과 근거 문장이 같이 나오는지 확인합니다. 근거 없이 단정한 항목이 있으면 그 항목만 다시 물어보세요.

여기서 주의할 게 하나 있습니다. 근거 문장을 요구하는 이유는 AI가 그럴듯한 판정을 지어내는 걸 막기 위해서입니다. 판정만 있고 인용이 없으면 그 항목은 믿지 마세요.

한 가지 더 짚고 갑니다. 이 논문의 대상은 소설입니다. 릴스 대본이나 블로그 글에 그대로 적용할 때는 "주제를 떠먹이지 않는다", "구조를 한 줄로 펴지 않는다" 같은 원리 쪽을 가져오는 게 맞습니다. 수치를 그대로 옮기는 건 무리입니다.

STEP 8. 원문 직접 읽기

이 단계에서는 원문에서 무엇을 볼지 정합니다. 논문 전체를 처음부터 읽으면 대부분 중간에 덮게 됩니다.

PDF에서 먼저 볼 곳은 세 군데입니다.

  • 성능 표: STEP 3의 숫자가 어떤 조건에서 나왔는지 조건별로 정리돼 있습니다
  • 핵심 특징과 지문 특징 목록: 30개와 75개 항목이 그대로 나옵니다. 체크리스트를 늘리고 싶으면 여기서 가져오세요
  • 특징 공간 시각화: AI 5종이 한 덩어리로 모이고 사람 글만 떨어져 퍼진 그림입니다

GitHub에서 받을 수 있는 것은 이렇습니다.

  • 파이프라인 코드와 실제 사용한 프롬프트 10,272개
  • AI가 생성한 서사 51,336편

사람이 쓴 소설은 공개돼 있지 않습니다. 저작권 때문입니다. 사람 글 쪽을 직접 다루려면 Books3 원본을 따로 구해야 합니다.

받는 방법은 아래 명령 한 줄입니다. 저장소 전체를 내 컴퓨터로 복사하는 명령입니다.

git clone https://github.com/jenna-russell/storyscope.git

성공하면 storyscope라는 폴더가 새로 생기고, 그 안에 코드와 데이터 파일이 들어 있습니다.

공식 자료

이 자료가 도움됐다면

이런 AI 활용 자료를 인스타그램에 계속 올리고 있습니다.

  • : 다음 자료를 가장 먼저 받아볼 수 있습니다
  • 따라 하다 막힌 부분은 릴스 댓글로 남겨주세요. 다음 자료를 만들 때 참고합니다
가이드 전체 보기