빠른 답변
ChatGPT, Claude, Gemini로 에세이를 썼는데 교사가 알아챌까 걱정된다면, 이 가이드가 그들이 정확히 무엇을 찾는지 설명합니다. 가르치는 분이고 AI 글쓰기를 더 신뢰성 있게 알아보고 싶다면 같은 10가지 신호가 적용됩니다. 어떤 초안이든 저희 AI 탐지기로 돌려 같은 신호가 자동으로 점수화되는 것을 확인하세요.
10가지 결정적 징후
1. 균일한 문장 길이 (낮은 버스티니스)
이것이 가장 큰 단일 신호입니다. 인간 작가는 매우 짧은 문장과 길고 굽이치는 문장을 섞습니다. AI 텍스트는 문장당 18~22단어 주변에 거의 변화 없이 몰립니다. AI 단락을 소리 내어 읽으면 일정한 메트로놈 리듬이 들립니다. 인간 단락을 읽으면 다양한 크기의 타격이 있는 드럼 키트가 들립니다.
연구자들은 이것을 버스티니스라고 부릅니다. 스탠퍼드의 DetectGPT 논문(Mitchell 등 2023)은 버스티니스가 기계 생성 텍스트 탐지에서 가장 강력한 단일 통계 신호임을 발견했습니다.
2. AI 상투 표현 (delve into, tapestry of, in conclusion)
대규모 언어 모델은 정해진 필러 어휘를 좋아합니다. 교사들은 그 목록을 외웠습니다. 가장 자주 표시되는 구문:
- delve into (ChatGPT가 극도로 과용)
- tapestry of
- navigating the complexities
- in today's digital age
- robust framework
- leveraging
- ever-evolving
- comprehensive overview
- myriad of
- crucial role
- in conclusion (유일한 마무리 전환으로)
500단어 에세이에 이 중 한두 개는 통과할 수 있습니다. 다섯 개 이상은 위험 신호입니다.
3. 구체성 없는 모호한 예시
AI는 일반론을 지어냅니다. 실제 학생은 '지난주 역사 선생님이 베르사유 조약을 언급했다'고 씁니다. AI는 '많은 역사가가 그 조약에 중대한 결과가 있었다고 믿는다'고 씁니다. 구체성이 인간 글쓰기를 고정합니다. 이름 있는 출처, 날짜, 예시 없는 일반적 주장(studies show, many people believe, in recent times)은 AI 지문입니다.
4. em-dash와 세미콜론 과용
구두점은 지문입니다. AI는 em-dash 문자와 세미콜론을 과용합니다. 대부분의 학부생 작가는 둘 다 거의 손대지 않습니다. 첫 500단어에 em-dash 네 개 이상과 세미콜론 두 개 이상이 있는 에세이는 일반 학생 초안에 통계적으로 드뭅니다.
5. 예측 가능한 구조 (서론 + 본론 3 + 결론)
AI는 프롬프트가 요구하지 않아도 5단락 에세이를 기본값으로 합니다. 본론 세 단락은 각각 furthermore나 moreover 같은 전환어로 시작하고, 각각 3~5문장 길이이며, 각각 주제 문장 뒤에 두 개의 뒷받침 문장과 하나의 마무리 문장이 옵니다. 대칭이 너무 깔끔합니다.
6. 서론을 요약만 하는 공허한 결론
AI 결론은 에세이가 이미 말한 것을 다시 진술하는 경향이 있습니다. '결론적으로, 위에서 논의했듯이, 이 주제는 여러 이유로 중요하다.' 인간 결론은 보통 무언가를 더합니다. 새로운 각도, 개인적 이해관계, 독자를 향한 질문, 또는 구체적 권고입니다. AI 결론은 전진 없이 되돌아갑니다.
7. 일반적 전환 (furthermore, moreover, additionally)
AI는 학술적으로 들리는 전환 부사를 좋아합니다. Furthermore, moreover, additionally, in addition, in conclusion, as a result. 인간 작가는 보통 이것들을 문장 분할 전환(마침표, 그다음 새 문장)과 다양한 시작과 섞습니다. 모든 단락이 같은 전환 계열로 시작하는 초안은 모델이 썼다는 신호입니다.
8. 개인적 목소리나 의견의 부재
격식 있는 학술 에세이에서도 인간 작가는 지문을 남깁니다. 단어 선택, 약간의 편향, 강조의 순간입니다. AI 초안은 특정한 누군가가 쓰지 않은 것처럼 읽힙니다. I도, my도, 분명한 이해관계도 없습니다. 교사가 두 단락을 읽고 작가가 무엇을 믿는지 추측할 수 없다면, 그것이 AI 신호입니다.
9. 깊이 없는 표면적 분석
AI는 요약을 잘하고 분석을 못합니다. 시가 무엇을 말하는지 묘사할 수 있습니다. 특정 이미지 선택이 시인의 전기 맥락에서 왜 중요한지는 어려워합니다. 문학, 역사, 철학 에세이를 읽는 교사는 학생이 자료에 몰입했음을 증명하는 정독 없이 주제를 넓게만 다룰 때 알아챕니다.
10. 환각된 인용이나 틀린 세부 사항
AI는 자신 있게 출처를 지어냅니다. 가짜 'Smith and Jones 2019 study'. 존재하지 않는 책. 잘못 귀속된 인용. 전공 교사는 분야를 알기 때문에 이것들을 즉시 잡아냅니다. 가짜 논문을 인용하는 학생은 가능한 가장 명확한 AI 신호 중 하나입니다. 교사는 인용을 확인합니다.
실제 예시: AI 에세이 vs 인간 에세이 나란히
같은 프롬프트: 소셜 미디어가 청소년 정신 건강에 미치는 영향을 논하라.
AI 버전 (200단어):
In today's digital age, social media has become an integral part of teenage life, profoundly shaping how young individuals interact with the world around them. Numerous studies have shown that excessive use of platforms like Instagram, TikTok, and Snapchat can lead to a myriad of mental health challenges. Furthermore, the constant exposure to curated content often fosters feelings of inadequacy and comparison among adolescents. Moreover, the addictive nature of these platforms can result in reduced sleep quality, which in turn negatively impacts emotional well-being. It is also important to note that cyberbullying, a pervasive issue in the digital landscape, can have devastating consequences on teenage mental health. Additionally, the lack of meaningful face-to-face interactions may contribute to feelings of isolation and loneliness. While social media offers a tapestry of opportunities for connection and self-expression, navigating the complexities of its impact requires a balanced approach. Parents, educators, and policymakers must work together to foster healthier digital habits among teenagers. In conclusion, by leveraging awareness and implementing thoughtful strategies, society can mitigate the adverse effects of social media on adolescent mental health and empower young individuals to thrive in an ever-evolving digital world.
인간 버전 (200단어 상당):
제 사촌은 14살인데 침대에서 일어나기 전에 인스타그램을 확인합니다. 한번은 그게 어떤 기분이냐고 물었어요. 피곤하다고 했습니다. 그 말이 머릿속에 남았어요. 연구도 그녀를 뒷받침합니다. Sapien Labs의 2023년 청년 27,000명 연구는 스마트폰을 일찍 가질수록 18~24세의 정신 건강이 더 나빴음을 발견했습니다. 효과는 여학생에게 가장 뚜렷했습니다. 소셜 미디어가 전부 나쁜 것은 아닙니다. 제 사촌은 팬픽션 디스코드에서 가장 친한 친구를 만났고 매일 이야기합니다. 하지만 저녁 식사 중에 얼굴 앞으로 스크롤되는 부분, 멈출 수 없는 그 부분이 그녀의 수면을 해치는 부분입니다. 해결책은 무언가를 금지하는 것이 아닙니다. 청소년에게 자기 사용에 대한 발언권을 주고, 자기 휴대폰을 치우는 부모로 뒷받침하는 것입니다. 우리 학교가 통과시킨 가장 힘든 교실 규칙은 카페테리아에서 휴대폰 금지였습니다. 일주일간 다들 싫어했어요. 그러다 아무도 언급하지 않았죠. 제 사촌을 포함해 제가 아는 대부분의 아이들은 조용히 안도했습니다.
바뀐 것:AI 버전은 균일한 18~24단어 문장, 여섯 개의 명확한 AI 상투 표현(today's digital age, myriad of, navigating the complexities, tapestry of, leveraging, ever-evolving), 구체적 출처 없음, 개인적 이해관계 없음, 공허한 결론을 가집니다. 인간 버전은 4단어 문장(피곤하다고 했습니다.)부터 30단어 문장까지 흔들리고, 숫자가 있는 구체적 연구 하나를 인용하며, 특정 플랫폼 사용 사례를 이름으로 들고, 입장을 취하며, 작고 구체적인 일화로 끝납니다.
교사가 그렇게 빨리 알아채는 이유
세 가지 이유입니다. 첫째, 패턴 인식. 10년간 주당 30편을 채점한 교사는 15,000편을 읽었습니다. AI 리듬은 인간 학생 글쓰기의 종형 곡선과 다르게 읽힙니다. 패턴을 한 번 보면 안 볼 수 없습니다.
둘째, 어휘 서명. 연구자와 영문과는 이제 AI 상투 표현의 비공식 목록을 돌립니다. ChatGPT 출력에 불균형하게 나타나는 약 28개 단어와 구문입니다. 단일 학생 에세이에 다섯 개 이상 나타나면 통계적 신호입니다.
셋째, 분야 지식. 교사는 자기 분야를 압니다. 지어낸 인용, 틀린 날짜, 또는 이름 있는 저자가 한 적 없는 인용은 역사 교수에게 무슨 일이 있었는지 정확히 알려줍니다. AI 환각은 전공 채점자에게 선물입니다.
AI를 사용했다면 할 일
선택지가 있고, 이 순서로 중요합니다.
- 학교의 AI 정책을 먼저 읽으세요. 일부 학교는 공개 조건으로 AI 사용을 허용합니다. 일부는 요구합니다. 일부는 전면 금지합니다. 아직 제출하지 않았다면 공개가 보통 가장 안전한 길입니다.
- 자기 목소리로 다시 쓰세요. AI 텍스트를 인간화하는 방법에 관한 저희 전체 가이드가 9가지 구체적 기법을 안내합니다. 목표는 탐지기를 속이는 것이 아닙니다. 당신처럼 들리는 글입니다.
- 실제 구체성을 더하세요. 자신의 예시, 실제로 읽은 출처, 개인적 관찰. 단락당 구체적 디테일 하나만으로도 읽기가 바뀝니다.
- 저희 AI 탐지기로 테스트하세요. 수정한 초안을 저희 AI 탐지기 도구에 붙여넣으세요. 제출 전에 '인간 가능성 높음' 또는 '불확실' 판정을 목표로 하세요.
- 이미 제출했고 죄책감이 든다면 교사와 이야기하세요. 대부분의 교사는 추궁받으며 부인하는 학생보다 먼저 나서는 학생에게 더 잘 반응합니다.
교사라면 할 일
AI 사용을 의심하는 것과 공정하게 대응하는 것은 다릅니다. 경험 많은 교육자가 하는 일은 다음과 같습니다.
- 탐지기를 증거가 아니라 하나의 신호로 사용하세요. 저희 것을 포함해 어떤 AI 탐지기의 높은 점수도 더 자세히 볼 이유입니다. 그 자체로 학문적 진실성 사건의 충분한 근거는 아닙니다.
- 명백한 신호를 먼저 읽으세요. 에세이에 AI 상투 표현 여섯 개, 공허한 결론, 환각된 인용이 있다면 그것들이 어떤 점수보다 강한 증거입니다.
- 심문이 아니라 대화를 하세요. 학생에게 세 번째 단락을 설명해 달라고 하세요. 특정 주장을 어디서 찾았는지 물으세요. 에세이를 쓴 학생은 보통 답할 수 있습니다. 붙여넣은 학생은 못 합니다.
- 오탐 위험을 아세요. Liang 등(2023)은 GPT 탐지기가 비원어민 영어 화자의 TOEFL 에세이 중 61%를 AI 생성으로 표시했음을 발견했습니다. 격식 있는 문체, 자폐, 또는 Grammarly 과다 사용 학생도 취약합니다.
- 명확한 정책을 세우고 첫날 공유하세요. 모호함은 집행이 막는 것보다 더 많은 부정행위를 만듭니다.
빠른 탐지 체크리스트
이것을 인쇄하세요. 의심되는 어떤 에세이에든 사용하세요.
- 문장 길이가 크게 변하나요(5~40단어) 아니면 18~22단어 주변에 머무나요?
- AI 상투 표현이 몇 개 나타나나요? (delve into, tapestry of, navigating the complexities)
- 예시가 구체적인가요(이름 있는 사람, 날짜, 출처) 아니면 모호한가요(many believe, studies show)?
- 첫 500단어에 em-dash와 세미콜론이 몇 개인가요?
- 구조가 경직된 5단락인가요 아니면 변하나요?
- 결론이 무언가를 더하나요 아니면 서론만 다시 진술하나요?
- 학생의 목소리가 들리나요 아니면 누구나 썼을 수 있나요?
- 분석이 표면 아래로 가나요 아니면 묘사에 머무나요?
- 인용된 모든 출처를 검증할 수 있나요?
- 샘플 단락을 붙여넣으면 저희 AI 탐지기가 뭐라고 하나요?
출처
- Mitchell, E., Lee, K., Khazatsky, A., Manning, C.D., & Finn, C. (2023). DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature. Stanford University.
- Gehrmann, S., Strobelt, H., & Rush, A.M. (2019). GLTR: Statistical Detection and Visualization of Generated Text. Harvard NLP / MIT-IBM Watson AI Lab.
- Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, Cell Press.
- Crothers, E., Japkowicz, N., & Viktor, H. (2023). Machine-Generated Text: A Comprehensive Survey of Threat Models and Detection Methods. ACM Computing Surveys.
- Stanford Institute for Human-Centered AI (2024). AI in Education: Policy and Practice Brief.