영상 초안 뽑기 자동화, AI한테 대체 어떻게 학습시킨 걸까요?
mingus-kit·mingus-studio 워크로그를 함께 분석해 문체와 사고 흐름을 반영해 작성되었습니다.
목차
안녕하세요, 판교 뚜벅쵸입니다.
얼마 전에 올린 AI 워크플로우 영상에 이런 댓글이 달렸습니다.
💬 초안 품질에 놀랐다는 댓글 하나
“와 정말 대단하시네요 특히 영상 자동화 보면서 초안 품질이 되게 좋아보여서 놀랐습니다. 혹시 어떤 식으로 구현하셨는 지 힌트좀 얻을 수 있을까요! 영상 재밌게 보고 있습니다”
짧게 답글은 남겼는데, 댓글 한 줄로 설명하기엔 아쉬운 내용이라 이번엔 블로그에 조금 풀어서 정리해 보려고 합니다.
영상 인트로에서 제가 이런 명령을 날리는 장면이 나오는데요.
내 페르소나 참고해서 구독자 대상 1분 분량의 인삿말 초안을 만들어서
내 목소리로 읽고 자막 달아서 파컷 xml로 export 해줘
이게 짠하고 나오는 걸 보고 “학습을 어떻게 시킨 거냐”라고 물어보신 거 같은데요. 결론부터 말씀드리면 거창한 파인튜닝 같은 걸 한 게 아니고요, 제 글·말투 데이터를 정리해서 참고 자료로 만들어 둔 것뿐입니다. 저는 이걸 페르소나라고 부르고 있습니다.
🎭 페르소나가 뭐길래 — 세 개로 쪼갠 이유
여기서 페르소나는 챗봇에 씌우는 캐릭터 설정 같은 게 아니고요, “내가 평소에 이런 상황에서 이렇게 쓴다”를 정리해 둔 참고 문서에 가깝습니다. AI한테 초안을 시킬 때 이 문서를 같이 보여주면, 제 말투에 좀 더 가깝게 씁니다.
그런데 저도 처음엔 이걸 하나로 합치려고 했었습니다. 근데 곧 문제가 생겼어요. 같은 저인데 일기 쓸 때, 회사에서 글 쓸 때, 영상 대본 쓸 때 말투가 다 다르더라고요. 그래서 지금은 셋으로 쪼개서 관리하고 있습니다.
- 개인 — 일기 톤. 그동안 써온 일기 4,273개를 훑어서 학습시켰습니다. 가장 본음에 가깝습니다.
- 업무 — 회사 아지트 글 톤. 아지트에 남긴 제 글·댓글, 거기에 깃헙 코드리뷰 코멘트까지 싹 다 뒤져서 학습시켰습니다.
- 판뚜 — 영상 대본·답글 톤. ‘뚜데’ 같은 토크 시리즈 스크립트와 시청자 대댓글을 분석해서 학습시켰습니다. 오늘 얘기의 주인공입니다.
같은 사람이 상황마다 사회적 가면을 바꿔 쓰는 거랑 비슷하다고 생각하시면 됩니다. 하나로 뭉쳐서 학습시켰으면 오히려 다 애매한 톤이 나왔을 거 같아요.
🔬 “학습”의 실체 — 통계는 코드로, 문체만 AI에
그래서 “학습”이라는 표현을 쓰긴 했지만, 정확히는 이렇습니다.
판뚜 페르소나를 처음 만들 때 넣은 재료는 영상 스크립트 384개 + 시청자 답글 25,373개였습니다. 이걸 그대로 통째로 AI한테 던지면 토큰이 순식간에 바닥나거든요. 그래서 두 단계로 나눴습니다.
- 통계는 그냥 코드로 뽑습니다. 어떤 종결어미를 얼마나 쓰는지, 이모지를 얼마나 쓰는지, 자주 쓰는 접속사가 뭔지 — 이런 건 파이썬으로 세면 끝입니다. 답글 25,373개를 전부 훑어도 토큰 비용은 0원입니다.
- 문체·구성 같은 추상적인 패턴만 AI한테 보여줍니다. 25,373개 중 대표성 있는 295개만 골라서 샘플로 주고, “이 사람 글의 흐름과 비유하는 방식을 정리해줘”라고 시켰습니다. 이 단계에 든 토큰이 총 3만 토큰 정도였습니다.
이렇게 나눠보니 영상 스크립트 384개 + 답글 25,373개짜리 데이터가 사람이 읽을 수 있는 분량의 페르소나 문서 하나로 압축됐습니다. 그리고 이 문서엔 다음에 만든 날짜를 같이 적어 둡니다. 그래야 다음번에 또 처음부터 다 긁어오는 게 아니라, 그 이후에 쌓인 것만 증분으로 반영할 수 있거든요.
그렇게 압축된 문서엔 실제로 이런 항목들이 들어있습니다.
## 응대 모드 (시청자 댓글 답글)
- 종결은 부드럽게: ~네요 😄 / ~답니다 / ~겠습니다 😄
- 가장 많이 등장: "감사합니다 😄😄😄" (5천 회 이상), "화이팅 😄😄"
- 머쓱하게 인정할 때: "사실 좀 얻어걸린 감이 있습니다 😄"
## 글짓기 모드 (영상 대본)
- 자기 비하: "파워 영세 유튜버", "감히 업계 전망이 아니고요"
- 단정은 피하고: "~인 거 같습니다", "~하지 않을까 싶습니다"
- 이모지는 드물게, 강조할 때만 한두 개
이런 식으로 “무슨 말을 자주 하는지”가 항목별로 정리돼 있으니, AI가 초안을 쓸 때 이 문서만 참고해도 저와 비슷한 온도로 나옵니다.
🧠 그럼 특정 주제에 대한 “생각”도 만들어주나요?
여기까지는 어미·이모지 같은 말투 얘기입니다. 근데 사실 더 궁금하실 부분은 이거 아닐까 싶습니다. “AI 시대에 기본기가 중요한가요” 같은 질문에 제 의견이랍시고 나오는 글은, 그 의견 자체는 어디서 나오는 걸까요.
솔직히 말씀드리면, 여기엔 제 과거 발언을 통째로 검색해서 “정답”을 찾아오는 마법은 없습니다. 대신 페르소나 문서에 두 가지가 같이 적혀 있습니다.
- 관심 주제와 고정된 입장: 예를 들어 AI·개발자 진로 얘기를 할 땐 “저는 그냥 사용자 1인일 뿐이다”, “전문가 행세 안 한다”는 태도를 항상 지킨다고 적혀 있습니다. 주제가 뭐든 이 태도 밖으로는 안 나가게 됩니다.
- 의견을 조립하는 틀: 결론부터 한두 줄 던지고 → 제 사례를 근거로 들고 → 비유로 일반화하고 → 단정은 피하며 여지를 남기고 마무리한다는 구성 패턴이 있습니다.
실제로 페르소나 문서에 적힌 원문은 이렇습니다.
## 관심 주제·소재
- AI·개발자 진로: AI 도입·자동화·"기술 부채 상환"·직업의 미래·취업·이직.
본인은 "사용자 1인" 위치 일관 유지, 전문가 행세 안 함.
## 글쓰기 시 피하는 것
- 거창한 단정·예언. "~할 것이다"보다 "~하지 않을까 싶습니다", "~인 거 같아요"
- AI 전문가 행세. 항상 "사용자 1인", "현업 직장인" 위치.
AI·개발자 진로 얘기가 나오면 이 두 줄이 같이 참고 자료로 들어갑니다. 그래서 취준생분이 뭘 물어보셔도 “저도 잘 모르지만”으로 시작하지, 마치 진로 전문가처럼 단정하는 톤은 안 나오는 겁니다. 그러니까 AI가 아예 새로운 생각을 지어내는 게 아니라, “이 사람이라면 이런 태도로, 이런 순서로 얘기를 풀겠다”는 틀 안에서 그때그때 질문에 맞는 얘기를 조립하는 셈입니다. 실제로 지난번에 쓴 AI는 너무 빠른데 기본기는 조급하고.. 무엇을 더 해야 할까요? 글도 이 틀을 그대로 탄 겁니다. 취준생 댓글 인용 → 결론(기본기가 먼저다) 먼저 던지기 → 제 워크플로우 사례로 근거 대기 → 단정 피하면서 마무리.
근데 만약 제가 한 번도 다뤄본 적 없는 완전히 새로운 주제를 던졌다면 얘기가 완전히 달라집니다. 그때는 참고할 제 과거 발언 자체가 없으니까, 페르소나 문서의 "태도 + 구성 틀"만 가지고 그럴듯하게 짜맞추는 수밖에 없거든요. 겉보기엔 똑같이 자연스럽게 나오겠지만, 그건 제가 실제로 한 생각이 아니라 제 말투로 흉내 낸 추측입니다. 오히려 구분이 잘 안 되니까 더 조심해야 하는 지점이라고 생각합니다.
참고로 회사 업무 페르소나 쪽에는 한 단계가 더 있습니다. 설계나 코드 리뷰처럼 판단이 진짜 중요한 글을 쓸 땐, 말투 문서 말고 과거에 실제로 썼던 설계 논의·리뷰 글을 요약해 둔 별도 자료를 같이 태웁니다. 그런데 이 레이어는 아직 판뚜·개인 페르소나엔 없습니다. 채널 글에서 나오는 “생각”은 지금은 순수하게 태도와 구성 틀로만 방향이 잡히는 셈이라, 저도 다음 숙제로 남겨두고 있습니다.
🙈 같은 사람인데 왜 이렇게 톤이 갈라질까
통계를 뽑다가 재밌는 걸 하나 발견했습니다. 답글 25,373개에서 압도적으로 많이 나온 이모지가 😄였는데, 6,308번이나 등장했더라고요. 그런데 같은 시기 일기에는 이 이모지가 거의 안 나옵니다.
같은 사건을 적어도, 일기에는 편한 본음이 그대로 나오는데, 시청자 답글로 옮기면 정중하고 이모지가 풍부한 응대로 바뀝니다. 사실 저도 답글 쓸 때 스스로 “여기엔 가식이 좀 있다”고 느끼고는 있었는데, 데이터로 숫자까지 보고 나니까 확인 사살당한 기분이었습니다. 그래서 페르소나를 셋으로 쪼갠 게 그냥 취향이 아니라 정답이었다는 생각이 들었습니다.
🎬 그래서 그 초안은 실제로 이렇게 나옵니다
정리하면, 아까 인트로에서 친 명령은 이렇게 굴러갑니다.
- “인삿말 초안 만들어줘”라는 요청에, 판뚜 페르소나 문서를 참고 자료로 같이 넣어서 대본 텍스트를 뽑습니다.
- 그 대본을
mingus-studio가 받아서 제 목소리로 음성 합성을 하고, Whisper로 받아쓰기해서 자막까지 붙인 다음 파컷(FCP) XML로 뽑아줍니다.
여기서 자막·음성 파이프라인 쪽은 지난 글(Kotlin으로 LLM 연동부터 Whisper 자막 자동화, QnA 분류까지 나의 AI 활용 예시)에서 이미 자세히 풀었어서 여기선 짧게만 짚고 갑니다.
덧붙이면, 반대 방향도 만들어 놨습니다. 대본을 미리 안 써놓고 그냥 막 말한 녹음만 던져도, 로컬 LLM이 더듬거림이나 헛시작을 정리해서 대본을 대신 만들어 줍니다. 이때 딱 하나 지키는 규칙이 “의역 금지”인데요, 원문 단어를 살려둬야 나중에 자막 타이밍을 맞추는 로직이 원본 녹음이랑 정확히 짝을 맞출 수 있기 때문입니다. AI한테 다 맡기는 게 아니라, 얘가 어디까지 손댈 수 있는지 선을 그어주는 게 핵심이었습니다.
💡 결론: 페르소나도 결국 도구일 뿐입니다
제가 무슨 대단한 프롬프트 엔지니어라서 이런 걸 짠 게 아니고요, 답글 하나하나 톤 맞춰 쓰고 영상 대본 매번 처음부터 짜는 게 너무 반복적이라 귀찮았던 것뿐입니다. 페르소나 문서가 있다고 초안이 바로 완성본이 되는 것도 아니고요, 결국 사람이 한 번 더 읽고 다듬는 과정은 그대로 남아있습니다.
다만 이렇게 제 데이터를 정리해서 참고 자료로 쥐여주면, 매번 “저는 이런 톤으로 씁니다”를 처음부터 설명할 필요가 없어진다는 게 가장 큰 이득이라고 생각합니다. 다음에 또 비슷한 질문 주시면 이 글 링크로 답글 드려야겠네요.
감사합니다.
댓글