상담 신청
홈 › 작업 노트 › AI 활용 › 파인튜닝과 프롬프트 엔지니어링의 차이

AI 활용 · 용어 풀이

파인튜닝과 프롬프트 엔지니어링의 차이

같은 AI에게 우리 게임 말투로 NPC 대사를 쓰게 하고 싶을 때, 방법은 크게 두 갈래입니다. 요청하는 글을 공들여 설계해 원하는 결과를 끌어내거나, 모델 자체에 우리 게임 대사를 더 학습시켜 성향을 바꾸는 것입니다. 앞의 것을 프롬프트 엔지니어링, 뒤의 것을 파인튜닝이라고 부릅니다.

작업 노트 672 · 읽는 시간 약 5분 · 2026.11.17 정리

두 용어를 한 줄씩 정의하면

프롬프트 엔지니어링은 모델은 그대로 두고 입력하는 지시문을 설계해 원하는 결과를 얻는 방법입니다. 역할, 조건, 예시, 출력 형식을 어떻게 적느냐에 따라 같은 모델에서도 결과가 크게 달라집니다. 별도의 학습 과정이 없어서 바로 시도하고 바로 고칠 수 있다는 것이 특징입니다. 처음 AI를 쓰는 사람이 가장 먼저 만나는 방법이기도 합니다.

파인튜닝은 이미 학습된 모델에 특정 데이터를 추가로 학습시켜 모델의 성향 자체를 조정하는 방법입니다. 우리 게임의 대사 수백 줄이나 특정 화풍의 그림 묶음을 넣어 학습시키면, 짧은 지시문만으로도 그 말투나 화풍에 가까운 결과가 나옵니다. 데이터 준비와 학습 시간, 컴퓨팅 자원이 필요해 바로 시도하기는 어렵습니다.

두 방법의 차이를 비유로 말하면 이렇습니다. 프롬프트 엔지니어링은 숙련된 작가에게 아주 자세한 작업 지시서를 건네는 일이고, 파인튜닝은 그 작가를 한동안 우리 팀에서 일하게 해 팀의 스타일을 몸에 익히게 하는 일입니다. 지시서는 매번 써야 하지만 바로 바꿀 수 있고, 몸에 익힌 스타일은 한번 들면 쉽게 바꾸기 어렵습니다.

작업 장면에서 쓰이는 모습

게임 기획 작업에서는 프롬프트 엔지니어링이 훨씬 자주 쓰입니다. 퀘스트 대사 초안을 받을 때 캐릭터 설정, 말투 예시 몇 줄, 피해야 할 표현, 원하는 길이를 정리한 지시문 틀을 만들어 두고 매번 재사용하는 식입니다. 지시문 틀을 팀이 함께 쓰면 누가 요청하든 비슷한 품질의 초안을 받을 수 있어 작업이 안정됩니다.

파인튜닝은 같은 스타일의 결과가 대량으로, 반복적으로 필요할 때 검토 대상이 됩니다. 수많은 아이템 설명을 일정한 문체로 뽑아야 하거나, 프로젝트 고유의 화풍으로 많은 시안을 만들어야 하는 경우입니다. 이때도 학습에 쓸 데이터가 회사가 권리를 가진 자료인지 먼저 확인합니다. 권리가 불분명한 데이터로 학습하면 결과물 전체가 문제가 됩니다.

이미지 생성 쪽에서는 두 방법이 함께 쓰이기도 합니다. 추가 학습으로 특정 캐릭터나 화풍을 익힌 작은 모델을 붙이고, 그 위에서 지시문으로 포즈나 배경을 바꾸는 방식입니다. 이 경우 학습은 무엇을 그릴지의 바탕을, 지시문은 이번 결과의 세부를 맡습니다. 역할이 나뉘어 있다는 점을 알면 결과가 이상할 때 어디를 고칠지 판단하기 쉽습니다.

AI크리에이터 수업에서 다루는 작업 예시
AI크리에이터 수업에서 다루는 작업 예시

처음 배우는 사람이 헷갈리는 점

가장 흔한 오해는 지시문을 반복해 쓰다 보면 모델이 학습한다고 생각하는 것입니다. 대화 중에 앞서 한 말을 기억하는 것은 그 대화 안의 맥락일 뿐이고, 모델 자체가 바뀌는 파인튜닝과는 다릅니다. 새 대화를 열면 앞의 맥락이 사라지는 경우가 많습니다. 일부 서비스는 기억 기능을 따로 제공하지만 이것도 모델을 다시 학습시키는 것과는 구분됩니다.

두 번째는 파인튜닝이 항상 더 좋은 결과를 낸다는 생각입니다. 데이터가 적거나 고르지 않으면 오히려 결과가 나빠지고, 학습한 데이터에만 맞춰져 다른 요청에 유연하게 대응하지 못하는 일도 생깁니다. 대부분의 작업은 잘 설계한 지시문으로 충분히 해결되며, 파인튜닝은 지시문으로 해결되지 않는다는 근거가 쌓였을 때 고려하는 순서가 일반적입니다.

세 번째는 참고 자료를 함께 넣는 방식과의 혼동입니다. 설정 문서나 대사 예시를 지시문에 붙여 넣어 답하게 하는 것은 모델을 바꾸는 것이 아니라 입력에 정보를 더하는 것이므로 프롬프트 쪽에 가깝습니다. 필요한 문서를 자동으로 찾아 붙여 주는 구조도 있는데, 이 역시 모델 학습이 아니라 입력을 보강하는 방식이라는 점에서 파인튜닝과 다릅니다.

어떤 방법을 고를지 판단하는 순서

처음에는 언제나 지시문부터 다듬습니다. 원하는 결과를 구체적인 조건으로 쓰고, 좋은 예시와 나쁜 예시를 붙이고, 출력 형식을 정합니다. 같은 요청을 여러 번 해서 결과가 얼마나 흔들리는지 확인합니다. 결과가 안정적이고 기준을 만족한다면 거기서 멈춥니다. 지시문 개선만으로 해결되는 경우가 생각보다 많습니다.

지시문을 충분히 다듬어도 문체나 화풍이 계속 흔들린다면 참고 자료를 늘려 봅니다. 설정 문서, 대사 예시, 참고 이미지를 더 구체적으로 넣으면 결과가 한층 안정됩니다. 이 단계까지 시도한 기록이 있어야 파인튜닝이 정말 필요한지 판단할 수 있습니다. 기록 없이 바로 학습으로 넘어가면 무엇이 효과였는지 알 수 없습니다.

파인튜닝을 고려할 때는 세 가지를 확인합니다. 학습에 쓸 데이터가 충분하고 권리가 분명한지, 결과를 평가할 기준이 있는지, 학습과 관리에 드는 시간과 비용을 감당할 수 있는지입니다. 개인 연습이라면 직접 그린 그림이나 직접 쓴 글로 작은 실험을 해 보는 정도가 적당합니다. 다른 사람의 작품으로 학습하는 것은 피해야 합니다.

AI크리에이터 수업에서 다루는 작업 예시
AI크리에이터 수업에서 다루는 작업 예시

공부할 때 순서와 연습 방법

입문 단계라면 프롬프트 설계를 충분히 연습하는 것이 우선입니다. 같은 대사 요청을 조건 하나씩 바꿔 가며 결과를 비교하고, 어떤 조건이 결과에 가장 큰 영향을 주는지 노트에 기록합니다. 이 연습은 어떤 도구를 쓰든 그대로 통하고, 나중에 파인튜닝을 하더라도 결과를 평가하는 기준이 됩니다.

파인튜닝은 개념을 이해하는 수준에서 시작합니다. 데이터가 어떻게 준비되고, 학습 결과를 어떻게 비교하며, 어떤 문제가 생기는지 알아 두면 팀에서 논의가 나올 때 대화에 참여할 수 있습니다. 직접 해 보고 싶다면 작은 규모로 내 자료만 써서 학습 전후 결과를 나란히 비교하는 실험이 좋습니다.

SBS아카데미게임학원 AI 게임기획 과정에서는 세계관 설정과 퀘스트, 대사 초안을 AI와 함께 만들며 지시문 설계를 실습하고, AI 컨셉아트 과정에서는 프롬프트와 레퍼런스 설계를 다룹니다. 두 방법 중 내 작업에 무엇이 필요한지 판단이 서지 않는다면, 지금 쓰는 지시문을 들고 무료 상담에서 함께 점검해 보세요.

자주 묻는 질문

프롬프트 엔지니어링을 잘하면 코딩을 몰라도 되나요?

지시문 설계 자체는 코딩 없이 가능합니다. 다만 파인튜닝이나 AI 기능을 게임에 붙이는 작업으로 넘어가면 프로그래밍 지식이 필요해집니다.

파인튜닝한 모델의 결과물은 누구 것이 되나요?

도구의 약관, 학습 데이터의 권리, 사람의 창작적 기여 정도에 따라 달라집니다. 실제로 쓰기 전에는 약관과 관련 안내를 확인하는 것이 좋습니다.

AI크리에이터 수업 예시
이 글과 이어지는 과정AI크리에이터 과정 안내

수업 순서, 목표별 결과물, 가까운 센터를 한 페이지에서 볼 수 있습니다.

과정 보기 →

함께 읽으면 좋은 노트

무료 상담 신청

읽은 글과 관련해 궁금한 점이나 지금 상황을 남기면 담당자가 연락드립니다.

상담·컨설팅 무료 · 전화 상담 010-2135-9730

전화상담 신청