상담 신청
홈 › 작업 노트 › AI 활용 › 이미지 생성 AI와 3D 생성 AI는 어떻게 다를까

AI 활용 · 용어 풀이

이미지 생성 AI와 3D 생성 AI는 어떻게 다를까

둘 다 AI가 만들지만, 하나는 그림 한 장을, 다른 하나는 돌려 볼 수 있는 입체를 내놓습니다. 그다음 작업도 달라집니다.

작업 노트 650 · 읽는 시간 약 5분 · 2026.11.17 정리

결과물부터 다르다: 픽셀과 메시

이미지 생성 AI의 결과물은 가로세로 픽셀로 이루어진 평면 이미지입니다. 캐릭터를 정면에서 그린 그림이 나왔다면, 그 캐릭터의 뒷모습은 이미지 안에 존재하지 않습니다. 다른 각도가 필요하면 새로 생성하거나 직접 그려야 합니다. 원화 작업에서 컨셉 시안을 넓게 펼쳐 보는 단계에 주로 쓰이는 이유도 여기에 있습니다. 결과물은 보는 용도에 가깝습니다.

3D 생성 AI의 결과물은 메시라고 부르는 입체 데이터입니다. 메시는 점과 선, 그리고 그 점들을 이은 작은 면인 폴리곤으로 이루어져 있어, 3D 프로그램이나 게임 엔진에서 돌려 보고 조명을 비출 수 있습니다. 보통 표면의 색과 질감을 담은 텍스처가 함께 만들어집니다. 결과물이 움직이고 배치할 수 있는 형태라는 점이 가장 큰 차이라고 할 수 있습니다.

입력 방식도 조금 다릅니다. 이미지 생성 AI는 주로 글로 쓴 프롬프트와 참고 이미지를 받습니다. 3D 생성 AI는 글로 시작하기도 하지만, 이미지 한 장이나 여러 각도의 이미지를 넣어 입체로 바꾸는 방식도 쓰입니다. 그래서 실제 작업에서는 이미지 생성 AI로 만든 시안을 3D 생성 AI의 입력으로 이어 붙이는 흐름이 생기기도 합니다. 두 단계는 이어집니다.

3D 쪽에서 새로 만나는 용어

폴리곤 수는 메시를 이루는 면의 개수입니다. 면이 많을수록 형태가 매끄럽지만, 게임은 한 화면에 많은 물체를 실시간으로 그려야 해서 에셋마다 쓸 수 있는 폴리곤 수에 한도를 둡니다. 이 한도를 폴리곤 예산이라고 부릅니다. AI가 만든 메시는 이 예산을 고려하지 않고 면을 지나치게 많이 쓰는 경우가 많습니다. 그래서 면 개수부터 확인합니다.

UV는 입체 표면을 평면으로 펼친 지도입니다. 텍스처라는 평면 이미지를 입체에 어떻게 입힐지 정하는 기준이 됩니다. 종이 상자를 펼쳐 전개도를 만드는 것과 비슷한데, 이 전개도가 깔끔하지 않으면 텍스처가 늘어나거나 이음새가 보입니다. AI가 자동으로 만든 UV는 사람이 수정하기 어려운 형태로 잘게 쪼개져 있는 경우가 있습니다. 다시 펼치는 편이 빠릅니다.

리토폴로지는 면의 구조를 게임에 맞게 다시 짜는 작업입니다. 원래 형태는 유지하면서 폴리곤 수를 줄이고, 관절처럼 구부러지는 곳에는 면의 흐름을 정리해 애니메이션에서 자연스럽게 움직이도록 만듭니다. 이미지 생성 AI에는 이런 단계가 없지만, 3D 생성 AI 결과물을 게임에 쓰려면 거의 항상 거쳐야 하는 과정입니다. 초보자에게 가장 낯선 단계이기도 합니다.

작업 흐름에서 각각이 들어가는 자리

이미지 생성 AI는 제작 흐름의 앞쪽, 아이디어를 넓히는 단계에 주로 들어갑니다. 분위기 시안, 캐릭터 실루엣 후보, 색 조합 아이디어를 빠르게 여러 장 뽑아 방향을 고르는 데 씁니다. 고른 시안은 원화가가 손으로 다듬어 3면도나 설정화로 정리하고, 이 자료가 3D 제작의 기준이 됩니다. 버리는 시안도 많으니 고르는 눈이 곧 실력이 됩니다.

3D 생성 AI는 그보다 뒤쪽, 실제 에셋을 만드는 단계의 초안 역할을 합니다. 소품이나 배경 오브젝트처럼 형태가 비교적 단순한 것에서 특히 시간을 줄여 줄 수 있습니다. 다만 초안은 초안일 뿐이라, 폴리곤 예산 맞추기, UV 정리, 텍스처 규격 맞추기를 거쳐야 엔진에 올릴 수 있는 에셋이 됩니다. 이 정리 단계에 사람의 손이 가장 많이 들어갑니다.

두 도구를 연결해 쓸 때는 각 단계의 결과를 기록해 두는 것이 중요합니다. 어떤 이미지 시안에서 출발했는지, 3D 초안을 얼마나 고쳤는지가 보여야 나중에 포트폴리오에서 작업 과정을 설명할 수 있습니다. AI가 만든 부분과 사람이 고친 부분이 구분되어 있어야 평가하는 쪽도 지원자의 실력을 판단할 수 있습니다. 단계별 화면을 캡처해 두는 습관을 들입니다.

처음 배울 때 헷갈리는 점

가장 흔한 오해는 3D 생성 AI가 곧바로 게임용 모델을 만들어 준다는 생각입니다. 화면에서 돌려 보면 그럴듯해 보여도, 와이어프레임으로 면 구조를 보면 정리가 필요한 경우가 대부분입니다. 그래서 3D 생성 AI를 배울 때는 결과물을 만드는 법과 함께 결과물을 검사하는 법, 즉 면 구조와 UV를 확인하는 눈을 같이 길러야 합니다. 와이어프레임부터 봅니다.

또 하나는 이미지 생성 AI 결과물을 그대로 3D로 바꾸면 같은 모습이 나온다고 기대하는 것입니다. 평면 이미지에는 보이지 않는 옆면과 뒷면 정보가 없어서 AI가 추측으로 채웁니다. 그 추측이 원래 의도와 다를 수 있으니, 정면 외에 측면이나 뒷면 시안을 함께 준비하거나 결과를 받은 뒤 직접 수정할 각오를 해야 합니다. 뒷모습이 중요하면 더욱 그렇습니다.

도구 이름과 기능은 빠르게 바뀝니다. 오늘 쓰는 도구의 메뉴나 옵션은 몇 달 뒤 달라질 수 있으니, 특정 버튼 위치보다 폴리곤, UV, 텍스처, 리토폴로지 같은 바탕 개념을 확실히 익혀 두는 편이 오래 갑니다. 개념이 잡혀 있으면 새 도구가 나와도 무엇을 확인해야 할지 바로 알 수 있습니다. 용어는 노트 한 장에 따로 모아 두면 좋습니다.

어느 쪽부터 배울지 정하는 기준

그림과 컨셉 작업에 관심이 있다면 이미지 생성 AI부터 시작하는 편이 자연스럽습니다. 프롬프트와 레퍼런스로 방향을 잡고, 결과물에서 고칠 곳을 찾아 손으로 다듬는 흐름이 원화 작업과 바로 이어집니다. 이때도 형태와 명암, 색을 보는 기본기가 있어야 AI 결과물의 어색한 부분을 찾아낼 수 있습니다. 기본기 연습을 AI 연습과 함께 이어 갑니다. 둘은 서로 돕습니다.

3D 그래픽에 관심이 있다면 3D 생성 AI를 배우기 전에 기본 모델링과 UV 작업을 먼저 경험해 보는 것이 좋습니다. 직접 면을 만들고 펼쳐 본 사람이 AI 결과물의 문제를 빨리 알아봅니다. 3D 프로그램 기초를 익힌 뒤 AI 초안을 받아 리토폴로지와 최적화를 해 보면 두 방식의 장단점이 손으로 이해됩니다. 처음에는 단순한 소품부터 시작합니다.

어느 쪽이든 AI는 시작점을 앞당겨 줄 뿐 마무리는 사람이 맡습니다. 이미지와 3D 중 어느 트랙이 나에게 맞는지, AI 3D 초안을 엔진에 올리는 과정까지 배우려면 무엇이 필요한지 궁금하거나 내 작업에 어떻게 연결할지 막막하다면, SBS아카데미게임학원 AI크리에이터 과정 무료 상담에서 그래픽 트랙과 컨셉아트 트랙을 하나씩 비교해 보시길 권합니다.

자주 묻는 질문

3D 생성 AI로 만든 모델을 바로 판매하거나 게임에 써도 되나요?

도구마다 이용 약관과 상업적 이용 조건이 다르니 반드시 확인해야 합니다. 기술적으로도 대부분 최적화와 정리 과정을 거쳐야 게임에 쓸 수 있습니다.

3D를 전혀 몰라도 3D 생성 AI를 쓸 수 있나요?

결과물을 만드는 것은 가능하지만, 그 결과물을 고치고 게임에 맞추려면 3D 기초가 필요합니다. 기초를 함께 배우는 것이 결국 시간을 아끼는 길입니다.

AI크리에이터 수업 예시
이 글과 이어지는 과정AI크리에이터 과정 안내

수업 순서, 목표별 결과물, 가까운 센터를 한 페이지에서 볼 수 있습니다.

과정 보기 →

함께 읽으면 좋은 노트

무료 상담 신청

읽은 글과 관련해 궁금한 점이나 지금 상황을 남기면 담당자가 연락드립니다.

상담·컨설팅 무료 · 전화 상담 010-2135-9730

전화상담 신청