개발자 조엘과 삽질

Seedance, Nanobanana Pro 등 이미지, 영상, 오디오 생성 모델 필승법 일단 기본 전제는 이런 모델들이 좋은 프롬트와 재료를 주면 뛰어난 출력을 낼 수 있지만, 그렇지 않다면 한없이 멍청하다는 것이다. 이 전제를 알고 읽는다면 이 필승법의 배경을 잘 이해할 수 있다. 데이터의 질. 보통 나노바나나 프로 같은 모델을 사용할시 여러 이미지를 합성하는 작업을 많이들 한다. 이 때 각각의 이미지가 최대한 결과물에 들어가야 하는 사물만 담고 있어야 결과물의 질이 매우 좋아진다. 나 같은 경우, 나노 바나나를 통해 각 이미지를 하얀 배경에 사물만 남겨놓는 전처리 과정을 거친다. 그리고 그걸 다시 인풋으로 주면 훨씬 좋은 결과가 나온다. 단계별 인풋. AI가 이미 잘 알고 있는 사물이나 장면이 아닐 경우, 처음부터 복잡한 결과물을 바로 만들어 달라고 하면 의외로 이상한 결과가 나오는 경우가 대부분이다. 공룡이 파스타를 먹는 장면을 만들어줘라고 했을때 AI는 여러가지를 상상해야만 한다. 공룡은 어떻게 생겼을 것이며, 파스타는 어떤 파스타일 것이며, 공룡의 입이 닫혀있을 것인지, 오물거리고 있을 것인지, 공룡이 앞발을 사용해서 파스타를 긁어먹을 것인지, 이미지 배경은 쥬라기 공원과 같은 곳이어야 할지 등등. 프롬트를 주는 입장에선 머릿속에 그 떠오르는 그림이 있다. 그 그림에 있는 물체들을 분리해보자. 예를 들면 공룡, 파스타, 쥬라기 공원.. 이런 식으로. 각 사물을 먼저 만든 다음 또다른 프롬트를 통해 조합하면 높은 수준의 결과물이 나온다. 상상을 시키는 대신 대신 프롬트로 명시하기. 멀티모달 모델의 경우 ‘너 알아서 어떤 큰 주제 안에서 무작위로 어떤 사진을 만들어봐‘라는 프롬트는 만족스러운 결과물을 내어놓지 않는다. 구체적인 기술적인 이유는 나도 모르겠으나 아마 이미 이미지, 영상 생성도 힘든데 거기다가 직접 무작위로 어떤 장면을 정해서 생성하라고 하니 그런게 아닌가 싶다. 그리고 이런 프롬트라면 사용자가 만족할만한 결과물을 낼 수 있는 구체적인 조건을 주기가 힘들다. 그렇다면 어떻게 해야 하는가? 먼저 LLM에게 이런 주제가 있는데 무작위로 시나리오 10개만 생각해서 생성 모델에 넣을 프롬트를 만들어달라고 부탁하면 그만이다. 그럼 그 프롬트를 (좀 귀찮지만) 각각 자료 생성에 활용하면 된다. AI로 이미지 분석 시키고 프롬트 생성하기. 이미지나 비디오를 생성하고 나서 보면 뭔가 이상한데 어떻게 이상한진 모르겠다는 느낌을 받았을 때가 있었을 것이다. 내 눈은 아는데 글로 표현은 안 되는 상황. 때로는 이미지 안의 사물의 부위가 딱히 딱 꼬집어서 설명이 정말 어려울 수 있다. 그러면 코덱스나 클로드 코드한테 그 이미지를 던져주고 나의 느낌을 최대한 글로 풀어쓰고 이건 이상하다고 프롬트를 적어주자. ‘저기 오른쪽 구석에 있는 초록색 뾰족한 부분‘이라고만 해도 충분히 알아듣고, 더 정확하고 기술적인 표현으로 바꿔준다. 또, 만약 이상적인 느낌의 이미지가 있다면 그것 또한 AI에게 넘겨주어 분석을 시키고, 기존 이미지가 이상적 이미지의 느낌을 줄 수 있도록 프롬트를 적어달라고 하자. 이렇게 프롬트로 프롬트를 생성하는 방식이 이미지의 사소한 부분을 fine-tuning 할때 꽤 유용하다. 모델. 가장 잘 되는것만 말해주겠다. 현실을 반영하는 매체(현실에 존재하는 사물)를 만든다면 다른 거 써 볼 필요조차 없다. 오디오 = 일레븐랩스, 영상 = seedance 2.0, 이미지 = nanobanana pro. 비현실적인 건 아직 별로 테스트 안해봐서 모르겠다. 하여튼 오디오 영상 이미지 중엔 이 모델들이 독보적으로 좋아서 다른 거 써볼 이유는 별로 없다. AI 스킬. Higgsfield 같은 플랫폼의 경우 mcp, cli 사용 가능한 api key가 가장 싼 플랜에도 포함이다. 로컬에서 돌리는 코덱스나 클로드에 higgsfield 스킬을 설치해서 편리하게 사용하자. 안 그래도 웹사이트가 느리고, 버그가 좀 있고 구리다. 비용과 플랫폼 비교. 아직 krea.ai, higgsfield.ai, Google AI studio 밖에 안 써봐서 (가볍게 약 200-300개의 이미지, 비디오 생성하며 20만원?정도 쓴 정도) 아직 나도 알아가는 단계. 이번달 더 많은 플랫폼 사용 후 후기로 돌아오겠다. @joelweb3kr