Runway Gen-3로 이미지를 동영상으로 만들기 : LUMA, KLING 비교

지금 현재로서는 Runway Gen-3가 이미지를 동영상으로 만드는 데 제일 나은 것 같습니다. LUMA ai의 Dream Machine과 중국에서 만든 먹방 Ai로 유명한 Kling Ai를 같이 테스트해본 결과 런웨이 gen-3가 제일 낫습니다. 나머지 2가지는 너무 오래걸려서 결과물 확인조차 쉽지 않아요. 간단 비교사용기 전해드립니다.

 

---

이글의 구성

- Runway Gen-3

- 이미지생성 Ai : Imagen3 / feat. photoshop

- Runway Gen-3 image to video 방법

- Luma ai Dream Machine

- Kling ai

- 결과물 비교

---

 

Runway Gen-3

인공지능 동영상 생성도구입니다. 아래 링크를 클릭하시면 더 많은 정보와 함께 직접 사용해보실 수 있습니다.

 

반응형

 

런웨이 젠3 바로가기

https://app.runwayml.com/video-tools/

 

위 사이트에 접속하시면 어떤 일을 하는 곳인지는 쉽게 알 수 있으실 거예요.

 

아래는 런웨이 GEN-3 사이트에서 확인하실 수 있는 튜토리얼 영상 중 하나입니다.

 

 

저는 이미지를 비디오로 만드는 것만 해봤지만 , 텍스트를 이미지로 만들거나 영상으로 만드는 것도 가능합니다. 버전은 Gen-2, Gen-3, Gen-3 Turbo가 있는데요. 간단한 영상 간단한 프롬프트는 Gen-2 성능도 좋다고 하구요. Gen-3와 Gen-3 Turbo는 기능은 비슷하다고 하는데 저는 속도가 빠른 Turbo의 결과물이 좋았습니다. 게다가 미리보기도 할 수 없는 ai 영상 생성의 특성 때문에 결과물이 빨리 나와야 다음에 어떻게 할지 가늠이 되는 것 같아요.

 

Runway Gen-3와 Luma ai, Kling ai를 테스트해보기 위해 먼저 이미지 부터 생성했습니다.

 

이미지생성 Ai : Imagen3 (imageFX)

imagen3는 얼마전 소개해드렸던 imageFX 의 기술이자 모델이라고 하겠습니다. 구글 딥마인드에서 만들었구요. 고퀄리티의 이미지를 뽑아줍니다. Flux와 비교한 지난번 글을 참고해주세요.

 

Flux.1, imageFX 손가락, 텍스트 잘 나오는 ai 이미지 생성기( feat. 미드저니)

 

 

오늘 테스트로 사용할 이미지입니다. imagen3로는 이것 말고도 다른 이미지들을 더 뽑았는데 사람이 뒤에서 보고 있는 이미지로는 이게 제일 잘 나왔어요.

 

아래 이미지중 왼쪽은 Imagen3 오른쪽은 Flux.1 Dev로 뽑은 이미지입니다. Flux.1 Dev 도 엄청난 고퀄리티인데요. 제가 원했던 것은 숲이라는 느낌이 잘 살아 있는 것이 필요해서  숲을 풍성하게 잘 유지해준 Imagen3의 결과물을 이용하게 됐습니다.

 

 

그런데 이미지를 16:9 비율로 준비해야 영상으로 만들어주는 ai 툴들에 적합해서 포토샵에서 가로를 생성형으로 채워줬습니다.

크롭툴을 이용해서 여백을 늘려주고 생성형 채워주기를 하면 됩니다. 포토샵의 ai 기능 중 많이 쓰는 기능인 거 같아요.

 

 

 

예전에는 약간의 꼼수로 가운데 오브젝트의 크기를 고정한 채 배경이미지를 늘려주는 방식으로  수정했는데요.
이젠 생성형 채우기를 훨씬 많이 쓰는 것 같습니다. 

 

* 참고로 지금 크리에이티브 클라우드가 할인 중이니 구독료 부담이 있으셨다면 지금 구독해보세요! (8월 29일까지)

 

 

크리에이티브 클라우드 40% 할인

 

 

포토샵으로 최종 완성한 이미지는 아래와 같습니다.

 

 

 

Runway GEN-3 image to video 방법

젠 3에서 이미지를 동영상으로 만드는 방법은 상당히 간단합니다. 지금 젠3 터보는 알파버전이라서 그런지 설정해줄 것도 거의 없구요.

영상으로 만들 이미지를 불러와서 왼쪽 창에 넣고 아래쪽에 영상이 어떻게 움직이면 좋을지 프롬프트를 넣어주고  생성 버튼을 누르면 됩니다. 무료사용자도 테스트를 해볼 수 있도록 크레딧이 주어지고 여러번 해볼 수 있습니다. 5초, 10초 길이로 선택할 수 있습니다. 영상이 어떻게 나올지 확실하지 않기 때문에 웬만하면 5초정도만 해보시는 걸 추천드립니다.

 

 

구글 이메일 주소를 여러개 가지고 계시면 크레딧이 소진되어도 또 다른 계정으로 무료 체험을 해보실 수 있습니다. 아무래도 비디오생성은 이미지 생성하고는 또 달라서 크레딧이 금방소진되거든요. 무료체험을 많이 해서 익숙해지는 것이 도움이 됩니다.

 

추가로 런웨이에서는 영상을 생성할 때 도움이 되는 프롬프트 가이드를 함께 제공하고 있으니 이것도 꼭 참고해 보시기 바랍니다. 영상이 좀 더 제대로 나올 수 있도록 하는데 도움이 됩니다.

 

https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide

 

 

예를 들면 아래와 같은 프롬프트를 넣어서 카메라 움직임을 제시할 수 있습니다.

Nature Scene Prompt: "A serene forest with sunlight filtering through the leaves. Camera slowly pans over a babbling brook surrounded by vibrant wildflowers."

 

 

Luma ai Dream Machine

루마 ai도 간단합니다. 프롬프트 창에 이미지 버튼을 클릭하면 변환할 이미지를 업로드할 수 있습니다. 루마 ai  드림머신의 특징은 끝나는 장면을 위한 이미지도 올릴 수 있다는 점이에요. 저는 하나만 올려줘봤습니다.

 

 

바로가기는 아래 링크를 이용해주세요.

https://lumalabs.ai/dream-machine/creations

 

 

Kling ai

https://www.klingai.com/image-to-video/

 

UI는 GEN3와 비슷하구요. 왼쪽에 이미지 업로드와 프롬포트 업로드를 하고 완료되면 오른쪽에서 확인하는 형태입니다.  아쉽게도 5시간 전에 걸어놓은 것이 아직도 진행중이에요.

 

text to video로 만든 영상은 비교적 빨리 생성이 되었었는데요. 이미지로 생성하는 건 시간이 많이 걸리네요.

무료사용자이기 때문일 수 있는데 이정도면 테스트는 거의 힘든 것이 아닌가 싶습니다.

99%까지 진행되는 데는 시간이 얼마 걸리지 않았는데 99%에서 몇시간째 같은 상태로 머물러 있습니다.

 

 

결과물 비교

현재 시간까지 결과물은 Runway의 Gen-3에서만 나왔습니다. Gen-3에서 10개 이상 영상을 생산한 것이 총 30분이 안걸린 것 같은데요. 심지어 Gen-2, Gen-3, Gen-3 turbo를 모두 테스트해보는데도 말이죠. 이러면 결과물을 떠나서 시간만으로도 Gen-3가 가장 훌륭한 영상 생성 툴이라고 해야할 것 같습니다.

클링까지는 오래걸렸지만 결과물이 나와서 아래 업데이트 했습니다. 루마 결과는 향후 나오는대로 업데이트하겠습니다.

 

Gen-3 결과물들

첫번째.

처음 생성된 영상은 프롬프트를 잘못이해해서 그런지 엉뚱한 영상이 튀어나옵니다. 토끼가 걸어가는 것에 손을 흔들어 달라고 했는데 앞에 걸어가고 있는 토끼를 이해 못한 것인지 토끼를 만들어서 튀어나오게 했더라구요.

그리고 중간에 다른 영상으로 바뀌고 튀어나온 토끼한테 손짓을 합니다. 창의적이라고 해야할까요.

 

Gen-3 테스트 영상 1

 

 

두번째.

중간에 여러차례 다른 테스트를 해보고 프롬프트를 바꾸면서 결국 토끼가 걸어가는 것에 대해 이해를 못하기 때문에 포기했습니다. 어쩌다 중앙에 있는 토끼가 걸어가는 경우도 있었는데 토끼가 걸어가는대신 인물이 이상하게 변하는 경우가 생겨서 프롬프트를 바꿔줬어요.

 

프롬프트를 고쳐서 얻은 이 영상은 다 마음에 들고 인물의 움직임도 좋은데 아쉽게도 손가락이 이상하게 나왔습니다.

 

 

세번째

마지막 결과물입니다.

토끼가 움직이지 않아서 아쉽지만 인물의 손이 자연스럽고 전체적인 분위기도 왜곡되는 것이 거의 없어서 최종 결과물로 선택했습니다.

 

 

Kling 결과물

클링은 정지화면만 봐도 이미 토끼의 외모가 일그러져서 실망을 했는데요. 그래도 프롬프트는 잘 알아듣고 인물의 손짓, 토끼의 움직임을 표현해줬습니다.일그러지지만 않았다면 만족스러웠을 것 같아요.

 

 

Luma Ai 

루마 ai의 드림머신으로 만든 영상이 나왔습니다. 엄청나게 오래 기다렸지만 결과물이 좋다면 괜찮다고 생각했는데요.

결과물이 대 실망입니다.

 

 

AI 영상이라는 것이 워낙에 체리피킹이 필요한 일이긴 하지만 작업시간이 너무 길기 때문에 여기서 반복된 테스트를 하기는 어려울 듯합니다. 

 

그래서 저는 개인적으로 현재로서는 영상제작을 위해서는 세가지 툴들 중에선 Runway의 GEN-3를 선택하는 게 가장 현명해보입니다. 

 

나중에 다른 도구들도 테스트할 기회가 있으면 추가로 전해드리도록 하겠습니다.

 

마치며,

장안의 화제인 런웨이의 GEN-3, 루마 ai  드림머신, 클링 ai 를 이용해 이미지를 동영상으로 바꾸는 ai를 살펴봤습니다. 현재로서는 속도며 퀄리티면에서 런웨이의 젠3가 가장 뛰어나지만 그럼에도 불구하고 체리피킹을 하기 위해서 여러번 테스트를 해봐야만 했습니다. 퀄리티는 아직 출시되지 않은 소라가 가장 뛰어나다고는 하는데 들리는 소문에는 소라ai 역시 만족스런 결과물이 나오기까지 여러번 반복해야한다고 하네요. 그래도 한 1년전 영상들에 비하면 엄청난 발전입니다.

앞으로 훨씬 더 나은 결과물이 몇개월 안에 나올 것 같네요. 이제 영상 제작 방법도 많이 바뀔 것 같습니다.

 

고맙습니다.