현실을 3D로, 상상도 3D로! Luma AI로 모델 만들기 (NeRF, Gaussian Splatting, 기계학습)

오늘의 AI 툴

Luma AI

요즘 컴퓨터 그래픽 분야에서 가장 핫한 주제인 NeRF과 Gaussian Splatting과 같은 기계학습 기술을 통해 3D 모델을 만드는 앱입니다.
무료 모바일 어플이며, 누구나 쉽게 나만의 3D모델을 만들 수 있게 해 줍니다. 전문적인 지식이 필요 없다는 말이죠. 참고로 Luma AI를 Discord 봇 "Genie"로도 만나볼 수 있습니다.
 
우선, 여기서 말하는 3D 모델은 무엇일까요? 아래 링크의 모델은 스페인에 위치한 성입니다. 마치 게임 그래픽 같기도 하고, 누군가 드론으로 직접 촬영한 영상 같기도 합니다. 우리는 이 장면을 다양한 각도에서 볼 수 있죠. 

Fatetar Castle - Espera, Spain - Created by @pelukeitor with Luma

 
 
 
Luma AI를 통해 3D모델을 만드는 2가지 방법이 있습니다.

 

첫번째, IMAGINE: 텍스트를 3D로 변환하는 것

내 상상 속에 있는 모델을 글(키워드)로 입력하면 자동으로 3D콘텐츠를 생성해줍니다.
luma labs에서 유저들이 직접 만든 여러가지 작품들을 구경하는 재미도 있습니다. 저는 이 샘플들에서 아이디어를 얻어 다음과 같은 인간의 귀 모양 모델을 생성해 봤습니다. 창의력을 발휘해 놀라운 창작물들을 만들어내면 재밌을 것 같습니다. 3D이기 때문에 모델을 클릭한 후 여러 각도로 돌려가며 구경할 수 있습니다. 

"photorealistic"이라는 키워드를 추가하면 현실적인 모델을 받아 볼 수 있습니다.
 

두번째, CAPTURE: 동영상을 통해 3D를 생성하는 것

스마트폰 카메라로 특정 장소나 물체를 다양한 각도에서 촬영하고 이를 렌더링하여 3D모델을 생성해줍니다. 이때 사용되는 기술이 NeRF (Neural Radiance Fields)입니다. 마찬가지로 Luma Labs에서 유저들이 직접 만든 3D 모델 샘플들을 올려주었습니다. 어느 대학교의 야구장, 어느 집의 고양이, 등.. 정말 다양한 장면을 눈앞에 있는 것 처럼 구경할 수 있다는게 신기하죠 ㅎㅎ

lumalabs.ai

 
저는 블로그를 작성하면서 제 노트북을 카메라에 담아보았습니다. 카메라로 물체 주변을 여러번 촬영하는 태스크가 주어집니다. 어플에서 알려주는 대로만 따라하면 정말 쉽게 모델을 만들 수 있습니다. 촬영 후 10분가량의 렌더링 시간 후 다음과 같은 모델이 생성됐습니다. 이건 정말 대충 찍은건데도 생각보다 퀄리티가 높아서 놀라울 정도 였습니다.
손으로 요리조리 스크린을 다 각도로 돌려볼 수 있고, 카메라 위치도 정할 수 있습니다. 또한, pc로 열어서 영상 편집도 할 수 있습니다!

 
이런 기술을 소매업, 부동산, 여행 등 다양한 분야에서 사용할 수도 있고, 개인이 추억을 소장하기 위한 특별한 방법이라고 생각합니다.
 
 
 
 
Luma AI 뒤의 NeRF 기술이 정확히 뭔지 알고싶다면? ↓

NeRF와 Gaussian Splatting이란 무엇일까? 차이점은? (2D를 3D로 바꾸기)