DEVOCEAN

저는 팀에서 Unity 엔진을 이용해서 3D 공간을 구현하는 일을 하고 있습니다. 참고로 Unity는 2D/3D 그래픽스 기반의 앱을 만드는 데에 사용하는 게임 엔진입니다.

이 글에서는 Unity 엔진 상에서 Hugging Face Inference API를 호출하는 방식으로 AI 갤러리를 만드는 방법을 소개합니다.

Unity 한국 지사에서는 다양한 주제로 매월 Tech Talk 라는 온라인 세미나를 열고 있는데요.

이 글은 24년 7월에 있었던 'Unity Sentis: HuggingFace 샘플들을 활용한 간단한 예제 만들기'라는 주제의 Tech Talk 내용을 많이 참고했음을 미리 밝힙니다.

AI 갤러리를 구현하는 데에 Text to Image 모델 중 하나인 Stable Diffusion XL v1.0 버전을 사용합니다.

모델 용량은 7GB 정도 된다고 하네요. 아쉽게도 온디바이스로 구현하기에는 조금 부담스러울 듯합니다.

Unity 내에서 Hugging Face Inference API(SDXL 1.0)를 호출하는 방식으로 위 모델에 접근해서 이미지를 생성합니다.

새로운 Unity 프로젝트를 하나 만들고, Package Manager 에서 Hugging Face API for Unity 패키지를 설치합니다.

해당 패키지는 Unity 상에서 손쉽게 Hugging Face Inference API 를 호출할 수 있도록 해줍니다.

다음으로 Window -> Hugging Face API Wizard 창을 열고, 미리 Hugging Face 페이지에서 발급 받은 Access Token을 넣어줍니다.

이어서 Task Endpoints의 TextToImage 값을 'https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0'로 바꿔줍니다.

마지막으로 Install Examples 버튼을 눌러서 예제 씬과 스크립트를 설치합니다.

아래와 같이 예제 씬이 생성된 것을 확인할 수 있습니다.

Play 버튼을 눌러서 씬을 실행한 뒤, TextField에 적당한 프롬프트를 입력하면 Image가 생성됩니다.

여기서 끝낸다면 번거롭게 Unity 엔진을 사용할 이유가 없습니다.

3D 공간 상에 스크린을 띄우고, 캐릭터가 공간을 돌아다니면서 image를 생성하도록 씬을 수정해보겠습니다.

아래 그림과 같이 Stable Diffusion XL 1.0 모델을 Hugging Face Inference API로 호출해서 이미지를 생성하는 간단한 프로젝트입니다.

Unity 에디터의 Package Manager 에서 아래 주소의 Hugging Face API package 를 설치하면 Unity 상에서 Hugging Face Inference API 를 사용할 수 있습니다.

• https://github.com/Hugging Face/unity-api.git

Unity 엔진으로 만든 AI 갤러리 프로젝트에 대해 설명을 시작하겠습니다.

주사위 모양의 3D 공간 안에 캐릭터가 들어가 있는 상태로 씬이 시작됩니다. 지붕과 바닥을 제외한 4면이 각각 스크린으로 이뤄져 있습니다.

각 스크린 앞으로 가면 화면 하단에 프롬프트를 입력할 수 있는 텍스트 필드가 나타납니다.

여기에 생성하고 Stable Diffusion으로 싶은 이미지에 대한 프롬프트를 작성합니다.

엔터 키를 입력하고 누르면 이미지가 생성 중이라는 문구가 뜹니다.

잠시 기다리면 Stable Diffusion XL 1.0 모델에 의해 생성된 이미지가 3D 공간 상의 스크린에 그려집니다.

캐릭터를 움직여서 다른 스크린들로 이동, 프롬프트를 입력하고 기다리는 동작을 반복합니다.

4개의 스크린이 모두 그림으로 채워졌습니다. 짜잔, AI 갤러리가 완성됐습니다! 참 쉽죠? ㅎㅎ

너무 그림으로 때운 것 같지만 기분 탓일 겁니다.

이렇게 끝내긴 뭔가 아쉬워서 다음 3편에서는 3D 공간을 좀 더 그럴듯하게 꾸미거나 아예 Unity가 아닌 Unreal 엔진으로 똑같은 AI 갤러리를 구현해 볼까 합니다.