안녕하세요! SKT AI Fellowship 6기로 활동하게 된 엔팁과 아이들😺 팀입니다.

저희 팀은 C-10번 과제인 〈이미지 기반 광고 컨텐츠 Layout Generation〉 연구를 진행하고 있습니다.

이번 글에서는 저희 과제에 대한 설명과 더불어, 앞으로의 연구 계획에 대해 설명드리고자 합니다.

1. 주제 소개

저희는 Layout Generation을 중심으로, 이미지 기반 광고 컨텐츠 생성의 전반적인 부분을 다루고 있습니다.

자세한 설명에 앞서, 먼저 저희가 일차적으로 목표하고 있는 결과물을 보여드리겠습니다.

위의 이미지는 실제로 T딜에서 MMS 마케팅 서비스에 활용한 광고 이미지인데요.

이 이미지는 디자이너가 직접 적절한 위치에 상품 이미지를 배치하고,

이미지에 어울리는 배경과 텍스트를 선정하여 만든 포스터입니다.

저희는 AI를 활용해, 이러한 광고 포스터를 사용자의 요구에 따라 자동적으로 생성해주는 모델을 구축하고자 합니다.

주제를 구성하는 세부 task는 아래와 같습니다.

1. 상품 이미지에 어울리는 광고 배경 생성 (Background Image Generation)

2. 광고 컨텐츠 내용을 고려한 레이아웃 생성 (Content-aware Layout Generation)

3. 전반적인 분위기에 어울리는 폰트와 색상 선정 (Font & Color Recommendation)

이와 같이, 광고 컨텐츠의 핵심 구성 요소인 배경, 레이아웃, 폰트와 색상 선정 모두를 자동화하는 것 이 저희의 연구 목표입니다!

이미지 광고 생성을 자동화함으로써, 광고 제작 시간을 단축하고 비용을 절감할 수 있을 것이라고 기대하고 있습니다.

이제부터 각 세부 task별로 저희의 연구 방향성을 설명드리겠습니다.

① Background Image Generation

광고 배경 생성에서 가장 중요한 것은 바로 상품 이미지와 어울려야 한다 라는 점인데요.

특히나 저희가 타겟하고 있는 광고(위에서 보셨던 그것!)의 경우 상품 이미지가 직접적으로 강조되어야 하기 때문에,

요구되는 배경이 비교적 심플하고 정적인 형태입니다.

반면, 일반적으로 이미지 생성에 많이 활용되는 diffusion 계열의 생성 모델은 다채롭고 사실적인 이미지를 생성하는 데 주력합니다.

때문에 위의 이미지에서 보시는 것과 같이, 기존의 모델을 저희 task에 그대로 활용하기 어려운 것이죠.

또, 상품 이미지가 배경과 자연스럽게 어울리도록 하기 위해 상품 이미지를 합성한 뒤 relighting 등의 방식을 통해 후처리하거나,

ControlNet의 입력으로 넣어 배경과 함께 생성하도록 만드는 방법이 있지만,

이러한 방법들은 상품 이미지의 로고나 원본의 특징적인 부분, 색감 등이 훼손되는 문제가 존재합니다.

이와 같은 challenge를 해결하고, 단순하면서도 상품 이미지와 잘 어울리는 배경을 생성하는 것이 주요한 목표입니다.

기존에 foreground image를 중심으로 적절한 배경을 생성해주는 직접적인 선행 연구가 없기 때문에,

저희는 기존 생성 모델을 기반으로 한 새로운 접근 방법을 제시할 예정입니다.

② Content-aware Layout Generation

배경을 생성했다면, 이제 광고 텍스트와 로고를 비롯한 컨텐츠를 적절히 배치해야 합니다.

Layout Generation은 Web UI, 잡지, 포스터 등 다양한 레이아웃에 대해 꾸준히 연구가 되어 왔던 분야인데요.

그중에서도 저희가 연구하는 것은 전체 컨텐츠의 맥락, 즉 **삽입되는 텍스트/이미지와 배경 이미지를 고려하여 레이아웃을 생성해주는 Content-aware Layout Generation**입니다.

위의 이미지에서 보시는 것과 같이, Content-aware Layout Generation은 Transformer, VAE, GAN 뿐만 아니라 최근에는 Diffusion, LLM으로도 연구가 되고 있습니다.

다만 무조건적으로 어떤 방법론이 좋다고 말할 수 있는 것이 아니고, 각 방법론의 장단점이 분명히 존재했습니다.

저희가 살펴본 주요 방법론의 장단점은 다음과 같았는데요.

결론적으로, 구체적인 타겟 이미지의 형태를 생각했을 때 아래와 같은 요소를 고려하여 모델을 구축하고자 합니다.

• 배경 이미지의 형태를 고려하여 레이아웃을 생성할 수 있어야 함

• 요구되는 이미지의 크기나 형식이 다양하므로, 어떤 규격의 이미지에도 잘 대응할 수 있어야 함

• 여러 개의 컨텐츠가 겹치도록 배치되는 등 레이아웃의 자유도가 높아야 함

• 한국어 텍스트를 고려하여 텍스트 레이아웃을 생성할 수 있어야 함.

앞으로 기존 알고리즘을 검증하며 활용 측면에서의 한계점을 비교하고, 상기 조건을 모두 충족할 수 있는 모델을 구축해볼 예정입니다.

(현재는 LLM을 활용한 모델을 가장 유력한 후보로 선정해두었어요!)

③ Font & Color Selection

마지막으로, 광고에 들어간 텍스트의 폰트와 색상을 선정해주는 과정이 필요합니다.

이때 앞서 생성한 배경과 레이아웃을 모두 고려하게 됩니다.

✒️ Font Selection

먼저, font의 경우 기존의 연구가 대부분 영어-알파벳 중심으로 이루어져 있는 점,

그리고 '배경과 어울리면서도 텍스트의 가시성이 보장되는' font selection 혹은 generation 관련이 매우 드문 점을 고려하여,

저희는 아래와 같이 multi-modal embedding을 학습시켜 적절한 font 추천을 수행하고자 합니다.

🎨 Color Selection

color의 경우, MMCQ 알고리즘을 활용하여 전체 이미지와 어우러지면서도 텍스트 바로 뒤의 배경과 대조되는 색을 선정할 수 있도록 합니다.

이때, 단일 색상을 추천하는 것이 아니라 색상 팔레트를 추천함으로써 자유도를 부여하였습니다.

최종적으로는 위의 세 task를 하나의 파이프라인으로 구성하여,

실제 서비스에서 활용할 수 있도록 AWS 환경에서 모델을 구축하게 됩니다!

2. 향후 일정 및 계획

저희가 계획하고 있는 연구 일정은 다음과 같습니다.

앞서 말씀드렸던 것과 같이 Background Image Generation과 Layout Generation에 우선 순위를 두고 진행할 예정입니다.

3. 팀 소개

마지막으로, 저희 엔팁과 아이들 팀원인 김현조, 박종은, 이현준을 소개합니다!

팀 이름답게 엔팁 한 명과 인프제 둘로 이루어져 있으며, 모두 열정 가득한 학부생입니다.

누가 엔팁이고, 누가 인프제인지 구분이 되시나요? 🤭

저희 팀은 격주로 멘토님과 미팅을 진행할 예정이고,

연구 진행 상황은 노션에 기록하고 있습니다.

SKT AI Fellowship 6기 : 엔팁과 아이들

이경승, 정현희 멘토님들과 함께 최선을 다해 프로젝트를 완성해보도록 하겠습니다.

감사합니다! 🤗