DEVOCEAN

안녕하세요,

저희는 "AI 카피라이터 도입을 통한 개인화 마케팅 실현"이라는 주제로 고객통합모델링팀과 AI Fellowship을 진행한 토피넛 🥜 입니다!

어느덧 AI Fellowship이 종료가 되었고, 최종발표를 진행했는데요!

간단하게 최종발표 내용을 공유해드리고자 합니다 ㅎ_ㅎ

재밌는 실험결과와 저희가 실제로 서비스를 진행했던 내용도 있으니 벨트 꽉 잡고 따라와주세요 🤩

1) Introduction

저희는 Generative AI 모델을 통해서 Copywriter의 업무 효율을 늘리는데 집중하였습니다.

따라서 저희의 목표는 SKT만의 독자적인 AI 카피라이터 "토피" 를 좀 더 발전시키는 것 이었습니다.

아래와 같이, 마케팅 메세지의 제목 / 사진 / 내용을 만들고자 하였습니다!

2) Method

2-1) Graph

저희의 전반적인 모델 구조는 아래와 같고, 저희의 주된 아이디어는 SKT 고객 데이터를 활용해서 "지식 그래프"를 만들어 보자 였습니다!

저희는 아래와 같이 실제 고객 관심사 그래프를 구축하였고, 서로 관련이 있는 토픽 사이에는 "Relate", 대분류 / 중분류 토픽 사이에는 "Belong" 엣지를 사용해 토픽 지식 그래프와 고객 관심사 그래프를 합쳤습니다!

또한, 이렇게 되면 너무 많은 데이터가 한번에 들어가 컴퓨팅 자원이 낭비되기 때문에 저희는 연령대 분포를 고려하여 10% 샘플링을 진행했습니다!

이때 Community Detection을 사용해서 관련성 높은 topic들에 관심이 많은 고객집단과 해당 고객 집단에게 많은 추천이 된 상품들로 이루어진 9개의 모듈러리티를 구하였습니다.

총 9개의 module에 대해 카이 제곱 검정도 실시해 보았고, p value<0.1으로각 feature간 유의미한 차이가 있는것으로 확인되었습니다!

2-2) Generative AI

그래서, 이렇게 구축된 그래프와 여러가지 프롬프트 엔지니어링 기법을 사용하여 저희는 개인화된 마케팅 메세지를 생성할 수 있었습니다!

저희가 사용했던 방법중 일부는 총 4가지 입니다!

1. Persona & Role

2. Generated Knowledge Prompting

3. “Chain of Thought” Inference

4. Multi-turn Conversation

이 중에서, Multi-turn Conversation을 Langchain 라이브러리를 통해 사용하였으며 이러한 효과적인 프롬프팅 방법을 통해 효율적인 "토피"를 생성할 수 있었습니다!

2-3) Image model

또한 저희는 단순히 마케팅 메세지 텍스트만 생성하는 것이 아니라, 최근 Image generation의 많은 모델을 사용하여 마케팅 메세지 이미지도 생성해보려고 했는데요!

저희가 사용한 모델은 DALL-E와 Stable Diffusion입니다!

또한 이미지를 생성하기 위해서도 프롬프트 엔지니어링이 필요했는데, 저희는 3가지의 방법을 사용했습니다!

1. TOPI에서 생성된 마케팅 메세지 텍스트

2. 타겟그룹고객정보

3. 사용할 이미지 생성 모델 프롬프트 예시 (DALL-E / Stable Diffusion)

이 링크를 클릭하시면, 저희의 모델을 확인해보실 수 있습니다!

3) Experiments

저희가 만든 "토피"를 사용해서 총 4번의 실험을 진행했는데요,

실제 마케팅 메세지를 고객들께 전송함으로써 실험이 이루어졌습니다!!

아래와 같이 저희는 에이닷 가입을 유도하기 위해 총 4개의 메세지를 생성하고 발송하였습니다.

또한 약 1달동안 21,704명의 신규 고객이 가입했다고 합니다!!!!!

우리 토피.. 참 잘하죠 ?!

다음으로는 정성평가에 대해서 소개해드리도록 하겠습니다.

저희는 실제 마케터분, 마케팅 메세지 검수자 분들을 모집하여 open-question을 받았는데요!

참여해주신 마케터분들게 압도적 감사드립니다 🙇🏻‍♀️

아래는 정성평가에 대한 결과입니다.

토피는 약 2분 내로 결과를 도출하며, 실제 마케팅 메세지 생성의 약 85% 시간을 줄여줍니다!

그 다음으로, A/B 테스트를 진행했습니다.

처음으로 CTR에 대해서 설명해드리자면 클릭수 / 발송수 수치로 매겨집니다.

"C"가 저희의 토피이고, 관심사 토픽을 고려한 개인화된 마케팅 메세지를 발송하였을때의 결과입니다.

토피가 생성한 마케팅 메세지가 비슷하거나 더 높은 수치를 보임이 확인되었습니다!

또한, 저희가 선정한 모듈(토픽그래프)에 대해서도 실험을 진행해 보았습니다.

토픽 그래프를 반영한 경우 관심사에 해당하는 고객의 CTR이 훨씬 높음을 확인했고, 또한 이미지를 생성한 경우에 더 큰폭으로 CTR이 올랐음이 확인되었습니다.

마지막으로, CVR (가입수 / 발송수)에 대해서도 확인해보았는데요, 역시 토피가 생성한 것이 비슷하거나 더 높은 수치를 보였습니다!

이 여러가지 실험을 통해 저희는 토피가 생성한 마케팅 메세지가 유효하다는 것을 충분히 입증했다고 생각합니다 ㅎㅎ

4) Conclusion

저희는 실제로 마케터 분들이 사용하시고 수정하실 수 있는 웹사이트를 제작하였습니다!

저희가 최종발표때는 심사위원과 여러 펠로우분들에게 QR코드를 제공하여 실험해보실 수 있도록 하였는데요,,

아쉽지만 서버비용 문제로 지금은 공개되어있지 않답니다 ,, 흑흑 😢

하지만, 추후 저희가 펠로우쉽에서 좋은 결과가 있다면 상용화해볼 계획입니다 🤗

저희의 연구 결과는 아래와 같이 정리해볼 수 있습니다!

또한 "토피" 모델도 추후에 더욱 발전가능성이 있는데요, 최근 GPT-4에 DALL-E 모델이 적용되어 앞으로는 자유롭게 메세지 텍스트와 더불어 이미지까지 생성할 수 있다는 큰 기대가 있습니다!!!

또한 서비스 측면에서도 Telecom의 세일즈 톡이나 에이닷의 대화, 아니면 Tdeal 마케팅 메세지에도 활용해 볼 수 있습니다.

SKT의 AI to Everywhere 에 따라 저희는 자사에서 저희의 서비스가 지속적인 사용과 발전이 가능할 것으로 예상하며 마케터의 운영 리소스 절감 뿐만 아니라 운영성과에도 큰 도움을 불러올 수 있을것이라고 예상합니다.

여기까지 토피넛 팀의 연구 결과였습니다!

개인적으로는 이 주제가 처음에는 정말 재밌어 보였는데요, 막상 하고 나니까 더 토피를 발전시키고 싶다는 생각이 마구마구 드는 주제였습니다!

진행하면서도 정말 재밌고 Generative AI에 대해 더 깊게 공부하고 싶은 생각이 드네요,,

 좋은 기회 주신 AI Fellowship 주최측에 감사하다는 말씀 전합니다.

또한, 약 6개월 간 저희에게 아주 큰 도움을 주신 고객통합모델링팀 팀장님과 팀원분들께 정말 감사하다는 말씀 드리고싶습니다!

저희의 연구를 인상깊게 보셨다면 하트와 댓글 남겨주세요 🥰

감사합니다.

• 손세정 maze0717@g.skku.edu

• 박채희 chaeheepark@g.skku.edu

• 김은 k36737@g.skku.edu