DEVOCEAN

안녕하세요! 오랜만에 돌아온 AI Fellowship 5기 토피넛 입니다 ㅎ_ㅎ

저희는 예~전에 설명드렸듯이, AI 카피라이터 도입을 위해 prompt engineering으로 "토피" 라는 카피라이터를 만드는 것이 목적이라고 했습니닷!

그래서, 현재 중간발표를 마친 상태이며, 어디까지 진행이 되었는지 짧게 공유드릴려고 합니다!

1. Overall

저희의 목적은, Topic Graph와 prompt engineering의 결합으로 개인화 메세지를 생성하는 "토피"를 만드는 것이 목적이었습니다!

현재는 위의 사진과 같이 진행되어 있으며, prompt engineering을 위해 ChatGPT를 사용하고 있으며 자동화, 기술화를 위해 Langchain*을 사용중 입니다.

*Langchain: LLM을 기반으로 구동되는 APP을 개발하는데 도움을 주는 프레임워크로,

프롬프트 포맷팅이 가능하며 워크플로우 체인으로 조합해 한 번의 실행에서도 여러 기능 사용 가능한 프레임 워크입니다!

2. Prompt Engineering

프롬프트 엔지니어링이란, ChatGPT같은 언어모델에게서 원하는 답변을 듣기 위해, 최적의 prompt를 개발하는 분야입니다.

저희는, 크게 4가지 방법을 통해 prompt engineering을 진행해 보았습니다.

Our Method

1. Persona & Role

2. Generated Knowledge Prompting

3. "Chain of Thought" Inference

4. Multi-turn Conversation

1. Persona & Role: 토피에게 Persona를 주입하고, 역할을 상기시켜 자신이 해야하는 일이 무엇인지 prompt에 구상해 둡니다.
   

   
   

2. Generated Knowledge Prompting: Knowledge graph를 사용함으로써, 토픽간의 관계를 prompt에 구상해 둡니다.

   이는 단순히 json이나 csv, 문장 등으로 prompt engineering하는 것 보다 훨씬 유의미한 결과를 도출해 냅니다.
   

   
   

3. "Chain of Thought" Inference: “올바른 답을 가지고 있는지 확인하기 위해 단계적으로 지시를 해결한다."라는 문구로

   프롬프트의 정답률을 상승시킨다는 선행 연구에 의해, 저희도 한 문장으로 프롬프트에 넣어봤습니다!

   
   

4. Multi-turn Conversation: 단순히 한번의 티키타카가 아닌, ChatGPT와 여러번의 티키타카를 통해 어떤 내용을 현재 이해하고 있고,

   이해하고 있지 않은지에 대해 알 수 있으며 또한 생성한 프롬프트의 질도 좋아지는것을 확인하였습니다!

   
   

앗! 참고적으로 저희가 사용한 데이터는, 비식별화된 고객데이터이며 SKT 내의 검수를 마쳤음을 밝힙니다🙇🏻‍♀️

3. Knowledge Graph

그렇다면, 그래프 구축에 대해 궁금하실텐데요,

저희는 Community detection을 통해 관련성 높은 topic들에 관심이 많은 고객 집단과 해당 고객 집단에게 많이 추천이 된 상품들에 대해 모듈을 구성하여 그래프를 생성해보았습니다.

이로인해, 같은 모듈의 사람들은 같은 관심사가 있다는 것이 확인되었고, 모듈도 유의미하다는 것을 확인했습니다!

따라서, 고객 관심사 그래프 구축을 통해 특정 topic들에 관심이 높은 고객 그룹을 파악하여

해당 그룹에 타겟팅된 마케팅 전략을 사용할 수 있게 되고 이는 곧 개인화된 마케팅 메세지로 이어질 것 입니다!

아래 그림은 저희 발표 내용 중 일부입니다.

4. Experiments

저희는, 실제로 A/B 테스트를 진행하기 전에 마케팅 메세지를 질적으로 평가해 보았는데요!

저희가 사용한 prompt engineering 방법이 더욱 개인화 된 마케팅 메세지라고 모두들 의심하지 않을것입니다!!!!!!!

5. Feedback

중간발표 진행 후, 여러 피드백이 나왔고 앞으로 피드백을 참고해서 더욱 똑똑한 토피를 개발해보겠습니다!

• LLM과 지식그래프를 마케팅에 적용한 점이 인상 깊었습니다. 정량적인 성능을 나타내는 지표가 추가되면 좋을 듯 합니다.

  • 프롬프트를 정량적으로 평가할 수 있는 방법에 대해 써칭,,

• 전반적으로 흥미로운 연구입니다. 좋은 방향으로 프로덕트에 도움이 될 것 같습니다. 아쉬운건 방법론이 더 명확하게 설명되면 좋을 것 같습니다.

  • 명확한 방법론에 대해 논문 서칭 + 최종 발표때 도식화로 보여줄 예정

• 현재 만든 프롬프팅, 모델이 상호 유기적으로 동작될 수 있도록 플랫폼에 반영하는 부분에 대한 구체화 필요해 보입니다.

  • 프롬프팅과 모델의 유기적 동작을 추후 최종발표때 도식화로 보여줄 예정 (flowchart필요)

• 항상 성실하고 적극적으로 과제를 수행하며, 매주 정기 미팅에 완성도 높은 성과를 확인할 수 있었습니다!

• 프로젝트 수행에 적극적이며, 일정을 잘 관리하여 진행중에 있습니다.

  매주 진행 과정을 공유해주기 위해 한주 단위로 많은 학습과 공유를 잘 해주셨고 앞으로 A/B 테스트 및 상용화에 적극적인 연구를 부탁드립니다!

  • 칭찬 감사합니다!!!!

이상 토피넛의 중간발표 정리본 이었습니다.

댓글과 관심, 피드백은 언제나 환영입니다 ~~~ 감사합니닷 !! 🫶🏻🤗🩷