DEVOCEAN

OpenLab 토이 프로젝트 회고 모아보기

(1) 첫 번째 정기 모임

(2) 두 번째 정기 모임

(3) 첫 번째 모각코

(4) 두 번째 모각코

(5) 세 번째 정기 모임

(6) 세 번째 모각코

(7) 다섯 번째 정기 모임

(8) 네 번째 모각코

(9) 여섯 번째 정기 모임

안녕하세요, OpenLab 토이 프로젝트 정현서입니다.

오늘은 다섯 번째 모각코 회고로 찾아왔습니다!

이번 모각코는 Echo-Teddy 5명이 시간을 맞추고, 장소를 정하는 게 쉽지 않았는데..

다행히 일정을 잘 조율해 6월 22일(토) 오전, 서울 치현초등학교에서 웅기 님, 주홍 님과 모각코를 진행할 수 있었습니다!

주말 아침 비가 꽤 많이 내렸지만 이를 뚫고 방화역으로 향했습니다..! 그리고 까마득한 초등학교 졸업 이후 정말 오랜만에 초등학교에 들어갔습니다.

웅기 님이 스타벅스를 사주셔서 메뉴만 고른 뒤, FastAPI 파트와 Rasp + LLM 파트의 첫 연결을 이번 모각코의 목표로 정했습니다.

이 부분이 프로젝트의 핵심인데, 그간 파트별 작업 결과만 공유해 와서 이제는 연결 테스트가 필요했기 때문입니다.

다들 아침을 안 먹고 와서 일단 구두로만 싱크를 맞춘 뒤 배를 채웠습니다..!

주홍 님이 추천해주신 방화역 쌀국수 맛집에서 배달을 시켜 먹었는데.. 배달임에도 정말 맛있었습니다!

배를 든든히 채운 뒤, 본격적으로 개발을 시작했습니다.

저는 혹시 모를 상황에 대비해 아래 4가지 케이스를 테스트했습니다.

1. 오디오 파일이 들어오면 LLM을 통해 적절한 대답을 생성하고 오디오 파일로 반환하는 API

(1) Stream 형태

(2) File 형태

2. 오디오 파일이 주어지지 않으면 먼저 발화하는 API

(1) Stream 형태

(2) File 형태

이 과정에서 최근 main 브랜치에 올라간 OpenAI 키 값이 잘못되었다는 걸 확인했습니다.

Pull Request는 1명 이상 확인해야 main 브랜치에 반영되는 구조인데, 주말 아침이라 로컬에서만 키 값을 수정했습니다.

(이때 GitHub Actions를 구축하고 pytest를 추가하는 것의 중요성을 인지하고, 다음 날 바로 작업을 진행했습니다..!)

또, 웅기 님과 주홍 님이 준비해주신 곰돌이를 앞에 두고 AWS Polly의 결과물을 들으니, 아이들이 대화할 곰돌이의 목소리가 아쉽게 느껴졌습니다.

AWS Polly는 한국어 음성을 하나만 지원해주기 때문에, 다음 회의에서 CLOVA TTS를 고려해보기로 했습니다.

이후 라즈베리파이 로직에 대해 얘기하며 API 호출 횟수를 줄일 수 있는 부분을 찾았고, 웅기 님이 빠르게 코드를 수정해주셨습니다.

FastAPI 서버는 AWS EC2로 배포했는데, 비용도 고려해야 하고 테스트 용도라 t2.micro를 사용했습니다.

배포 과정에서 Machine Image를 Amazon Linux에서 Ubuntu Server로 바꾸는 이슈도 있었고, 다들 저녁 약속이 있어 연결 테스트를 오래 진행하진 못했습니다.

다행히 서버 간 통신에는 문제가 없었는데, 직전에 수정한 라즈베리파이 코드의 테스트가 충분히 진행되지 않아 대화하는 곰돌이는 만들지 못했고, 대화하기 직전의 곰돌이(?)까지 완성할 수 있었습니다.

아쉽긴 했지만 처음 연결을 시도했다는 것에 의의를 두기로 했습니다..!

그리고 두 분이 코드 리팩토링과 기능 고도화 작업을 진행하며 테스트도 병행할 예정이라 하셔서 필요한 부분만 무중단 배포한 뒤 모각코를 마무리했습니다.

그리고 Rasp + LLM 파트의 작업 중 하나가 프롬프트를 고도화하는 것인데요!

자폐 아동 관련 논문이나 교육학 논문을 기반으로 개선 중인 프롬프트 일부분을 공유드리겠습니다.

1. Ethical guidelines

2. Role & User Information (맥락 정보)

3. Echo-Teddy의 Utterance & Behavior & Facial expression

4. Few shots (입력 예시에 따른 출력 예시)

이번 회고는 여기서 마무리하려고 하는데, 프롬프트 고도화까지 시작된 Echo-Teddy의 결과물이 기대되지 않으신가요?

Echo-Teddy뿐만 아니라 '모든' 조가 열심히 달리고 있으니, 한 달 남짓 남은 토이 프로젝트 많은 기대 부탁드립니다!

오늘도 읽어주셔서 감사합니다!

#오픈랩 #토이프로젝트 #240622 #모각코