DEVOCEAN

안녕하세요!

AI를 활용한 데이터 분석 워크플로우 자동화 스터디를 함께 하고 있는 이소민입니다.

8월 28일(목) 에 진행한 3회차 스터디 후기를 작성해 보겠습니다.

3회차 목차

3회차에는 다양한 도구를 활용한 자동화 워크플로우 구축을 해보았습니다.

1. Apify 소개

2. Youtube 데이터 수집

3. Discord 데이터 수집

4. RSS를 이용한 뉴스 수집

2회차까지는 Make를 활용한 네이버 뉴스 수집 실습을 진행하였는데요,

3회차에는 뉴스 뿐만 아니라 Youtube에서 영상 관련 데이터를 가지고 오고 Discord에서 나눈 대화를 Google sheet에 저장해보는 실습까지 진행해보았답니다.

그러면 본격적으로 스터디에서 공부한 내용을 공유해보고자 합니다.

1️⃣ Apify는 무엇일까?

Apify는 웹 스크래핑과 데이터 추출을 쉽게 할 수 있도록 도와주는 플랫폼입니다. (https://apify.com/)

Apify에서 미리 구축된 자동화 스크립트를 활용하여 간편하게 크롤링과 자동화 작업을 진행할 수 있습니다.

로그인을 하고 Apify store에 들어가면 아래 사진과 같이 다양한 스크립트가 있는 것을 확인 하실 수 있습니다.

원하는 작업을 선택하면 개발자용 API를 받아 바로 사용하실 수 있습니다.

2️⃣ Youtube 데이터 수집

그다음은 Apify에서 받은 API를 통해 Make에서 영상 관련 정보들을 자동으로 가져오는 실습을 진행하였는데요,

Make에서 지원해주는 Apify 모듈을 활용하여 제작할 수 있습니다.

첫번째 모듈(Run an actor)에서는 사용할 스크립트를 선택하고, 원하는 검색어("아이유")와 저장되기 원하는 개수("10개")를 입력해줍니다.

두번째 모듈(Get Dataset Items)에서는 첫번째 Run an actor에서 defaultDatasetId를 받아와 줍니다.

세번째 모듈(Google sheet)에서는 두번째 모듈까지 실행시키고 난 뒤 확인할 수 있는 Value값들 중 google sheet에 들어갈 값들을 value로 선택합니다.

이렇게 자동으로 수집한 정보가 sheet에 들어가 있는 것을 확인하실 수 있습니다.

(google sheet는 한번만 연결해두면 파일 종류만 바꿔 편하게 이용할 수 있습니다.)

3️⃣ Discord 데이터 수집

그다음으로 진행해본 실습은 discord 데이터 수집이였습니다.

채팅기능을 실시간으로 google sheet에 저장할 수 있다는 점이 무척 신기했습니다.

make에서 discord를 연결할 때에는 Scenarios를 활용하는 것이 아닌 Templates 을 활용하여 연결합니다.

다양한 연결 방법 중 google sheet와의 연결을 선택합니다.

Discord 메시지 수신을 위해 Bot 생성 후 Token 설정합니다.

(discord 채널 소유주가 동의를 해야만 채팅창 연결이 가능합니다)

Discord 모듈에서 채널명과 수집할 메시지의 개수를 선택하고, google sheet 모듈에서 수집하고자 하는 Value들을 설정합니다.

설정을 완료하고 실행하면

역시 잘 되는 것을 확인하실 수 있습니다.

이렇게 make를 활용해 디스코드 대화 내역을 자동으로 저장하는 실습을 진행하였습니다.

물론 그러나 B(content) 부분이 빈 곳도 보이실텐데요,

이는 챗봇이 보내거나, 파일을 보냈을 때 확인이 되지 않는 아쉬움도 있지만 실시간 대화 내역을 기록할 수 있다는게 신기하지 않나요?ㅎㅎ

느낀점

3회차 스터디에서 뉴스 뿐만 아니라 다양한 형태의 데이터를 자동화해볼 수 있어서 흥미로웠던 것 같습니다.

Make라는 웹이 익숙해질 때 쯤 다양하게 시도해보니 이해도 잘 되고 재미있었습니다.

물론 make, Apify를 동시에 사용하면 토큰이 이중으로 없어지거나,

모든 디스코드에 데이터를 다 읽어올 수 있는 것은 아니라는 한계도 존재하지만 자동화의 흐름을 배우고 원하는 데이터를 자동화하여 컨텐츠를 저장할 수 있다는 점은 너무 유익했던 것 같습니다!

매번 알찬 스터디를 제공해주시는 태웅님과 장소와 식사를 제공해주시는 데보션에게 감사드립니다 😀