DEVOCEAN

최근 많은 음악 스트리밍 서비스는 유사곡 추천 기능을 제공하고 있습니다.

이러한 기능은 사용자가 선호하는 음악과 유사한 새로운 곡을 발견할 수 있도록 돕거나, 특정 곡을 선택하면 그에 맞춰 함께 듣기 좋은 곡들을 자동으로 추천하는 서비스를 포함합니다.

에이닷 또한 뮤직 에이전트를 통해 유사곡 추천 기능을 제공하고 있습니다.

본 포스팅에서는 유사곡 추천 서비스를 고도화해 나가는 과정 중 하나를 소개하고자 합니다.

왜 이클립스의 ‘소나기’와 유사한 곡으로 임영웅의 ‘온기’가 추천될까요?

에이닷의 유사곡 추천 시스템을 통해 최근 인기 있었던 ‘선재 업고 튀어’ OST인 이클립스의 ‘소나기’와 비슷한 음악을 추천받으면, 유사곡 목록 중 임영웅의 ‘온기’가 특히 눈에 띕니다.

유사곡 추천 모델 스코어에 따르면 ‘온기’는 유사도 기준으로 26번째에 위치하지만, 셔플 알고리즘에 의해 상위에 노출될 수 있습니다.

현재 에이닷의 유사곡 추천 시스템에서는 FLO 액션 로그를 활용하여 사용자들의 곡 청취 행동을 분석하고, 이를 기반으로 곡 간의 상관성을 학습하고 있습니다.

따라서 로그를 살펴보는 것이 필요합니다.

임영웅의 ‘온기’는 잔잔한 발라드 곡으로, 이클립스의 ‘소나기’와 비슷한 분위기를 지니고 있습니다.

그러나 실제로 사용자가 의도적으로 ‘선재 업고 튀어’ OST와 임영웅의 곡을 함께 들었는지 여부는 추가적인 검토가 필요합니다.

‘소나기’와 ‘온기’ 사이에는 어떤 관계성이 있을까요?

‘선재 업고 튀어’ OST와 임영웅의 곡이 함께 등장하는 시나리오는 언제 가능할까요? FLO 인기 차트를 살펴보니 그 이유를 알 수 있을 것 같습니다.

인기 차트에서 13위의 '소나기'와 21위의 '온기'가 함께 재생된 경우가 가장 유력해 보입니다.

그렇다면 실제 이클립스의 ‘소나기’와 임영웅의 ‘온기’가 함께 등장한 로그를 확인하여 제 가설이 맞는지 검증해볼까요?

사용자 청취 로그들을 청취순으로 정렬한 뒤 (이하 청취 시퀀스로 지칭) 온기와 소나기가 함께 등장한 시퀀스을 찾아보았습니다.

청취 타입은 각 곡이 플레이된 타입으로 차트에서 플레이된 곡의 경우 “CHART”로 표기 됩니다.

해당 곡들이 플레이된 타입들을 나열해보니 제 가설이 맞는 것 같습니다.

함께 등장한 로그 중 대부분이 차트성 로그들입니다. 그렇다면 그 비율을 확인해보아야겠죠.

소나기와 온기가 함께 등장하는 로그에서 차트성 로그의 비율은 얼마나 될까요?

상위 세개의 타입에서 이미 약 56%의 로그가 차트로 소비된 로그임을 알 수 있으며, 아래의 대부분의 로그에서도 모두 차트로 소비된 청취 기록이 포함되어있습니다.

차트성 로그는 일반적으로 사용자가 특정 의도를 가지고 음악을 듣는 것이 아니라, 단순히 인기 있는 곡을 청취하는 경우가 많습니다.

따라서, 이런 로그는 곡 간의 유사도를 학습하는 데 적합하지 않고 오히려 노이즈로 작용할 수 있습니다.

보다 정확한 사용자 취향과 곡 유사도를 파악하기 위해서는 학습 데이터에서 차트성 로그를 제외하는 것이 바람직합니다.

이와 관련하여 전체 시퀀스에서 채널 타입별 비율을 분석해본 결과, 차트성 시퀀스가 약 5~6%를 차지하고 있음을 확인했습니다.

따라서, 차트성 로그를 제외해도 전체 데이터의 품질에 큰 영향을 미치지 않을 것으로 보입니다.

전체 개별 로그에서의 타입별 비율을 확인해보았을때도 약 5%의 비율을 차지하고 있습니다.

또한 인기 차트의 곡들은 이미 로그가 풍부하기 때문에 차트성 로그들이 제외되어도 긍정 청취 카운트가 충분히 높습니다.

모든 처리가 완료된 후 이클립스의 ‘소나기'의 유사곡 결과가 어떻게 변했는지 살펴보겠습니다. 왼쪽은 기존 결과, 오른쪽은 신규 결과입니다.

기존 결과에서는 차트로 소비된 임영웅의 노래와 아일릿의 노래가 등장하는 것을 확인할 수 있었습니다.

하지만 변경 후, 신규 결과에서는 차트에 함께 등장하던 인기 노래들이 눈에 띄지 않는 것을 볼 수 있습니다.

이제 마지막으로 내부 평가를 거쳐야 합니다. 평가는 두 가지로 나눠서 진행되었습니다.

• 인기 차트 평가 : 인기 차트에 수록된 곡에 대한 유사곡 품질 평가

• 랜덤 평가 : 랜덤으로 선택한 곡에 대한 유사곡 품질 평가

이 과정에서는 각 모델이 추천한 곡의 품질을 비교 평가하여, 신규 모델과 기존 모델 간의 성능 차이를 분석하고, 추천 시스템의 전반적인 개선 여부를 확인할 수 있습니다.

인기 차트 평가 결과 요약:

• 동일 결과로 판단된 비율: 46.67%

• 신규 모델의 결과가 더 우수하다고 평가된 비율: 50.00%

• 기존 모델의 결과가 더 우수하다고 평가된 비율: 3.33%

랜덤 평가 결과 요약:

• 동일 결과로 판단된 비율: 58.33%

• 신규 모델의 결과가 더 우수하다고 평가된 비율: 35.00%

• 기존 모델의 결과가 더 우수하다고 평가된 비율: 6.67%

인기 차트 평가에서 대상곡의 50%에 대해 신규 모델의 결과가 더 좋다고 평가되었습니다.

이는 신규 모델이 기존 모델보다 성능이 우수하다는 것을 분명히 나타냅니다.

반면, 기존 모델이 더 좋다고 평가된 항목은 3.33%에 불과하여 신규 모델에서 인기 차트 곡에 대한 유사곡 추천이 매우 정교해졌음을 시사합니다.

랜덤 평가에서는 신규 모델의 결과가 더 좋다고 평가된 항목이 35%로 인기차트 평가에 비해 다소 낮았지만, 여전히 신규 모델이 우수하다는 것을 보여줍니다.

기존 모델이 더 좋다고 평가된 항목은 6.67%로 상대적으로 낮은 수준을 보였습니다.

이것은 신규 모델이 인기차트의 곡뿐만 아니라 전체적인 임베딩 경향성에서도 정교화되었음을 나타냅니다.

대부분의 평가 코멘트에서는 신규 모델이 최근 인기 있는 아이돌 음악보다는 선택된 곡과 유사한 느낌의 곡들을 더 잘 추천했다고 언급하였습니다.

이러한 피드백은 신규 모델이 단순히 인기 차트의 곡들만 추천하는 것이 아니라

사용자 취향을 더 정교하게 반영하여 선택된 곡과 유사한 곡을 추천하는 데 뛰어난 성능을 발휘하고 있다는 것을 보여줍니다.

지금까지 본 포스팅을 통해 추천 품질 모니터링과 로그 분석, 사후 평가까지 함께 살펴보았습니다.

이러한 작은 고도화 작업들은 비록 겉으로는 미세한 변화일 수 있지만, 추천 시스템의 전반적인 성능에 상당한 영향을 미칩니다.

에이닷 뮤직 에이전트는 앞으로도 추천 품질을 지속적으로 모니터링하고, 사용자들에게 더욱 정교하고 만족스러운 음악 추천 경험을 제공하기 위해 최선을 다하겠습니다.