DEVOCEAN

이번 세션에서는 SK하이닉스에서 반도체 장비에서 발생하는 로그, 파일 등 비/반정형 데이터를 정형 데이터로 전처리, 분석, 적재하는 과정을 소개합니다.

FAB에서 발생하는 다양한 정형 데이터 뿐만 아니라, 장비에서 끊임 없이 발생하는 비정형 파일 데이터 분석을 위해 기존 오픈소스 기반의 trino을 SKT와 협업하여, SQL+ Pure Python 기반으로 처리할 수 있도록 개발한 솔루션 ""TrinoPy+""를 소개하려 합니다. 하나의 SQL 구문으로 정형, 비정형 데이터를 전처리하고, 분석과 적재까지 가능한 아키텍처 및 빅데이터 기술을 공유하겠습니다.

■ 발표자 소개

김현호 (SK하이닉스)

제조 자동화 IT 엔지니어에서, 최근 전사 빅데이터 운영 및 데이터 엔지니어 활동한지 4년차로 접어 들었습니다. 복잡하고 다양하게 발생하는 많은 양의 반도체 생산 데이터를 쉽고 빠르게 분석할 수 있도록 도움을 주는게 저의 역할입니다.

제가 소속한 데이터 엔지니어링& 솔루션팀은 단순 데이터에 대한 서비스 뿐 아니라 새로운 오픈소스 기반의 데이터 아키텍처를 연구하고 적용하는 업무까지 병행해서 진행하고 있습니다.

최근 제조 장비의 반/비정형화와 관련된 고객의 니즈와 요청이 있어, 이를 쉽고 빠르게 정형 데이터로 변환하고 분석할 수 있도록 많은 고민을 해왔습니다. 이러한 어려움을 저의 철학인 “Simple is the best” 처럼 간단하게 SQL로 해결 할 수 있는 방법을 소개하는 의미 있는 자리가 되길 기대합니다.