AI 허브에서 데이터를 간편하게 받아오기

singleheart 24.08.14

10,645 8 2

facebook twitter kakao link

8 2

facebook twitter kakao link

DEVOTEE 요약: AI 허브는 한국어 데이터셋을 쉽게 구할 수 있는 곳으로 인기가 많습니다. 2023년 가을부터는 간단한 스크립트를 통해 데이터 다운로드가 간편해졌습니다. aihubshell을 이용해 데이터셋을 조회하고 다운로드할 수 있으며, 설치 방법과 사용법은 위 내용을 참고하면 됩니다.

AI 모델을 만들 때에는 데이터가 매우 중요한데요,

한국어 관련 데이터는 정부(과학기술정보통신부)에서 운영하는 AI 허브에 좋은 데이터가 많이 있어서 인기를 끌고 있습니다.

다른 정부 데이터에 비해서 입수가 용이하다는 것이 큰 장점이고요.

과거에는 꽤 무거운 전용 다운로더 앱을 설치해야만 하는 문제점이 있었지만,

2023년 가을부터 간단한 스크립트 설치로 리눅스 서버에서 (윈도 WSL이나 맥북에서도 가능) 바로 데이터를 확인하고 다운받을 수 있도록 간편해졌습니다.

이제 스크립트 사용법을 소개하고자 합니다.

aihubshell 소개

AI 허브의 다운로더 이름이 aihubshell입니다.

설치

아래와 같이 간단하게 설치하면 사용할 수 있습니다

curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do 실행해서 다운로드
chmod +x aihubshell 실행 권한을 부여
aihubshell을 $PATH에 잡히는 곳으로 이동

계정정보 환경변수 등록 (.zshrc, .bashrc 등에 설정)

export AIHUB_ID=이메일주소
export AIHUB_PW=비밀번호

사용법

데이터셋 전체 목록 조회

aihubshell -mode l

여기서 원하는 데이터셋을 찾아보세요. 물론 웹사이트에서 찾아도 됩니다.

데이터셋 파일 정보 조회

아래와 같이 데이터셋의 키 숫자를 입력해 줍니다. 키는 데이터셋의 URL을 보면 dataSetSn으로 확인할 수도 있습니다.

aihubshell -mode l -datasetkey 593

아래와 갈이 출력됩니다

==========================================
aihubshell version 23.09.06 v0.2
==========================================
Fetching file tree structure...
The contents are encoded in UTF-8 including Korean characters. 
If the following contents are not output normally, 
Please modify the character information of the OS. 
=================공지사항=================== 
========================================== 

    └─111.지능형 스마트양식장 통합 데이터(가리비)
        ├─01.데이터
        │  ├─1.Training
        │  │  ├─라벨링데이터
        │  │  │  └─TL1.zip | 108 MB | 51937
        │  │  └─원천데이터
        │  │      └─TS1.zip | 11 GB | 51938
        │  └─2.Validation
        │      ├─라벨링데이터
        │      │  └─VL1.zip | 14 MB | 51939
        │      └─원천데이터
        │          ├─VS1.zip | 1 GB | 51940
        │          └─VS1.zip | 1 GB | 51941
        └─02.저작도구
            ├─1.저작도구 소스코드.zip | 2 MB | 51943
            └─저작도구 설명서.zip | 3 MB | 51944

파일 목록은 AI Hub 웹사이트에서 파일 목록 (API 다운로드)을 눌러서 확인할 수도 있습니다.

다운로드

데이터셋별로 홈페이지에서 다운로드 버튼을 한번 눌러서 승인은 받아두어야 합니다. 한 번만 승인을 받으면 이후부터는 계속 다운로드 가능합니다.

전체 데이터셋 받기

aihubshell -mode d -datasetkey 593

파일 하나만 받기

aihubshell -mode d -datasetkey 593 -filekey 51937

파일 여러 개 받기

파일키들을 , (comma)로 구분해서 입력 가능합니다.

aihubshell -mode d -datasetkey 102 -filekey 44059,44060

파일이 여러 개라면?

범위는 지원하지 않으므로 shell script를 활용합니다.

for i in {48574..48579} ; do aihubshell -mode d -datasetkey 100 -filekey $i ; done

도움말 보기

aihubshell -help

참고자료

aihubshell 설명서

#Machine Learning #Language Models #Generative AI #NLP #Deep Learning #Data Architecture

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

singleheart 님의 최신 블로그

Meta Llama 4 토크나이저 분석

Meta에서 4월 5일 토요일에 Llama 4를 발표했습니다. 이미 며칠 지나서 지금은 새로운 소식들에 묻힌 감이 있습니다만 요즘 AI가 하루하루가 다르기 때문이겠죠. 메타에서 토요일에 부랴부랴 발표를 진행한 것도 더는 미룰 수 없었기 때문이라는 견해도 나오고 있습니다. 라마2와 3은 구조상 차이가 크지는 않았는데, 라마4는 이전 모델들과 여러 가지 차이가 있습니다. 우선 모든 크기에서 멀티모달 모델이고, MoE 구조를 채택했습니다. 긴 입력을 지원하기 위해서 새로운 임베딩 알고리즘을 도입했습니다. 데이터가 고갈되면서 다시 아키텍처가 중요한 시대가 되는 것 같습니다. 자세한 기술은 technical report가 발표된 뒤에 확인하기로 하고, 이 글에서는 내용이 ...
효과적인 Telco LLM 구축을 위한 토크나이저의 역할

그간 데보션에 토크나이저 관련 글을 몇 번 올렸는데 이미 토크나이저를 잘 아는 분들이 보신다고 가정하고 작성했습니다. 이번 글은 토크나이저를 모르는 분도 이해할 수 있도록 써보았습니다. ※ 이 글은 SKT TelcoLLM.AI에 게재한 글의 한국어 원문입니다. 영어로 번역하면서 이미지가 추가되었습니다. 서론 Telco LLM(대규모 언어 모델)을 구축할 때, 텍스트 데이터를 효과적으로 처리하는 것은 매우 중요합니다. 이 과정에서 핵심적인 역할을 하는 것이 바로 ＇토크나이저＇입니다. 토크나이저는 텍스트를 작은 단위로 분할하여 모델이 이해할 수 있는 형태로 변환하는 기능을 합니다. 특히, 언어에 따라 토크나이저의 성능이 달라질 수 있으며, 최적화된 토크나이저는 모델의...
AI 허브에서 데이터를 간편하게 받아오기

AI 모델을 만들 때에는 데이터가 매우 중요한데요, 한국어 관련 데이터는 정부(과학기술정보통신부)에서 운영하는 AI 허브에 좋은 데이터가 많이 있어서 인기를 끌고 있습니다. 다른 정부 데이터에 비해서 입수가 용이하다는 것이 큰 장점이고요. 과거에는 꽤 무거운 전용 다운로더 앱을 설치해야만 하는 문제점이 있었지만, 2023년 가을부터 간단한 스크립트 설치로 리눅스 서버에서 (윈도 WSL이나 맥북에서도 가능) 바로 데이터를 확인하고 다운받을 수 있도록 간편해졌습니다. 이제 스크립트 사용법을 소개하고자 합니다. aihubshell 소개 AI 허브의 다운로더 이름이 aihubshell입니다. 설치 아래와 같이 간단하게 설치하면 사용할 수 있습니다 curl -o ＂aihu...
Meta Llama 3 간단한 분석

메타AI에서 라마, 라마2에 이어 미국 시간으로 4월 18일 오늘, 드디어 라마3 발표했습니다. 라마 1, 2가 오픈소스 언어모델에 준 영향은 어마어마했습니다. 그런만큼 라마3에 대한 기대도 매우 컸는데요, 실제로 출시된 모델을 보니 충분히 기대에 부응할 만한 결과가 나왔습니다. 라마3의 모델 크기는 8B, 70B, 400+B 세 가지인데요, 마지막 초거대 모델은 아직 학습중이라서 완료된 뒤에 공개한다고 합니다. 400B를 넘는다니 GPT3의 두 배를 넘는 초거대 언어모델이라고 할 만하네요. 라마3 소형 모델의 성능은 어떨까요? 라마3 8B는 라마2 13B를 압도하고, 라마3 8B instruction 모델은 라마2 70B조차 뛰어넘습니다. 이러한 성능 향상은 아...

목록으로

DEVOCEAN

로그인 선택

미리보기

커뮤니티

글 등록

임시저장함

데보션 블로그 게재 요청