DEVOCEAN

안녕하세요. 오늘은 간단하게 업무에서 사용했던 ChatGPT 관련 라이브러리를 소개합니다.

ChatGPT를 조금이라도 공부해보신 분은 토큰 = 비용이라는 사실을 아실겁니다.

최근 현업에서 사용자가 입력한 값을 토큰으로 계산해서 표시해줘야 하는 스펙이 있었습니다.

OpenAI API 에서 아래와 같이 입력값에 따라 토큰이 어떻게 변경되는지 미리 볼수 있게 제공합니다.

https://platform.openai.com/tokenizer

위 데모 사이트는 최근 버전인 3.5, 4는 알수가 없습니다.

다른 링크를 통해 3.5, 4 버전도 가능한 라이브러리를 소개합니다.

Tokenizer libraries by language

For cl100k_base and p50k_base encodings:

• Python: tiktoken

• .NET / C#: SharpToken, TiktokenSharp

• Java: jtokkit

For r50k_base (gpt2) encodings, tokenizers are available in many languages.

• Python: tiktoken (or alternatively GPT2TokenizerFast)

• JavaScript: gpt-3-encoder

• .NET / C#: GPT Tokenizer

• Java: gpt2-tokenizer-java

• PHP: GPT-3-Encoder-PHP

하지만 자바스크립트는 목록에 없습니다.

누군가 개발했을거 같은데 하며 좀 더 검색을 해봤고 3.5, 4 버전을 제공하는 라이브러리를 발견 할수 있었습니다.

https://github.com/dqbd/tiktoken/tree/main/js

사용 방법은 매우 간단합니다.

아래 명령어로 설치하고

npm install js-tiktoken

필요한 모듈을 import 하여 사용하면 됩니다.

import assert from "node:assert";
import { getEncoding, encodingForModel } from "js-tiktoken";

const enc = getEncoding("gpt2");
assert(enc.decode(enc.encode("hello world")) === "hello world");

미세한 팁이지만 라이브러리 찾느라 많은 시간을 소요했습니다. 누군가에게는 도움이 될까하여 글을 써봅니다.

읽어주셔서 감사합니다.