DEVOCEAN

`df['document'] = df['document'].str.replace(r'[^A-Za-z가-힣 ]', '', regex=True)`

okt = Okt()
stop_words = ['은','는','이','가','을','를','에','의','와','과','도','으로','하다']
def word_tokenization(text: str):
    return [w for w in okt.morphs(text) if w not in stop_words]

num_words = 10000
tokenizer = Tokenizer(oov_token='<OOV>', num_words=num_words)
tokenizer.fit_on_texts(data_tokenized)
seqs = tokenizer.texts_to_sequences(data_tokenized)

max_length = max(len(s) for s in seqs)
x_data = pad_sequences(seqs, maxlen=max_length, padding='pre', truncating='post')
y_data = df['label'].to_numpy()

vocab_size = min(num_words, len(tokenizer.word_index) + 1)

입력(문장: 토큰 ID)    : (B, L)             e.g. (4, 7)
Embedding 출력         : (B, L, 128)        e.g. (4, 7, 128)
BiLSTM(units=16, bi)   : (B, 32)            e.g. (4, 32)  # 양방향이라 16*2
Dense(1, sigmoid)      : (B, 1)             e.g. (4, 1)   # 확률 출력

# 0) 라이브러리 임포트 -----------------------------------------------------------------
import os, re, datetime, warnings          # 운영체제, 정규식, 시간, 경고 제어
import numpy as np                         # 수치 연산 (배열/난수 등)
import pandas as pd                        # 테이블 데이터 구조(DataFrame)
import tensorflow as tf                    # 딥러닝 프레임워크 (Keras 포함)
from tensorflow.keras.preprocessing.text import Tokenizer       # 텍스트→정수 인덱스
from tensorflow.keras.preprocessing.sequence import pad_sequences  # 시퀀스 패딩
from konlpy.tag import Okt                 # 한국어 형태소 분석기 (Okt)
from tqdm import tqdm                      # 진행률 바

# 품질/재현성 설정 ----------------------------------------------------------------------
# warnings.filterwarnings('ignore')          # 깔끔한 로그를 위해 경고 숨김
tqdm.pandas()                              # pandas의 apply와 함께 진행률 표시
# np.random.seed(42); tf.random.set_seed(42) # (선택) 실험 재현성 확보를 위한 시드 고정

# 1) 샘플 데이터 ------------------------------------------------------------------------
docs = [
    "이 영화 정말 재미있어요!",
    "완전 별로였어요. 시간 아까워요.",
    "배우들의 연기가 뛰어났어요.",
    "스토리가 너무 지루했어요.",
    "감동적인 영화였습니다. 추천해요!",
    "진짜 재미없고 실망했어요.",
    "음악과 내용이 좋았어요.",
    "내용이 복잡하고 이해가 안 갔어요.",
    "다시 보고 싶은 영화에요.",
    "별로 재미 없었어요. 그만 볼래요."
]
labels = [1,0,1,0,1,0,1,0,1,0]             # 1=긍정, 0=부정

# DataFrame으로 정리 (학습/전처리에 편리)
df = pd.DataFrame({'document': docs, 'label': labels})

# 2) 텍스트 정제(클렌징) ---------------------------------------------------------------
#  - 한글/영문/공백만 남기고 제거.
df['document'] = df['document'].str.replace(r'[^A-Za-z가-힣 ]', '', regex=True)

# 3) 형태소 분석 + 불용어 제거 ---------------------------------------------------------
okt = Okt()
stop_words = ['은','는','이','가','을','를','에','의','와','과','도','으로','하다']

def word_tokenization(text: str):
    """Okt 형태소 분석 후 불용어를 제거해 토큰 리스트를 반환"""
    return [w for w in okt.morphs(text) if w not in stop_words]

# 진행률 바가 표시되는 apply로 전체 코퍼스 토큰화
data_tokenized = df['document'].progress_apply(word_tokenization)

# 4) 토크나이저 설정/학습 및 단어사전(vocabulary) 생성 ---------------------------------------------------------------
num_words = 10000
tokenizer = Tokenizer(oov_token='<OOV>', num_words=num_words)
tokenizer.fit_on_texts(data_tokenized)
seqs = tokenizer.texts_to_sequences(data_tokenized)

# 5) 시퀀스 길이 결정 및 패딩 -----------------------------------------------------------
max_length = max(len(s) for s in seqs)
x_data = pad_sequences(seqs, maxlen=max_length, padding='pre', truncating='post')
y_data = df['label'].to_numpy()

# 6) 어휘집 크기 계산 ------------------------------------------------------------------
vocab_size = min(num_words, len(tokenizer.word_index) + 1)

# 7) 모델 정의 -------------------------------------------------------------------------
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, Bidirectional, LSTM, Dense
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping, TensorBoard

model = Sequential([
    Embedding(input_dim=vocab_size, output_dim=128, input_length=max_length),
    Bidirectional(LSTM(16, activation='tanh')),
    Dense(1, activation='sigmoid')
])

# 모델 컴파일
tf.keras.backend.clear_session()
model.compile(optimizer=Adam(1e-3), loss='binary_crossentropy', metrics=['accuracy'])

# 8) 콜백: 체크포인트/얼리스톱/텐서보드 -----------------------------------------------
checkpoint_cb = ModelCheckpoint(
    './best_model.weights.h5', save_weights_only=True,
    save_best_only=True, monitor='val_loss', verbose=1
)

earlystopping_cb = EarlyStopping(
    monitor='val_loss', patience=4, restore_best_weights=True, verbose=1
)

log_dir = './logs/' + datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
tensorboard_cb = TensorBoard(log_dir=log_dir, histogram_freq=1)

# 9) 학습 실행 -------------------------------------------------------------------------
history = model.fit(
    x_data, y_data,
    epochs=100,
    batch_size=4,
    validation_split=0.2,
    callbacks=[checkpoint_cb, earlystopping_cb, tensorboard_cb],
    verbose=1
)

# 테스트용 리뷰 문장 10개 직접 작성
test_sentences = [
    "이 영화는 정말 최고였어요. 완전 추천합니다!",
    "스토리가 너무 별로였고 지루했어요.",
    "배우들의 연기가 인상적이었어요.",
    "영화가 너무 재미없어서 졸았어요.",
    "감동적이고 마음에 남는 영화였습니다.",
    "별로 내용이 없고 실망했어요.",
    "음악과 화면이 멋졌어요.",
    "구성이 산만하고 이해가 안 됐어요.",
    "다시 보고 싶어지는 영화입니다.",
    "별로 재미가 없어서 돈이 아까웠어요."
]

# 전처리 과정 (위 학습 때와 동일한 방식 적용)
test_df = pd.DataFrame({'document': test_sentences})

# 특수문자 제거 (한글, 영어, 공백만 남김)
test_df['document'] = test_df['document'].str.replace(r'[^A-Za-z가-힣 ]', '', regex=True)

# 토큰화 및 불용어 제거 함수는 기존과 동일
def word_tokenization(text):
    return [word for word in okt.morphs(text) if word not in stop_words]

# 형태소 분석 및 불용어 제거 적용
test_tokenized = test_df['document'].progress_apply(word_tokenization)

# 학습된 토크나이저로 시퀀스 변환
test_seq = tokenizer.texts_to_sequences(test_tokenized)

# 최대 길이 맞추기 (학습 때와 같은 max_length 사용)
x_test = pad_sequences(test_seq, maxlen=max_length, padding='pre', truncating='post')

# 모델 테스트 (평가)
predictions = model.predict(x_test)

# 예측 결과 출력 (확률과 긍정/부정 분류)
for i, pred in enumerate(predictions):
    sentiment = '긍정' if pred[0] >= 0.5 else '부정'
    print(f"문장: {test_sentences[i]}")
    print(f"예측 확률: {pred[0]:.4f} -> 감정: {sentiment}")
    print()