데보션앱 소개페이지 바로가기
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

미리보기

커뮤니티

      1,234

      badge 23.06.15

      글 등록

      카테고리를 선택해주세요.

      DEVOTEE를 활성화 시키면
      지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.

      버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.

      임시저장함에 저장되었습니다. 저장일시 : 2022.5.17 14:29:08

      임시저장함

      제목을 선택하시면 이어서 작성이 가능하며,
      최대 20건까지 저장합니다.
      컨텐츠 유형, 제목, 저장일시, 삭제로 이뤄진 임시저장 목록
      컨텐츠 유형 제목 저장일 삭제

      데보션 블로그 게재 요청

      CLOSE
      • *
      • *

      본인인증

      효율적인 데보션 서비스 이용 및
      고객님의 소중한 개인정보보호를 위해
      본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
      본인인증 실패

      본인인증 로그인에 실패하였습니다.
      회원이 아니시거나 본인인증 등록이
      완료되지 않은 사용자입니다.

      회원정보 연결

      KoNLPy 패키지 코랩에서 쉽게 설치하고 사용해보기

      오순도순 22.07.06
      9,480 14 2

      한국어 자연어처리 패키지 (KoNLPy) 를 Colab 환경에서 쉽게 설치하고 사용해보자

      • local 에 konlpy 패키지 설치 하면 설치가 꽤 까다롭기 때문에 colab 에서 사용해보자!


      설치

      설치하는데 3분 정도는 걸리는 것 같다..!

      !curl -s https://raw.githubusercontent.com/teddylee777/machine-learning/master/99-Misc/01-Colab/mecab-colab.sh | bash

      동작 확인 테스트

      형태소 분석기 마다 조금씩 다르게 분석 결과를 보여진다는 것을 확인 할 수 있다

      • mecab 과 okt 분석기가 약간씩 다르게 형태소 분석 결과를 내놓는다

      # KoNLPy의 Okt 와 Mecab 불러와서 사용해보기
      from konlpy.tag import Okt, Mecab
      
      Okt = Okt()
      mecab = Mecab()
      
      # 예시 문장
      sentence = "OMG 공부하기 넘 싫네요. 그래도 스터디 해야됩니다 오마이갓! 지쟈스 하 아~"
      Okt.morphs(sentence)
      ['OMG',
       '공부',
       '하기',
       '넘',
       '싫네요',
       '.',
       '그래도',
       '스터디',
       '해야',
       '됩니다',
       '오마이갓',
       '!',
       '지쟈스',
       '하',
       '아',
       '~']
      mecab.morphs(sentence)
      ['OMG',
       '공부',
       '하',
       '기',
       '넘',
       '싫',
       '네요',
       '.',
       '그래도',
       '스터디',
       '해야',
       '됩니다',
       '오마이갓',
       '!',
       '지',
       '쟈',
       '스',
       '하',
       '아',
       '~']
      print("형태소 단위로 문장 분리")
      print("----------------------")
      print(Okt.morphs(sentence))
      print(" ")
      print("문장에서 명사 추출")
      print("----------------------")
      print(Okt.nouns(sentence))
      print(" ")
      print("품사 태킹(PoS)")
      print("----------------------")
      print(Okt.pos(sentence))
      rst_list = Okt.morphs(sentence)
      형태소 단위로 문장 분리
      ----------------------
      ['OMG', '공부', '하기', '넘', '싫네요', '.', '그래도', '스터디', '해야', '됩니다', '오마이갓', '!', '지쟈스', '하', '아', '~']
       
      문장에서 명사 추출
      ----------------------
      ['공부', '스터디', '오마이갓', '지쟈스']
       
      품사 태킹(PoS)
      ----------------------
      [('OMG', 'Alpha'), ('공부', 'Noun'), ('하기', 'Verb'), ('넘', 'Verb'), ('싫네요', 'Adjective'), ('.', 'Punctuation'), ('그래도', 'Adverb'), ('스터디', 'Noun'), ('해야', 'Verb'), ('됩니다', 'Verb'), ('오마이갓', 'Noun'), ('!', 'Punctuation'), ('지쟈스', 'Noun'), ('하', 'Exclamation'), ('아', 'Exclamation'), ('~', 'Punctuation')]

      불용어 제거

      stop_words 에 불용어를 추가 하여 처리

      stop_words = ". 을 를 하 아 ~ , 게 때 는 !"
      stop_words = set(stop_words.split(' '))
      word_tokens = Okt.morphs(sentence)
      
      result = [word for word in word_tokens if not word in stop_words]
      
      print('불용어 제거 전 :',list(word_tokens))
      print('불용어 제거 후 :',result)
      불용어 제거 전 : ['OMG', '공부', '하기', '넘', '싫네요', '.', '그래도', '스터디', '해야', '됩니다', '오마이갓', '!', '지쟈스', '하', '아', '~']
      불용어 제거 후 : ['OMG', '공부', '하기', '넘', '싫네요', '그래도', '스터디', '해야', '됩니다', '오마이갓', '지쟈스']

      Optional) 불용어 파일로 불러와서 제거

      koreanStopwords.txt 라는 텍스트 파일에 불용어를 쭉 추가한 다음, 이 파일을 불러와서 전처리 하는 방법

      f = open("/content/koreanStopwords.txt", 'r')
      lines = f.readlines()
      stopwords = []
      for line in lines:
          line = line.replace('\n', '')
          stopwords.append(line)
      f.close()
      print('불용어 단어 리스트: ', ' '.join(stopwords))
      불용어 단어 리스트:  이 있 하 것 들 그 되 수 이 보 않 없 나 사람 주 아니 등 같 우리 때 년 가 한 지 대하 오 말 일 그렇 위하 때문 그것 두 말하 알 그러나 받 못하 일 그런 또 문제 더 사회 많 그리고 좋 크 따르 중 나오 가지 씨 시키 만들 지금 생각하 그러 속 하나 집 살 모르 적 월 데 자신 안 어떤	 내 경우 명 생각 시간 그녀 다시 이런 앞 보이 번 나 다른 어떻 여자 개	 들 사실 이렇 점 싶 말 정도 좀 원 잘 통하 소리 놓	
      word_tokens = [token for token in word_tokens if token not in stopwords]
      preprocessed_text= ' '.join(word_tokens)
      print(preprocessed_text)
      OMG 공부 하기 넘 싫네요 . 그래도 스터디 해야 됩니다 오마이갓 ! 지쟈스 아 ~


      유의어/동의어 표준화 시키기

      비슷한 단어들을 표준화 하고 싶다면?

      동의어 사전(단어사전)을 만들어 매핑시켜 표준화 하면 된다

      import pandas as pd 
      
      synonym_dict = {
                      '나' : ['저', '내'],
                      '오마이갓' : ['OMG', 'Oh My God'],
                      '공부' : ['스터디']
                      }
                      
      apply_mapping = {word:k for k, v in synonym_dict.items() for word in v}
      result_list = pd.DataFrame(rst_list).replace(apply_mapping, regex=True).values
      
      print('유의어 처리 전 :',list(word_tokens))
      print('유의어 처리 후:', list(result_list.flatten()))
      유의어 처리 전 : ['OMG', '공부', '하기', '넘', '싫네요', '.', '그래도', '스터디', '해야', '됩니다', '오마이갓', '!', '지쟈스', '아', '~']
      유의어 처리 후: ['오마이갓', '공부', '하기', '넘', '싫네요', '.', '그래도', '공부', '해야', '됩니다', '오마이갓', '!', '지쟈스', '하', '아', '~']


      Reference

      댓글 0

      DEVOTEE를 활성화 시키면
      지금 작성한 댓글에 AI가 댓글을 달아줍니다.

      오순도순 님의 최신 블로그

      더보기

      관련 블로그

      동영상 기고하기