일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Word2Vec
- pytorch
- Classification Task
- 대학원
- sentiment analysis
- 우울증
- NLP
- 전처리
- 품사태깅
- CUDA
- word embedding
- 수기
- 자연어처리
- naver movie review
- 석사
- 인공지능
- Today
- Total
목록전체 카테고리 (143)
슬기로운 연구생활
* 설치이유 pyenv는 하나의 PC에서 여러버전의 파이썬을 독립적으로 사용하고 싶을 때 좋은 라이브러리이다. 기존에는 Anaconda를 사용해서 파이썬과 라이브러리 환경을 독립적으로 가져갔지만 회사에서는 라이센스 때문에 사용할 수 없어 대체재로 pyenv-virtualenv를 선택했다. virtualenv로 과거에도 사용했었지만 pyenv는 처음 사용해서 좀 애매했다. * 설치방법 [pyenv] 1. 사전에 필요한 라이브러리 설치 sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-d..
* 상황 저사양 GPU는 CUDA 세팅이 자동화되어 있거나 매우 간편하지만... 최신 사양의 30시리즈는 GPU Driver, CUDA Toolkit, CuDNN의 버전을 잘 맞춰줘야 한다. * 해결방안 (1) Nvidia-Driver 설치 nvidia-smi를 했는데 WARNING: apt does not have a stable CLI interface. Use with caution in scripts이란 메세지가 보이면 GPU Driver가 설치 안된것이다. sudo apt-get purge nvidia-* sudo apt-get update sudo apt-get autoremove apt search nvidia-driver sudo apt install libnvidia-common-470 ..
2021년은 한 마디로 표현하자면 "다사다난"이였다. 정말 많은 다양한 일들을 경험했고 그로 인해 성장 및 보상을 얻었다. 먼저 1월에는 인터파크 입사를 했다. 프리랜서 이외에 정규직으로는 처음 일해보는 것이였기 때문에 약간의 긴장감이 있었다. 회사 출근 후 힘들었던 것은 정해진 출퇴근시간에 정해진 장소에서 일을 해야하는 것이였다. 뭔가 회사 가기만 해도 기빨린다고 해야하나..? 근 10년 동안 군대 이외에 이렇게 규칙적인 생활을 한 것은 오랜만이라 적응이 안되었다. 연구실에서도 출퇴근시간 없었고 전에 프리로 일했던 곳들은 아예 일주일에 한번 출근이라 뭔가 너무 어색했다. 그래서 1월달에는 적응하는데 모든 시간을 쏟았던 것 같다. 낯선 공간과 낯선 기상시간에 적응하려고 했다. 아 그리고 올해 1월부터 태..
원래 백그라운드 실행할 때 아래와 같이 사용했었다. nohup python temp.py & 하지만 nohup 결과가 실시간으로 혹은 안 찍힐때도 있는 경우가 발생했다. 그래서 print문을 실시간으로 찍어내는 코드를 찾았다. nohup python -u filename.py & tail -f nohup.out
먼저 konlpy를 설치한 후, Mecab을 따로 설치하여 불러온다. 1. Konlpy 설치 pip install konlpy pip install JPype1 아래의 코드로 테스트한다. from konlpy.tag import Komoran komoran = Komoran() text = "아버지가 방에 들어가신다." komoran.nouns(text) komoran.morphs(text) 2. Mecab 설치 wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar xvfz mecab-0.996-ko-0.9.2.tar.gz cd mecab-0.996-ko-0.9.2 ./configure make make ..
* 에러 원인 spacy.load("de_core_news_sm")을 사용하려 했는데 위치를 찾지 못하겠다는 에러가 발생했다. spacy는 항상 사용할때마다 뭔 에러가 나는 것 같다. * 에러 해결 de_core_new_sm을 import해서 해결 import en_core_web_sm, de_core_news_sm spacy_de = de_core_news_sm.load() spacy_en = en_core_web_sm.load()
이전 글 [1] 자연어처리란? [2] Classification Task [3] POS Tagging [4] Stemming, Lemmatizing [5] 형태소 분석기 [6] One-Hot Encoding, Bag Of Word [7] TF-IDF 들어가며 8장에서는 word2vec에 대해서 공부했습니다. 이번 장에서는 word2vec negative sampling에 대해 공부해보고 기존 word2vec에 대한 심도 깊은 공부를 진행하겠습니다. Problem - Word2Vec은 Output layer를 거친 값에 소프트맥스를 적용해 확률값으로 변환합니다. 그리고 [1 0 0 0] 같은 sparse matrix 형태의 정답과 비교해 역전파하여 weight matrix를 업데이트 합니다. 하지만 만약 ..