| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 인공지능
- 품사태깅
- CUDA
- 수기
- 대학원
- pytorch
- NLP
- sentiment analysis
- 자연어처리
- word embedding
- Classification Task
- 전처리
- Word2Vec
- naver movie review
- 석사
- 우울증
- Today
- Total
목록전체 카테고리 (144)
슬기로운 연구생활
Classification - [8.1] Word2vec Negative Sampling
이전 글 [1] 자연어처리란? [2] Classification Task [3] POS Tagging [4] Stemming, Lemmatizing [5] 형태소 분석기 [6] One-Hot Encoding, Bag Of Word [7] TF-IDF 들어가며 8장에서는 word2vec에 대해서 공부했습니다. 이번 장에서는 word2vec negative sampling에 대해 공부해보고 기존 word2vec에 대한 심도 깊은 공부를 진행하겠습니다. Problem - Word2Vec은 Output layer를 거친 값에 소프트맥스를 적용해 확률값으로 변환합니다. 그리고 [1 0 0 0] 같은 sparse matrix 형태의 정답과 비교해 역전파하여 weight matrix를 업데이트 합니다. 하지만 만약 ..
* 에러 원인 git 로컬 저장소에 너무 용량이 큰 모델을 에러를 올려 에러가 발생했다. * 에러 해결 근본적인 해결방법은 너무 큰 모델을 올리면 안된다. 일단 당장의 문제를 해결하기 위해서는 git local 터미널에 들어가 아래의 명령어를 입력한다. git reset git init
* 에러 원인 GPU를 사용해 시스템을 돌리고 있는 도중 갑작스럽게 프로그램이 다운되거나 컴퓨터가 꺼질 경우 간혹 발생하는 문제이다. 해당 문제가 발생하면 nvidia-smi 명령어가 작동하지 않는다. nvidia-smi NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running * 에러 해결 1. apt --installed list | grep nvidia-driver - 해당 컴퓨터에 설치된 nvidia-driver 버전을 확인한다. - nvidia-driver-460/bionic-updates,bioni..
* 에러 원인 : kobert를 사용하다 발생했다. 미리 학습된 모델의 weight 값을 load_state_dict를 사용했다. 여기서 기존 버전과 모델이 맞지 않아 발생한 에러인 것 같다. * 해결 방법 : load_state_dict에서 strict를 False를 설정하면 해결된다. bertmodel.load_state_dict(torch.load(model_file), strict=False)
대학원에서 있었던 일을 분기별로 적어볼 생각이다. 과거에 대한 기록이랄까? (19-1학기) 석사 1학기였다. 첫 연구실 생활을 한다는 생각에 많은 긴장감들이 있었던 것 같다. 우리 연구실의 풀타임 인원은 석사 선배 1명에 나와 내동기해서 총 3명이였다. 사실 인원이 너무 없어서 고민을하기는 했지만 그 당시에 몇 없었던 NLP 연구실을 들어갈 수 있어서 막연히 좋았다. 마침 본가가 학교와 도보 10분거리라 등교도 너무 편했고 등록금 전액 지원에 조교로 받는 비용까지 부족함 없이 생활할 수 있었다. 뭐... 석사학생 중에서는 워라벨이 좋았다고나 할까? 그 당시 인원이 적다보니 다른 박사과정분들과 함께 생활을 했는데 그냥 저냥 지낼만 했다. 그 중에 정말 연구에 몰입하는 박사과정 형도 보았고 그 분을 보면서 ..
* 에러 원인 - bentoml은 service.py와 builder.py로 구분한다. builder.py에서 KoBERT+CRF모델을 사용했는데 외부 모듈을 사용했다. 그리고 service.py에서 KoBERT+CRF를 artifact에 매핑한 것을 가져와 사용했는데 자꾸 외부 모듈을 찾을 수 없다는 에러가 발생했다. 나는 단순히 service.py는 builder.py에서 pack한 모델을 가져와서 사용하면 되는 줄 알았는데 service.py에도 외부 모듈 import하는게 필요하다. 그 import 한 것을 service.py 내부 코드에서 직접 사용하지 않더라도 넣어줘야 문제가 해결이된다. * 해결 방법 from utils.net import KobertCRF from utils.pad_sequ..
* 에러 원인 : h5py 버전이 맞지 않아 생기는 문제이다. * 해결 방법 : h5py 버전을 2.10.0으로 맞추니 해결되었다. pip install h5py==2.10.0