일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 석사
- pytorch
- 우울증
- 품사태깅
- 자연어처리
- 수기
- CUDA
- Classification Task
- sentiment analysis
- word embedding
- naver movie review
- 전처리
- 대학원
- NLP
- 인공지능
- Word2Vec
- Today
- Total
목록전체 카테고리 (144)
슬기로운 연구생활
신규장비가 들어왔는데 CPU와 GPU가 최신 버전이라 예상치 못한 문제가 발생했다. CPU : 12th Gen Intel(R) Core(TM) i9-12900K GPU : NVIDIA GeForce RTX 3080 Ti * 문제1 : 네트워크 (이더넷) 장비 인식 못함 - 상황 : 해당 장비에 Ubuntu 18.04를 설치하고 ifconfig를 하니 이더넷 주소를 반환하지 않는 문제가 발생했다. CPU가 너무 최신 제품이라 발생한 문제 - 원인 : CPU에서 네트워크 장치를 인식하지 못하는 문제 - 해결방법 : 12세대 인텔 CPU에서 필요로하는 Kernel 버전과 Ubuntu 18.04에서 제공하는 Kernel 버전이 일치하지 않아 발생한 문제였다. CPU에서 필요로하는 Kernel 버전을 제공하는 O..
* 설치이유 pyenv는 하나의 PC에서 여러버전의 파이썬을 독립적으로 사용하고 싶을 때 좋은 라이브러리이다. 기존에는 Anaconda를 사용해서 파이썬과 라이브러리 환경을 독립적으로 가져갔지만 회사에서는 라이센스 때문에 사용할 수 없어 대체재로 pyenv-virtualenv를 선택했다. virtualenv로 과거에도 사용했었지만 pyenv는 처음 사용해서 좀 애매했다. * 설치방법 [pyenv] 1. 사전에 필요한 라이브러리 설치 sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-d..
* 상황 저사양 GPU는 CUDA 세팅이 자동화되어 있거나 매우 간편하지만... 최신 사양의 30시리즈는 GPU Driver, CUDA Toolkit, CuDNN의 버전을 잘 맞춰줘야 한다. * 해결방안 (1) Nvidia-Driver 설치 nvidia-smi를 했는데 WARNING: apt does not have a stable CLI interface. Use with caution in scripts이란 메세지가 보이면 GPU Driver가 설치 안된것이다. sudo apt-get purge nvidia-* sudo apt-get update sudo apt-get autoremove apt search nvidia-driver sudo apt install libnvidia-common-470 ..
2021년은 한 마디로 표현하자면 "다사다난"이였다. 정말 많은 다양한 일들을 경험했고 그로 인해 성장 및 보상을 얻었다. 먼저 1월에는 인터파크 입사를 했다. 프리랜서 이외에 정규직으로는 처음 일해보는 것이였기 때문에 약간의 긴장감이 있었다. 회사 출근 후 힘들었던 것은 정해진 출퇴근시간에 정해진 장소에서 일을 해야하는 것이였다. 뭔가 회사 가기만 해도 기빨린다고 해야하나..? 근 10년 동안 군대 이외에 이렇게 규칙적인 생활을 한 것은 오랜만이라 적응이 안되었다. 연구실에서도 출퇴근시간 없었고 전에 프리로 일했던 곳들은 아예 일주일에 한번 출근이라 뭔가 너무 어색했다. 그래서 1월달에는 적응하는데 모든 시간을 쏟았던 것 같다. 낯선 공간과 낯선 기상시간에 적응하려고 했다. 아 그리고 올해 1월부터 태..
원래 백그라운드 실행할 때 아래와 같이 사용했었다. nohup python temp.py & 하지만 nohup 결과가 실시간으로 혹은 안 찍힐때도 있는 경우가 발생했다. 그래서 print문을 실시간으로 찍어내는 코드를 찾았다. nohup python -u filename.py & tail -f nohup.out
먼저 konlpy를 설치한 후, Mecab을 따로 설치하여 불러온다. 1. Konlpy 설치 pip install konlpy pip install JPype1 아래의 코드로 테스트한다. from konlpy.tag import Komoran komoran = Komoran() text = "아버지가 방에 들어가신다." komoran.nouns(text) komoran.morphs(text) 2. Mecab 설치 wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar xvfz mecab-0.996-ko-0.9.2.tar.gz cd mecab-0.996-ko-0.9.2 ./configure make make ..
* 에러 원인 spacy.load("de_core_news_sm")을 사용하려 했는데 위치를 찾지 못하겠다는 에러가 발생했다. spacy는 항상 사용할때마다 뭔 에러가 나는 것 같다. * 에러 해결 de_core_new_sm을 import해서 해결 import en_core_web_sm, de_core_news_sm spacy_de = de_core_news_sm.load() spacy_en = en_core_web_sm.load()