일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Classification Task
- Word2Vec
- 전처리
- 석사
- 자연어처리
- CUDA
- pytorch
- word embedding
- 대학원
- NLP
- 수기
- 우울증
- 품사태깅
- naver movie review
- 인공지능
- sentiment analysis
- Today
- Total
목록전체 글 (143)
슬기로운 연구생활
1. 설치 apt-get install mysql-server 2. 3306 포트 허용 ufw allow mysql systemctl start mysql systemctl enable mysql 3. mysql 설정 변경 안에 bind-address가 127.0.0.1로 되어있는데, 외부 접속을 허용해주기 위해 이를 0.0.0.0으로 바꿔준다. cd /etc/mysql/mysql.conf.d vi mysqld.cnf 4. DB 비밀번호 추가 use mysql; update user set authentication_string=password('비밀번호') where user='root'; flush privileges; 5. DB 외부접속 권한 추가 GRANT ALL PRIVILEGES ON *.* ..
1. flask 1-1. flask를 설치한다. pip install flask 1-2. 테스트 웹페이지 생성 # hello.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello World!" @app.route("/meet") def meet(): return "Nice to meet you!" if __name__ == '__main__': app.run(host='0.0.0.0') 1-3. 접속 확인 2. uwsgi 설치 2-1. conda를 통해 설치 (conda 설치가 되어 있다 가정) conda install -c conda-forge uwsgi 2-2. uwsgi 파일 생성 [uws..
GCP는 외부 접속을 허용하기 위해 방화벽 세팅이 필요하다. 이게 생각보다 쉬우면서 까다로운데 그대로 따라하면 접속할 수 있을 것이다. 1. 방화벽 탭으로 접속한다. 그 후 방화벽 규칙 만들기를 클릭한다. 2. 이름과 네트워크 명의 알아서 정의해준다 (대상과 소스범위를 잘 못 설정해 접속이 안되었다.) - 대상 : "네트워크의 모든 인스턴스" 로 설정한다. - 소스 IPv4범위 : "0.0.0.0/0" 로 설정한다. - TCP : 원하는 포트를 입력한다.
1. GCP 홈페이지에 들어가 인스턴스를 생성한다. Compute Engine > VM 인스턴스 클릭 2. 인스턴스 만들기를 클릭해 인스턴스를 생성한다. 3. 윈도우에서 puttygen을 사용해 private key값을 생성한다. Generate 버튼을 누르면 Key가 생성이 되고 Save private key를 클릭해 생성된 결과 파일을 저장한다. (.ppk 확장자이다.) 생성된 키를 잘 복사해 GCP Console에 등록해준다. 4. GCP 콘솔에서 메타데이터 버튼을 클릭한 후, SSH 키를 등록한다.. 위에서 생성된 키값을 복사하고 붙여넣는다. 5. putty로 접속한다. SSH > Auth를 클릭한 후 prviate key file을 등록해 접속한다. (# 주의해야할 부분은 접속한 후 유저 아이디..
* 문제 : 허깅페이스 모델을 불러올 때 사내 보안 문제 때문에 자꾸 SSL 에러가 발생했다. * 해결방안 : 사내 인증서를 잘 등록하는게 깔끔하기는 하지만.. 잘 안되서 그냥 직접 다운 받아 해결했다. 1. 사용하고자 하는 허깅페이스 모델을 직접 다운로드 받는다. 2. 사전 훈련 모델을 불러오는 과정에서 local_files_only를 True로 설정해 다운 받은 사전 훈련 받은 파일을 사용하게 한다. electra_model = ElectraTokenizer.from_pretrained(koelectra_dir, local_files_only=True)
작성 중
목표 여러 loss function이 있지만, classification task 경우에는 대부분 CEE를 사용하는 코드가 많다. MSE(Mean Squared Error)와 CEE(Cross Entropy Error)가 어떤 점이 다르길래 CEE를 자주 사용하는 것일까? 그것에 대해 알아보자. MSE MSE는 Mean Squared Error의 약자이며 수식은 간단하다. 예를 들어, 예측값 [0.7, 0.2, 0.1]과 정답값 [1 0 1] 이라는 값이 있다고 가정하자. 이 값에 MSE 계산식은 ((0.7-1)**2 + (0.2-0)**2 + (0.1-1)**2)/3 이가 되고 값은 0.313이 된다. MSE의 특징은 다음과 같다. - 잔차를 제곱하기 때문에 이상치에 민감하고 1미만의 에러는 더 작아진..
신규장비가 들어왔는데 CPU와 GPU가 최신 버전이라 예상치 못한 문제가 발생했다. CPU : 12th Gen Intel(R) Core(TM) i9-12900K GPU : NVIDIA GeForce RTX 3080 Ti * 문제1 : 네트워크 (이더넷) 장비 인식 못함 - 상황 : 해당 장비에 Ubuntu 18.04를 설치하고 ifconfig를 하니 이더넷 주소를 반환하지 않는 문제가 발생했다. CPU가 너무 최신 제품이라 발생한 문제 - 원인 : CPU에서 네트워크 장치를 인식하지 못하는 문제 - 해결방법 : 12세대 인텔 CPU에서 필요로하는 Kernel 버전과 Ubuntu 18.04에서 제공하는 Kernel 버전이 일치하지 않아 발생한 문제였다. CPU에서 필요로하는 Kernel 버전을 제공하는 O..