슬기로운 연구생활

PubTables 데이터를 다운 받아 finetuning할 일이 있었다. 문제는 해당 데이터가 azure에 업로드되어 있고 azcopy를 통해 다운 받을 수 있다는 것이다. 1. azcopy 아래의 명령어를 통해 azcopy를 실행시킬 수 있다. 세번째 명령어인 기존 azcopy 삭제하는 것은 미리 설치한 사람만 하면 되고 처음 설치하면 하지 않아도 된다. 네번째 명령어를 실행시켜야 경로 설정이 디ㅗ고 azcopy 명령어를 실행할 수 있다. #Download AzCopy wget https://aka.ms/downloadazcopy-v10-linux #Expand Archive tar -xvf downloadazcopy-v10-linux #(Optional) Remove existing AzCopy ve..

1. SKT KoBERT 폴더를 다운받는다. git clone https://github.com/SKTBrain/KoBERT.git 2. KoBERT 폴더로 이동 후 KoBERT 작동시키는데 필요한 라이브러리 파일을 설치한다. - cd KoBERT - pip install -r requirements.txt - pip install . 3. KoSenteceBERT_SKTBERT 폴더를 다운받는다. git clone https://github.com/BM-K/KoSentenceBERT_SKTBERT.git 4. KoSentenceBERT 작동에 필요한 라이브러리를 설치한다. pip install -r requirements.txt 5. KoSentenceBERT에 transformer, tokenizer..

1. mecab-ko-msvc 설치하기 1-1. 링크[https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-3]에 들어가 본인의 윈도우 버전에 마줘 32bit/64bit 선택해 다운로드한다. 1-2. C드라이브에 mecab 폴더를 만들고 위에서 다운로드 받은 압축파일을 푼다. 2. mecab-ko-dic-msvc.zip 기본 사전 설치하기 2-1. 마찬가지로, 링크[https://github.com/Pusnow/mecab-ko-dic-msvc/releases/tag/mecab-ko-dic-2.1.1-20180720-msvc]에 들어가 사전을 다운받는다. 2-2. 1-2에서 만든 C드라이브 mecab 폴더에 들어가 다운 받은 압축파..

1. JDK 설치하기 - 오라클 홈페이지에 들어가 자신의 버전에 맞는 JDK를 설치한다. - 오라클 설치 및 환경변수 참고 URL[https://gaeggu.tistory.com/2] 2. 시스템 환경 변수 설정 2-1. 환경변수에 들어가 환경 변수 이름을 JAVA_HOME으로 지정한 후, 변수 값에는 j아가 설치된 경로를 지정한다. 2-2. 시스템 변수엣 Path를 더블 클릭한 후, 새로 만들기를 눌러 %JAVA_HOME%\bin;을 넣어주고 확인을 누른다. 3. Jpype 설치 3-1. 링크[https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype]에 접속해 자신의 파이썬 버전과 윈도우 버전에 맞는 whl을 다운로드 한다. 3-2. 다운로드 파일을 konlpy를 실행시..

1. nvidia-driver 설치 $ apt-get install nvidia-driver-470 $ nvidia-smi 2. cuda 설치 페이지 이동 : https://developer.nvidia.com/cuda-11-4-3-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin --no-check-certificate $ sudo mv cuda-ubuntu2004.pi..

1. 규칙 추가 vi /etc/nginx/sites-available/default server { listen 80; listen [::]:80; root /var/www/domain.com/html; index index.html index.htm index.nginx-debian.html; server_name www.domain.com domain.com; location / { try_files $uri $uri/ =404; } } 2. 설정 변경 vi /etc/nginx/nginx.conf http { ... server_names_hash_bucket_size 64; #주석해제 ... } 3. 서비스 재시작

1. 설치 apt-get install mysql-server 2. 3306 포트 허용 ufw allow mysql systemctl start mysql systemctl enable mysql 3. mysql 설정 변경 안에 bind-address가 127.0.0.1로 되어있는데, 외부 접속을 허용해주기 위해 이를 0.0.0.0으로 바꿔준다. cd /etc/mysql/mysql.conf.d vi mysqld.cnf 4. DB 비밀번호 추가 use mysql; update user set authentication_string=password('비밀번호') where user='root'; flush privileges; 5. DB 외부접속 권한 추가 GRANT ALL PRIVILEGES ON *.* ..

1. flask 1-1. flask를 설치한다. pip install flask 1-2. 테스트 웹페이지 생성 # hello.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello World!" @app.route("/meet") def meet(): return "Nice to meet you!" if __name__ == '__main__': app.run(host='0.0.0.0') 1-3. 접속 확인 2. uwsgi 설치 2-1. conda를 통해 설치 (conda 설치가 되어 있다 가정) conda install -c conda-forge uwsgi 2-2. uwsgi 파일 생성 [uws..