티스토리

슬기로운 연구생활

검색하기

블로그 홈

슬기로운 연구생활

vhrehfdl.tistory.com/m

vhrehfdl 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

PubTables data download PubTables 데이터를 다운 받아 finetuning할 일이 있었다. 문제는 해당 데이터가 azure에 업로드되어 있고 azcopy를 통해 다운 받을 수 있다는 것이다. 1. azcopy 아래의 명령어를 통해 azcopy를 실행시킬 수 있다. 세번째 명령어인 기존 azcopy 삭제하는 것은 미리 설치한 사람만 하면 되고 처음 설치하면 하지 않아도 된다. 네번째 명령어를 실행시켜야 경로 설정이 디ㅗ고 azcopy 명령어를 실행할 수 있다. #Download AzCopy wget https://aka.ms/downloadazcopy-v10-linux #Expand Archive tar -xvf downloadazcopy-v10-linux #(Optional) Remove existing AzCopy ve.. 공감수 0 댓글수 0 2023. 4. 12.
KoSentenceBERT 실행 방법 1. SKT KoBERT 폴더를 다운받는다. git clone https://github.com/SKTBrain/KoBERT.git 2. KoBERT 폴더로 이동 후 KoBERT 작동시키는데 필요한 라이브러리 파일을 설치한다. - cd KoBERT - pip install -r requirements.txt - pip install . 3. KoSenteceBERT_SKTBERT 폴더를 다운받는다. git clone https://github.com/BM-K/KoSentenceBERT_SKTBERT.git 4. KoSentenceBERT 작동에 필요한 라이브러리를 설치한다. pip install -r requirements.txt 5. KoSentenceBERT에 transformer, tokenizer.. 공감수 1 댓글수 0 2022. 5. 11.
Mecab 윈도우 설치 1. mecab-ko-msvc 설치하기 1-1. 링크[https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-3]에 들어가 본인의 윈도우 버전에 마줘 32bit/64bit 선택해 다운로드한다. 1-2. C드라이브에 mecab 폴더를 만들고 위에서 다운로드 받은 압축파일을 푼다. 2. mecab-ko-dic-msvc.zip 기본 사전 설치하기 2-1. 마찬가지로, 링크[https://github.com/Pusnow/mecab-ko-dic-msvc/releases/tag/mecab-ko-dic-2.1.1-20180720-msvc]에 들어가 사전을 다운받는다. 2-2. 1-2에서 만든 C드라이브 mecab 폴더에 들어가 다운 받은 압축파.. 공감수 0 댓글수 0 2022. 5. 11.
Konlpy 윈도우 설치 1. JDK 설치하기 - 오라클 홈페이지에 들어가 자신의 버전에 맞는 JDK를 설치한다. - 오라클 설치 및 환경변수 참고 URL[https://gaeggu.tistory.com/2] 2. 시스템 환경 변수 설정 2-1. 환경변수에 들어가 환경 변수 이름을 JAVA_HOME으로 지정한 후, 변수 값에는 j아가 설치된 경로를 지정한다. 2-2. 시스템 변수엣 Path를 더블 클릭한 후, 새로 만들기를 눌러 %JAVA_HOME%\bin;을 넣어주고 확인을 누른다. 3. Jpype 설치 3-1. 링크[https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype]에 접속해 자신의 파이썬 버전과 윈도우 버전에 맞는 whl을 다운로드 한다. 3-2. 다운로드 파일을 konlpy를 실행시.. 공감수 0 댓글수 0 2022. 5. 11.
GPU 데스크탑 세팅 1. nvidia-driver 설치 $ apt-get install nvidia-driver-470 $ nvidia-smi 2. cuda 설치 페이지 이동 : https://developer.nvidia.com/cuda-11-4-3-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin --no-check-certificate $ sudo mv cuda-ubuntu2004.pi.. 공감수 0 댓글수 0 2022. 5. 10.
nginx 도메인 주소 추가 1. 규칙 추가 vi /etc/nginx/sites-available/default server { listen 80; listen [::]:80; root /var/www/domain.com/html; index index.html index.htm index.nginx-debian.html; server_name www.domain.com domain.com; location / { try_files $uri $uri/ =404; } } 2. 설정 변경 vi /etc/nginx/nginx.conf http { ... server_names_hash_bucket_size 64; #주석해제 ... } 3. 서비스 재시작 공감수 0 댓글수 0 2022. 4. 26.
Mysql 설치 및 외부접속 허용 1. 설치 apt-get install mysql-server 2. 3306 포트 허용 ufw allow mysql systemctl start mysql systemctl enable mysql 3. mysql 설정 변경 안에 bind-address가 127.0.0.1로 되어있는데, 외부 접속을 허용해주기 위해 이를 0.0.0.0으로 바꿔준다. cd /etc/mysql/mysql.conf.d vi mysqld.cnf 4. DB 비밀번호 추가 use mysql; update user set authentication_string=password('비밀번호') where user='root'; flush privileges; 5. DB 외부접속 권한 추가 GRANT ALL PRIVILEGES ON *.* .. 공감수 0 댓글수 0 2022. 4. 26.
Flask + Nginx + Uwsgi 연동 1. flask 1-1. flask를 설치한다. pip install flask 1-2. 테스트 웹페이지 생성 # hello.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello World!" @app.route("/meet") def meet(): return "Nice to meet you!" if __name__ == '__main__': app.run(host='0.0.0.0') 1-3. 접속 확인 2. uwsgi 설치 2-1. conda를 통해 설치 (conda 설치가 되어 있다 가정) conda install -c conda-forge uwsgi 2-2. uwsgi 파일 생성 [uws.. 공감수 0 댓글수 0 2022. 4. 26.
GCP 방화벽 세팅 GCP는 외부 접속을 허용하기 위해 방화벽 세팅이 필요하다. 이게 생각보다 쉬우면서 까다로운데 그대로 따라하면 접속할 수 있을 것이다. 1. 방화벽 탭으로 접속한다. 그 후 방화벽 규칙 만들기를 클릭한다. 2. 이름과 네트워크 명의 알아서 정의해준다 (대상과 소스범위를 잘 못 설정해 접속이 안되었다.) - 대상 : "네트워크의 모든 인스턴스" 로 설정한다. - 소스 IPv4범위 : "0.0.0.0/0" 로 설정한다. - TCP : 원하는 포트를 입력한다. 공감수 0 댓글수 0 2022. 4. 24.
GCP 인스턴스 생성 및 접속 1. GCP 홈페이지에 들어가 인스턴스를 생성한다. Compute Engine > VM 인스턴스 클릭 2. 인스턴스 만들기를 클릭해 인스턴스를 생성한다. 3. 윈도우에서 puttygen을 사용해 private key값을 생성한다. Generate 버튼을 누르면 Key가 생성이 되고 Save private key를 클릭해 생성된 결과 파일을 저장한다. (.ppk 확장자이다.) 생성된 키를 잘 복사해 GCP Console에 등록해준다. 4. GCP 콘솔에서 메타데이터 버튼을 클릭한 후, SSH 키를 등록한다.. 위에서 생성된 키값을 복사하고 붙여넣는다. 5. putty로 접속한다. SSH > Auth를 클릭한 후 prviate key file을 등록해 접속한다. (# 주의해야할 부분은 접속한 후 유저 아이디.. 공감수 0 댓글수 0 2022. 4. 24.
RTX 3080ti 장비 세팅 중 발생한 에러 신규장비가 들어왔는데 CPU와 GPU가 최신 버전이라 예상치 못한 문제가 발생했다. CPU : 12th Gen Intel(R) Core(TM) i9-12900K GPU : NVIDIA GeForce RTX 3080 Ti * 문제1 : 네트워크 (이더넷) 장비 인식 못함 - 상황 : 해당 장비에 Ubuntu 18.04를 설치하고 ifconfig를 하니 이더넷 주소를 반환하지 않는 문제가 발생했다. CPU가 너무 최신 제품이라 발생한 문제 - 원인 : CPU에서 네트워크 장치를 인식하지 못하는 문제 - 해결방법 : 12세대 인텔 CPU에서 필요로하는 Kernel 버전과 Ubuntu 18.04에서 제공하는 Kernel 버전이 일치하지 않아 발생한 문제였다. CPU에서 필요로하는 Kernel 버전을 제공하는 O.. 공감수 0 댓글수 0 2022. 2. 3.
Pyenv-Virtualenv 세팅 (Ubuntu) * 설치이유 pyenv는 하나의 PC에서 여러버전의 파이썬을 독립적으로 사용하고 싶을 때 좋은 라이브러리이다. 기존에는 Anaconda를 사용해서 파이썬과 라이브러리 환경을 독립적으로 가져갔지만 회사에서는 라이센스 때문에 사용할 수 없어 대체재로 pyenv-virtualenv를 선택했다. virtualenv로 과거에도 사용했었지만 pyenv는 처음 사용해서 좀 애매했다. * 설치방법 [pyenv] 1. 사전에 필요한 라이브러리 설치 sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-d.. 공감수 1 댓글수 0 2022. 2. 3.
mecab 설치 (with ubuntu, konlpy) 먼저 konlpy를 설치한 후, Mecab을 따로 설치하여 불러온다. 1. Konlpy 설치 pip install konlpy pip install JPype1 아래의 코드로 테스트한다. from konlpy.tag import Komoran komoran = Komoran() text = "아버지가 방에 들어가신다." komoran.nouns(text) komoran.morphs(text) 2. Mecab 설치 wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar xvfz mecab-0.996-ko-0.9.2.tar.gz cd mecab-0.996-ko-0.9.2 ./configure make make .. 공감수 3 댓글수 1 2021. 11. 19.
bentoml Quick Start 1. 환경 설정 pip install bentoml pip install pandas sklearn 2. 코드 작성 bento라는 디렉터리를 만든 후, model.py / service.py / builder.py 라는 파일을 생성한다. model.py : ML 모델 파일 생성 및 설정. # model.py from sklearn import svm from sklearn import datasets # Load training data iris = datasets.load_iris() X, y = iris.data, iris.target # Model Training clf = svm.SVC(gamma='scale') clf.fit(X, y) service.py : predict 관련 서빙 파일 설정... 공감수 0 댓글수 0 2021. 8. 6.
Ubuntu 16.04에 CUDA Toolkit과 CuDNN 설치하기 연구실 1080TI 2대가 있는 서버에 CUDA 세팅을 하게되었다. 위의 과정은 크게 3가지로 구분된다. - Nvidia Driver 설치 - CUDA Toolkit 설치 - CuDNN 설치 Nvidia Driver 설치 sudo apt-get update ubuntu-drivers devices 위의 명령어를 사용해 nvidia driver 몇 버전을 설치해야 하는지 확인한다. nvidia-430을 추천하라기에 설치했다. sudo apt-get install nvidia-430 nvidia driver 설치할때 다양한 이슈가 있었다. 가장 큰 이슈는 기존에 ubuntu에서 사용하는 noveau라는 driver를 중단시키고 설치해야 한다는 것이다. nvidia driver를 설치한 이후에는 noveau를.. 공감수 0 댓글수 0 2020. 12. 28.
[Hexo] 기본 명령어 - hexo new post -p /setting/hexo_new : post 만들기 - hexo clean : 초기화 - hexo g : 생성 - hexo s : 로컬로 확인 - hexo d : 배포 공감수 0 댓글수 0 2020. 6. 8.
[Selenium] Selenium Install * 정리 - Selenium을 리눅스 환경에 작동시키려다 너무 많은 에러를 마주쳤다. - 순서대로 마주친 에러를 정리하려 한다. * 해결방법 1. chromedriver.exe 파일 권한 문제 - Message : selenium webdriver chrome PermissionError: [Errno 13] Permission denied - Problem : selenium webdriver에서 chromedriver.exe 파일에 접근하려 하니 permission 문제가 발생했다. - Solution : chromedriver.exe 파일에 777 권한을 주니 접근이 되었다. 그러나 chromedriver에 접근해도 실행이 안되는 문제 발생. - Solution : 기존에 window chromed.. 공감수 0 댓글수 0 2020. 6. 8.
[Khaiii] 카카오 형태소 분석기 설치 1. CMAKE 환경 설정 - 카카오 형태소 분석기를 사용하려면 cmake가 설치되어 있어야 한다. - 주의해햐 할 점은 cmake 3.10 이상의 버전을 설치해야 하기 때문에 update를 해주어야 한다. sudo -E apt-get update sudo apt-get install cmake - 만약에 위에 명령어로 설치가 안 될 경우에는 pip로 설치해보자. pip install cmake 2. Khaiii 설치 - 아래의 명령어를 쭉 따라하면 khaiii가 설치된다. git clone https://github.com/kakao/khaiii cd khaiii mkdir build cd build cmake .. make package_python cd package_python pip instal.. 공감수 0 댓글수 0 2020. 6. 3.
[Pytorch] Pytorch Window 설치 (CUDA) window에 CUDA와 CuDNN 설정되어 있다고 가정. * 설치 1. window의 CUDA 버전확인 - window CMD 창에서 입력. nvcc --version - 명령어를 입력하면 9점대 버전인 것을 확인할 수 있다. 2. 해당 버전에 맞는 Pytorch 설치 - pytorch는 anaconda에서 설치하는 것이 편하다. - anaconda prompt 창에서 입력. (설치하고 싶은 가상환경 activate후 입력) conda install pytorch torchvision cudatoolkit=9.0 -c pytorch * 설치 확인 torch를 불러오고 device_name을 확인한다. import torch torch.cuda.get_device_name(0) 공감수 0 댓글수 0 2020. 6. 3.
[VScode] VScode SFTP 연결 방법 1. Extensions에서 SFTP 설치 - VSCODE 확장기능 TAB에서 SFTP를 설치한다. 2. sftp.json 파일을 설정한다. - F1을 누르고 sftp.json를 입력한다. - sftp.json의 서버 접속하는데 필요한 정보를 입력한다. { "name": "My Server", "host": "IP주소 입력", "protocol": "sftp", "port": 22, "username": "Username 입력", "password": "비밀번호 입력", "remotePath": "/var/www/html/MyResume/", "uploadOnSave": true } 3. 서버에서 폴더를 다운로드 한다. - SFTP: Download Project를 하면 서버에 저장되어 있던 파일이 로컬.. 공감수 2 댓글수 0 2020. 5. 28.
[Hexo] Hexo 블로그 테마 적용 github에 hexo 블로그에 icarus 테마 입히기. [ 적용 방법 ] 1. icarus 테마 git에서 다운. cd myblog git clone https://github.com/ppoffice/hexo-theme-icarus.git themes/icarus 2. 실행 결과 3. theme을 바꿔준다. - /myblog/_config.yml 에 들어가서 변경해준다. # Extensions ## Themes: https://hexo.io/themes/ theme: icarus [ 주의 사항 ] - _config.yml은 두개가 있다. - 첫번째로 /myblog/_config.yml이 있고 hexo 블로그의 전반적인 사항을 관리한다. - 두번째로 /themes/icarus/_config.yml이 있.. 공감수 0 댓글수 0 2020. 5. 28.
[Hexo] Github Hexo 블로그 만들기 * 초기 설정 1. node.js 설치 - Download : https://javacpro.tistory.com/62 - 여기서 사용할 hexo는 node 기반이라 node.js가 설치되어 있어야 한다. 2. git 설치 - Download : https://git-scm.com/downloads - Github과 연동시키기 위해서는 git이 기본적으로 설치되어 있어야 한다. 3. hexo 설치 - hexo를 설치한다. npm install -g hexo-cli 4. 블로그 설정 - 블로그 폴더를 설치하고 hexo를 초기화한다. hexo init myblog cd myblog npm install - 완료되면 아래와 같이 구조가 생성된다. . ├── _config.yml ├── package.json .. 공감수 0 댓글수 0 2020. 5. 26.
[Nginx + Flask + Uwsgi] 초기 세팅 1. Nginx, Flask, Uwsgi를 설치한다. pip3 install nginx pip3 install uwsgi pip3 install flask pip3 install uwsgi-plugin-python 2. Flask 실행 - test.py 라는 파일을 만들고 실행하여 결과를 확인한다. from flask import Flask application = Flask(__name__) @application.route("/") def hello(): return "Hello!" if __name__ == "__main__": application.run(host='0.0.0.0') - curl 명령어를 실행해서 확인해본다. curl http://localhost:5000 3. uwsgi 파일 만.. 공감수 1 댓글수 0 2019. 11. 9.
[AWS] EC2 Instance에 Atom과 WinSCP 연동하기 * Atom 아톰은 기존의 SFTP 연결하던 방법과 같다. - user에 ubuntu로 설치 했으면 ubuntu를 입력한다. - password는 초기에 설정 안되어있을 가능성이 높다. sudo passwd root를 입력해서 비밀번호를 설정한 후에 입력한다. - privatekey에는 .pem 파일이 위치한 경로를 잡아준다. ex) "privatekey": "/Users/user_name/Downloads/name.pem" - 하지만! 이렇게 해서 접속을 하더라도 아톰을 사용해서 파일 업로드가 되지 않을 가능성이 크다. - sudo chown -R ubuntu:ubuntu /var/www/html 를 입력해서 권한을 변경해주어야 파일 업로드 될 것 이다. * WinSCP - SSH에 인증 부분을 들어가.. 공감수 0 댓글수 0 2019. 11. 8.
[AWS] EC2 Instance 웹서버 설치 후 구동하기 Nginx를 설치하고 IPv4 퍼블릭 IP 주소 값으로 접근을 했는데 되지 않았다. 방화벽에 80번 포트를 추가해주어야 한다. - Descripttion에 Security group의 launch-wizard를 선택한다. - Inbound 탭을 누른다. - Edit 버튼을 누르고 Add Rule 버튼을 클릭한다. 이렇게 추가하고 들어가면 끝! 접속이 될 것 이다. * 참고 URL https://medium.com/@taeyeolkim/aws-ec2%EC%97%90-%EC%9B%B9%EC%84%9C%EB%B2%84-nginx-%EC%84%A4%EC%B9%98%ED%95%98%EA%B3%A0-%EA%B5%AC%EB%8F%99%ED%95%98%EA%B8%B0-a46a6e9484a8 공감수 0 댓글수 0 2019. 11. 8.
[AWS] EC2 Instance 생성 후 putty 접속 * AWS EC2 Instance 생성 https://aws.amazon.com/ko/ - 콘솔에 로그인 하기를 한 후 EC2 인스턴스를 생성한다. - 사실 생성까지는 쉽지만 약간 어려울 수 있는게 보안 그룹에 Key File 부분이 헷갈릴 수 있다. - 우선 .pem 확장자 파일을 다운 받는다. ( 접속 때 중요하게 사용되어진다. ) * AWS putty 접속 - 우선 puttygen을 사용해 .pem 파일을 .ppk 파일로 생성한다. - Load 버튼을 클릭한 후에 방금 만들었던 .pem 파일을 선택한다. - save 버튼을 누르고 이름을 지정한 후 저장한다. - Host Name에는 퍼블릭 DNS(IPv4)의 주소값을 입력한다. - 접속>SSH>AUTH로 가서 Private Key파일을 선택한다. .. 공감수 0 댓글수 0 2019. 11. 8.
[Tensorflow] Google Colab 사용법 정리 [1] Colab에 접속한다. https://colab.research.google.com/notebooks/welcome.ipynb Google Colaboratory colab.research.google.com [2] 새로운 python3.ipynb 파일을 만든 후 google drive mount를 한다. from google.colab import drive drive.mount('/content/gdrive') from google.colab import drive drive.mount('/content/gdrive') 해당 코드를 실행하면 enter authorization code를 입력하라고 창이 뜬다. [3] authorization code 받는 주소 https://co.. 공감수 0 댓글수 0 2019. 9. 10.
[Server] pytube sample code 1. pip 툴을 사용해 pytube를 install 한다. 2. code를 돌려 youtube 영상을 다운 받는다. # -*- coding: utf-8 -*- import os import subprocess import pytube yt = pytube.YouTube("https://www.youtube.com/watch?v=ZMpQgvmw3kk") #다운받을 동영상 URL 지정 vids= yt.streams.all() #영상 형식 리스트 확인 for i in range(len(vids)): print(i,'. ',vids[i]) vnum = int(input("다운 받을 화질은? ")) parent_dir = "/home/lee" #저장 경로 지정(Windows or mac) vids[vnum].. 공감수 0 댓글수 0 2019. 9. 10.
[Docker] 설치하기 * Docker 설치 curl -fsSL https://get.docker.com/ | sudo sh * 설치 확인 docker version 설치가 완료되면 ( 그림1 )과 같이 결과가 나온다. * docker 명령어 모음 1) Image 파일 설치 : docker run ubuntu:16.04 2) docker run : docker run -it ubuntu:16.04 3) docker exec : 실행중인 컨테이너에 접속할 때 사용 docker exec -it mysql bash 4) docker image 확인 docker images 5) docker container 확인 docker ps -a 6) docker image 제거 docker rm.. 공감수 0 댓글수 0 2019. 9. 10.
[Google Cloud Storage] 설치하기 * 설치 과정 curl https://sdk.cloud.google.com | bash exec -l $SHELL gcloud init * 새로운 버킷 생성 명령어 gsutil mb -l us-east1 gs://my-awesome-bucket/ * 파일 업로드 gsutil cp Desktop/kitten.png gs://my-awesome-bucket gsutil cp /home/lee/video/chul9hyung/5Hj3sW2OroU.wav gs://my-youtube-bucket * 버킷에 파일 조회 gsutil ls gs://my-awesome-bucket 공감수 0 댓글수 0 2019. 9. 10.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.