목록슬기로운 에러 생활 (45)

슬기로운 연구생활

urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url:

* 문제 : 허깅페이스 모델을 불러올 때 사내 보안 문제 때문에 자꾸 SSL 에러가 발생했다. * 해결방안 : 사내 인증서를 잘 등록하는게 깔끔하기는 하지만.. 잘 안되서 그냥 직접 다운 받아 해결했다. 1. 사용하고자 하는 허깅페이스 모델을 직접 다운로드 받는다. 2. 사전 훈련 모델을 불러오는 과정에서 local_files_only를 True로 설정해 다운 받은 사전 훈련 받은 파일을 사용하게 한다. electra_model = ElectraTokenizer.from_pretrained(koelectra_dir, local_files_only=True)
슬기로운 에러 생활 2022. 3. 14. 15:46
WARNING: apt does not have a stable CLI interface. Use with caution in scripts

* 상황 저사양 GPU는 CUDA 세팅이 자동화되어 있거나 매우 간편하지만... 최신 사양의 30시리즈는 GPU Driver, CUDA Toolkit, CuDNN의 버전을 잘 맞춰줘야 한다. * 해결방안 (1) Nvidia-Driver 설치 nvidia-smi를 했는데 WARNING: apt does not have a stable CLI interface. Use with caution in scripts이란 메세지가 보이면 GPU Driver가 설치 안된것이다. sudo apt-get purge nvidia-* sudo apt-get update sudo apt-get autoremove apt search nvidia-driver sudo apt install libnvidia-common-470 ..
슬기로운 에러 생활 2022. 1. 6. 10:41
nohup.out에 출력결과 즉시 nohup에 찍고 싶을 때

원래 백그라운드 실행할 때 아래와 같이 사용했었다. nohup python temp.py & 하지만 nohup 결과가 실시간으로 혹은 안 찍힐때도 있는 경우가 발생했다. 그래서 print문을 실시간으로 찍어내는 코드를 찾았다. nohup python -u filename.py & tail -f nohup.out
슬기로운 에러 생활 2021. 11. 19. 17:32
OSError: [E050] Can't find model 'de_core_news_sm'... only on debug mode

* 에러 원인 spacy.load("de_core_news_sm")을 사용하려 했는데 위치를 찾지 못하겠다는 에러가 발생했다. spacy는 항상 사용할때마다 뭔 에러가 나는 것 같다. * 에러 해결 de_core_new_sm을 import해서 해결 import en_core_web_sm, de_core_news_sm spacy_de = de_core_news_sm.load() spacy_en = en_core_web_sm.load()
슬기로운 에러 생활 2021. 11. 17. 15:50
git fatal out of memory malloc failed

* 에러 원인 git 로컬 저장소에 너무 용량이 큰 모델을 에러를 올려 에러가 발생했다. * 에러 해결 근본적인 해결방법은 너무 큰 모델을 올리면 안된다. 일단 당장의 문제를 해결하기 위해서는 git local 터미널에 들어가 아래의 명령어를 입력한다. git reset git init
슬기로운 에러 생활 2021. 9. 13. 18:11
couldn't communicate with the NVIDIA Driver

* 에러 원인 GPU를 사용해 시스템을 돌리고 있는 도중 갑작스럽게 프로그램이 다운되거나 컴퓨터가 꺼질 경우 간혹 발생하는 문제이다. 해당 문제가 발생하면 nvidia-smi 명령어가 작동하지 않는다. nvidia-smi NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running * 에러 해결 1. apt --installed list | grep nvidia-driver - 해당 컴퓨터에 설치된 nvidia-driver 버전을 확인한다. - nvidia-driver-460/bionic-updates,bioni..
슬기로운 에러 생활 2021. 9. 13. 18:06
Missing key(s) in state_dict: "embeddings.position_ids".

* 에러 원인 : kobert를 사용하다 발생했다. 미리 학습된 모델의 weight 값을 load_state_dict를 사용했다. 여기서 기존 버전과 모델이 맞지 않아 발생한 에러인 것 같다. * 해결 방법 : load_state_dict에서 strict를 False를 설정하면 해결된다. bertmodel.load_state_dict(torch.load(model_file), strict=False)
슬기로운 에러 생활 2021. 9. 9. 08:03
[bentoml] module not found error: no module named

* 에러 원인 - bentoml은 service.py와 builder.py로 구분한다. builder.py에서 KoBERT+CRF모델을 사용했는데 외부 모듈을 사용했다. 그리고 service.py에서 KoBERT+CRF를 artifact에 매핑한 것을 가져와 사용했는데 자꾸 외부 모듈을 찾을 수 없다는 에러가 발생했다. 나는 단순히 service.py는 builder.py에서 pack한 모델을 가져와서 사용하면 되는 줄 알았는데 service.py에도 외부 모듈 import하는게 필요하다. 그 import 한 것을 service.py 내부 코드에서 직접 사용하지 않더라도 넣어줘야 문제가 해결이된다. * 해결 방법 from utils.net import KobertCRF from utils.pad_sequ..
슬기로운 에러 생활 2021. 8. 30. 13:56
Prev 1 2 3 4 5 6 Next