슬기로운 연구생활

이전 글 [1] 자연어처리란? [2] Classification Task 들어가며 이전 글에서는 자연어처리 Classification의 전체 흐름과 구현 코드를 알아보았습니다. Classification은 Load Data > Pre Processing > Text To Vector > Build Model > Evaluation의 흐름으로 진행됩니다. 이번 글에서는 Pre Processing 방법 중 하나인 POS Tagging에 대해 살펴보겠습니다. POS Tagging 품사 태깅은 문장을 형태소 단위로 분리 한 후, 해당 형태소의 품사를 태깅하는 것을 의미합니다. 품사는 명사, 대명사, 수사, 조사, 동사, 형용사, 관형사, 부사, 감탄사와 같이 공통된 성질을 지닌 낱말끼리 모아 놓은 낱말의 갈래를..

이전 글 [1] 자연어처리란? 들어가며 이전 글에서는 자연어처리 정의와 Task에 대해 알아보았습니다. 자연어처리의 Task는 크게 Classification과 Generation로 구분될 수 있습니다. 이번 글에서는 Classification의 전체 흐름과 구현 방법에 대해 알아보겠습니다. Classification 이란 무엇인가? Classification은 Input 값을 특정 Class로 분류하는 것을 의미합니다. Classification은 간단하지만 다양한 분야에 적용할 수 있습니다. - 영화 리뷰 긍부정 분류 - 가짜 뉴스 분류 - 질문의 의도 분류 - 사용자의 발화 의도 분류 Classification으로 챗봇까지 구현할 수 있습니다. Chat1 : 오늘 밥 먹자 Chat2 : 좋아 뭐 먹..

자연어처리(Natural Language Processing)란? Natural Language Processing(NLP)을 한국어로 직독하면 자연 언어 처리라는 뜻입니다. - 자연어 : 일반 사회에서 자연히 발생하여 자연스럽게 쓰이고 있는 언어. 에스페란토와 같은 인공 언어에 대응하여 이르는 말. ( 출처 : 네이버 사전 ) - 기계어 : 컴퓨터가 직접 읽을 수 있는 2진 숫자(binary digit, 0과 1)로 이루어진 언어를 말하며, 이는 프로그래밍 언어의 기본이 된다. ( 출처 : 네이버 사전 ) 사전적인 정의는 위와 같으며 직관적으로 말하면, 우리가 사용하는 한국어, 영어, 일본어 등 다양한 언어를 처리하는 행위를 NLP라 합니다. NLP Task 종류 NLP에는 다양한 Task가 존재합니다..