일단 테크블로그😊

0. 접근  자연어를 처리하는 방법에 대해 조금 더 생각해 보자. 이전 NLTK 포스팅(NLTK를 통한 자연어 처리 기초개념(Tokenization, Stopwords, POS tagging, NER, Stemming, Lemmatization)에서 자연어를 어떤 식으로 가공하는지 까지는 이해하였다. Token 단위로 자연어를 자르고, Stopwords들을 제거하고, Stemming이나 lemmetization을 통하여 단어를 표준화시키기는 하였지만, 이렇게 처리한 자연어는 아직 자연어이다. 즉, 숫자만 알아듣는 컴퓨터에게 이 가공된 자연어를 컴퓨터에 어떻게 변환시켜 이해시킬 것인가? 에 대한 근본적인 해답은 없는 상태이다. [AI/NLP] NLTK를 통한 자연어 처리 기초개념(Tokenization,S..

0. NLTK란?  NLTK는 자연어 처리를 위한 대표적인 파이썬 라이브러리이며,  자연어 처리 분야에서 학계와 산업 현장을 가리지 않고 널리 사용되는 인기 있는 툴킷이다. NLTK가 제공하는 대표적인 알고리즘은 다음과 같으며, 본 포스팅에서는 각각의 알고리즘에 대해 알아볼 것이다.TokenizationStopwordsPOS taggingNERStemming, Lemmatization 1. Tokenization (토큰화)  우리가 컴퓨터로 자연어를 처리하기 위해서는, 받은 문장을 일정한 단위로 나누어 분석해야 한다. 이에, 입력받은 자연어를 일정한 Chunk(덩어리)로 잘라서 처리하는 과정을 Tokenization(토큰화)라고 하며, 이 Chunk들을 Token이라고 부른다. 이 Token들은 자연어 ..

머신러닝 공부 시작 때 항상 만나지만, 초보 수준에서는 항상 헷갈리는 개념이 있다. 바로 지도학습과 비지도학습, 강화학습 간의 개념 구별이다. 특히 비전공자인 일반인 분들 중에서 AI에 관심을 가지고자 할 때 가장 큰 장벽으로 작용하기도 하는 부분이기도 하다. 필자도 초보 시절에는 머신러닝이니 딥러닝이니 강화학습이니, 들으면 들을수록 헷갈렸고 멋있는 기술이 최강(?)인 줄 알았다. 본 포스팅을 통해서, 이 글을 보시는 여러분들이 딱 기억해 가야 할 것만을 정리하여, 더 이상 이런 개념의 혼돈이 없었으면 좋겠다. 1. 머신 러닝(Machine Learning)이란? 우선 다른 복잡한 생각은 제쳐두고, 머신러닝부터 집중해 보자. 우리는 컴퓨터가 발명된 이후, 컴퓨터를 통해 여러 문제를 해결하기 시작했다. 그..