목록Bow (1)

일단 테크블로그😊

[AI/NLP] Bag of Words(CountVectorizer) vs TF-IDF

0. 접근  자연어를 처리하는 방법에 대해 조금 더 생각해 보자. 이전 NLTK 포스팅(NLTK를 통한 자연어 처리 기초개념(Tokenization, Stopwords, POS tagging, NER, Stemming, Lemmatization)에서 자연어를 어떤 식으로 가공하는지 까지는 이해하였다. Token 단위로 자연어를 자르고, Stopwords들을 제거하고, Stemming이나 lemmetization을 통하여 단어를 표준화시키기는 하였지만, 이렇게 처리한 자연어는 아직 자연어이다. 즉, 숫자만 알아듣는 컴퓨터에게 이 가공된 자연어를 컴퓨터에 어떻게 변환시켜 이해시킬 것인가? 에 대한 근본적인 해답은 없는 상태이다. [AI/NLP] NLTK를 통한 자연어 처리 기초개념(Tokenization,S..
AI/NLP 2024. 4. 25. 23:34
이전 Prev 1 Next 다음