목록stopword (1)

일단 테크블로그😊

[AI/NLP] NLTK를 통한 자연어 처리 기초개념(Tokenization, Stopwords, POS tagging, NER, Stemming, Lemmatization)

0. NLTK란?  NLTK는 자연어 처리를 위한 대표적인 파이썬 라이브러리이며,  자연어 처리 분야에서 학계와 산업 현장을 가리지 않고 널리 사용되는 인기 있는 툴킷이다. NLTK가 제공하는 대표적인 알고리즘은 다음과 같으며, 본 포스팅에서는 각각의 알고리즘에 대해 알아볼 것이다.TokenizationStopwordsPOS taggingNERStemming, Lemmatization 1. Tokenization (토큰화)  우리가 컴퓨터로 자연어를 처리하기 위해서는, 받은 문장을 일정한 단위로 나누어 분석해야 한다. 이에, 입력받은 자연어를 일정한 Chunk(덩어리)로 잘라서 처리하는 과정을 Tokenization(토큰화)라고 하며, 이 Chunk들을 Token이라고 부른다. 이 Token들은 자연어 ..
AI/NLP 2024. 4. 25. 10:52
이전 Prev 1 Next 다음