| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 | 31 |
- pos tagging
- MachineCode
- MITM
- 노말틱
- lemmatization
- 15679
- Normaltic
- DNS해킹
- 모두의 깃&깃허브
- NLTK
- CodeTranslation
- 동형암호
- AI
- C
- 해킹 용어
- bettercap
- bagofwords
- 해킹입문
- Private AI
- HEaaN
- youtubeNormaltic
- NLP
- CProgramming
- 비트시프트
- 딥러닝
- c언어
- DNS개념
- kali
- pynput
- stopword
- Today
- Total
목록AI/NLP (2)
일단 테크블로그😊
[AI/NLP] Bag of Words(CountVectorizer) vs TF-IDF
0. 접근 자연어를 처리하는 방법에 대해 조금 더 생각해 보자. 이전 NLTK 포스팅(NLTK를 통한 자연어 처리 기초개념(Tokenization, Stopwords, POS tagging, NER, Stemming, Lemmatization)에서 자연어를 어떤 식으로 가공하는지 까지는 이해하였다. Token 단위로 자연어를 자르고, Stopwords들을 제거하고, Stemming이나 lemmetization을 통하여 단어를 표준화시키기는 하였지만, 이렇게 처리한 자연어는 아직 자연어이다. 즉, 숫자만 알아듣는 컴퓨터에게 이 가공된 자연어를 컴퓨터에 어떻게 변환시켜 이해시킬 것인가? 에 대한 근본적인 해답은 없는 상태이다. [AI/NLP] NLTK를 통한 자연어 처리 기초개념(Tokenization,S..
[AI/NLP] NLTK를 통한 자연어 처리 기초개념(Tokenization, Stopwords, POS tagging, NER, Stemming, Lemmatization)
0. NLTK란? NLTK는 자연어 처리를 위한 대표적인 파이썬 라이브러리이며, 자연어 처리 분야에서 학계와 산업 현장을 가리지 않고 널리 사용되는 인기 있는 툴킷이다. NLTK가 제공하는 대표적인 알고리즘은 다음과 같으며, 본 포스팅에서는 각각의 알고리즘에 대해 알아볼 것이다.TokenizationStopwordsPOS taggingNERStemming, Lemmatization 1. Tokenization (토큰화) 우리가 컴퓨터로 자연어를 처리하기 위해서는, 받은 문장을 일정한 단위로 나누어 분석해야 한다. 이에, 입력받은 자연어를 일정한 Chunk(덩어리)로 잘라서 처리하는 과정을 Tokenization(토큰화)라고 하며, 이 Chunk들을 Token이라고 부른다. 이 Token들은 자연어 ..