tf - idf vector

 

단어들 중에서 더 중요한 단어가 존재할 경우 tf - idf vector 사용

(순서는 고려하지 않음)

 

어떤 문서에나 자주 나오는 단어 => 관사, 대명사

특정 문서에서 자주 나오는 단어 => related to Topic

 

tf - idf score = tf X log( N / df )

 

tf ( term frequency ) : 현재 문서에서의 빈도수

df ( document frequency ) : 이 단어가 나오는 문서의 총 개수

 

* tf - idf vecter : BoW vector 에서 tf 점수를 idf 로 normalize *