关于TF(词频) 和TF-IDF(词频-逆向文件频率 )的理解

 ##TF-IDF

TF（词频）:  假定存在一份有N个词的文件A，其中‘明星‘这个词出现的次数为T。那么 TF = T/N;

所以表示为： 某一个词在某一个文件中出现的频率.

 

TF-IDF(词频-逆向文件频率)：  表示的词频和逆向文件频率的乘积.

比如：  假定存在一份有N个词的文件A，其中‘明星‘这个词出现的次数为T。那么 TF = T/N;  并且‘明星’这个词，在W份文件中出现，而总共有X份文件，那么

IDF = log(X/W) ;

而： TF-IDF =  TF *  IDF = T/N * log(X/W);   我们发现，‘明星’，这个出现在W份文件，W越小 TF-IDF越大，也就是这个词越有可能是该文档的关键字，而不是习惯词（类似于：‘的’，‘是’，‘不是’这些词），

而TF越大，说明这个词在文档中的信息量越大.