1.词频

      TF(term frequency)词频，就是该分词在该文档中出现的频率，算法是：（该分词在该文档出现的次数）/(该文档分词的总数)，这个值越大表示这个词越重要，即权重就越大。

例如：一篇文档分词后，总共有500个分词，而分词”Hello”出现的次数是20次，则TF值是： tf =20/500=0.04 

　　考虑到文章有长短之分，为了便于不同文章的比较，进行'词频'标准化。

　　或者

2.逆文档频率

　　IDF（inversedocument frequency）逆向文件频率,一个文档库中，一个分词出现在的文档数越少越能和其它文档区别开来。算法是： log(总文档数/(出现该分词的文档 数+1)) 。如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。

例如：一个文档库中总共有50篇文档，2篇文档中出现过“Hello”分词，则idf是： Idf = log(50/3) =1.2218487496

3.TF-IDF

　　TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。

3.1用途

　　自动提取关键词，计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。

　　信息检索时，对于每个文档，都可以分别计算一组搜索词（'Hadoop'、'MapReduce'）的TF-IDF，将它们相加，就可以得到整个文档的TF-IDF。这个值最高的文档就是与搜索词最相关的文档。

3.2优缺点

　　TF-IDF算法的优点是简单快速，结果比较符合实际情况。缺点是，单纯以'词频'衡量一个词的重要性，不够全面，有时重要的词可能出现次数并 不 多。而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和 每一段的第一句话，给予较大的权重。）

4.使用Hadoop计算TF-IDF

　　运行参数，第一个为文本存储路径，第二个为临时路径，第三个为结果输出路径