思路：
1、对新文本进行对其断句、分词、去除停用词，
2、计算文档的二阶共现、三阶共现、四阶共现频率
3、发现两个字符串合并的新词：针对统计的二阶共现频率，计算词语的
互信息：
左右熵：基于对应三阶共现结果
将结果进行加权求和，最后排序，根据经验阈值确定新词，然后使用词典过滤后加入词典
4、发现三个字符串合并的新词，与3 同理，统计三阶共现概率
互信息计算需要 对n-gram 的互信息求和，如 细思极恐=>MI(细,思)+MI(思,极)+MI(极,恐)
左右熵计算：计算对应的四阶共现词频
思路：
1、对新文本进行对其断句、分词、去除停用词，
2、计算文档的二阶共现、三阶共现、四阶共现频率
3、发现两个字符串合并的新词：针对统计的二阶共现频率，计算词语的
互信息：
左右熵：基于对应三阶共现结果
将结果进行加权求和，最后排序，根据经验阈值确定新词，然后使用词典过滤后加入词典
4、发现三个字符串合并的新词，与3 同理，统计三阶共现概率
互信息计算需要 对n-gram 的互信息求和，如 细思极恐=>MI(细,思)+MI(思,极)+MI(极,恐)
左右熵计算：计算对应的四阶共现词频
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。