基于词频统计的简单语言模型(C++)
最近看了一些关于 BERT 和自然语言处理的内容,对语言模型比较感兴趣。
简单来说,就是让计算机从已有文本中学习词语之间的关系,再根据前面出现的内容,预测后面可能出现什么。
BERT 的结构比较复杂,目前肯定是实现不了的。所以准备先用 C++ 写一个简单的统计模型,尝试通过词频和上下文关系生成文本。
思路有点类似 n-gram,不涉及神经网络,主要还是利用文本统计。
一、词频统计
首先需要让程序读取文本,并统计词语之间的相邻关系。
比如有下面几句话:
今天 天气 很好
今天 天气 不错
今天 下午 下雨
可以统计出:
| 前一个词 | 后一个词 | 次数 |
|---|---|---|
| 今天 | 天气 | 2 |
| 今天 | 下午 | 1 |
| 天气 | 很好 | 1 |
| 天气 | 不错 | 1 |
这样程序遇到“今天”时,就可以判断后面出现“天气”的可能性比较高。
我准备用 map 保存这些数据。每一个词对应若干个后续词语,再记录它们出现的次数。
核心代码大致是:
map<string, map<string, int> > Word_Count;
void Train(string filename) {
ifstream infile(filename.c_str());
string word1, word2;
if (!(infile >> word1)) {
return;
}
while (infile >> word2) {
Word_Count[word1][word2]++;
word1 = word2;
}
infile.close();
}
这里使用 ifstream 读取 TXT 文本,通过 map 统计每一组相邻词语出现的次数。
例如:
Word_Count["今天"]["天气"] = 2;
Word_Count["今天"]["下午"] = 1;
目前先按照文本中已经分隔好的词语处理。对于没有分词的中文文本,还需要考虑怎么把句子拆开,否则直接统计并不能得到真正的词语关系。
二、概率计算
统计完成以后,还需要根据出现次数决定输出什么。
如果“今天”后面一共出现了 3 次其他词语,其中“天气”出现 2 次,“下午”出现 1 次,那么可以计算:
也就是说,程序遇到“今天”时,有大约三分之二的概率选择“天气”。
实现时不一定每次都选择出现次数最多的词,可以使用随机数,按照统计次数分配不同的概率。
string Get_Next(string word) {
if (Word_Count.find(word) == Word_Count.end()) {
return "";
}
map<string, int>& Next = Word_Count[word];
int total = 0;
for (map<string, int>::iterator it = Next.begin();
it != Next.end(); it++) {
total += it->second;
}
if (total == 0) return "";
int p = rand() % total;
int sum = 0;
for (map<string, int>::iterator it = Next.begin();
it != Next.end(); it++) {
sum += it->second;
if (p < sum) {
return it->first;
}
}
return "";
}
这样不同词语被选中的概率就和统计次数有关。
不过这个方法也有明显的问题。如果某个词在训练文本中只出现过一次,那么它后面能选择的内容也就只有一种。
三、文本生成
有了前面的统计结果,就可以尝试自动生成文本。
最简单的方法是先输入一个起始词,然后根据统计结果选择下一个词,再用新生成的词继续查找。
string word = "今天";
for (int i = 0; i < 30; i++) {
cout << word << " ";
string next = Get_Next(word);
if (next == "") {
break;
}
word = next;
}
这样就可以连续输出一段文本。
但是生成结果并不理想。
程序确实能输出一些内容,不过基本都是一些不知所云的词语组合。有时候前面几个词看起来还算正常,继续往后生成就完全乱了。
例如可能出现类似这样的内容:
今天 天气 很好 今天 下午 下雨
今天 天气 不错 今天 天气 很好
这只是简单的示意,实际生成的内容还要混乱得多。
主要问题还是程序只能根据有限的上下文选择后面的词语,并不知道整句话到底是什么意思。
如果只考虑相邻的两个词,虽然每一步都可能符合统计规律,但连续生成以后,整段文本就不一定有任何逻辑了。
四、上下文问题
后来又考虑过增加上下文长度。
比如不再只根据前面一个词判断,而是根据前面两个词一起预测。
原来是:
今天 -> 天气
现在可以变成:
今天 天气 -> 很好
今天 天气 -> 不错
这样应该能减少一部分不合理的组合。
但问题也跟着出现了。
上下文越长,需要统计的组合就越多。如果训练文本比较少,很多组合可能只出现过一次,甚至根本找不到对应的后续内容。
而且即使考虑了更多词语,也还是无法保证生成出来的句子有意义。
目前看来,单纯增加统计范围,并不能直接解决这个问题。

















这一切,似未曾拥有