〔图解N-gram语言模型的原理〕〔KenLM〕
先下载编译KenLM
wget -O - https://kheafield.com/code/kenlm.tar.gz | tar xz # 7z最大压缩后 315Klibboost-program-options-dev libboost-system-dev libboost-thread-dev libboost-test-dev # 需要下载14.2MB。解压后占据185MB。
# 作者推荐libboost-all-dev，我没装也编译出来了。mkdir kenlm/build cd kenlm/build cmake .. make -j2 # make -j 2路编译，make只是慢点而已
再写个分字程序：
enum { YI = 0x4E00 }; // 第1个汉字的编码是U+4E00，“一”void do_file (FILE* f) {static char buf[4 * 1024 * 1024];setvbuf(f, buf, _IOFBF, sizeof(buf));for (wint_t b = 0, c;;) {int n = 0;while ((c = getwc(f)) != WEOF && c != '\n' && c < YI) ++n;if (c == WEOF) return;else if (c == '\n') putwc(c, stdout);else {if (n || b >= YI) putwc(' ', stdout);putwc(c, stdout);}b = c;} }int main (int argc, char** argv) {static char buf[4 * 1024 * 1024];setvbuf(stdout, buf, _IOFBF, sizeof(buf));setlocale(LC_CTYPE, "");for (int i = 1; i < argc; i++) {if (FILE* f = fopen(argv[i], "r")) do_file(f), fclose(f);} }#include <stdio.h> #include <locale.h> #include <wchar.h>
然后分字，seg *.txt | lmplz -o 2 >slm.arpa
lmplz默认从stdin读，写到stdout.
- --arpa file Write ARPA to a file instead of stdout
- --text file Read text from a file instead of stdin
接着build_binary slm.arpa slm.bin. 它默认使用mmap: map a file into memory.
不带输出文件名的build_binary给出将要使用多大空间的信息。
然后准备q.txt for query，它和seg的输出都是用一个空格把汉字分开，如：
三 亚 市
四 亚 县
$ query slm.bin <q.txt This binary file contains probing hash tables. 三=94 2 -2.183814 亚=222 2 -2.062365 市=61 2 -1.069804 </s>=2 2 -0.59742165 Total: -5.9134045 OOV: 0 四=116 2 -2.7783926 亚=222 1 -4.9270372 县=13 1 -1.9410045 </s>=2 2 -1.3998605 Total: -11.046295 OOV: 0 </s>=2 1 -2.6049278 Total: -2.6049278 OOV: 0 Perplexity including OOVs: 149.2270280712436 Perplexity excluding OOVs: 149.2270280712436 OOVs: 0 Tokens: 9 Name:query VmPeak:7196 kB VmRSS:4332 kB RSSMax:5188 kB
user:0.004243 sys:0 CPU:0.00431801 real:0.000905842
里面的概率应该是10 ** x，反正三亚市的可能性大（多）了。算概率时记着用+而不是*即可。
预告：在下要做个IME.NT，NT代表No Threshold.
拼音到字的转换表和字的bi-gram存放在sqlite数据库里。Console程序，输入拼音串，显示概率最高的汉字串。
我倒是幻想Nuclear Threat: “村村有地道”，人人会做输入法。 :-) 奈何“人生不如意之事，十有八九”。
Penilum meum pullo sententia Latin a est 「通过浪费时间获得快乐」！