计算语言学
Computational
Linguistics让计算机读懂人类的语言
从"沙子到 AI"之后，巧手猫戴上圆框眼镜，拿起键盘——这一册用计算的眼光重新看语言：分词、句法树、词向量、大模型，背后都是数学与代码。
让计算机处理语言
分词、词性、句法分析、语义——把句子"拆"成机器能算的结构。
统计、向量、神经网络、大模型——从数据里"学"语言规律。
翻译、问答、对话、语音合成——让机器"说"人话。
💡 核心问题：语言是离散、歧义、开放的，而计算机只会算数字与概率。计算语言学就是这座桥。
规则 → 统计 → 神经
1950s–1980s
手写语法规则、专家系统。
❌ 规则写不完，覆盖不了真实语言。
1990s–2010s
从语料里数概率：N-gram、HMM、IBM 翻译模型。
✅ 靠数据，不靠人写规则。
2013–至今
词向量→RNN→Transformer→大模型。
✅ 机器自己学"表示"，能力飞跃。
💡 每一次浪潮都不是"推翻"，而是叠加：今天的系统仍用规则做预处理、用统计做评测、用神经网络做主力。
从句子里挖实体
自动标出人名、地名、机构、时间、金额。
"2024年 苹果 在 库克 带领下…" → 时间/机构/人名。
比 HMM 更强的序列标注模型：不只看局部，还考虑整条标签序列的全局最优。
"南京/市长"还是"南京市长"？全局约束能避免切错。
💡 NER 是信息抽取的基础：知识图谱构建、智能问答、简历解析都靠它先把"谁/哪/何时"认出来。
不用循环，也能看清全局
每个词同时"看"句子里所有词，按相关度分配注意力，加权汇总。
"它"该指谁？注意力会自动把高权重给到上文最相关的名词。
Query=你在图书馆想找什么；Key=每本书的标签；Value=书的内容。
用 Q 去匹配所有 K，越匹配的 V 权重越高——这就是注意力。
💡 Transformer(2017) 用纯注意力替代循环，可并行、看得远——它是 GPT/BERT 等大模型的引擎。
从语料里涌现的能力
预训练：让模型读海量文本，做"猜下一个词"——学会语言通识。
微调/指令对齐：再教它听指令、守价值观。
GPT：从左到右，擅长生成（续写、对话）。
BERT：双向"完形填空"，擅长理解（分类、问答）。
💡 参数到千亿级后，模型"涌现"出翻译/推理/写代码等能力——这些没人显式教过，是从语言规律里自学的。