語言模型的演化：從生成語法到超大語言模型、對齊、世界模型與智慧體協作#
The Evolution of Language Models: From Generative Grammar to LLMs, Alignment, World Models and Agent Collaboration
本書是「人工智慧系列」的第八本。前幾本處理的是神經網路的算子、強化學習的演算法、博弈的搜尋、聲音的訊號表示；語言模型是把這些零件組裝成「能思考、能推理、能行動」的完整系統的載體，因此本書刻意走一條更長的時間軸：七十年。
全書的因果主線是「記憶的存放位置」不斷遷移：
- 語法規則存在於人的心智中（1957 生成語法）→ 機器只學會判斷句子是否合法，卻不會生成
- 機率存在於計數表中（n-gram）→ 稀疏性逼出平滑，逼出對稱性，逼出向量
- 意義存在於分散式向量中（Word2Vec）→ 靜態向量無法處理多義，序列模型登場
- 上下文存在於注意力矩陣中（Transformer）→ 讓「記憶」變成可微、可查詢的運算
- 能力存在於權重中（預訓練）→ 但權重不能學會「聽指令」與「拒絕有害」
- 意圖存在於人類偏好中（RLHF、DPO）→ 對齊帶來可控，也帶來代價
- 知識存在於模型之外（RAG、工具呼叫）→ 避免幻覺，也帶來檢索與延遲成本
- 推理發生於測試時（思維鏈、形式化證明）→ 把算力從訓練期搬到推論期
- 世界存在於模型的內部狀態中（世界模型）→ 讓「想像」成為可規劃的對象
- 行動存在於迴圈中（智慧體、多智慧體協作）→ 語言模型成為大腦，周圍長出感官與手腳
目錄#
- 第1章-生成語法與符號主義的黃金時代（1957-1980年代）
- 1.1-1957年-喬姆斯基生成語法與句法結構理論
- 1.2-1960至1980年代-符號邏輯、規則系統與有限狀態機
- 1.3-1980年代末-符號主義的困境與組合爆炸瓶頸
- 第2章-統計語言模型與機器學習的興起（1980至2000年代）
- 第3章-分散式表示與神經網路語言模型（2010年代初）
- 第4章-架構的顛覆：Transformer 與自注意力機制（2017年）
- 第5章-大規模語言模型的預訓練基石（2018至2022年代）
- 第6章-LLM 架構突破與高效能運算工程（2023至2024年代）
- 第7章-指令微調、上下文學習與參數高效微調（2020至2024年代）
- 第8章-人類意圖對齊與安全防護架構（2022至2024年代）
- 第9章-知識檢索增強與外部工具調用（2023至2025年）
- 第10章-系統二推理、數學證明、世界模型與智慧體革命（2024至2026年）
- 10.1-2024至2026年-系統二推理：思維鏈與測試時計算架構
- 10.2-2025至2026年-LLM與形式化數學證明的深度結合
- 10.3-2025至2026年-大型語言模型作為世界模型與物理規律模擬
- 10.4-2025至2026年-智慧體迴圈、規劃與多智慧體協作
檔名與格式說明#
- 檔名格式：
xx.y-標題（年份）.md，歷史事件標題附年份 - 檔名內不使用半形冒號（改用全形「：」），避免檔案系統相容性問題
- README 的連結必須與實際檔名完全一致
- 行內數學一律寫成
$ 公式 $（$前後各留一個半形空格）；顯示數學以獨立行$$包裹 - 禁用
\[ \]、\( \]與反引號包數學