第9章 自然語言處理演算法#

前兩章把文字變成詞、把詞變成向量；本章用這些原料做理解與生成層的任務：判斷一段文字的情緒（分類）、預測下一個詞（語言模型）、以及理解整段語義（Transformer 與 LLM）。

9.1 節實作單純貝氏分類器——樸素卻驚人有效的文字分類基準，並引出「生成式 vs 判別式」的分類觀點；9.2 節沿時間軸走過語言模型的演進：N-gram 統計模型、平滑技術、RNN/LSTM，到神經網路的困惑度衡量；9.3 節介紹Transformer 與大型語言模型：注意力機制如何取代遞迴、自監督預訓練如何改變遊戲規則，以及 LLM 時代文字演算法的新角色（分詞、檢索增強、上下文管理）。

學完本章，讀者應能看出一條主線：從統計到神經，語言建模的本質不變——預測文字的概率分布；改變的是模型的表達能力與訓練資料的規模。