第7章 分詞與語言處理#

前六章把文字當成「字元串」處理；從本章起，我們要把文字當成語言處理：先切出有意義的單位（詞），再把詞變成電腦能計算的表示（向量）。這是從「字元演算法」邁向「語言演算法」的橋樑。

7.1 節介紹英文分詞（tokenization）與詞幹化（stemming）——Porter 演算法如何用規則把 running 還原成 run；7.2 節聚焦中文分詞：中文沒有空格，歧義句「南京市長江大橋」可以有兩種切法，我們實作最大匹配法與 HMM 思想；7.3 節介紹詞向量：從 one-hot 到 word2vec，詞如何被表示成「語義空間中的點」，讓「國王 − 男人 + 女人 ≈ 女王」成為可能。

學完本章，讀者應能為搜尋引擎（第8章）與文字分類（第9章）備妥最基本的原料：乾淨、規格化、有意義的詞序列。