9.1 貝氏文字分類#

import math
from collections import Counter, defaultdict

train = [
    ("演算法 複雜度 資料結構 動態規劃", "技術"),
    ("演算法 與 資料結構 是 電腦 科學 核心", "技術"),
    ("深度學習 模型 訓練 需要 大量 資料", "技術"),
    ("今天 天氣 很好 適合 出遊 野餐", "生活"),
    ("週末 去 咖啡廳 看 書 很 放鬆", "生活"),
    ("旅行 計畫 風景 美食 心情 愉快", "生活"),
]

class NaiveBayes:
    def __init__(self, alpha=1.0):
        self.alpha = alpha
        self.cls_count = Counter()          # P(c)
        self.word_count = defaultdict(Counter)  # count(w, c)
        self.vocab = set()

    def fit(self, pairs):
        for text, c in pairs:
            self.cls_count[c] += 1
            for w in text.split():
                self.word_count[c][w] += 1
                self.vocab.add(w)

    def predict(self, text):
        V = len(self.vocab)
        N = sum(self.cls_count.values())
        best, scores = None, {}
        for c, nc in self.cls_count.items():
            logp = math.log(nc / N)                       # 先驗
            denom = sum(self.word_count[c].values()) + self.alpha * V
            for w in text.split():
                logp += math.log((self.word_count[c][w] + self.alpha) / denom)
            scores[c] = logp
            if best is None or logp > scores[best]:
                best = c
        # softmax 化的後驗（供信心參考）
        mx = max(scores.values())
        exp = {c: math.exp(s - mx) for c, s in scores.items()}
        tot = sum(exp.values())
        return best, {c: round(e / tot, 3) for c, e in exp.items()}

nb = NaiveBayes()
nb.fit(train)
for t in ["演算法 動態規劃 很 有趣", "週末 美食 之旅", "訓練 模型 需要 演算法"]:
    label, conf = nb.predict(t)
    print(f"{t} -> {label}  {conf}")

# 鑑別力診斷：哪個詞最「偏向技術」？
c1, c2 = "技術", "生活"
V = len(nb.vocab)
def logodds(w):
    def logp(c):
        denom = sum(nb.word_count[c].values()) + V
        return math.log((nb.word_count[c][w] + 1) / denom)
    return logp(c1) - logp(c2)
print(sorted(set(w for _, c in train for w in _.split()),
             key=logodds, reverse=True)[:5])