跳轉到

11.4-文本分類與搜尋演算法

文本分類與搜尋演算法 是自然語言處理（NLP）領域中的兩個核心任務。它們在許多實際應用中非常重要，例如垃圾郵件過濾、情感分析、文件組織、信息檢索等。

文本分類#

文本分類是將文本分配到預定義的類別中的過程。它是監督學習中的一個常見任務，目的是學習一個分類模型，這個模型可以根據文本的內容將其分到相應的類別。

常見的文本分類任務#

  • 情感分析：判斷文本（如評論或社交媒體帖子）是正面還是負面情感。
  • 垃圾郵件分類：將電子郵件分類為垃圾郵件或正常郵件。
  • 主題分類：將文章或文檔分類為不同的主題（例如，體育、政治、科技等）。
  • 新聞分類：將新聞文章根據其內容分類。

文本分類的流程#

  1. 數據預處理
  2. 分詞（Tokenization）：將文本分割為單詞或子詞。
  3. 去除停用詞（Stopwords Removal）：去掉語法上無意義的高頻詞（如 "the", "is" 等）。

  4. 詞幹化（Stemming）或詞形還原（Lemmatization）：將單詞歸一化為其基本形式。

  5. 特徵提取

  6. 將文本轉換為數值特徵以供機器學習模型使用。常用的方法有：

    • TF-IDF（Term Frequency-Inverse Document Frequency）：衡量單詞在文本中的重要性。
    • 詞嵌入（Word Embedding）：使用預訓練的詞向量（如 Word2Vec、GloVe）來表示單詞。

  7. 模型訓練

  8. 使用監督學習算法來訓練文本分類模型。常用的算法有：

    • 邏輯回歸（Logistic Regression）
    • 支持向量機（SVM）
    • 決策樹（Decision Trees）
    • 隨機森林（Random Forests）
    • 神經網絡（Neural Networks）

  9. 模型評估

  10. 使用測試數據來評估模型的性能，常用的評估指標有：
    • 準確率（Accuracy）
    • 精確率（Precision）
    • 召回率（Recall）
    • F1 分數（F1 Score）

Python 示例 - 使用 TF-IDF 和 SVM 進行文本分類#

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 示例數據
documents = ["I love this movie", "This movie is terrible", "I enjoyed the film", "I hate this movie"]
labels = [1, 0, 1, 0]  # 1: positive, 0: negative

# 文本預處理與特徵提取
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(documents)
y = labels

# 分割訓練和測試數據
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 訓練支持向量機模型
model = SVC(kernel='linear')
model.fit(X_train, y_train)

# 預測並評估模型
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

搜尋演算法#

搜尋演算法是用來在大量數據中查找信息的算法。在文本處理和信息檢索中，搜尋演算法通常被用來查找最相關的文檔或數據。

常見的搜尋演算法#

  1. 線性搜尋（Linear Search）
  2. 簡單的搜尋方法，逐個元素檢查直到找到目標。

  3. 時間複雜度：O(n)

  4. 二分搜尋（Binary Search）

  5. 在已排序的數據中進行搜尋。每次比較中間元素，根據大小範圍縮小搜尋區間。

  6. 時間複雜度：O(log n)

  7. 倒排索引（Inverted Index）

  8. 用於文本搜尋。將文本中的每個單詞映射到包含該單詞的文檔，形成一個倒排索引結構。當用戶輸入查詢詞時，可以快速找到包含該詞的文檔。

  9. 時間複雜度：查詢時間通常為 O(1)，視查詢詞的數量和文檔數量而定。

  10. A 搜索（A Search）**

  11. 用於圖形搜尋或路徑尋找，尤其是在解決最短路徑問題中。A* 通過評估當前路徑的成本和目標的估計距離來選擇搜尋路徑。

  12. 時間複雜度：取決於搜尋空間和啟發式函數。

  13. TF-IDF 與基於相似度的搜尋

  14. TF-IDF：當用戶輸入查詢時，可以基於每個文檔與查詢的相似度來選擇最相關的文檔。這通常使用餘弦相似度來衡量文本之間的相似性。
  15. 餘弦相似度計算公式： [ \text{Cosine Similarity} = \frac{A \cdot B}{|A| |B|} ] 其中 \(A\) 和 \(B\) 是兩個向量。

Python 示例 - 使用 TF-IDF 和餘弦相似度進行文本搜尋#

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 示例文檔
documents = ["I love this movie", "This movie is terrible", "I enjoyed the film", "I hate this movie"]

# 查詢
query = ["I really enjoyed the movie"]

# 轉換為TF-IDF特徵
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents + query)

# 計算查詢與文檔的餘弦相似度
cos_sim = cosine_similarity(tfidf_matrix[-1], tfidf_matrix[:-1])

# 輸出相似度
print(cos_sim)

文本搜尋與索引技術#

  1. 倒排索引（Inverted Index）

  2. 是文本檢索中的基礎結構。倒排索引的核心是建立一個字詞到文檔的映射，這使得查詢詞可以在 O(1) 時間內找到所有包含該詞的文檔。

  3. 搜尋引擎中的搜尋

  4. 搜尋引擎通常利用倒排索引結構來處理查詢，並使用不同的排名算法（如 PageRank、BM25）來決定最相關的文檔。

結論#

  • 文本分類 是 NLP 中的一個基礎任務，涉及到許多不同的算法和技術。通過將文本轉換為數值特徵，並使用機器學習模型進行分類，可以解決各種應用場景中的文本分類問題。
  • 搜尋演算法 在文本處理中扮演著重要角色，尤其是在信息檢索和文本搜尋中。通過使用倒排索引、相似度計算等技術，計算機可以快速地查找與查詢詞最相關的文本。