2007 • 05 • 13

Bigram Full-Text Search v0.2.1


1 Comment , , , and

更新項目

其實跟 rev.18 一樣，差別只有搜尋迴響的功能完成了。

  • 新增選項頁面，其中包含以下功能：
    • 設定搜尋範圍是否包含迴響
    • 設定 N-gram 表格中是否包含 HTML ，如果包含的話，在搜尋框打 HTML 代碼能找到東西
    • 手動重建 N-gram 表格資料按鈕，設定完前兩個選項後必須按一下這個
    • 顯示目前 N-gram 表格的狀態，包含目前資料筆數、資料佔用空間及索引佔用空間這些資訊
    • 移除此 Plugin 按鈕，使用這個按鈕的話，它還會幫你刪除 N-gram 表格以及此 Plugin 的設定值
  • 不要將重複的 N-gram 字詞刪除，這樣對計算關聯性應該比較有幫助
  • 刪除文章時，同時也刪除 N-gram 表格中對應的資料（不過這不影響搜尋結果，舊版中並不會因此找到已刪除的文章）
  • INSERT LOW_PRIORITY 改成 INSERT DELAYED ，這好像才真的對效能有所幫助
Bigram Full-Text Search v0.2.1

已知問題

  • 已安裝舊版使用者更新時可能會看見一堆 Warning ，說 array_search() 第二個參數型態錯誤之類的… 不過這個訊息只會出現一次，而且不影響更新。

隱藏功能

  • 因為 N-gram 表格、 Full-text index 都已經建好了，所以順便加上一個列出相關文章的功能：bfs_GetRelatedEntries() ，在 Theme 中加上 <ul><?php bfs_GetRelatedEntries(); ?></ul> 即可。

計畫中功能

  • 設定不於迴響中搜尋時，則不建立 wp_comments_ngram 表格
  • 支援 boolean full-text search operators
  • 可選用 Trigram （讓 Index 變得更大，但結果可能更準確）
2007 • 04 • 23

Bigram Full-Text Search rev.18


3 Comments , , , and
Bigram Full-Text Search Options

此版內容已正式包含進 0.21 ，請更新。

2007 • 04 • 18

WordPress Plugin: Bigram Full-Text Search


13 Comments , , , and

簡介

這是一個給 WordPress 使用的搜尋外掛。

  1. 使用 MySQL 的 Full-Text Search 功能，取代 WordPress 內建的搜尋功能。
    Full-Text Search 的好處不僅是能計算出文章關聯性，尋找出更準確的結果，速度也比 Like Search 快上數～數十倍。
  2. 以 N-gram 方式實作斷詞，這樣才能讓中日韓文順利使用 MySQL Full-Text Search 。

Introduction

This is an advanced search plug-in for WordPress. Only good for Chinese, Japanese and Korean. Other language users please try Advanced Search or similar plug-ins instead.

  1. Using MySQL full-text features to provide faster performance and a more relevant search result.
  2. Using N-gram-based word segmentation to support CJK glyphs in MySQL full-text.

下載 / Download

Bigram Full-Text Search v0.2.2

實作

採用 N-gram 方式解決雙位元字斷詞問題，這個方式需要新建一張 wp_posts_ngram 表格，儲存僅供搜尋用的關鍵字，例如「MySQL 全文搜尋」這段文字的搜尋關鍵字為「MySQL 全文 文搜 搜尋」，因此這張表格大約需佔 wp_posts 表格的 2–4 倍空間。反正現在硬碟愈來愈便宜，用空間換時間很划算 :p

搜尋時也是依照 N-gram 切割，所以搜尋子句大概長得像這樣： MATCH (post_content_ngram) AGAINST ('+MySQL +全文 +文搜 +搜尋') 。但是 MySQL Full-Text Search 有最短關鍵字限制，預設為4個字以上，所以前面的搜尋子句會被轉換為 MATCH (post_content_ngram) AGAINST ('+MySQL') 。而為了解決這個問題， N-gram 表格中的內容會經過 UTF-8 (Hex) 編碼，「MySQL 全文 文搜 搜尋」會被轉換為「MySQL E585A8E69687 E69687E6909C E6909CE5B08B」，搜尋時也是使用轉換過的 N-gram —— MATCH (post_content_ngram) AGAINST ('+MySQL +E585A8E69687 +E69687E6909C +E6909CE5B08B') ，經過如此處理，雙位元字的全文搜尋就沒問題了。

附註

  • 第一次啟用時會進行安裝，包含建立 wp_posts_ngram 、 wp_comments_ngram 表格及製作目前所有文章的 N-gram ，因此需要一點時間。
  • 我使用了 LOW PRIORITY DELAYED INSERT ，因此 N-gram 可能不會與文章同步更新，而會等到資料庫不忙時才更新。

參考資料

版本紀錄

v0.2.2

  • New: 設定不於迴響中搜尋時，則不更新 wp_comments_ngram 表格
  • New: 支援部份 boolean full-text search operators (說明)，同時也為此改變了權重計算方式
  • New: 移除使用者設定的停字
  • Fix: 不轉換歐文字元，這樣才能不區分大小寫搜尋
  • Fix: v0.2.1 中最大的 bug ——迴響的 N-gram 根本就不會產生
  • Fix: 修正 Related Entries 功能中可能發生的問題：文章標題中有 HTML Tags 的話…
  • Fix: 修復一些可能出現的 Notice 和 Warning

v0.2.1

  • New: 新增選項頁面
  • New: 搜尋範圍可包含迴響
  • Fix: 不刪除重複的 N-gram 字詞
  • Fix: 改用 DELAYED INSERT

v0.1

  • 初次釋出
 1