昨天整理 WordPress 資料庫時發現， Bigram Full-Text Search 如果設定可在迴響中搜尋，好像會殘留下一些垃圾迴響？今天想來修這個 bug ，才發現更嚴重的 bug ———目前根本就不會產生迴響的 N-gram 啊！ orz （原因只是打錯一個變數）所以到底會不會殘留垃圾迴響… 還有待觀察。我最近完全沒有任何 Spam ，不知道是因為裝了 Comment Timeout 還是 Downtown Host 自動幫我擋下這些異常流量。
本來只想修好這個 bug 就好，但是只改一行感覺不夠誠意，所以低調的寫了一些其他更新：
- 修復一些可能出現的 Notice 和 Warning 。
- 支援部份 boolean full-text search operators。
目前已支援的有 +, -, ~, *, " ，未支援的則有 > <, ( ) 。雖然我說支援 " ，但因為本 plugin 是採用 Bigram 分詞，「+"搜尋字詞"」找不到東西，所以輸入「+"搜尋字詞"」會被自動轉換為「+搜尋 +尋字 +字詞」。
也因為現在全面採用 boolean full-text search operators ，關聯性的計算方式就隨之改變，搜尋結果的順序會和過去有所不同，哪一種比較好我也不確定。
- 設定不於迴響中搜尋時，則不更新 wp_comments_ngram 表格。
有興趣試用的話，可以從 Google Code 下載最新版本：
Update: 突然想到關於 " 的處理方式… 或許可以改成輸入「+"搜尋字詞"」自動轉換為「+"搜尋 尋字 字詞"」，不過這樣會有中英文交雜的問題———目前 N-gram 是將歐文取出來放在最後。
簡介
這是一個給 WordPress 使用的搜尋外掛。
- 使用 MySQL 的 Full-Text Search 功能，取代 WordPress 內建的搜尋功能。
Full-Text Search 的好處不僅是能計算出文章關聯性，尋找出更準確的結果，速度也比 Like Search 快上數～數十倍。
- 以 N-gram 方式實作斷詞，這樣才能讓中日韓文順利使用 MySQL Full-Text Search 。
Introduction
This is an advanced search plug-in for WordPress. Only good for Chinese, Japanese and Korean. Other language users please try Advanced Search or similar plug-ins instead.
- Using MySQL full-text features to provide faster performance and a more relevant search result.
- Using N-gram-based word segmentation to support CJK glyphs in MySQL full-text.
下載 / Download
實作
採用 N-gram 方式解決雙位元字斷詞問題，這個方式需要新建一張 wp_posts_ngram 表格，儲存僅供搜尋用的關鍵字，例如「MySQL 全文搜尋」這段文字的搜尋關鍵字為「MySQL 全文 文搜 搜尋」，因此這張表格大約需佔 wp_posts 表格的 2–4 倍空間。反正現在硬碟愈來愈便宜，用空間換時間很划算 :p
搜尋時也是依照 N-gram 切割，所以搜尋子句大概長得像這樣： MATCH (post_content_ngram) AGAINST ('+MySQL +全文 +文搜 +搜尋') 。但是 MySQL Full-Text Search 有最短關鍵字限制，預設為4個字以上，所以前面的搜尋子句會被轉換為 MATCH (post_content_ngram) AGAINST ('+MySQL') 。而為了解決這個問題， N-gram 表格中的內容會經過 UTF-8 (Hex) 編碼，「MySQL 全文 文搜 搜尋」會被轉換為「MySQL E585A8E69687 E69687E6909C E6909CE5B08B」，搜尋時也是使用轉換過的 N-gram —— MATCH (post_content_ngram) AGAINST ('+MySQL +E585A8E69687 +E69687E6909C +E6909CE5B08B') ，經過如此處理，雙位元字的全文搜尋就沒問題了。
附註
- 第一次啟用時會進行安裝，包含建立
wp_posts_ngram 、 wp_comments_ngram 表格及製作目前所有文章的 N-gram ，因此需要一點時間。
- 我使用了
LOW PRIORITY DELAYED INSERT ，因此 N-gram 可能不會與文章同步更新，而會等到資料庫不忙時才更新。
參考資料
版本紀錄
v0.2.2
- New: 設定不於迴響中搜尋時，則不更新 wp_comments_ngram 表格
- New: 支援部份 boolean full-text search operators (說明)，同時也為此改變了權重計算方式
- New: 移除使用者設定的停字
- Fix: 不轉換歐文字元，這樣才能不區分大小寫搜尋
- Fix: v0.2.1 中最大的 bug ———迴響的 N-gram 根本就不會產生
- Fix: 修正 Related Entries 功能中可能發生的問題：文章標題中有 HTML Tags 的話…
- Fix: 修復一些可能出現的 Notice 和 Warning
v0.2.1
- New: 新增選項頁面
- New: 搜尋範圍可包含迴響
- Fix: 不刪除重複的 N-gram 字詞
- Fix: 改用 DELAYED INSERT
v0.1
