Bigram Full-Text Search v0.2.2
我應不應該給相關文章正式作個 Widget 呢？1可是這個 Plugin 的功能應該是搜尋耶…
-
目前是作了自己在用啦！ ↩
昨天整理 WordPress 資料庫時發現， Bigram Full-Text Search 如果設定可在迴響中搜尋，好像會殘留下一些垃圾迴響？今天想來修這個 bug ，才發現更嚴重的 bug ——目前根本就不會產生迴響的 N-gram 啊！ orz （原因只是打錯一個變數）所以到底會不會殘留垃圾迴響… 還有待觀察。我最近完全沒有任何 Spam ，不知道是因為裝了 Comment Timeout 還是 Downtown Host 自動幫我擋下這些異常流量。
本來只想修好這個 bug 就好，但是只改一行感覺不夠誠意，所以低調的寫了一些其他更新：
- 修復一些可能出現的 Notice 和 Warning 。
- 支援部份 boolean full-text search operators。
目前已支援的有 +, -, ~, *, " ，未支援的則有 > <, ( ) 。雖然我說支援 " ，但因為本 plugin 是採用 Bigram 分詞，「+"搜尋字詞"」找不到東西，所以輸入「+"搜尋字詞"」會被自動轉換為「+搜尋 +尋字 +字詞」。
也因為現在全面採用 boolean full-text search operators ，關聯性的計算方式就隨之改變，搜尋結果的順序會和過去有所不同，哪一種比較好我也不確定。 - 設定不於迴響中搜尋時，則不更新 wp_comments_ngram 表格。
有興趣試用的話，可以從 Google Code 下載最新版本：
Bigram Full-Text Search (Latest revision)
Update: 突然想到關於 " 的處理方式… 或許可以改成輸入「+"搜尋字詞"」自動轉換為「+"搜尋 尋字 字詞"」，不過這樣會有中英文交雜的問題——目前 N-gram 是將歐文取出來放在最後。
r31 是修正一個新發現的 bug ：以 “Полюшко-поле” 這篇文章為例，這篇文章中所出現的 “Полюшко” 都是大寫字首。而這個 plug-in 為了解決 Bi-gram 會被 MySQL 認為太短而省略的問題，會將 Bi-gram 資料編碼為 UTF-8 (Hex) ， “Полюшко” 也不例外的被編碼了，導致搜尋 “полюшко-поле” 時會找不到任何東西，因此 r31 中修改為不編碼歐文字元。（簡單一句來說就是：以前的版本會區分特殊歐文字元的大小寫，現在不會了）
另外順便在這邊提一下… 本 Plug-in 遇到阿拉伯文、希伯來文、亞拉姆文、喬治亞文、印度文、泰文、藏文等會直接省略，因為在下對這些文字實在一點概念也沒有… orz
更新項目
其實跟 rev.18 一樣，差別只有搜尋迴響的功能完成了。
- 新增選項頁面，其中包含以下功能：
- 設定搜尋範圍是否包含迴響
- 設定 N-gram 表格中是否包含 HTML ，如果包含的話，在搜尋框打 HTML 代碼能找到東西
- 手動重建 N-gram 表格資料按鈕，設定完前兩個選項後必須按一下這個
- 顯示目前 N-gram 表格的狀態，包含目前資料筆數、資料佔用空間及索引佔用空間這些資訊
- 移除此 Plugin 按鈕，使用這個按鈕的話，它還會幫你刪除 N-gram 表格以及此 Plugin 的設定值
- 不要將重複的 N-gram 字詞刪除，這樣對計算關聯性應該比較有幫助
- 刪除文章時，同時也刪除 N-gram 表格中對應的資料（不過這不影響搜尋結果，舊版中並不會因此找到已刪除的文章）
INSERT LOW_PRIORITY改成INSERT DELAYED，這好像才真的對效能有所幫助
Bigram Full-Text Search v0.2.1
已知問題
- 已安裝舊版使用者更新時可能會看見一堆 Warning ，說
array_search()第二個參數型態錯誤之類的… 不過這個訊息只會出現一次，而且不影響更新。
隱藏功能
- 因為 N-gram 表格、 Full-text index 都已經建好了，所以順便加上一個列出相關文章的功能：
bfs_GetRelatedEntries()，在 Theme 中加上<ul><?php bfs_GetRelatedEntries(); ?></ul>即可。
計畫中功能
- 設定不於迴響中搜尋時，則不建立
wp_comments_ngram表格 - 支援 boolean full-text search operators
- 可選用 Trigram （讓 Index 變得更大，但結果可能更準確）
此版內容已正式包含進 0.21 ，請更新。
簡介
這是一個給 WordPress 使用的搜尋外掛。
- 使用 MySQL 的 Full-Text Search 功能，取代 WordPress 內建的搜尋功能。
Full-Text Search 的好處不僅是能計算出文章關聯性，尋找出更準確的結果，速度也比 Like Search 快上數～數十倍。 - 以 N-gram 方式實作斷詞，這樣才能讓中日韓文順利使用 MySQL Full-Text Search 。
Introduction
This is an advanced search plug-in for WordPress. Only good for Chinese, Japanese and Korean. Other language users please try Advanced Search or similar plug-ins instead.
- Using MySQL full-text features to provide faster performance and a more relevant search result.
- Using N-gram-based word segmentation to support CJK glyphs in MySQL full-text.
下載 / Download
Bigram Full-Text Search v0.2.2
實作
採用 N-gram 方式解決雙位元字斷詞問題，這個方式需要新建一張 wp_posts_ngram 表格，儲存僅供搜尋用的關鍵字，例如「MySQL 全文搜尋」這段文字的搜尋關鍵字為「MySQL 全文 文搜 搜尋」，因此這張表格大約需佔 wp_posts 表格的 2–4 倍空間。反正現在硬碟愈來愈便宜，用空間換時間很划算 :p
搜尋時也是依照 N-gram 切割，所以搜尋子句大概長得像這樣： MATCH (post_content_ngram) AGAINST ('+MySQL +全文 +文搜 +搜尋') 。但是 MySQL Full-Text Search 有最短關鍵字限制，預設為4個字以上，所以前面的搜尋子句會被轉換為 MATCH (post_content_ngram) AGAINST ('+MySQL') 。而為了解決這個問題， N-gram 表格中的內容會經過 UTF-8 (Hex) 編碼，「MySQL 全文 文搜 搜尋」會被轉換為「MySQL E585A8E69687 E69687E6909C E6909CE5B08B」，搜尋時也是使用轉換過的 N-gram —— MATCH (post_content_ngram) AGAINST ('+MySQL +E585A8E69687 +E69687E6909C +E6909CE5B08B') ，經過如此處理，雙位元字的全文搜尋就沒問題了。
附註
- 第一次啟用時會進行安裝，包含建立
wp_posts_ngram、wp_comments_ngram表格及製作目前所有文章的 N-gram ，因此需要一點時間。 - 我使用了
LOW PRIORITYDELAYED INSERT ，因此 N-gram 可能不會與文章同步更新，而會等到資料庫不忙時才更新。
參考資料
版本紀錄
v0.2.2
- New: 設定不於迴響中搜尋時，則不更新 wp_comments_ngram 表格
- New: 支援部份 boolean full-text search operators (說明)，同時也為此改變了權重計算方式
- New: 移除使用者設定的停字
- Fix: 不轉換歐文字元，這樣才能不區分大小寫搜尋
- Fix: v0.2.1 中最大的 bug ——迴響的 N-gram 根本就不會產生
- Fix: 修正 Related Entries 功能中可能發生的問題：文章標題中有 HTML Tags 的話…
- Fix: 修復一些可能出現的 Notice 和 Warning
v0.2.1
- New: 新增選項頁面
- New: 搜尋範圍可包含迴響
- Fix: 不刪除重複的 N-gram 字詞
- Fix: 改用 DELAYED INSERT
v0.1
- 初次釋出
