Hugging Face 借助 Meilisearch 提升 AI 可用性

Hugging Face 的總部位於紐約和巴黎，是一個機器學習技術的開源供應商，允許使用者使用 Hugging Face 開源函式庫和 Hub 來訓練、部署和共享 AI 模型。

透過與 Meilisearch Cloud 合作，Hugging Face 積極履行其推動 AI 普及化的願景承諾。

「如今，Hugging Face 使用 Meilisearch 來支援 300,000 多個 AI 模型、資料集和演示的可探索性。這對於 AI 普及化來說非常重要，因為如果知識存在，但你無法存取它，那還有什麼意義呢？」 - Hugging Face 軟體工程師 Mishig Davaadorj

挑戰

Hugging Face 在其平台上允許使用者上傳他們的 AI 模型、資料集和演示。由於一個充滿活力的使用者社群不斷與 Hugging Face Hub（一個用於共享和搜尋機器學習產物的平台）互動，可探索性的問題成為關注焦點。

Hugging Face Hub 託管超過 220,000 個 AI 模型，這些模型可滿足各種機器學習任務，所有模型都整齊地儲存在儲存庫中。這些模型儲存庫旨在使模型的探索和使用盡可能無縫。Hugging Face 儲存庫中的每個 AI 模型都附帶一張模型卡，這是一個包含有價值的中繼資料的專案檔案，它在增強可探索性、可重現性和共享方面起著至關重要的作用。模型卡還提供有關 AI 模型偏差和限制、模型描述和訓練指南的重要資訊，並作為使用者在 Hub 上尋找模型或上傳自己的模型的綜合指南。

在引入 Meilsearch 之前，Hugging Face 依賴簡單的篩選和關鍵字搜尋解決方案。然而，顯然越來越需要更靈活且容錯的全文搜尋解決方案。此解決方案需要確保每個搜尋查詢的預設相關性更高，並利用模型卡中儲存的其他屬性和中繼資料。

為什麼 Hugging Face 選擇 Meilisearch Cloud

在將 Meilisearch 整合到其 ML 模型儲存庫之前，Hugging Face 已經在使用 Meilisearch 的免費開源解決方案作為其開源函式庫（包括 transformers 和 diffusers）的文件搜尋引擎。此文件包含約 500 頁，並且已使用一年多。由於團隊從實作和操作 Meilisearch 中獲得了積極的經驗，因此當模型卡搜尋中需要增強的可探索性時，無需額外的測試或概念驗證。

1. 排名規則的自訂性

在評估過程中，Hugging Face 團隊也考慮了 Mongo Atlas Search。然而，他們對排名可用的自訂項目並不滿意。為了增強模型卡的可探索性，考慮了多個因素，例如專案名稱、描述以及每張卡上的讚或下載次數。Meilisearch 在適應這些搜尋標準方面展現出更大的靈活性和適應性。

2. 轉換到 Meilisearch Cloud 以簡化使用

在文件中成功實作 Meilisearch 之後，Hugging Face 團隊順利地將 Meilisearch Cloud 納入其模型卡儲存庫中，並受益於開箱即用的相關性。

3. 支援品質和基礎架構外包

Hugging Face 團隊選擇 Meilisearch Cloud，部分原因是其專屬支援功能。鑑於在儲存庫中實現高度相關的搜尋結果對 Hugging Face 至關重要，因此選擇雲端版本的決定也受到將基礎架構委託給 Meilisearch Cloud 專家專業知識的影響。外包基礎架構使 Hugging Face 團隊能夠提高其開發速度。

實作

由於 Meilisearch 已經為 Hugging Face 文件實作，因此一旦排名和內部規則到位，將搜尋解決方案擴展到其他用例就很順利。

如今，Meilisearch 引擎為 Hugging Face 儲存庫中 220,000 個模型卡、38,000 個資料集和 60,000 個演示的探索提供支援。關鍵字篩選機制已在 Hugging Face 首頁上針對已經熟悉特定模型名稱的使用者實作。

然而，隨著 Meilisearch 的實作，使用者也可以選擇執行全文搜尋。此搜尋功能不僅適用於模型名稱和 ID，還包括模型卡的整個內容。

為了盡量減少搜尋行為的變更，實作了額外的「嘗試全文搜尋」按鈕，使用者可以自由選擇最適合其偏好的搜尋體驗。

願景

隨著 AI 的不斷發展，Hugging Face 預計搜尋行為和人們尋找所需專案的方法將會發生轉變。Hugging Face 期待將語意搜尋納入其文件和模型卡搜尋中。目前，該平台正在積極測試 Meilisearch [VectorDB](/blog/langchain-semantic-search-tutorial/ 作為潛在的解決方案之一。

Hugging Face 也預計將獲得更詳細的使用情況分析，包括有關使用者每日搜尋模式以及某些模型卡專案隨著時間的推移所接收的活動量等資訊。