使用 Hugging Face Inference Endpoints 進行語義搜尋
簡介
本指南將逐步引導您設定 Meilisearch REST 嵌入器與Hugging Face Inference Endpoints,以啟用語義搜尋功能。
rest
或 huggingface
?
您可以使用兩種方式使用 Hugging Face 和 Meilisearch:透過將嵌入器來源設定為 huggingface
在本機執行模型,或透過將嵌入器來源設定為 rest
在 Hugging Face 的伺服器上遠端執行。
需求
要遵循本指南,您需要:
- 一個執行 1.10 或以上版本並啟用了向量儲存的 Meilisearch Cloud 專案
- 一個具有已部署推論端點的 Hugging Face 帳戶
- 您 Hugging Face 帳戶上已部署模型的端點 URL 和 API 金鑰
設定嵌入器
使用更新設定端點設定嵌入器
{
"hf-inference": {
"source": "rest",
"url": "ENDPOINT_URL",
"apiKey": "API_KEY",
"dimensions": 384,
"documentTemplate": "CUSTOM_LIQUID_TEMPLATE",
"request": {
"inputs": ["{{text}}", "{{..}}"],
"model": "baai/bge-small-en-v1.5"
},
"response": ["{{embedding}}", "{{..}}"]
}
}
在此設定中:
source
:宣告 Meilisearch 應透過其 REST API 連接到此嵌入器url
:將ENDPOINT_URL
替換為您的 Hugging Face 模型端點位址apiKey
:將API_KEY
替換為您的 Hugging Face API 金鑰dimensions
:指定嵌入的維度,對於baai/bge-small-en-v1.5
為 384documentTemplate
:一個可選但建議使用的範本,用於您將傳送給嵌入器的資料request
:定義 Meilisearch 將傳送給嵌入器的請求的結構和參數response
:定義嵌入器回應的結構
設定好嵌入器後,Meilisearch 會自動為您的文件產生嵌入。使用 Cloud UI 或 get task 端點來監控任務。
注意
此範例使用 BAAI/bge-small-en-v1.5 作為其模型,但 Hugging Face 提供了其他選項,可能更適合您的資料集。
執行語義搜尋
設定好嵌入器後,您現在可以執行語義搜尋。使用 hybrid
搜尋參數發出搜尋請求,並將 semanticRatio
設定為 1
{
"q": "QUERY_TERMS",
"hybrid": {
"semanticRatio": 1,
"embedder": "hf-inference"
}
}
在此請求中:
q
:搜尋查詢hybrid
:啟用 AI 驅動的搜尋功能semanticRatio
:控制語義搜尋和全文搜尋之間的平衡。設定為1
表示您只會收到語義搜尋結果embedder
:用於產生嵌入的嵌入器名稱
結論
您已使用 Hugging Face Inference Endpoints 設定好嵌入器。這讓您可以在應用程式中使用純語義搜尋功能。
請參閱嵌入器設定文件,以取得有關其他嵌入器設定選項的更多資訊。