Vector Search

Vector Search 是功能強大的向量搜尋引擎,採用 Google 研究團隊開發的創新技術。您可以運用 ScaNN 演算法,透過向量搜尋建構新一代的搜尋和推薦系統,以及生成式 AI 應用程式。

您可以運用 Google 核心產品 (包括 Google 搜尋、YouTube 和 Google Play) 採用的相同研究和技術。這表示您可獲得可信賴的擴充性、可用性和效能,處理龐大的資料集,並在全球範圍內提供極速的結果。向量搜尋是企業級解決方案,可在您自己的應用程式中導入最新的語意搜尋功能。

Vector Search 現場示範

網誌:運用 Vector Search 進行多模態搜尋

Next 24 Infinite Nature 示範

Next 24 Infinite Nature Demo

無盡花海:探索 AI 輔助創作的無限可能

無盡花海:探索 AI 輔助創作的無限可能

Vector Search 現場示範

透過漫畫《航海王》體驗多模態 AI

開始使用

Vector Search 互動式試用版:觀看實境示範,瞭解向量搜尋技術的實際應用,並搶先體驗 Vector Search。

Vector Search 快速入門:使用範例資料集建構、部署及查詢 Vector Search 索引,在 30 分鐘內試用 Vector Search。本教學課程將介紹設定、資料準備、建立索引、部署、查詢和清理作業。

開始前:選擇及訓練模型,並準備資料,以便準備嵌入資料。接著,請選擇要部署查詢索引的公開或私人端點。

Vector Search 價格和 Pricing Calculator:Vector Search 價格包含用於代管已部署索引的虛擬機器費用,以及建構及更新索引的費用。即使是最低的設定 (每月不到 $100 美元),也能支援中等規模用途的高總處理量。如要預估每月費用,請按照下列步驟操作:

  1. 前往 Google Cloud 的 Pricing Calculator
  2. 按一下「新增至估算值」
  3. 搜尋 Vertex AI。
  4. 按一下「Vertex AI」按鈕。
  5. 在「服務類型」下拉式選單中,選擇「Vertex AI Vector Search」
  6. 您可以沿用預設設定,或自行設定。「費用詳細資料」面板會顯示每月預估費用。

說明文件

用途和網誌

向量搜尋技術已成為企業使用 AI 的核心樞紐。這類資料庫的運作方式與 IT 系統中的關聯資料庫類似,會根據相關性連結各種業務元素,例如文件、內容、產品、使用者、事件和其他實體。除了搜尋文件和圖片等傳統媒體,Vector Search 還能提供智慧建議,將業務問題與解決方案配對,甚至將 IoT 信號連結至監控警示。這項多功能工具是掌握日益龐大的 AI 企業資料環境不可或缺的工具。

搜尋和資訊檢索

搜尋 / 資訊擷取

推薦系統的向量搜尋

推薦系統

Vertex AI 向量搜尋如何協助開發高效能的生成式 AI 應用程式 向量搜尋可支援各種應用程式,包括電子商務、RAG 系統、推薦引擎、聊天機器人、多模態搜尋等等。混合式搜尋可進一步改善特定字詞的搜尋結果。Bloomreach、eBay 和 Mercado Libre 等客戶採用 Vertex AI,是因為這項服務具備效能、可擴充性和成本效益,可讓他們享有更快速的搜尋和轉換次數增加等好處。

eBay 使用 Vector Search 提供推薦內容說明 eBay 如何在推薦系統中使用 Vector Search。這項技術可讓 eBay 在其龐大的目錄中找出類似的產品,進而改善使用者體驗。

Mercari 運用 Google 的向量搜尋技術建立新的市集 說明 Mercari 如何運用向量搜尋技術改善新的市集平台。Vector Search 可為平台提供推薦內容,協助使用者更有效地找到相關產品。

Vertex AI Embeddings for Text:輕鬆為 LLM 建立基準專注於使用 Vertex AI Embeddings for Text 為 LLM 建立基準。在尋找相關文字段落方面,向量搜尋扮演著重要的角色,可確保模型的回覆有憑有據。

What is Multimodal Search: "LLMs with vision" change businesses 討論結合大型語言模型和視覺理解的多模態搜尋。說明向量搜尋如何處理及比較文字和圖片資料,提供更全面的搜尋體驗。

大規模發揮多模態搜尋功能:結合 Vertex AI 的文字與圖像功能 說明如何使用 Vertex AI 建構多模態搜尋引擎,結合使用加權的 Rank-Biased Reciprocal Rank 集成方法,進行文字和圖像搜尋。這麼做可改善使用者體驗,並提供更相關的結果。

使用 TensorFlow Recommenders 和 Vector Search 擴充深度擷取功能說明如何使用 TensorFlow Recommenders 和 Vector Search 建構播放清單推薦系統,涵蓋深度擷取模型、訓練、部署和擴充。

使用生成式 AI

生成式 AI:RAG 和服務專員的檢索功能

Vertex AI 與 Denodo 運用生成式 AI 發掘企業資料展示 Vertex AI 與 Denodo 整合後,可讓企業運用生成式 AI 從資料中獲得洞察。Vector Search 是企業環境中有效存取及分析相關資料的關鍵。

無限的自然與產業特性:這個「瘋狂」的示範展示了 AI 的多種可能性 展示示範,說明 AI 在不同產業的潛力。 這項技術運用 Vector Search 提供生成式推薦內容和多模態語意搜尋功能。

Infinite Fleurs:探索 AI 輔助的創意如何綻放Google 的 Infinite Fleurs 是使用 Vector Search、Gemini 和 Imagen 模型的 AI 實驗,可根據使用者提示產生獨特的花束。這項技術展現了 AI 在各個產業激發創意潛力的潛力。

Google Cloud 上的 RAG 專用 LlamaIndex說明如何使用 LlamaIndex 搭配大型語言模型,簡化檢索增強生成 (RAG) 程序。LlamaIndex 會運用 Vector Search 從知識庫中擷取相關資訊,提供更準確且符合脈絡的回覆。

RAG 和 Vertex AI 上的基準 檢視 Vertex AI 上的 RAG 和基準技術。Vector Search 可在擷取期間找出相關的基準資訊,讓生成的內容更準確可靠。

LangChain 上的向量搜尋提供指南,說明如何搭配使用 LangChain 和向量搜尋,為文字資料建構及部署向量資料庫索引,包括問答和 PDF 處理。

電腦資料分析圖示

商業智慧、資料分析、監控等功能

透過 Vertex AI 的串流攝入功能啟用即時 AI探索 Vector Search 中的串流更新功能,以及這項功能如何提供即時 AI 功能。這項技術可即時處理及分析傳入的資料串流。

您可以參考下列資源,開始使用 Vector Search:

筆記本和解決方案

Vertex AI Vector Search 快速入門 開始使用文字嵌入和向量搜尋

Vertex AI Vector Search 快速入門 提供 Vector Search 的概略說明。這項功能專為新使用者設計,可讓他們快速上手。

開始使用文字嵌入和向量搜尋介紹文字嵌入和向量搜尋。本文將說明這些技術的運作方式,以及如何運用這些技術改善搜尋結果。

使用 Vector Search 進行混合搜尋的教學 搭配使用 Gemini RAG 引擎和向量搜尋

結合語意搜尋和關鍵字搜尋:使用 Vertex AI Vector Search 進行混合搜尋的教學課程 提供使用 Vector Search 進行混合搜尋的操作說明。 說明如何設定混合搜尋系統。

Vertex AI RAG 引擎搭配 Vector Search 探索如何搭配使用 Vertex AI RAG 引擎和 Vector Search。本篇文章將探討同時使用這兩項技術的好處,並提供實際應用範例。

使用 Vertex AI 和 Vector Search 建構具備 RAG 功能的生成式 AI 應用程式基礎架構 Google Cloud 架構

使用 Vertex AI 和 Vector Search 建構具備 RAG 功能的生成式 AI 應用程式基礎架構詳細說明使用 Vector Search、Cloud Run 和 Cloud Storage 建構生成式 AI 應用程式和 RAG 的架構,涵蓋用途、設計選項和重要考量。

為大規模候選產生功能導入雙塔擷取機制 提供參考架構,說明如何使用 Vertex AI 導入端對端雙塔候選產生工作流程。 兩塔式建模架構是個人化用途的強大擷取技術,因為它可學習兩個不同實體 (例如網頁查詢和候選項目) 之間的語意相似性。

訓練

開始使用 Vector Search 和嵌入 Vector Search 可用來找出相似或相關的項目。可用於推薦、搜尋、聊天機器人和文字分類。這個程序包括建立嵌入項目、上傳至 Google Cloud,以及建立索引以供查詢。本研究室著重於使用 Vertex AI 的文字嵌入,但也可以為其他資料類型產生嵌入。

向量搜尋和嵌入 本課程將介紹向量搜尋,並說明如何透過大型語言模型 (LLM) API 生成嵌入,運用這項服務建構搜尋應用程式。這堂課程涵蓋概念課程、實際示範與實作研究室。概念課程將說明向量搜尋和文字嵌入;實際示範則會演示如何透過 Vertex AI 建構向量搜尋。

瞭解並應用文字嵌入 Vertex AI Embeddings API 會產生文字嵌入,這是文字的
數值表示法,可用於識別相似項目等工作。

在本課程中,您將使用文字嵌入功能執行分類和語意搜尋等工作,並將語意搜尋與 LLM 結合,使用 Vertex AI 建構問答系統。

機器學習密集課程:嵌入 本課程將介紹字詞嵌入,並與稀疏表示法進行比較。本節將探討取得嵌入的方法,並區分靜態嵌入和內容比對嵌入。

Vertex AI 嵌入 提供 Embeddings API 的簡介。文字和多模態嵌入用途,以及額外資源和相關服務的連結。 Google Cloud

AI 應用程式排名 API 排名 API 會使用預先訓練的語言模型,根據與查詢的關聯性重新排序文件,並提供精確的分數。這項功能非常適合用來改善來自各種來源 (包括向量搜尋) 的搜尋結果。

Vertex AI 特徵儲存庫 可讓您使用 BigQuery 做為資料來源,管理及提供特徵資料。它會為線上服務提供資源,並充當中繼資料層,直接從 BigQuery 提供最新的特徵值。特徵儲存庫可讓您針對查詢傳回的 Vector 儲存庫項目,立即擷取特徵值。

Vertex AI Pipelines Vertex AI Pipelines 可透過機器學習管道自動調度機器學習工作流程,以無伺服器的方式自動化處理、監控及管理機器學習系統。您可以使用 Kubeflow Pipelines 或 TensorFlow Extended (TFX) 架構,以批次方式執行定義的 ML 管道。管道可讓您建構自動化管道,產生嵌入資料、建立及更新向量搜尋索引,並為正式版搜尋和推薦系統建立 MLOps 設定。

深入探索資源

透過 Vertex AI 嵌入和工作類型強化生成式 AI 用途 著重於使用 Vertex AI 嵌入和工作類型改善生成式 AI 應用程式。向量搜尋可搭配任務類型嵌入功能使用,藉此找出更多相關資訊,提升產生內容的內容和準確度。

TensorFlow 推薦功能 建構推薦系統的開放原始碼程式庫。這項工具可簡化從資料準備到部署的程序,並支援彈性模型建構作業。TFRS 提供教學課程和資源,可讓您建立複雜的推薦模型。

TensorFlow Ranking:TensorFlow Ranking 是開放原始碼程式庫,可用來建立可擴充的類神經機器學習演算排序 (LTR) 模型。它支援各種損失函式和排名指標,可用於搜尋、推薦和其他領域。這個程式庫由 Google AI 積極開發。

隆重推出 ScaNN:高效率的向量相似度搜尋 Google 的 ScaNN 是一種高效率的向量相似度搜尋演算法,採用新穎的技術,可提升找出最近鄰的準確度和速度。這項方法優於現有方法,且廣泛應用於需要語意搜尋的機器學習工作。Google 的研究工作涵蓋多個領域,包括基礎機器學習和 AI 的社會影響。

SOAR:透過 ScaNN 推出新演算法,進一步提升向量搜尋速度 Google 的 SOAR 演算法會引入受控的冗餘資料,以提升向量搜尋效率,讓使用較小索引的搜尋速度更快。SOAR 會將向量指派給多個叢集,建立「備用」搜尋路徑,以提升效能。


開始使用 Vertex AI 進行向量搜尋

向量搜尋是一項強大的工具,可用於建構 AI 技術輔助應用程式。這部影片將介紹這項技術,並提供逐步指南,協助您開始使用。



瞭解如何使用 Vector Search 進行混合搜尋

向量搜尋可用於混合搜尋,讓您同時享有向量搜尋的強大功能,以及傳統搜尋引擎的靈活性和速度。這部影片介紹混合搜尋,並說明如何使用 Vector Search 進行混合搜尋。



你已經在使用 Vector Search!如何成為專家

你知道嗎?你可能每天都在使用向量搜尋,只是你沒有察覺。無論是尋找社群媒體上難以找到的產品,還是追蹤腦中迴旋的歌曲,這些日常體驗背後的 AI 魔法,就是向量搜尋。



DeepMind 團隊推出新的「任務類型」嵌入功能,可改善 RAG 搜尋品質

使用 Google DeepMind 團隊開發的新任務類型嵌入功能,提升 RAG 系統的準確度和關聯性。觀看影片,瞭解 RAG 搜尋品質常見的挑戰,以及任務類型嵌入項目如何有效縮小問題和答案之間的語意差距,進而提升檢索效率和 RAG 效能。

Vector Search 術語

以下列出一些重要術語,您必須瞭解這些術語才能使用向量搜尋:

  • 向量:向量是具有大小和方向的浮點值清單。可用來表示任何類型的資料,例如數字、空間中的點和方向。

  • 嵌入:嵌入是一種向量,用於以能捕捉語意的方式表示資料。嵌入內容通常是使用機器學習技術建立,並經常用於自然語言處理 (NLP) 和其他機器學習應用程式。

    • 密集嵌入:密集嵌入會使用大多包含非零值的陣列,呈現文字的語意含義。使用密集嵌入資料時,系統可根據語意相似度傳回相似的搜尋結果。

    • 稀疏型嵌入:稀疏型嵌入會使用高維度陣列來代表文字語法,這些陣列與密集型嵌入相比,只包含極少數的非零值。稀疏嵌入通常用於關鍵字搜尋。

  • 混合搜尋:混合搜尋會同時使用密集和稀疏嵌入,讓您可以根據關鍵字搜尋和語意搜尋的組合進行搜尋。Vector Search 支援以密集嵌入、稀疏嵌入和混合搜尋為基礎的搜尋。

  • 索引:一組向量,會一起部署用於相似度搜尋。向量可新增至索引或從中移除。相似度搜尋查詢會傳送至特定索引,並搜尋該索引中的向量。

  • 真值:指的是驗證機器學習結果是否與實際情況相符,例如真值資料集。

  • 喚回率:索引傳回的鄰近項目中,實際上是真正鄰近項目的百分比。舉例來說,如果最近鄰查詢的 20 個最近鄰點中,有 19 個是實際最近鄰點,則回憶率為 19/20x100 = 95%。

  • 限制:使用布林值規則,將搜尋範圍限制在索引的子集內。限制也稱為「篩選」。使用向量搜尋時,您可以使用數值篩選和文字屬性篩選。