Cơ sở dữ liệu vector nhẹ cho các khối lượng công việc AI hiện đại

Trang chủ » Python » Cơ sở dữ liệu vector nhẹ cho các khối lượng công việc AI hiện đại

Bài viết này sẽ giới thiệu về hệ sinh thái cơ sở dữ liệu vector, đặc biệt tập trung vào các tùy chọn nhẹ, cài đặt tại chỗ.: Cơ sở dữ liệu vector thực chất là gì, nó khác với chỉ mục vector thông thường như thế nào, nó hỗ trợ xử lý ngôn ngữ tự nhiên (NLP) và phân tích cú pháp ngẫu nhiên (RAG) ra sao, những công cụ và tiện ích mở rộng nào đáng để xem xét (từ Milvus và Qdrant đến PostgreSQL pgvector và các thư viện nhúng như VDB), và các chỉ số khoảng cách và thuật toán mạng nơ-ron nhân tạo (ANN) ảnh hưởng đến chất lượng và hiệu suất như thế nào.

Cơ sở dữ liệu vector là gì và tại sao nó lại quan trọng?

Các cơ sở dữ liệu quan hệ truyền thống hoạt động hiệu quả nhất với dữ liệu có cấu trúc theo hàng và cột.Nhưng chúng gặp khó khăn khi bạn đưa vào một lượng lớn nội dung không có cấu trúc. Việc tải các tệp PDF, nhật ký trò chuyện, hình ảnh hoặc dữ liệu cảm biến vào một lược đồ SQL truyền thống rồi chuẩn bị chúng cho AI không chỉ tốn thời gian mà còn kém hiệu quả về mặt tính toán khi bạn cần sự tương đồng về ngữ nghĩa thay vì sự trùng khớp chính xác.

Cơ sở dữ liệu vector giải quyết vấn đề này bằng cách làm việc trực tiếp với các vector dày đặc thay vì chỉ với các token hoặc từ khóa.Thay vì hỏi "trường này có chứa từ 'smartphone' không?", bạn hỏi "các vectơ được lưu trữ nào gần nhất với vectơ nhúng truy vấn?", và hệ thống sẽ trả về các mục có liên quan về mặt ngữ nghĩa ngay cả khi chúng không có cùng cách diễn đạt chính xác.

Sự chuyển đổi từ việc so khớp từ khóa sang so khớp độ tương đồng trong không gian vectơ chính là điều tạo nên khả năng này. tìm kiếm ngữ nghĩa, các đề xuất mạnh mẽ và khả năng tạo ra thông tin được tăng cường bằng truy xuất (RAG) mạnh mẽCác công ty hiện có thể kết hợp dữ liệu kinh doanh truyền thống của họ với "bộ nhớ ngữ nghĩa" trong một kiến ​​trúc duy nhất, thông qua các công cụ xử lý vector chuyên dụng hoặc bằng cách kích hoạt các kiểu dữ liệu vector bên trong các cơ sở dữ liệu hiện có.

Vectơ, phép nhúng và vấn đề mà chúng thực sự giải quyết

Cốt lõi của bất kỳ cơ sở dữ liệu vectơ nào đều là các vectơ: các danh sách số được sắp xếp theo thứ tự, xác định vị trí của một mục trong không gian đa chiều.Mỗi vectơ tương ứng với một đối tượng – một câu, một đoạn văn, một hình ảnh, một sản phẩm, một hồ sơ người dùng – được mã hóa theo hàng chục, hàng trăm hoặc thậm chí hàng nghìn chiều được học bởi một mô hình máy học.

Các mô hình nhúng khác nhau định nghĩa các không gian vectơ và số chiều khác nhau.Một số có thể xuất ra các vectơ 384 chiều, số khác thì 768 chiều trở lên; khi số chiều tăng lên, cách biểu diễn có thể nắm bắt được nhiều sắc thái phong phú hơn nhưng cũng trở nên khó khăn hơn trong việc lập chỉ mục hiệu quả. Cơ sở dữ liệu vectơ chuyên xử lý chính xác điều này: các vectơ dấu phẩy động dài ở quy mô lớn.

Vấn đề thực sự mà chúng giải quyết là sự cứng nhắc của phương pháp tìm kiếm từ khóa truyền thống trên dữ liệu phi cấu trúc.Tìm kiếm thông thường với từ khóa “điện thoại thông minh” sẽ bỏ sót những tài liệu chỉ đề cập đến “điện thoại di động” hoặc “thiết bị di động”; tìm kiếm từ khóa có khả năng bỏ qua lỗi chính tả giúp ích phần nào, nhưng vẫn không thể thực sự hiểu rằng “nhà hiện đại giữa thế kỷ với ánh sáng tự nhiên” là một phong cách, chứ không phải là một cụm từ theo nghĩa đen mà bạn sẽ tìm thấy trong mọi tin đăng.

Bằng cách lưu trữ các vectơ nhúng, cơ sở dữ liệu vectơ cho phép tìm kiếm sự tương đồng: cả truy vấn và tài liệu đều là vectơ, và sự gần gũi trong không gian đó thể hiện mối liên hệ ngữ nghĩa.Đó là lý do tại sao tìm kiếm từ khóa “điện thoại di động” có thể trả về các tài liệu chỉ đề cập đến “điện thoại thông minh”; các phần nhúng của chúng nằm trong cùng một vùng không gian, ngay cả khi có hình dạng bề mặt khác nhau.

Chỉ mục vectơ so với cơ sở dữ liệu vectơ đầy đủ

Cần phân biệt rõ khái niệm "chỉ mục vectơ" với khái niệm cơ sở dữ liệu vectơ hoàn chỉnh.Cả hai đều xử lý vectơ, nhưng chúng giải quyết các khía cạnh khác nhau của vấn đề và có các bộ tính năng khác nhau.

Chỉ mục vectơ là một cấu trúc dữ liệu được tối ưu hóa cho việc tìm kiếm lân cận gần nhất.Bạn cung cấp cho nó một tập hợp các vectơ và một vectơ truy vấn, và nó sẽ cho bạn biết các mục được lưu trữ nào gần nhất. Các thư viện như FAISS rất giỏi trong việc này; chúng triển khai các thuật toán hiệu quả cho tìm kiếm lân cận gần nhất (ANN) và phân cụm, nhưng chúng không phải là các hệ thống cơ sở dữ liệu hoàn chỉnh.

Ngược lại, cơ sở dữ liệu vectơ lại bao bọc các chỉ mục đó bằng các khả năng của cơ sở dữ liệu. Chẳng hạn như lưu trữ siêu dữ liệu, quản lý lược đồ, bảo mật, quản lý tài nguyên, kiểm soát đồng thời, phục hồi lỗi và tích hợp với các hệ sinh thái dữ liệu rộng lớn hơn. Đây là nơi các tổ chức lưu giữ cả các phần nhúng và các đối tượng gốc (hoặc các tham chiếu đến chúng), chứ không chỉ cấu trúc chỉ mục.

Các cơ sở dữ liệu vectơ sẵn sàng cho doanh nghiệp cũng cung cấp các ngôn ngữ truy vấn và API kết hợp độ tương đồng vectơ với các bộ lọc trên các thuộc tính có cấu trúc.Bạn có thể truy vấn "các tài liệu tương tự đoạn văn này, trong đó project = X và created_at nằm trong vòng 30 ngày qua", điều này rất khó thực hiện một cách gọn gàng chỉ với thư viện lập chỉ mục.

Một số hệ thống quan hệ hiện đại đã trở thành "cơ sở dữ liệu hỗ trợ vectơ" bằng cách bổ sung các kiểu vectơ gốc.Ví dụ, Oracle Database và MySQL hiện hỗ trợ các vector bên cạnh các trường số và văn bản truyền thống. Điều đó cho phép bạn lưu trữ hồ sơ kinh doanh và dữ liệu nhúng trong cùng một hệ thống, tránh được những rắc rối về tính nhất quán giữa kho lưu trữ vector riêng biệt và cơ sở dữ liệu chính của bạn.

Cơ sở dữ liệu vector hỗ trợ xử lý ngôn ngữ tự nhiên (NLP) và trí tuệ nhân tạo như thế nào?

Tìm kiếm ngữ nghĩa là một trong những trường hợp sử dụng dễ thấy nhất.Thay vì chỉ dựa vào việc so khớp từ khóa đơn thuần, hệ thống sẽ nhúng cả truy vấn của người dùng và tất cả các tài liệu đã được lập chỉ mục, sau đó truy xuất những tài liệu có vectơ gần nhất. Hệ thống có thể xử lý các từ đồng nghĩa, cách diễn đạt khác và thậm chí cả những cụm từ hơi lạc đề nhưng vẫn liên quan đến ngữ cảnh, giúp cải thiện đáng kể độ chính xác so với tìm kiếm văn bản thuần túy.

Lớp ngữ nghĩa này cũng giúp giảm thiểu tác động của lỗi chính tả và ngôn ngữ nhiễu.Người dùng không cần phải diễn đạt truy vấn một cách hoàn hảo; miễn là ý nghĩa tổng thể tương tự, mô hình nhúng sẽ đặt truy vấn gần các tài liệu chính xác và cơ sở dữ liệu vector sẽ hiển thị chúng.

Quản lý nhúng hiệu quả là một vai trò quan trọng khác.Các cơ sở dữ liệu vector được tối ưu hóa để lưu trữ, lập chỉ mục và truy xuất khối lượng lớn các dữ liệu nhúng văn bản được tạo ra bởi các mô hình lớn; chúng cho phép các ứng dụng coi đây như một "ngân hàng bộ nhớ" nhanh, có thể truy vấn được trong vòng mili giây, thay vì một tập hợp các tệp hoặc mảng tùy chỉnh trong một số quy trình ứng dụng. các phép nhúng được tạo ra bởi các mô hình lớn Chúng thường dựa vào các môi trường chạy và bộ tăng tốc để có thể hoạt động hiệu quả ở quy mô lớn.

Trên thực tế, điều này được thể hiện trong một số ứng dụng xử lý ngôn ngữ tự nhiên (NLP).: Chatbot và trợ lý AI sử dụng cơ sở dữ liệu vector để tra cứu các phần liên quan trong các cuộc hội thoại hoặc tài liệu trước đó; hệ thống hỏi đáp chuyển đổi tài liệu thành các vector nhúng và trả lời các câu hỏi phức tạp bằng cách truy xuất và tổng hợp các đoạn văn phù hợp; phân tích cảm xúc và ý định được hưởng lợi từ các mối quan hệ ngữ nghĩa phong phú hơn được mã hóa trong các vector; công cụ đề xuất suy luận sự tương đồng giữa các mặt hàng và người dùng dựa trên sự gần gũi của chúng trong không gian vector nhúng.

Tìm kiếm vectơ trong thế hệ tăng cường truy xuất (RAG)

Phương pháp tạo lập tăng cường bằng truy xuất (RAG) kết hợp tìm kiếm vectơ với các mô hình ngôn ngữ lớn để giải quyết các vấn đề như ảo giác và kiến ​​thức lỗi thời.Các mô hình LLM có ngưỡng đào tạo cố định và không thể xem các tài liệu độc quyền của bạn trừ khi bạn cung cấp chúng một cách rõ ràng tại thời điểm suy luận.

Quy trình RAG điển hình bắt đầu bằng việc chia nhỏ cơ sở kiến ​​thức của bạn thành các phân đoạn nhỏ hơn. – Ví dụ: 200-500 từ mỗi đoạn văn bản – sau đó mã hóa mỗi đoạn thành một vectơ nhúng bằng cách sử dụng mô hình đã chọn. Các vectơ này, cùng với siêu dữ liệu như tiêu đề, thẻ hoặc URL nguồn, được lưu trữ trong cơ sở dữ liệu vectơ.

Khi người dùng đặt câu hỏi, hệ thống sẽ nhúng truy vấn đó với cùng một mô hình. và thực hiện tìm kiếm sự tương đồng với các embedding đã lưu trữ. Top-k đoạn văn bản gần nhất được cho là "liên quan đến" câu hỏi và được truy xuất trong vòng mili giây, nhờ vào chỉ mục ANN của cơ sở dữ liệu.

Các đoạn dữ liệu được truy xuất sau đó được thêm vào đầu hoặc chèn vào lời nhắc LLM.Đây là phần "tăng cường": mô hình nhận được cả yêu cầu ban đầu của người dùng và một số thông tin ngữ cảnh bên ngoài có liên quan, giúp nó đưa ra câu trả lời dựa trên thực tế chứ không phải phỏng đoán.

Cuối cùng, LLM tạo ra một phản hồi dựa trên ngữ cảnh đã được truy xuất này.Vì nội dung cơ sở dữ liệu có thể được cập nhật liên tục, RAG cho phép các mô hình ngôn ngữ tự động (LLM) trả lời bằng cách sử dụng thông tin cập nhật, chuyên biệt theo lĩnh vực mà không cần huấn luyện lại mô hình, đồng thời giảm thiểu hiện tượng ảo giác bằng cách neo các đầu ra vào các tài liệu thực tế.

Cách thức hoạt động thực tế của tìm kiếm tương đồng

Về bản chất, tìm kiếm vector là việc so sánh một vector truy vấn với nhiều vector đã được lưu trữ và xếp hạng chúng theo khoảng cách hoặc điểm tương đồng.Thách thức nằm ở việc thực hiện điều này một cách nhanh chóng và chính xác khi bạn có hàng triệu hoặc hàng tỷ vectơ trong không gian nhiều chiều.

Các bước cơ bản đều giống nhau giữa các động cơ.Đầu tiên, bạn chuyển đổi dữ liệu thành vector: văn bản, hình ảnh, âm thanh hoặc nội dung khác được đưa qua mô hình nhúng để tạo ra các vector. Tiếp theo, bạn lưu trữ các vector đó trong cơ sở dữ liệu, thường cùng với ID và siêu dữ liệu, và xây dựng một hoặc nhiều chỉ mục ANN trên đó.

Tại thời điểm truy vấn, dữ liệu người dùng nhập vào cũng được nhúng vào một vectơ.Sau đó, cơ sở dữ liệu sử dụng chỉ mục để tìm các láng giềng gần nhất xấp xỉ dựa trên một thước đo đã chọn – độ tương đồng cosin, khoảng cách Euclidean, tích vô hướng hoặc các thước đo khác – và trả về các kết quả phù hợp nhất cùng với điểm số tương đồng của chúng.

Kết quả thường được xếp hạng theo điểm tương đồng sao cho các vectơ gần nhất xuất hiện trước.Nhiều công cụ tìm kiếm cũng hỗ trợ các truy vấn kết hợp, trong đó bạn có thể lọc theo siêu dữ liệu (ví dụ: phạm vi giá, vị trí, danh mục) đồng thời tối ưu hóa độ tương đồng vectơ, mang lại cho bạn kết quả phù hợp hơn với hoạt động kinh doanh.

Để thực hiện tất cả những điều này một cách nhanh chóng trên quy mô lớn, các cơ sở dữ liệu vector hiện đại dựa vào thuật toán lân cận gần đúng.Họ đánh đổi một chút khả năng ghi nhớ để đổi lấy những cải tiến vượt bậc về tốc độ và mức sử dụng bộ nhớ, điều này có thể chấp nhận được đối với hầu hết các ứng dụng AI thực tế.

Các thuật toán ANN chính: HNSW, LSH và lượng tử hóa tích.

Mạng nơ-ron nhân tạo phân cấp điều hướng được (Hierarchical Navigable Small World - HNSW) là một trong những thuật toán ANN được sử dụng rộng rãi nhất trong cơ sở dữ liệu vector.Nó sắp xếp các vectơ thành nhiều lớp đồ thị: các lớp trên có ít nút và kết nối tầm xa, trong khi các lớp dưới dày đặc hơn, với tất cả các nút được kết nối ở lớp dưới cùng.

Trong quá trình tìm kiếm, HNSW bắt đầu từ một điểm vào ở lớp trên cùng và di chuyển một cách tham lam về phía các điểm lân cận gần hơn., di chuyển xuống các lớp khi nó tinh chỉnh tìm kiếm. Cấu trúc đồ thị phân lớp này tạo ra sự cân bằng hiệu quả giữa khả năng thu hồi và độ trễ, đó là lý do tại sao HNSW cung cấp sức mạnh cho các công cụ như Milvus, Qdrant và những công cụ khác.

Phương pháp băm nhạy cảm với vị trí (LSH) sử dụng một cách tiếp cận khác, sử dụng các hàm băm ánh xạ các vectơ tương tự vào cùng một nhóm với xác suất cao.Không giống như phương pháp băm truyền thống cố gắng tránh xung đột, LSH chấp nhận chúng đối với các mục tương tự. Nhiều bảng băm được xây dựng sao cho mỗi truy vấn chỉ cần kiểm tra các ứng viên từ các nhóm phù hợp thay vì toàn bộ tập dữ liệu.

Điều này giúp giảm thiểu hiệu quả số chiều trong khi vẫn bảo toàn cấu trúc lân cận theo cách xác suất.LSH có thể rất hấp dẫn đối với dữ liệu đa chiều khi bạn cần tạo ứng viên cực nhanh và có thể chấp nhận kết quả gần đúng.

Lượng tử hóa tích (Product Quantization - PQ) tập trung vào việc nén các vectơ để tiết kiệm bộ nhớ và tăng tốc độ tính toán khoảng cách.Nó chia mỗi vectơ đa chiều thành nhiều vectơ con, sau đó lượng tử hóa từng không gian con riêng biệt và chỉ lưu trữ ID của các tâm gần nhất, tạo thành một mã ngắn.

Phương pháp nén này có thể giảm mức sử dụng bộ nhớ hơn 90% mà vẫn cho phép ước tính khoảng cách.Mặc dù PQ có tính chất mất dữ liệu và có thể làm giảm độ chính xác tìm kiếm một chút, nhưng nó cực kỳ mạnh mẽ đối với các tập dữ liệu khổng lồ nơi RAM là nút thắt cổ chai chính, và là một thành phần thiết yếu trong các công cụ như FAISS và một số hệ thống cơ sở dữ liệu vector.

Các phương pháp đo khoảng cách: Khoảng cách Euclidean so với khoảng cách cosin và các phương pháp tương tự.

Chất lượng của tìm kiếm vector cũng phụ thuộc rất nhiều vào khoảng cách hoặc thước đo độ tương đồng mà bạn chọn.Hai trong số những lựa chọn phổ biến nhất là khoảng cách Euclidean (L2) và độ tương đồng cosin (hoặc phần bù của nó, khoảng cách cosin).

Khoảng cách Euclid đo khoảng cách đường thẳng giữa hai điểm trong không gian n chiều.Đối với các vectơ P và Q, đó là căn bậc hai của tổng bình phương hiệu số tọa độ. Khoảng cách càng ngắn nghĩa là độ tương đồng càng lớn, và phạm vi của nó từ 0 (các vectơ giống hệt nhau) đến vô cực.

Chỉ số này nhạy cảm với độ lớn.Nếu một vectơ dài hơn nhiều so với vectơ khác – ví dụ, biểu thị một tài liệu dài hơn hoặc các giá trị thuộc tính lớn hơn – khoảng cách Euclidean sẽ phản ánh điều đó, ngay cả khi cả hai vectơ đều hướng gần như cùng một chiều. Phương pháp này hoạt động tốt khi thang đo tuyệt đối mang ý nghĩa ngữ nghĩa, ví dụ như tọa độ vật lý hoặc các thuộc tính số liên tục mà kích thước đóng vai trò quan trọng.

Ngược lại, sự tương đồng cosin xem xét góc giữa hai vectơ, chứ không phải độ dài của chúng.Nó là tích vô hướng chia cho tích của các chuẩn vectơ. Nhiều hệ thống thực tế sử dụng khoảng cách cosin = 1 − độ tương đồng cosin, trong đó 0 có nghĩa là cùng hướng và giá trị lớn hơn có nghĩa là khác biệt nhiều hơn.

Vì bỏ qua độ lớn, độ tương đồng cosin là lý tưởng khi hướng mã hóa ngữ nghĩa.Trong các ứng dụng văn bản, hai tài liệu về cùng một chủ đề – một ngắn và một dài – vẫn nên được coi là rất giống nhau; khoảng cách cosine giúp điều đó xảy ra, trong khi khoảng cách Euclidean có thể đánh giá thấp tài liệu dài hơn chỉ vì nó có số lượng lớn hơn.

Trong không gian thưa thớt, đa chiều điển hình của xử lý ngôn ngữ tự nhiên (NLP), độ tương đồng cosin có xu hướng hoạt động ổn định hơn so với khoảng cách Euclidean.“Lời nguyền của chiều không gian” khiến tất cả các khoảng cách Euclidean bắt đầu trông giống nhau ở các chiều không gian rất cao, điều này có thể làm giảm khả năng phân biệt. Hàm Cosine hoạt động trên các vectơ đã được chuẩn hóa và thường mang lại thứ tự độ tương đồng có ý nghĩa hơn cho các nhúng văn bản.

Việc lựa chọn thước đo cuối cùng phụ thuộc vào việc bạn muốn "sự tương đồng" có ý nghĩa như thế nào trong lĩnh vực của bạn.Nếu tỷ lệ là yếu tố quan trọng – ví dụ, phát hiện bất thường dựa trên độ lớn của độ lệch – thì khoảng cách Euclidean có thể phù hợp. Nếu sự gần gũi về chủ đề hoặc sự thẳng hàng theo hướng quan trọng hơn chiều dài, thì khoảng cách cosin thường là lựa chọn tốt hơn. Một số cơ sở dữ liệu cũng hiển thị tích vô hướng như một thước đo, có liên quan chặt chẽ đến khoảng cách cosin khi các vectơ được chuẩn hóa.

Các cơ sở dữ liệu vector phổ biến và các hệ thống hỗ trợ vector

Hệ sinh thái các tùy chọn lưu trữ vector đã phát triển mạnh mẽ, từ các dịch vụ đám mây được quản lý hoàn toàn đến các công cụ mã nguồn mở tự lưu trữ và các giải pháp kiểu thư viện.Việc lựa chọn đúng phụ thuộc vào quy mô, ngân sách, các ràng buộc vận hành và mức độ tích hợp mà bạn mong muốn với cơ sở hạ tầng dữ liệu hiện có.

Các cơ sở dữ liệu vectơ chuyên dụng được xây dựng từ đầu để tìm kiếm sự tương đồng với thông lượng cao.Chúng thường hỗ trợ nhiều chỉ mục ANN, các lược đồ nén phức tạp, lọc siêu dữ liệu phong phú và khả năng phân cụm và chuyển đổi dự phòng ở cấp độ sản xuất.

Milvus là một ví dụ điển hình về cơ sở dữ liệu vector mã nguồn mở mạnh mẽ được thiết kế cho các khối lượng công việc quy mô lớn.Nó nhắm mục tiêu vào học máy, học sâu, tìm kiếm tương đồng và hệ thống đề xuất, đồng thời hỗ trợ tăng tốc GPU, truy vấn phân tán và nhiều phương pháp lập chỉ mục khác nhau như IVF, HNSW và PQ.

Khả năng cấu hình này cho phép bạn cân bằng giữa khả năng truy xuất dữ liệu, độ trễ và dung lượng lưu trữ theo nhu cầu của mình.Milvus rất phù hợp với các doanh nghiệp có hàng tỷ vector, nội dung đa ngôn ngữ và yêu cầu hiệu năng khắt khe, đồng thời tích hợp mượt mà vào các nền tảng dữ liệu phức tạp.

Các công cụ tìm kiếm chuyên dụng khác phục vụ những phân khúc khách hàng hơi khác nhau.Pinecone tập trung vào triển khai đám mây được quản lý hoàn toàn với các thỏa thuận mức dịch vụ (SLA) chặt chẽ và khả năng siêu dữ liệu mạnh mẽ; Weaviate cung cấp một công cụ mã nguồn mở với API GraphQL, bộ xử lý vector tích hợp và tìm kiếm kết hợp từ khóa + vector; Qdrant cung cấp dịch vụ tìm kiếm vector mã nguồn mở nhanh chóng với các phương pháp mạng nơ-ron nhân tạo (ANN) tiên tiến và khả năng lọc linh hoạt; Chroma nhắm đến các trường hợp sử dụng đơn giản hơn và thử nghiệm với trải nghiệm phát triển dễ dàng; Vespa vượt trội trong tìm kiếm và xếp hạng kết hợp các trường có cấu trúc, văn bản và vector; Deep Lake tập trung vào các tập dữ liệu đa phương thức như hình ảnh và video, nơi việc tích hợp chặt chẽ với các khung học máy là chìa khóa.

Đồng thời, các cơ sở dữ liệu đa năng đã bắt đầu áp dụng các tính năng vector thay vì hoàn toàn từ bỏ không gian này.Đối với các tổ chức đã đầu tư vào SQL hoặc kho lưu trữ tài liệu, đây có thể là một cách thiết thực để bổ sung tính năng tìm kiếm ngữ nghĩa mà không cần phải thiết lập một hệ thống riêng biệt.

Sử dụng PostgreSQL với tiện ích mở rộng pgvector là một trong những lựa chọn phổ biến nhất ở đây.Pgvector giới thiệu kiểu dữ liệu VECTOR lưu trữ trực tiếp các vectơ có kích thước cố định trong các bảng Postgres và cung cấp các toán tử so sánh độ tương đồng như khoảng cách Euclidean, tích vô hướng và khoảng cách cosin.

Điều đó có nghĩa là bạn có thể tạo một bảng như embeddings(id SERIAL PRIMARY KEY, vector VECTOR(768)), lập chỉ mục cho nó, và sau đó chạy các truy vấn có dạng “hãy cho tôi 5 vectơ gần nhất được sắp xếp theo khoảng cách L2”, tất cả đều bằng SQL chuẩn. Phần mở rộng này hỗ trợ chỉ mục cho các chiều khá cao và tích hợp tốt với các framework như LangChain.

Ưu điểm lớn của pgvector là sự đơn giản và khả năng hợp nhất.Dữ liệu giao dịch, bảng phân tích và dữ liệu nhúng của bạn đều nằm trong cùng một hệ thống, với một giải pháp sao lưu và bảo mật duy nhất. Nhược điểm là PostgreSQL không được thiết kế chuyên dụng cho khối lượng công việc hàng tỷ vector, vì vậy ở quy mô cực lớn hoặc yêu cầu độ trễ cực thấp, một cơ sở dữ liệu vector chuyên dụng thường sẽ hoạt động tốt hơn.

Elasticsearch và OpenSearch cũng có thể được chuyển đổi thành các hệ thống nhận biết vectơ. Thông qua các plugin k-NN. Nếu nhóm của bạn đã vận hành một cụm tìm kiếm cho nhật ký hoặc tìm kiếm toàn văn, việc kích hoạt các trường vectơ có thể đủ để tạo nguyên mẫu tìm kiếm ngữ nghĩa mà không cần thiết kế lại kiến ​​trúc. MongoDB cũng đã tham gia xu hướng này, tích hợp tìm kiếm vectơ vào hệ sinh thái hướng tài liệu của mình cho các trường hợp sử dụng nhẹ hơn.

Các tùy chọn nhúng và gọn nhẹ: Kịch bản VDB và tại chỗ

Không phải dự án nào cũng cần (hoặc có đủ khả năng chi trả) một cơ sở dữ liệu vector phân tán, cấp doanh nghiệp.Đối với nhiều nhà sáng lập và nhóm phát triển sản phẩm tối thiểu khả thi (MVP), công cụ nghiên cứu hoặc ứng dụng trên thiết bị, một thư viện nhúng gọn nhẹ sẽ hấp dẫn hơn nhiều.

VDB là một ví dụ về giải pháp gọn nhẹ như vậy: một thư viện C chỉ chứa các tệp tiêu đề, triển khai chức năng tìm kiếm vectơ cốt lõi.Nó được phân phối theo giấy phép Apache 2.0 và có thể được tích hợp trực tiếp vào các ứng dụng C hoặc C++ mà không cần các phụ thuộc phức tạp nào ngoài pthreads tùy chọn để xử lý đa luồng.

Bộ tính năng cốt lõi bao gồm những gì mà hầu hết các sản phẩm ở giai đoạn đầu cần.VDB hỗ trợ nhiều thước đo độ tương đồng (cosine, Euclidean, tích vô hướng), tìm kiếm đa luồng để khai thác CPU đa lõi, khả năng lưu trữ cơ bản cho phép bạn lưu và tải lại chỉ mục từ ổ đĩa, và các liên kết Python chính thức để bạn có thể tích hợp nó vào hệ sinh thái AI thông thường.

Vì chỉ có phần tiêu đề, việc tích hợp trở nên vô cùng đơn giản.: Bao gồm các tệp tiêu đề trong dự án của bạn, biên dịch, tạo các embedding bằng mô hình ưa thích của bạn (OpenAI, Cohere, Sentence Transformers, v.v.), đẩy chúng vào VDB với ID hoặc siêu dữ liệu liên kết, và truy vấn k láng giềng gần nhất khi xử lý yêu cầu.

Thiết kế này hoạt động rất tốt với các triển khai tại chỗ hoặc ở biên mạng.Nếu bạn đang xây dựng một ứng dụng kiểu LangChain + ChatGPT nhưng muốn giữ mọi thứ phía sau tường lửa của riêng mình, thư viện nhúng sẽ tránh được các phụ thuộc bên ngoài và tình trạng bị ràng buộc bởi nhà cung cấp. Đối với các thiết bị IoT hoặc thiết bị biên nơi độ trễ của đám mây là không thể chấp nhận được, việc biên dịch kho lưu trữ vector vào tệp nhị phân của bạn là một lợi thế lớn.

Tất nhiên, cũng có những sự đánh đổi: VDB không nhằm mục đích thay thế hoàn toàn cơ sở dữ liệu doanh nghiệp.Nó dựa vào tìm kiếm chính xác (tìm kiếm vét cạn) thay vì các đồ thị mạng nơ-ron nhân tạo phức tạp hoặc lượng tử hóa, do đó thời gian truy vấn tỷ lệ thuận tuyến tính với kích thước tập dữ liệu. Đối với hàng chục hoặc thậm chí vài trăm nghìn vectơ, điều đó thường có thể chấp nhận được, đặc biệt là với đa luồng; đối với hàng chục triệu vectơ, bạn có thể sẽ gặp phải giới hạn trừ khi bạn phân mảnh hoặc thêm lớp lập chỉ mục riêng của mình.

Tìm kiếm kết hợp thực tế: kết hợp vectơ và siêu dữ liệu

Trên thực tế, hầu hết các trường hợp sử dụng trong sản xuất đều kết hợp độ tương đồng vectơ với các bộ lọc nghiêm ngặt trên các thuộc tính có cấu trúc.Người dùng hiếm khi muốn "thứ giống nhất trong toàn bộ kho dữ liệu"; họ muốn "tương tự, nhưng cũng phải tuân thủ các ràng buộc này".

Hãy xem xét một ứng dụng tìm kiếm bất động sản, nơi người dùng mô tả cảm nhận về một ngôi nhà. – “kiểu kiến ​​trúc hiện đại giữa thế kỷ với nhiều ánh sáng tự nhiên” – đồng thời yêu cầu các ràng buộc nghiêm ngặt như “3 phòng ngủ”, “dưới 800,000 đô la” và “ở quận A”. Một tìm kiếm vector thông thường sẽ dễ dàng trả về một biệt thự hiện đại giữa thế kỷ tuyệt đẹp trị giá 2 triệu đô la ở khu vực trường học không phù hợp; các bộ lọc SQL thông thường sẽ không bao giờ hiểu được kiểu truy vấn này.

Các công cụ như AlloyDB dành cho PostgreSQL minh họa cách giải quyết vấn đề này bằng cách sử dụng tính năng lọc nội tuyến.AlloyDB kết hợp khả năng tương thích với Postgres với cơ sở hạ tầng có khả năng mở rộng của Google, tích hợp pgvector như một phần mở rộng hạng nhất và bổ sung thêm chỉ mục vector dựa trên ScanN để tìm kiếm sự tương đồng nhanh chóng.

Tính năng lọc nội tuyến của nó có nghĩa là chỉ mục vectơ và các bộ lọc siêu dữ liệu SQL được áp dụng trong một lần xử lý duy nhất.Thay vì thực hiện tìm kiếm vector rồi lọc bỏ các hàng không khớp, AlloyDB kiểm tra các ràng buộc về số và phân loại khi duyệt qua chỉ mục vector, tránh lãng phí công sức và giảm độ trễ.

Kết quả cuối cùng là một công cụ tìm kiếm kết hợp, trả về những ngôi nhà phù hợp với cả sở thích thẩm mỹ và các tiêu chí lọc khắt khe chỉ trong vài mili giây.Mô hình này có thể áp dụng cho thương mại điện tử (kiểu dáng + giá cả + tồn kho), khám phá nội dung (chủ đề + ngôn ngữ + khu vực), và về cơ bản là bất kỳ lĩnh vực nào mà "cảm nhận" phải cùng tồn tại với các quy tắc kinh doanh nghiêm ngặt.

Từ các lớp nhúng đến các ứng dụng sản xuất

Sau khi đã chọn phương pháp lưu trữ, quy trình tổng quan để xây dựng các đặc trưng dựa trên vector nhìn chung khá nhất quán.Cho dù bạn đang sử dụng Milvus, Qdrant, PostgreSQL + pgvector, Elasticsearch k-NN hay một thư viện nhẹ như VDB.

Đầu tiên, bạn tạo các embedding cho tập dữ liệu của mình.Đối với văn bản, đó có thể là tài liệu, cơ sở kiến ​​thức, phiếu yêu cầu hỗ trợ, email hoặc nhật ký trò chuyện; đối với hình ảnh và dữ liệu đa phương thức, bạn sẽ sử dụng các mô hình thị giác hoặc đa phương thức phù hợp. Mỗi mục trở thành một vectơ cộng với bất kỳ siêu dữ liệu nào bạn quan tâm.

Tiếp theo, bạn lưu trữ các embedding vào kho lưu trữ vector đã chọn cùng với các định danh và siêu dữ liệu.Trong cơ sở dữ liệu vector, điều này thường có nghĩa là tạo một tập hợp hoặc bảng với các trường vector và siêu dữ liệu; trong VDB, đó có thể là một chỉ mục trong bộ nhớ được hỗ trợ bởi các ảnh chụp nhanh trên đĩa.

Tại thời điểm truy vấn, bạn nhúng dữ liệu đầu vào của người dùng với cùng một mô hình và thực hiện tìm kiếm tương đồng.Cơ sở dữ liệu trả về k vectơ tương tự nhất, và bạn tra cứu các mục cơ bản (tài liệu, sản phẩm, hình ảnh) bằng cách sử dụng ID hoặc dữ liệu được lưu trữ của chúng.

Đối với RAG, bạn truyền nội dung đã truy xuất dưới dạng ngữ cảnh bổ sung cho LLM của mình.Đối với hệ thống đề xuất, bạn sử dụng trực tiếp các láng giềng làm ứng viên để xếp hạng. Đối với phân tích hoặc phát hiện bất thường, bạn có thể tổng hợp khoảng cách và các láng giềng để hiểu các mẫu và các điểm bất thường.

Cơ sở dữ liệu vector cũng giúp việc triển khai các mô hình nhúng trở nên dễ dàng và mạnh mẽ hơn.Thay vì phải xử lý thủ công các tập tin hoặc mảng tùy chỉnh, bạn sẽ có được khả năng quản lý tài nguyên hiệu quả, các tùy chọn mở rộng quy mô, kiểm soát bảo mật và ngôn ngữ truy vấn cho phép bạn thể hiện các truy vấn phức tạp về độ tương đồng và lọc một cách rõ ràng. Những vấn đề vận hành này bao gồm giám sát, theo dõi và quản trị các LLM và vectơ trong môi trường sản xuất, như được mô tả trong các lớp khả năng quan sát AI.

Khi kết hợp với trí tuệ nhân tạo tạo sinh, bộ công nghệ này cho phép tạo ra những trải nghiệm mang tính cá nhân hóa, dựa trên dữ liệu của riêng bạn và có khả năng phát triển khi kho dữ liệu của bạn lớn lên.Dù bạn chọn cơ sở dữ liệu phân tán mạnh mẽ hay thư viện tại chỗ nhẹ nhàng, các thành phần khái niệm – nhúng dữ liệu, số liệu đo lường độ tương đồng, mạng nơ-ron nhân tạo (ANN) hay tìm kiếm chính xác, và bộ lọc siêu dữ liệu – vẫn giữ nguyên và tạo thành xương sống của các ứng dụng trí tuệ nhân tạo hiện đại.

Khi các hệ thống AI trở nên có khả năng đàm thoại, đa phương thức và cần nhiều ngữ cảnh hơn, vai trò của cơ sở dữ liệu vector như một lớp bộ nhớ ngữ nghĩa sẽ ngày càng trở nên quan trọng.Hiểu cách các vectơ được lưu trữ, lập chỉ mục và so sánh đang nhanh chóng trở thành một kỹ năng cốt lõi đối với bất kỳ ai xây dựng các ứng dụng nghiêm túc bằng ngôn ngữ và mô hình thị giác.