- Các công cụ AI cung cấp cơ sở hạ tầng thiết yếu—bao gồm cả môi trường thử nghiệm và trạng thái bền vững—giúp chuyển đổi các mô hình LLM thô thành các tác nhân chức năng.
- Jev giới thiệu mô hình quyết định System One, một giải pháp thay thế tốc độ cao, chi phí thấp cho các mô hình LLM truyền thống trong phân loại có cấu trúc.
- Việc tích hợp Jev với LangChain và LangGraph cho phép các nhà phát triển xây dựng các hệ thống "thực tế, chứ không phải thần thánh" bằng cách tách rời quá trình suy luận khỏi quá trình ra quyết định.
Khi nói về các tác nhân AI, hầu hết mọi người tập trung vào bộ não – Mô hình Ngôn ngữ Lớn. Nhưng vấn đề là: bản thân mô hình chỉ là một công cụ dự đoán văn bản cao cấp. Để thực sự hoàn thành công việc trong thế giới thực, bạn cần thứ được gọi là " bộ khung hỗ trợ" . Hãy tưởng tượng bộ khung hỗ trợ như cơ thể và các công cụ cho phép bộ não tương tác với thế giới, quản lý mọi thứ từ bộ nhớ đến việc thực thi mã lệnh.
Gần đây, cuộc chơi đã thay đổi với sự xuất hiện của Jev từ TypeSafe AI . Thay vì xử lý mọi quyết định nhỏ nhặt như một cuộc tranh luận triết học đòi hỏi một mô hình logic khối (LLM) đồ sộ, Jev xử lý các lựa chọn có cấu trúc, tốc độ nhanh. Bằng cách kết hợp điều này với LangChain và LangGraph , các nhà phát triển cuối cùng có thể chuyển từ các kiến trúc tốn kém, chậm chạp sang một kiến trúc gọn nhẹ, hiệu quả và sẵn sàng cho môi trường sản xuất.
Hiểu về kiến trúc bộ điều khiển tác nhân
Nếu bạn không phải là người huấn luyện mô hình, về cơ bản bạn là một kỹ sư thiết kế hệ thống điều khiển (harness engineer). Hệ thống điều khiển là toàn bộ tập hợp mã, cấu hình và logic bao quanh một mô hình. Nó là thứ biến một mô hình học máy thô sơ thành một cỗ máy hoạt động bằng cách cung cấp trạng thái, quyền truy cập công cụ và các ràng buộc chặt chẽ. Nếu không có lớp này, mô hình không thể nhớ những gì nó đã làm hai phút trước hoặc thực sự nhấp vào một nút trên trang web.
Một trong những thành phần quan trọng nhất của một hệ thống điều khiển tự động là hệ thống tập tin . Bằng cách cung cấp cho tác nhân một không gian làm việc, nó có thể lưu trữ dữ liệu không vừa với cửa sổ ngữ cảnh và duy trì trạng thái ổn định giữa các phiên khác nhau. Điều này ngăn chặn vấn đề thường gặp là "mất ngữ cảnh", trong đó tác nhân bị lạc hướng khi cuộc hội thoại trở nên quá dài. Các hệ thống điều khiển tự động tiên tiến sử dụng kỹ thuật nén dữ liệu và lưu trữ dữ liệu gọi công cụ để giữ thông tin quan trọng nhất ở vị trí trung tâm trong khi lưu trữ phần còn lại trên đĩa.
Để các tác nhân thực sự tự chủ, các công cụ thường bao gồm một công cụ bash và các môi trường sandbox an toàn . Thay vì mã hóa cứng mọi công cụ có thể, bạn cung cấp cho tác nhân một thiết bị đầu cuối. Điều này cho phép nó tự viết các kịch bản để giải quyết vấn đề ngay lập tức. Tuy nhiên, việc chạy mã do tác nhân tạo ra tiềm ẩn rủi ro, đó là lý do tại sao môi trường thực thi biệt lập là điều không thể thiếu đối với bất kỳ hệ thống nào được sử dụng trong môi trường sản xuất.
Giới thiệu Jev: Mô hình Quyết định Hệ thống Một
Hầu hết các nhà phát triển đều sử dụng các mô hình LLM tiên tiến cho mọi thứ, điều này giống như dùng siêu xe để lái xe mười bước đến hộp thư. Đó là sự lãng phí. Jev thay đổi điều này bằng cách hoạt động như một mô hình Hệ thống Một . Nó không tạo ra văn bản; nó đưa ra các quyết định được nhập liệu . Cho dù đó là câu trả lời có/không (Noul), lựa chọn từ một danh sách, hay điểm số bằng số, Jev đều đưa ra câu trả lời kèm theo xác suất tương ứng.
Hiệu suất được cải thiện một cách đáng kinh ngạc. Chúng ta đang nói đến tốc độ suy luận nhanh hơn tới 200 lần và chi phí thấp hơn tới 400 lần so với các mô hình LLM truyền thống trong phân loại. Vì Jev có thể đánh giá nhiều câu hỏi song song cho cùng một trạng thái, nên nó rất phù hợp cho các tác vụ phân loại, chẳng hạn như quyết định xem yêu cầu hỗ trợ khách hàng có khẩn cấp hay không hoặc xác định thông tin nhận dạng cá nhân (PII) trong một tài liệu pháp lý.
Triển khai Jev trong hệ sinh thái LangChain
Việc tích hợp Jev vào LangChain rất đơn giản thông qua TypeSafeClassifier . Thay vì phản hồi dạng chat, bạn sẽ nhận được một phân loại có cấu trúc. Điều này cho phép bạn xây dựng một lớp quyết định nằm trước tác nhân chính của mình. Ví dụ, bạn có thể triển khai một Bộ định tuyến yêu cầu (Request Router) để phân tích truy vấn và gửi các tác vụ đơn giản đến một mô hình giá rẻ như GPT-4o-mini và các tác vụ kiến trúc phức tạp hơn đến một mô hình mạnh mẽ như GPT-4o.
Một trường hợp sử dụng đột phá khác là Tool Gate . Trước khi một tác nhân thực thi một lệnh có khả năng nguy hiểm—như xóa cơ sở dữ liệu—hệ thống có thể sử dụng Jev để đánh giá mức độ rủi ro . Nếu rủi ro quá cao, hệ thống có thể chặn cuộc gọi hoặc kích hoạt quy trình can thiệp của con người. Điều này tạo ra một mạng lưới an toàn đáng tin cậy hơn nhiều so với việc chỉ đơn giản yêu cầu LLM "hãy cẩn thận" trong lời nhắc hệ thống.
Phối hợp với LangGraph và việc phân tách trí tuệ
Trong khi Jev xử lý các quyết định, LangGraph cung cấp khả năng điều phối . Nó cho phép bạn định nghĩa luồng hoạt động của tác nhân dưới dạng đồ thị các nút và cạnh. Điều này có nghĩa là phán quyết đến từ mô hình, nhưng luồng hoạt động vẫn nằm trong mã , giúp hệ thống có thể quan sát và kiểm thử được. Bạn có thể sử dụng các điểm kiểm tra để đảm bảo rằng nếu một quy trình thất bại, nó có thể tiếp tục chính xác từ nơi nó đã dừng lại mà không lãng phí token.
Sự chuyển đổi này được các chuyên gia gọi là Sự phân tách lớn của trí tuệ nhân tạo . Thay vì một mô hình khổng lồ thực hiện mọi thứ, chúng ta đang hướng tới một mô hình "giá rẻ theo mặc định, tiên tiến trong các trường hợp ngoại lệ". Trong kịch bản tự động hóa trình duyệt, Jev có thể nhanh chóng chọn phần tử cần nhấp; nếu điểm tin cậy giảm xuống dưới một ngưỡng nhất định (ví dụ: 0.7), hệ thống sẽ tự động chuyển nhiệm vụ cho một mô hình LLM có khả năng hơn để suy luận sâu.
Sự phối hợp giữa một hệ thống điều khiển mạnh mẽ, một mô hình quyết định nhanh như Jev và một môi trường thực thi có cấu trúc như LangGraph cho phép khả năng tự chủ lâu dài . Bằng cách sử dụng các mẫu như Ralph Loop—vốn tái sử dụng các lời nhắc ban đầu vào các cửa sổ ngữ cảnh sạch—các tác nhân có thể xử lý các dự án phức tạp, nhiều bước mà không làm mất tính mạch lạc. Mục tiêu cuối cùng là một hệ thống trong đó mô hình cung cấp trí thông minh, và hệ thống điều khiển giúp trí thông minh đó trở nên hữu ích và an toàn cho việc triển khai thực tế.
