Ollama Client: Giao diện LLM cục bộ cho việc duyệt web tập trung vào quyền riêng tư
Ollama Client, được phát triển bởi Shishir Chaurasiya, là một tiện ích mở rộng trình duyệt Firefox cung cấp giao diện đồ họa ưu tiên cục bộ để tương tác với các mô hình ngôn ngữ lớn trên máy của nhà phát triển. Tiện ích cho phép người dùng trò chuyện với các mô hình được lưu trữ qua Ollama, LM Studio hoặc llama.cpp bên trong trình duyệt và cung cấp chế độ thanh bên và popup cho các truy vấn trong ngữ cảnh. Các khả năng chính bao gồm tạo nội dung tăng cường truy xuất, tìm kiếm dựa trên vector, hiển thị Markdown và xuất trò chuyện, nhằm phục vụ cho các nhà phát triển, nhà nghiên cứu và người dùng chú trọng đến quyền riêng tư.
Khách hàng chuyển đổi các máy chủ mô hình cục bộ thành một trợ lý trong trình duyệt
Ollama Client cung cấp một giao diện trò chuyện đồ họa kết nối trình duyệt với các máy chủ mô hình cục bộ như Ollama, LM Studio hoặc llama.cpp, loại bỏ độ phức tạp của dòng lệnh. Tiện ích mở rộng chạy bên trong Firefox và các trình duyệt dựa trên Chromium khác, và kết nối được thiết lập bằng cách nhập một URL điểm cuối cục bộ trong cài đặt. Bởi vì khách hàng ủy quyền suy diễn cho một dịch vụ cục bộ, độ trễ phản hồi và khả năng của mô hình phụ thuộc vào mô hình đã cài đặt và máy chủ.
Nó hỗ trợ quy trình làm việc nghiên cứu của nhà phát triển với RAG và tìm kiếm vector
Khách hàng tích hợp ngữ cảnh trang vào các truy vấn và cho phép Tạo ra Tăng cường Tìm kiếm từ các tệp cục bộ, trong khi tìm kiếm thông minh sử dụng nhúng vector qua lịch sử trò chuyện và tệp đính kèm. Xử lý tệp đính kèm bao gồm các đầu vào phân tích viên phổ biến và tiện ích mở rộng hiển thị Markdown với đánh dấu cú pháp. Các đầu ra chính và khả năng tương tác bao gồm:
- Xuất và nhập các phiên trò chuyện dưới dạng PDF và JSON
- Tinh chỉnh tham số như nhiệt độ và lời nhắc hệ thống tùy chỉnh
- Tìm kiếm thông minh trên các tệp đã tải lên và biên bản
Quyền riêng tư và tính minh bạch phù hợp với yêu cầu bảo mật kỹ thuật
Công cụ này thực thi các giao tiếp chỉ cục bộ để các lời nhắc và tương tác trang vẫn trên phần cứng của người dùng, và nó là mã nguồn mở để cho phép kiểm tra bảo mật và đóng góp từ cộng đồng. Một đồng hồ sử dụng ngữ cảnh hiển thị mức độ tiêu thụ của cửa sổ ngữ cảnh của mô hình, điều này giúp khi xây dựng các lời nhắc cho các đầu vào lớn. Bởi vì không cần API đám mây, việc xuất dữ liệu đến các dịch vụ bên thứ ba được tránh theo thiết kế, chuyển trách nhiệm cho việc lưu trữ an toàn cho người vận hành.
Phù hợp nhất cho người dùng kỹ thuật có khả năng lưu trữ mô hình cục bộ
Ollama Client là một lựa chọn thực tế cho các nhà phát triển và nhà nghiên cứu cần truy cập trong trình duyệt vào các LLM được lưu trữ cục bộ và kiểm soát luồng dữ liệu. Thiết kế ưu tiên quyền riêng tư và tích hợp chặt chẽ với trình duyệt, làm cho nó hữu ích cho việc gỡ lỗi lặp đi lặp lại và phân tích tài liệu. Người dùng không thể chạy một ngăn xếp suy diễn cục bộ hoặc những người thích các mô hình được lưu trữ từ xa nên mong đợi một sự không tương thích với quy trình làm việc thông thường của họ.
