DEVHERO Nhắn trên WhatsApp
HelplineNgười thật, không phải AI. Hỗ trợ trong 24 giờ
Human First
ảo giác LLM

Ảo giác LLM đang đến với người dùng của bạn. Chúng tôi khắc phục trong 24 giờ.

Bạn đã thêm mô hình vào sản phẩm — trợ lý tìm kiếm, trình trợ giúp hỗ trợ, lớp RAG, API trên tài liệu của bạn.

  • Nó tạo ra một chính sách, một mức giá hoặc một thông tin thực tế về bạn
  • Trích dẫn chỉ đến các trang không chứa tuyên bố
  • Nó trả lời khi cần từ chối

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Chuyên gia cao cấp thật sự dẫn dắt. Tên trong thư trả lời đầu. AI là công cụ; một người kiểm tra kết quả.

01

Vấn đề

Vấn đề này trông như thế nào, làm sao nhận ra, và điều gì đang bị đe dọa nếu để vậy.

Vấn đề này trông như thế nào

Những câu trả lời được phát minh ra trông như thế nào trong quá trình tích hợp AI, tại sao các nhóm bị đình trệ và tại sao sự trôi chảy không phải là sự thật.

Những câu trả lời sai đang đến tay người dùng, đôi khi có những trích dẫn giả mạo

Mô hình này phát minh ra các chính sách, giá cả hoặc trích dẫn. Truy xuất bỏ sót đoạn văn đúng, hoặc nhồi sai đoạn văn. Không có trích dẫn, không từ chối và không có bộ đánh giá. Một câu trả lời sai đầy tự tin còn tệ hơn cả một con người chậm chạp.

Bạn sợ chụp ảnh màn hình công khai

Bạn sợ bị chụp ảnh màn hình công khai. Tính năng đã được công bố. Tắt nó đi có cảm giác như một bước lùi; để nó tiếp tục cảm thấy liều lĩnh.

Một hệ thống lên tiếng cho công ty của bạn phải được phép nói rằng nó không biết

Một hệ thống đại diện cho công ty của bạn phải được phép nói 'Tôi không biết'. Sự lưu loát không phải là sự thật.

Bạn cần những câu trả lời nằm trong sự thật mà bạn có thể bảo vệ.

Ảo giác LLM trong một sản phẩm là một vấn đề về niềm tin: mô hình này phát minh ra các chính sách, giá cả hoặc trích dẫn. Truy xuất bỏ sót đoạn văn đúng, hoặc nhồi sai đoạn văn. Một câu trả lời sai đầy tự tin còn tệ hơn cả một con người chậm chạp.

Thêm về cách việc này thể hiện

Bạn đã thêm một mô hình để tìm kiếm, hỗ trợ hoặc trợ lý tài liệu. Tính năng đã được công bố. Tắt nó đi có cảm giác như một bước lùi; để nó tiếp tục cảm thấy liều lĩnh.

Chúng tôi không khẳng định một mô hình sẽ không bao giờ sai. Chúng tôi có thể giảm bớt những câu trả lời vô căn cứ, thêm những lời từ chối và đưa ra bước đánh giá của con người khi cần thiết.

Dấu hiệu cho thấy việc tích hợp LLM của bạn đang gây ảo giác hoặc đưa ra câu trả lời sai

Đây là những thất bại của sản phẩm, không phải những cuộc tranh luận triết học về những gì một người mẫu 'biết'.

Nó tạo ra một chính sách, một mức giá hoặc một thông tin thực tế về bạn

Câu trả lời trôi chảy và sai. Một khách hàng có thể chụp màn hình nó.

Trích dẫn chỉ đến các trang không chứa tuyên bố

Hoặc trích dẫn được phát minh hoàn toàn.

Nó trả lời khi cần từ chối

Câu hỏi ngoài ngữ liệu vẫn có đoạn văn tự tin.

Việc truy xuất có vẻ bận rộn và vẫn bỏ lỡ đoạn văn rõ ràng

Tài liệu phù hợp tồn tại nhưng không có trong ngữ cảnh hoặc đoạn sai sẽ lấn át nó.

Những người dùng khác nhau nhận được câu trả lời trái ngược nhau cho cùng một câu hỏi

Không có nền tảng nhất quán hoặc lời nhắc đã bị trôi.

Không có bộ đánh giá, chỉ có vài demo vui vẻ

Không ai có thể nói câu hỏi nào phải luôn được trả lời từ một nguồn.

Nếu các câu trả lời được phát minh tiếp tục và nếu sự tích hợp được thắt chặt

Trước — nếu bạn để vậy

Nếu bạn để vậy

Một câu trả lời bịa đặt có thể trở thành một cuộc khủng hoảng hỗ trợ, một vấn đề pháp lý hoặc sự mất niềm tin thầm lặng mà bạn sẽ không thấy trên bảng điều khiển.

Sau — nếu chúng tôi khép lại

Nếu chúng tôi khép lại

Trợ lý nằm trong các nguồn mà bạn chấp nhận, từ chối khi cần thiết và được kiểm tra trong các trường hợp mà bạn quan tâm. Bạn biết rủi ro còn lại thay vì phát hiện ra nó từ người dùng.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

02

Vì sao xảy ra

Thường đến từ đâu, vì sao xuất hiện trong công việc nhanh hoặc có AI hỗ trợ, và cách tự kiểm tra.

Tại sao API kiểu RAG và ChatGPT lại phát minh ra câu trả lời trong quá trình sản xuất

Ảo giác là một hành vi mẫu đã được biết đến. Câu hỏi về sản phẩm là cách bạn truy xuất, hạn chế, đánh giá và dự phòng.

Truy xuất yếu hoặc ồn ào

Cửa sổ ngữ cảnh chứa đầy các đoạn sai hoặc không có gì hữu ích và mô hình vẫn cố gắng tỏ ra hữu ích.

Lời nhắc yêu cầu câu trả lời

'Luôn luôn giúp ích' không có đường dẫn từ chối là yêu cầu sáng chế khi thiếu nguồn.

Không trích dẫn, hoặc trích dẫn để trang trí

Nếu hệ thống không bắt buộc phải chỉ vào một lối đi thì nó sẽ không.

Kiến thức cũ kỹ hoặc lộn xộn

Kho văn bản đã lỗi thời, trùng lặp hoặc bao gồm các bản nháp mà lẽ ra không bao giờ được xuất bản lên mô hình.

Không đánh giá và không ghi lại câu hỏi

Bạn phát hiện ra lỗi từ người dùng chứ không phải từ bộ thử nghiệm.

Tại sao các tính năng AI nhanh lại đi kèm với ảo giác

Một ngày cuối tuần để kết nối mô hình với trung tâm trợ giúp có thể trông rất ấn tượng trong bản demo nhưng vẫn không an toàn về giá cả, chính sách hoặc các câu hỏi liên quan đến y tế mà công ty không nên đặt ra. Các công ty khởi nghiệp cũng bỏ qua những lời từ chối vì họ cảm thấy mình là một bản demo tệ hơn. Công việc của Human First đặt ra một tiêu chuẩn về sự tích hợp: có căn cứ, hoặc im lặng, hoặc được giao cho một người.

Cách kiểm tra tích hợp AI để tìm ra câu trả lời được phát minh

Một bộ câu hỏi ngắn gọn, trung thực sẽ cho biết liệu hệ thống có được nối đất hay không.

  • Đặt những câu hỏi mà bạn biết rõ câu trả lời của tài liệu và những câu hỏi mà bạn biết là không

    Nhóm thứ 2 nên từ chối hoặc ra tay, không nên tùy cơ ứng biến.

  • Kiểm tra các đoạn văn được truy xuất để tìm một câu hỏi đã biết

    Nếu thiếu đoạn bên phải thì người mẫu sẽ không bao giờ có cơ hội.

  • Kiểm tra xem trích dẫn có thực sự có trong nguồn hay không

    Mở trang. Đừng chỉ tin tưởng vào phong cách chú thích cuối trang.

  • Ghi lại câu hỏi, ngữ cảnh và câu trả lời

    Nếu bạn không thể phát lại lỗi, bạn không thể sửa nó một cách có hệ thống.

  • Tìm kiếm những thay đổi nhanh chóng hoặc chỉ mục xung quanh những khiếu nại đầu tiên

    Kết xuất kho văn bản mới hoặc lời nhắc 'hữu ích hơn' là một trình kích hoạt phổ biến.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

03

DevHero khắc phục thế nào

Chuyên gia cao cấp dẫn dắt. AI là công cụ. Một người kiểm tra kết quả.

Ảo giác là hành vi được biết đến của những mô hình này. Câu hỏi về sản phẩm là cách bạn truy xuất, hạn chế, đánh giá và rút lui - chứ không phải liệu mô hình có thể thơ mộng hay không.

DevHero là Con người trên hết. Một chuyên gia thiết kế hoặc sửa chữa sự tích hợp để con người vẫn sở hữu tiêu chuẩn. AI là thành phần được thử nghiệm, không phải là người đánh giá chất lượng. Một chuyên gia về tiền lương kiểm tra kết quả. Chúng tôi sẽ không khẳng định một mô hình sẽ không bao giờ sai.

Một chuyên gia thiết kế hoặc sửa chữa việc truy xuất, ràng buộc và đánh giá. AI là thành phần được thử nghiệm, không phải là người đánh giá chất lượng. Một chuyên gia về tiền lương kiểm tra kết quả.

How a typical weekday case moves

  1. 01Đã nhận tin
  2. 02Đã nêu tên chuyên gia
  3. 03Chẩn đoán
  4. 04Khắc phục
  5. 05Người kiểm tra
  6. 06Bàn giao

Cách nhận trợ giúp về ảo giác LLM trong một sản phẩm

Viết trên WhatsApp hoặc Telegram. Chúng tôi thực hiện công việc tích hợp khó khăn. Chúng tôi sẽ không hứa hẹn độ chính xác 100%.

  1. Gửi ví dụ về câu trả lời sai và nguồn đáng lẽ phải là gì

    Một URL hoặc tiêu đề tài liệu sẽ hữu ích.

  2. Một chuyên gia nêu tên trả lời

    Trong vòng một phút, bạn sẽ thấy tên của họ. Họ được cảnh báo và có thể được gọi nếu họ không phản hồi.

  3. Thắt chặt việc tiếp đất và từ chối, trong 24 giờ khi nằm trong phạm vi

    Vào một ngày trong tuần điển hình, chúng tôi mong muốn ngăn chặn những câu trả lời vô căn cứ tồi tệ nhất và cho bạn biết những gì còn lại. Một chương trình kiến ​​thức lớn là một dự án phức tạp.

DevHero làm thế nào để giảm ảo giác khi tích hợp LLM

Chúng tôi kiểm tra khả năng truy xuất, lời nhắc, trích dẫn và đánh giá, sau đó thắt chặt đường dẫn. Một con người kiểm tra kết quả đối với các trường hợp bạn quan tâm.

Chúng tôi kiểm tra khả năng truy xuất, lời nhắc, công cụ, trích dẫn và việc thiếu đánh giá. Sau đó, chúng tôi thắt chặt lộ trình: truy xuất tốt hơn, căn cứ chặt chẽ hơn, từ chối, ghi nhật ký và bước xem xét của con người khi cần thiết. Một chương trình kiến ​​thức lớn là một dự án phức tạp. Một lần vượt qua thông thường trong tuần thường có thể ngăn chặn những câu trả lời sai tồi tệ nhất và cho bạn biết những gì còn lại.

  1. Phát lại các câu hỏi không đạt với ngữ cảnh hiển thị

    Bước sai đầu tiên thường là truy xuất chứ không phải 'mô hình xấu'.

  2. Sửa lỗi truy xuất và vệ sinh kho dữ liệu khi cần thiết

    Phân đoạn, siêu dữ liệu, tài liệu cũ và những thiếu sót rõ ràng.

  3. Thêm những lời từ chối và, nếu hữu ích, những trích dẫn có thể được kiểm tra

    Một hệ thống phải được phép nói rằng nó không biết.

  4. Đặt bước đánh giá của con người đối với các câu trả lời có rủi ro cao nếu sản phẩm cần

    Các chính sách, giá cả và các câu trả lời liền kề về mặt pháp lý có thể không thuộc về một lộ trình hoàn toàn tự động.

  5. Để lại một bộ đánh giá nhỏ

    Vì vậy, thay đổi nhắc nhở tiếp theo có một cổng.

Bạn nhận được gì trong 24 giờ đầu tiên khi gặp vấn đề ảo giác

Đối với trường hợp điển hình trong phạm vi ngày trong tuần, mục tiêu là sự tích hợp chặt chẽ hơn, trung thực hơn chứ không phải tuyên bố về sự hoàn hảo.

  1. Chẩn đoán lý do tại sao các câu hỏi mẫu lại sai.

  2. Thay đổi về cách truy xuất, nhắc nhở, từ chối hoặc trích dẫn phù hợp với phiên học.

  3. Một nhóm nhỏ các trường hợp chúng tôi thực sự đã chạy, không phải tỷ lệ chính xác được phát minh.

  4. Một kết quả do con người kiểm tra.

  5. Lưu ý về rủi ro còn lại và liệu có cần một chương trình lớn hơn hay không.

Gửi cho chúng tôi điều gì khi có câu trả lời AI sai

Ví dụ và nguồn đều quan trọng. Không dán bí mật hoặc dữ liệu cá nhân nhạy cảm vào cuộc trò chuyện.

Sản phẩm và loại câu hỏi mà nó trả lời

Hỗ trợ, tìm kiếm, kiến thức nội bộ hoặc thứ gì đó khác.

Một hoặc hai câu trả lời sai và nguồn đáng lẽ phải được sử dụng

Ảnh chụp màn hình hoặc văn bản, đã cắt bớt dữ liệu nhạy cảm.

Cách truy xuất hoạt động như thế nào, nếu bạn biết

Chỉ mục, tập tin, nhà cung cấp.

Đã phát trực tiếp chưa

Và liệu bạn có thể thêm lời từ chối hay bàn giao một cách nhanh chóng hay không.

Bất kỳ đánh giá nào bạn đã có

Ngay cả một bảng tính câu hỏi cũng hữu ích.

Sửa nhanh và khẩn

4 giờ đầu với chuyên gia + AI không giới hạn: miễn phí, một lần cho mỗi khách. Công việc sau đó là trả phí, theo yêu cầu. Một người dẫn dắt và kiểm tra kết quả.

Miễn phí (phiên đầu)

Dự án phức tạp

Công việc lớn hơn dùng mức phí khác, theo yêu cầu. Chúng tôi nói rõ trước khi tiếp tục.

Theo yêu cầu

Ngày thường, rồi cuối tuần

Kế hoạch cơ bản chỉ cho ngày thường. Việc cuối tuần là sản phẩm riêng. Mọi phụ phí được nêu trước, trước mọi cuộc gọi, và tùy độ phức tạp. Số tiền: theo yêu cầu.

Theo yêu cầu

Phiên đầu miễn phí: 4 giờ đầu với chuyên gia, cộng AI không giới hạn, một lần cho mỗi khách. Công việc sau đó, mức phí dự án phức tạp và mức cuối tuần là trả phí, theo yêu cầu.

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

04

Để giữ được trạng thái đã sửa

Không nên làm gì tiếp theo, các stack chúng tôi thấy trong kiểu việc này, và cách giữ bản sửa.

Những việc không nên làm khi người mẫu đang bịa ra đáp án

Một số 'cách sửa lỗi' khiến người nói dối thành thạo trở nên tự tin hơn.

Tăng nhiệt độ hoặc 'sáng tạo' để âm thanh hay hơn

Bạn có thể nhận được nhiều phát minh hơn.

Yêu cầu mô hình 'luôn trả lời' khi kho văn bản trống

Bạn đã yêu cầu ảo giác.

Thêm nhiều tài liệu hơn mà không vệ sinh truy xuất

Tiếng ồn trong chỉ mục trở thành tiếng ồn trong câu trả lời.

Xuất bản con số chính xác giả tạo

Nếu bạn không đo lường các trường hợp, đừng phát minh ra tỷ lệ phần trăm. Chúng tôi cũng sẽ không phát minh ra nó.

Để lại các câu trả lời có độ rủi ro cao hoàn toàn tự động vì bản demo diễn ra suôn sẻ

Một người có thể vẫn cần sở hữu giá và chính sách.

Sự tích hợp nơi chúng ta thấy ảo giác LLM

Hãy cho chúng tôi biết nhà cung cấp và thiết lập truy xuất. Nếu chúng tôi không nên lấy nó, chúng tôi sẽ nói như vậy.

RAG qua các trung tâm trợ giúp và bộ tài liệu

Hình dạng sản phẩm phổ biến nhất.

Hỗ trợ và trợ lý nội bộ

Trường hợp một câu trả lời chính sách sai sẽ phải trả giá đắt.

API trên mô hình nhà cung cấp

Có hoặc không có sự truy xuất của riêng bạn.

Đại lý cũng giải đáp thắc mắc

Nếu lỗi được phát minh là sự thật, trang này sẽ được áp dụng; nếu lỗi là do vòng lặp công cụ, hãy xem trang tác nhân AI.

Cách duy trì sự tích hợp trung thực sau khi sửa lỗi

Căn cứ là một thói quen: đánh giá, từ chối và là tiêu chuẩn của con người đối với những câu trả lời có tính rủi ro cao.

Right after the fix

Giữ bộ đánh giá cuộc sống

Bao gồm các câu hỏi phải từ chối.

Ghi lại câu hỏi, ngữ cảnh và câu trả lời

Phát lại lỗi.

Không gửi thay đổi ngay lập tức khi chưa chạy bộ này

Hương vị thôi chưa đủ.

Làm mới và làm sạch kho văn bản

Những bản nháp cũ sẽ không thể lấy lại được.

As you keep shipping

Yêu cầu các trích dẫn có thể kiểm tra khi sản phẩm cần chúng

Và thực sự kiểm tra một mẫu.

Hand off hoặc từ chối khi thiếu nguồn

Sự im lặng hữu ích còn hơn là một lỗi trôi chảy.

Đưa con người vào vòng lặp cho các loại câu hỏi có độ rủi ro cao

Cho đến khi bạn có lý do để không làm vậy.

Nếu người dùng bắt đầu gửi lại ảnh chụp màn hình, hãy mở lại bằng chứng

Đừng cho rằng bản sửa lỗi cuối cùng vẫn được giữ nguyên.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

05

Câu hỏi về vấn đề này

Câu trả lời thẳng về vấn đề này, phiên làm việc, và bước tiếp theo.

Bạn có thể tạo mô hình chính xác 100% không?

Không, và chúng tôi sẽ không nói như vậy. Chúng ta có thể giảm bớt những câu trả lời vô căn cứ và thêm những lời từ chối, kiểm tra và đánh giá.

Tôi có cần thay đổi nhà cung cấp mô hình không?

Không phải lúc nào cũng vậy. Nhiều lỗi liên quan đến việc truy xuất, bối cảnh hoặc thiếu đánh giá. Nếu thay đổi mô hình là một bước đi đúng đắn, chúng tôi sẽ nói như vậy.

Bạn sẽ phát minh ra tỷ lệ phần trăm chính xác chứ?

Không. Chúng tôi sẽ chỉ nói về những trường hợp chúng tôi thực sự đã thử nghiệm trên hệ thống của bạn.

Tôi phải bắt đầu như thế nào?

Viết trên WhatsApp hoặc Telegram kèm theo sản phẩm và ví dụ về câu trả lời sai. Không có hình thức, không có trò chuyện trên web.

Tôi có nên tắt tính năng này cho đến khi nó được khắc phục không?

Nếu nó đã phát minh ra giá cả hoặc chính sách thì việc tạm dừng hoặc chuyển giao bắt buộc có thể là động thái có trách nhiệm. Chúng tôi sẽ giúp bạn quyết định.

Đây có phải là đặc vụ AI bị hỏng không?

Chúng trùng nhau. Sử dụng trang này cho các câu trả lời được phát minh. Sử dụng trang tổng đài viên khi quy trình làm việc hoặc lệnh gọi công cụ không thành công.

Kiến thức của chúng tôi nằm ở nhiều công cụ chứ không phải một chỉ mục. Bạn vẫn có thể giúp được chứ?

Hãy cho chúng tôi biết nó được kết nối như thế nào. Thống nhất các nguồn lộn xộn có thể là một dự án lớn hơn; việc thắt chặt đầu tiên vẫn có thể xảy ra.

Việc này có thể thực hiện được trong 24 giờ không?

Một vé thông thường vào các ngày trong tuần thường có thể ngăn chặn những câu trả lời vô căn cứ tồi tệ nhất và cho bạn biết những gì còn lại. Một chương trình kiến ​​thức lớn là một dự án phức tạp.

Bạn có nắm bắt mọi ý tưởng về chatbot không?

Không. Chúng tôi gặp một vấn đề khó khăn trong một sự tích hợp tồn tại.

Điều gì sẽ xảy ra nếu một câu trả lời sai đã nhạy cảm về mặt pháp lý hoặc thương mại?

Nói sớm thế. Có thể cần đến sự ngăn chặn và tư vấn. Chúng tôi sẽ bám sát các thông tin kỹ thuật.

Phiên đầu có thật sự miễn phí không?

Có. Mỗi khách được một phiên miễn phí: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ. Mốc 24 giờ là thời gian chúng tôi nhằm bắt đầu và khép một vụ việc ngày thường điển hình trong phạm vi, không phải 24 giờ làm việc không lương. Công việc tiếp theo là trả phí, theo yêu cầu.

Human First

Ảo giác LLM đang đến với người dùng của bạn. Chúng tôi khắc phục trong 24 giờ.

Nếu câu trả lời sai của AI đã đến tay người dùng, hãy viết trên WhatsApp hoặc Telegram. Bạn sẽ nói chuyện với một người.

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Human First

Chọn kênh

Không biểu mẫu web, không chat web. Nhắn trên WhatsApp hoặc Telegram, một chuyên gia trả lời. Tin nhắn đã được điền sẵn vấn đề và trang.

Telegram mở cuộc trò chuyện với @brnzai. Đoạn này thường không được dán sẵn — hãy sao chép và gửi tại đó: