DEVHERO Написати в WhatsApp
HelplineЖиві люди, не ШІ. Допомога протягом 24 годин
Human First
галюцинації LLM

Галюцинації LLM доходять до ваших користувачів. Вирішимо за 24 години.

Ви додали модель до продукту — помічника пошуку, помічника підтримки, шару RAG, API для ваших документів.

  • Він винаходить політику, ціну або факт про вас
  • Цитати вказують на сторінки, які не містять твердження
  • Відповідає, коли має відмовити

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Реальний старший спеціаліст веде. Ім’я — в першій відповіді. ШІ — інструмент; людина перевіряє результат.

01

Проблема

Як виглядає ця проблема, як це зрозуміти і що буде, якщо залишити як є.

Як виглядає ця проблема

Як виглядають вигадані відповіді в інтеграції штучного інтелекту, чому команди зависають і чому вільне володіння не є правдою.

До користувачів надходять неправильні відповіді, іноді з підробленими цитатами

Модель винаходить політику, ціни чи цитати. Пошук пропускає правильний уривок або заповнює неправильний. Немає ні цитування, ні відмови, ні оцінки. Впевнена неправильна відповідь гірша за повільну людину.

Ти боїшся публічного скріншота

Ти боїшся публічного скріншота. Функція була оголошена. Вимкнення відчувається як крок назад; залишити його ввімкненим – це безрозсудно.

Системі, яка говорить від імені вашої компанії, потрібно дозволити сказати, що вона не знає

Системі, яка говорить від імені вашої компанії, потрібно дозволити сказати «Я не знаю». Вільне володіння не є правдою.

Вам потрібні відповіді, які залишаються всередині фактів, які ви можете захистити.

Галюцинації LLM у продукті є проблемою довіри: модель вигадує правила, ціни чи цитати. Пошук пропускає правильний уривок або заповнює неправильний. Впевнена неправильна відповідь гірша за повільну людину.

Ви додали модель для пошуку, підтримки чи помічника з документів. Функція була оголошена. Вимкнення відчувається як крок назад; залишити його ввімкненим – це безрозсудно.

Ми не стверджуватимемо, що модель ніколи не помиляється. Ми можемо скоротити необґрунтовані відповіді, додати відмови та розмістити етап перевірки людьми там, де це необхідно.

Ознаки того, що ваша інтеграція LLM є галюцинаціями або дає неправильні відповіді

Це невдачі продукту, а не філософські дебати про те, що «знає» модель.

Він винаходить політику, ціну або факт про вас

Відповідь вільна та хибна. Клієнт може зробити скріншот.

Цитати вказують на сторінки, які не містять твердження

Або цитата зовсім вигадана.

Відповідає, коли має відмовити

Питання поза корпусом все одно отримує впевнений абзац.

Пошук виглядає зайнятим і все ще пропускає очевидний прохід

Правильний документ існує, але його немає в контексті, або неправильний фрагмент витісняє його.

Різні користувачі отримують суперечливі відповіді на те саме запитання

Немає постійного заземлення, або підказка відхилилася.

Немає оціночного набору, лише кілька вдалих демонстрацій

Ніхто не може сказати, на які питання завжди потрібно відповідати з джерела.

Якщо винайдені відповіді продовжаться, і якщо інтеграція посилиться

До — якщо залишити як є

Якщо залишити як є

Одна вигадана відповідь може стати проблемою підтримки, юридичною проблемою або тихою втратою довіри, яку ви не побачите на інформаційній панелі.

Після — якщо ми це закриємо

Якщо ми це закриємо

Помічник залишається в межах джерел, які ви приймаєте, відмовляється, коли потрібно, і перевіряється у випадках, які вас цікавлять. Ви знаєте ризик, який залишився, замість того, щоб виявляти його від користувача.

Впізнаєте ситуацію? Напишіть нам — розберемо.

02

Чому так стається

Звідки це зазвичай береться, чому з’являється в швидкій чи ШІ-роботі, і як перевірити самостійно.

Чому API у стилі RAG і ChatGPT винаходять відповіді у виробництві

Галюцинації — відома модель поведінки. Питання продукту полягає в тому, як ви отримуєте, обмежуєте, оцінюєте та повертаєтесь назад.

Слабке або шумне пошук

Контекстне вікно заповнене неправильними фрагментами або не містить нічого корисного, а модель усе ще намагається бути корисною.

Підказки, що вимагають відповіді

«Завжди будь корисним» без шляху відмови — це запит на винахід, коли джерело відсутнє.

Жодних цитат, або цитати як прикрасу

Якщо системі не потрібно вказувати на прохід, вона не буде.

Застарілі або брудні знання

Корпус застарів, дублюється або містить чернетки, які ніколи не слід було публікувати в моделі.

Жодної оцінки та реєстрації запитань

Ви виявляєте помилки від користувачів, а не від набору тестів.

Чому швидкі функції AI постачаються з галюцинаціями

Вихідні, пов’язані з підключенням моделі до довідкового центру, можуть виглядати вражаюче в демонстрації, але все одно бути небезпечними щодо цін, політики чи медичних питань, які компанія не повинна вигадувати. Стартапи також пропускають відмови, тому що вони здаються гіршою демонстрацією. Робота Human First встановлює стандарт інтеграції: заземлена, безшумна, або передана людині.

Як перевірити інтеграцію ШІ на вигадані відповіді

Короткі чесні запитання вже покажуть, чи заземлена система.

  • Ставте запитання, на які ви знаєте відповіді в документах, і ті, на які ви знаєте, що ні

    Друга група повинна відмовитися або передати, а не імпровізувати.

  • Перегляньте отримані уривки на наявність відомого запитання

    Якщо правий прохід відсутній, модель не мала жодного шансу.

  • Перевірте, чи справді є цитата в джерелі

    Відкрийте сторінку. Не довіряйте лише стилю виноски.

  • Зареєструйте запитання, контекст і відповідь

    Якщо ви не можете відтворити помилку, ви не можете виправляти її систематично.

  • Шукайте швидкі або індексуйте зміни навколо перших скарг

    Новий дамп корпусу або «більш корисна» підказка є звичайним тригером.

Впізнаєте ситуацію? Напишіть нам — розберемо.

03

Як DevHero це виправляє

Веде досвідчений спеціаліст. ШІ — інструмент. Людина перевіряє результат.

Відомою поведінкою цих моделей є галюцинації. Питання продукту полягає в тому, як ви отримуєте, обмежуєте, оцінюєте та повертаєтеся назад, а не в тому, чи може модель колись бути поетичною.

DevHero перш за все людина. Спеціаліст розробляє або ремонтує інтеграцію, щоб людина все ще володіла стандартом. ШІ — це тестовий компонент, а не суддя щодо якості. Результат перевіряє фахівець із заробітної плати. Ми не будемо стверджувати, що модель ніколи не помиляється.

Спеціаліст проектує або ремонтує пошук, обмеження та оцінку. ШІ — це тестовий компонент, а не суддя щодо якості. Результат перевіряє фахівець із заробітної плати.

How a typical weekday case moves

  1. 01Повідомлення отримано
  2. 02Спеціаліста названо
  3. 03Діагностика
  4. 04Виправлення
  5. 05Перевірка людиною
  6. 06Передача

Як отримати допомогу щодо галюцинацій LLM у продукті

Пишіть у WhatsApp чи Telegram. Ми виконуємо важку інтеграційну роботу. Ми не обіцяємо 100-відсоткову точність.

  1. Надішліть приклад неправильної відповіді та те, що мало бути джерело

    Допоможе URL-адреса або назва документа.

  2. Відповідає названий спеціаліст

    За хвилину ви побачите їх ім'я. Їх сповіщають, і їх можна викликати, якщо вони не відповідають.

  3. Посилити заземлення та відмови через 24 години, коли в зоні дії

    У звичайний будній день ми прагнемо зупинити найгірший клас необґрунтованих відповідей і сказати вам, що залишилося. Велика програма знань – це складний проект.

Як DevHero зменшує галюцинації під час інтеграції LLM

Ми перевіряємо пошук, підказки, цитування та оцінку, а потім уточнюємо шлях. Людина перевіряє результат у випадках, які вас цікавлять.

Ми перевіряємо пошук, підказки, інструменти, цитування та відсутність оцінки. Потім ми звужуємо шлях: кращий пошук, суворіше заземлення, відмови, журналювання та етап перевірки людиною, де це необхідно. Велика програма знань – це складний проект. Типовий пропуск на будній день часто може зупинити найгірший клас неправильних відповідей і підказати вам, що залишилося.

  1. Повторіть невдалі запитання з видимим контекстом

    Першим неправильним кроком часто є пошук, а не «модель погана».

  2. Виправити пошук і гігієну тіла, де це необхідно

    Розбивання, метадані, застарілі документи та очевидні промахи.

  3. Додайте відмови та, якщо це корисно, цитати, які можна перевірити

    Системі слід дозволити сказати, що вона не знає.

  4. Застосуйте етап людської перевірки для відповідей із високим ризиком, якщо продукт потребує цього

    Правила, ціни та пов’язані з юридичними питаннями відповіді можуть не належати до повністю автоматичного шляху.

  5. Залиште невеликий набір оцінок

    Отже, наступна швидка зміна має ворота.

Те, що ви отримуєте в перші 24 години від проблеми з галюцинаціями

Для типового випадку буднього дня метою є більш тісна, чесніша інтеграція, а не претензія на досконалість.

  1. Діагностика того, чому зразки запитань пішли не так.

  2. Зміни щодо пошуку, підказок, відмов або цитат, якщо це відповідає сесії.

  3. Невеликий набір випадків, які ми фактично перевірили, а не вигаданий рівень точності.

  4. Результат, перевірений людиною.

  5. Примітка про ризик, що залишився, і чи потрібна більша програма.

Що надіслати нам про неправильні відповіді ШІ

Приклади та джерела мають значення. Не вставляйте секрети або конфіденційні особисті дані в чат.

Продукт і питання, на які він відповідає

Підтримка, пошук, внутрішні знання чи ще щось.

Одна або дві неправильні відповіді та джерело, яке слід було використати

Скріншоти або текст із обрізаними конфіденційними даними.

Як працює пошук, якщо ти знаєш

Індекс, файли, постачальник.

Чи вже в прямому ефірі

І чи можна швидко додати відмову чи передачу.

Будь-яка оцінка, яку ви вже маєте

Навіть електронна таблиця питань корисна.

Швидкі та термінові виправлення

Перші 4 години зі спеціалістом + ШІ без обмежень: безкоштовно, один раз на клієнта. Подальша робота платна, за запитом. Людина веде роботу й перевіряє результат.

Безкоштовно (перша сесія)

Складні проєкти

Більша робота йде за іншим тарифом, за запитом. Ми кажемо про це, перш ніж продовжити.

За запитом

Будні, потім вихідні

Базовий план — лише будні. Робота у вихідні — окремий продукт. Будь-яка надбавка називається заздалегідь, до дзвінка, і залежить від складності. Сума: за запитом.

За запитом

Перша сесія безкоштовна: перші 4 години зі спеціалістом плюс ШІ без обмежень, один раз на клієнта. Робота понад це, тариф складних проєктів і тариф вихідних — платні, за запитом.

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Впізнаєте ситуацію? Напишіть нам — розберемо.

04

Щоб залишилось виправленим

Чого не робити далі, які стеки ми бачимо в такій роботі і як утримати виправлення.

Чого не можна робити, коли модель вигадує відповіді

Деякі «виправлення» роблять вільного брехуна впевненішим.

Підвищення температури або «креативність», щоб звучало приємніше

Ви можете отримати більше винахідництва.

Наказ моделі «завжди відповідати», коли корпус порожній

Ви подали запит на галюцинацію.

Додавання більше документів без гігієни пошуку

Шум в індексі стає шумом у відповіді.

Публікація вигаданого числа точності

Якщо ти не вимірював відмінки, не придумуй відсоток. Ми теж не будемо винаходити.

Відповіді з високим ризиком залишаються повністю автоматичними, оскільки демонстрація пройшла гладко

Людині все ще може знадобитися власна ціна та політика.

Інтеграції, де ми бачимо галюцинації LLM

Скажіть нам постачальника та налаштування пошуку. Якщо ми не повинні це брати, ми це скажемо.

RAG над довідковими центрами та наборами документів

Найпоширеніша форма продукту.

Підтримка та внутрішні помічники

Де неправильна відповідь щодо політики коштує дорого.

API за моделлю постачальника

З власним пошуком або без.

Агенти, які також відповідають на запитання

Якщо помилка є вигаданими фактами, ця сторінка застосовується; якщо помилка викликана петлями інструменту, перегляньте сторінку агента AI.

Як зберегти інтеграцію чесною після виправлення

Заземлення – це звичка: оцінювання, відмови та людський стандарт для відповідей із високим ризиком.

Right after the fix

Тримайте живий набір оцінок

Додайте запитання, від яких потрібно відмовитися.

Зареєструвати питання, контекст і відповідь

Помилки повтору.

Не відправляйте швидку зміну без запуску набору

Смаку мало.

Оновити та очистити корпус

Застарілі чернетки не можна відновити.

As you keep shipping

Вимагайте перевірених цитат там, де це потрібно продукту

І перевірте зразок.

Передача або відмова, якщо джерело відсутнє

Корисна тиша краще, ніж вільна помилка.

Поставте людину в курс питань високого ризику

Поки у вас не буде причини цього робити.

Якщо користувачі знову почнуть надсилати скріншоти, знову відкрийте докази

Не думайте, що останнє виправлення все ще діє.

Впізнаєте ситуацію? Напишіть нам — розберемо.

05

Питання про цю проблему

Прямі відповіді про цю проблему, сесію і те, що буде далі.

Чи можете ви зробити модель на 100 відсотків точною?

Ні, і ми цього не скажемо. Ми можемо скоротити необґрунтовані відповіді та додати відмови, перевірки та оцінки.

Чи потрібно мені змінювати постачальника моделі?

Не завжди. Багато помилок пов’язані з пошуком, контекстом або відсутнім оцінюванням. Якщо зміна моделі є правильним кроком, ми це скажемо.

Ти придумаєш відсотки точності?

Ні. Ми будемо говорити лише про випадки, які ми фактично протестували у вашій системі.

Як мені почати?

Напишіть у WhatsApp чи Telegram із товаром і прикладом неправильної відповіді. Ні форми, ні веб-чату.

Чи вимкнути функцію, доки її не виправлять?

Якщо він уже винаходить ціни чи політику, відповідальним кроком може бути пауза чи обов’язкова передача. Ми допоможемо вам вирішити.

Це те саме, що зламаний агент ШІ?

Вони перекриваються. Використовуйте цю сторінку для вигаданих відповідей. Використовуйте сторінку агента, коли робочий процес або виклик інструмента не вдається.

Наші знання містяться в кількох інструментах, а не в одному індексі. Ви ще можете допомогти?

Розкажи, як це підключено. Об’єднання безладних джерел може бути більшим проектом; перше посилення все ще може бути доступним.

Чи можна це зробити за 24 години?

Типовий пропуск у будній день часто може зупинити найгіршу групу необґрунтованих відповідей і сказати вам, що залишилося. Велика програма знань – це складний проект.

Ви приймаєте кожну ідею чат-бота?

Ні. Ми приймаємо серйозну проблему в інтеграції, яка існує.

Що робити, якщо неправильна відповідь уже була юридично чи комерційно конфіденційною?

Кажи це раніше. Може знадобитися стримування та порада. Ми будемо дотримуватися технічних фактів.

Перша сесія справді безкоштовна?

Так. Кожен клієнт має одну безкоштовну сесію: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент. Лінія «24 години» — це строк, за який ми прагнемо почати й закрити типовий буденний випадок у межах обсягу, а не 24 години неоплачуваної роботи. Подальша робота платна, за запитом.

Human First

Галюцинації LLM доходять до ваших користувачів. Вирішимо за 24 години.

Якщо неправильні відповіді AI вже доходять до користувачів, напишіть у WhatsApp або Telegram. Ви будете говорити з людиною.

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Human First

Оберіть канал

Без вебформи й вебчату. Напишіть у WhatsApp або Telegram — відповість спеціаліст. Повідомлення вже заповнене проблемою і сторінкою.

Telegram відкриє чат із @brnzai. Текст часто не вставляється сам — скопіюйте його й надішліть там: