DEVHERO Написать в WhatsApp
HelplineЖивые люди, не ИИ. Помощь в течение 24 часов
Human First
галлюцинации LLM

Галлюцинации LLM доходят до ваших пользователей. Решим за 24 часа.

Вы добавили в продукт модель — помощника по поиску, помощника поддержки, слоя RAG, API для ваших документов.

  • Он изобретает политику, цену или факт о вас.
  • Цитаты указывают на страницы, не содержащие претензии.
  • Он отвечает, когда следует отказаться

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Реальный старший специалист ведёт. Имя — в первом ответе. ИИ — инструмент; человек проверяет результат.

01

Проблема

Как выглядит эта проблема, как это понять и что будет, если оставить как есть.

Как выглядит эта проблема

Как выглядят придуманные ответы при интеграции ИИ, почему команды зависают и почему беглость — это не истина.

Неправильные ответы доходят до пользователей, иногда с фальшивыми цитатами.

Модель изобретает политику, цены или цитаты. При поиске пропускается правильный отрывок или вставляется неправильный. Нет ни цитирования, ни отказа, ни оценочного набора. Уверенный неверный ответ хуже медлительного человека.

Вы боитесь публичного скриншота

Вы боитесь публичного скриншота. Функция была анонсирована. Выключение его похоже на шаг назад; оставлять его включенным кажется безрассудным.

Системе, которая говорит от имени вашей компании, должно быть разрешено сказать, что она не знает

Системе, которая говорит от имени вашей компании, должно быть позволено сказать: «Я не знаю». Беглость — это не истина.

Вам нужны ответы, которые не выходят за рамки фактов, которые вы можете защитить.

Галлюцинации LLM в продукте — это проблема доверия: модель изобретает политику, цены или цитаты. При поиске пропускается правильный отрывок или вставляется неправильный. Уверенный неверный ответ хуже медлительного человека.

Вы добавили модель в поиск, поддержку или помощник по работе с документами. Функция была анонсирована. Выключение его похоже на шаг назад; оставлять его включенным кажется безрассудным.

Мы не будем утверждать, что модель никогда не ошибается. Мы можем сократить количество необоснованных ответов, добавить отказы и поставить этап проверки человеком там, где это необходимо.

Признаки того, что ваша интеграция LLM галлюцинирует или дает неправильные ответы.

Это провалы продукта, а не философские дебаты о том, что «знает» модель.

Он изобретает политику, цену или факт о вас.

Ответ беглый и ложный. Клиент может сделать скриншот.

Цитаты указывают на страницы, не содержащие претензии.

Или цитата выдумана целиком.

Он отвечает, когда следует отказаться

Вопрос за пределами корпуса по-прежнему получает уверенный абзац.

Поиск выглядит занятым и все еще пропускает очевидный отрывок.

Правильный документ существует и не находится в контексте, или его вытесняет неправильный фрагмент.

Разные пользователи получают противоречивые ответы на один и тот же вопрос.

Нет надежного заземления, или подсказка сбилась.

Оценочного набора нет, только несколько счастливых демоверсий.

Никто не может сказать, на какие вопросы всегда нужно отвечать из источника.

Если придуманные ответы продолжатся, и если интеграция будет ужесточена

До — если оставить как есть

Если оставить как есть

Один из придуманных ответов может стать кризисом поддержки, юридической проблемой или тихой потерей доверия, которую вы не увидите на панели управления.

После — если мы закроем это

Если мы закроем это

Ассистент остается в пределах источников, которые вы принимаете, отказывается, когда это необходимо, и проверяется на тех случаях, которые вас интересуют. Вы знаете оставшийся риск, а не узнаете его от пользователя.

Узнаёте ситуацию? Напишите нам — разберём.

02

Почему так выходит

Откуда это обычно берётся, почему появляется в быстрой или ИИ-работе, и как проверить самому.

Почему API-интерфейсы в стиле RAG и ChatGPT изобретают ответы в рабочей среде

Галлюцинации — известная модель поведения. Вопрос продукта заключается в том, как вы извлекаете, ограничиваете, оцениваете и отступаете.

Слабое или шумное извлечение

Контекстное окно заполнено неправильными отрывками или не содержит ничего полезного, а модель по-прежнему пытается быть полезной.

Подсказки, требующие ответа

«Всегда будь полезен» без пути отказа — это запрос на изобретение, когда источник отсутствует.

Никаких цитат или цитат в качестве украшения.

Если системе не требуется указывать на проход, она этого не сделает.

Устаревшие или запутанные знания

Корпус устарел, дублируется или содержит черновики, которые никогда не должны были публиковаться в модели.

Никакой оценки и записи вопросов.

Вы обнаруживаете сбои у пользователей, а не в наборе тестов.

Почему быстрые функции искусственного интеллекта поставляются с включенными галлюцинациями

Подключение модели в справочный центр на выходных может выглядеть впечатляюще в демо-версии, но при этом быть небезопасным с точки зрения цен, политики или вопросов, связанных с медициной, которые компания не должна придумывать. Стартапы также пропускают отказы, потому что они кажутся худшей демонстрацией. Работа Human First устанавливает стандарты интеграции: заземление, молчание или передача человеку.

Как проверить интеграцию ИИ на предмет придуманных ответов

Короткий и честный набор вопросов уже покажет, обоснована ли система.

  • Задавайте вопросы, на которые, как вы знаете, есть ответы в документах, и те, на которые, как вы знаете, нет ответов.

    Вторая группа должна отказаться или передать дело, а не импровизировать.

  • Проверьте найденные отрывки на предмет известного вопроса.

    Если правый проход отсутствует, у модели не было шансов.

  • Проверьте, действительно ли цитата есть в источнике

    Откройте страницу. Не доверяйте только стилю сноски.

  • Запишите вопрос, контекст и ответ.

    Если вы не можете воспроизвести сбой, вы не сможете его систематически исправлять.

  • Следите за изменениями в подсказках или указателях по поводу первых жалоб.

    Новый дамп корпуса или «более полезное» приглашение — частый триггер.

Узнаёте ситуацию? Напишите нам — разберём.

03

Как DevHero это исправляет

Ведёт опытный специалист. ИИ — инструмент. Человек проверяет результат.

Галлюцинации — известное поведение этих моделей. Вопрос продукта заключается в том, как вы извлекаете, ограничиваете, оцениваете и отступаете, а не в том, сможет ли модель когда-либо быть поэтичной.

DevHero — человек прежде всего. Специалист проектирует или ремонтирует интеграцию, чтобы стандарт по-прежнему принадлежал человеку. ИИ — это тестируемый компонент, а не судья качества. Эксперт по расчету заработной платы проверяет результат. Мы не будем утверждать, что модель никогда не будет ошибочной.

Специалист проектирует или исправляет поиск, ограничения и оценку. ИИ — это тестируемый компонент, а не судья качества. Эксперт по расчету заработной платы проверяет результат.

How a typical weekday case moves

  1. 01Сообщение получено
  2. 02Специалист назван
  3. 03Диагностика
  4. 04Исправление
  5. 05Проверка человеком
  6. 06Передача

Как получить помощь при галлюцинациях LLM в продукте

Пишите в WhatsApp или Telegram. Мы берем на себя тяжелую работу по интеграции. Мы не обещаем 100-процентную точность.

  1. Пришлите пример неправильного ответа и укажите источник.

    URL-адрес или название документа могут помочь.

  2. Отвечает названный специалист

    Через минуту вы увидите их имя. Они предупреждены, и им можно позвонить, если они не ответят.

  3. Усилить заземление и отказы, через 24 часа, когда в прицеле

    В обычный будний день мы стремимся остановить наихудший класс необоснованных ответов и рассказать вам, что осталось. Большая программа знаний — это сложный проект.

Как DevHero уменьшает галлюцинации при интеграции LLM

Мы проверяем поиск, подсказки, цитаты и оценку, а затем сокращаем путь. Человек проверяет результат по интересующим вас делам.

Мы проверяем поиск, подсказки, инструменты, цитаты и отсутствие оценок. Затем мы ужесточаем путь: лучший поиск, более строгое заземление, отказы, протоколирование и этап проверки человеком там, где это необходимо. Большая программа знаний — это сложный проект. Обычный пропуск в будний день часто может остановить наихудший класс неправильных ответов и рассказать вам, что осталось.

  1. Повторите невыполненные вопросы с видимым контекстом.

    Первым неправильным шагом часто является поиск, а не «плохая модель».

  2. Исправление извлечения и гигиены корпуса, где это необходимо.

    Разбивка на части, метаданные, устаревшие документы и очевидные промахи.

  3. Добавьте отказы и, где это полезно, цитаты, которые можно проверить.

    Системе должно быть разрешено сказать, что она не знает.

  4. Включите этап проверки человеком для ответов с высоким риском, если продукт этого требует.

    Политика, цены и юридические ответы не могут быть полностью автоматическими.

  5. Оставьте небольшой оценочный набор

    Итак, следующее изменение будет иметь ворота.

Что вы получите в первые 24 часа при проблеме с галлюцинациями

В типичном будничном случае целью является более тесная и честная интеграция, а не претензия на совершенство.

  1. Диагностика того, почему примеры вопросов пошли не так.

  2. Изменения в поиске, подсказках, отказах или цитатах там, где это соответствует сеансу.

  3. На самом деле мы рассмотрели небольшой набор случаев, а не вымышленную точность.

  4. Результат, проверенный человеком.

  5. Примечание об остающемся риске и необходимости более масштабной программы.

Что нам сообщать о неправильных ответах ИИ?

Примеры и источники имеют значение. Не вставляйте в чат секретные или конфиденциальные личные данные.

Продукт и вопросы, на которые он отвечает

Поддержка, поиск, внутренние знания или что-то еще.

Один или два неправильных ответа и источник, который следовало использовать.

Скриншоты или текст с обрезанными конфиденциальными данными.

Как работает поиск, если ты знаешь

Индекс, файлы, производитель.

Вышло ли оно уже в эфир?

И можно ли быстро добавить отказ или передачу обслуживания.

Любая оценка, которая у вас уже есть

Даже таблица вопросов полезна.

Быстрые и срочные исправления

Первые 4 часа со специалистом + ИИ без ограничений: бесплатно, один раз на клиента. Дальнейшая работа платная, по запросу. Человек ведёт работу и проверяет результат.

Бесплатно (первая сессия)

Сложные проекты

Большая работа идёт по другому тарифу, по запросу. Мы говорим об этом до того, как продолжить.

По запросу

Будни, затем выходные

Базовый план — только будни. Работа в выходные — отдельный продукт. Любая надбавка называется заранее, до звонка, и зависит от сложности. Сумма: по запросу.

По запросу

Первая сессия бесплатна: первые 4 часа со специалистом плюс ИИ без ограничений, один раз на клиента. Работа сверх этого, тариф сложных проектов и тариф выходных — платные, по запросу.

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Узнаёте ситуацию? Напишите нам — разберём.

04

Чтобы осталось исправленным

Чего не делать дальше, какие стеки мы видим в такой работе и как удержать исправление.

Чего не следует делать, когда модель придумывает ответы

Некоторые «исправления» делают беглого лжеца более уверенным.

Повышение температуры или «творчество», чтобы это звучало приятнее

У тебя может быть больше изобретений.

Сказать модели, чтобы она всегда отвечала, когда корпус пуст.

Вы запросили галлюцинацию.

Добавление дополнительных документов без гигиены поиска

Шум в индексе становится шумом в ответе.

Публикация вымышленного показателя точности

Если вы не измеряли дела, не придумывайте проценты. Мы тоже не будем его изобретать.

Оставление ответов с высоким риском полностью автоматическими, поскольку демо-версия прошла гладко

Человеку, возможно, все еще потребуется владеть ценой и политикой.

Интеграции, где мы видим галлюцинации LLM

Сообщите нам производителя и настройки получения. Если не стоит брать, мы так и скажем.

RAG по справочным центрам и наборам документов

Самая распространенная форма изделия.

Поддержка и внутренние ассистенты

Где неправильный политический ответ стоит дорого.

API по модели поставщика

С вашим собственным поиском или без него.

Агенты, которые также отвечают на вопросы

Если неисправность является вымышленным фактом, применяется данная страница; если ошибка связана с циклами инструментов, см. страницу агента AI.

Как сохранить честность интеграции после исправления

Заземление — это привычка: оценка, отказы и человеческий стандарт ответов с высоким риском.

Right after the fix

Держите живой оценочный набор

Включите вопросы, от которых необходимо отказаться.

Записать вопрос, контекст и ответ

Не удалось воспроизвести повтор.

Не отправляйте быстрые изменения без запуска набора.

Вкуса недостаточно.

Обновите и очистите корпус

Устаревшие черновики не должны подлежать восстановлению.

As you keep shipping

Требуйте проверяемых цитат там, где они нужны продукту.

И вообще, проверь образец.

Передавайте или откажитесь, если источник отсутствует.

Полезное молчание лучше, чем беглая ошибка.

Включите человека в курс вопросов, относящихся к классам высокого риска.

Пока у тебя не появится причина не делать этого.

Если пользователи снова начнут присылать скриншоты, снова откройте доказательства.

Не думайте, что последнее исправление все еще действует.

Узнаёте ситуацию? Напишите нам — разберём.

05

Вопросы об этой проблеме

Прямые ответы об этой проблеме, сессии и том, что будет дальше.

Сможете ли вы сделать модель точной на 100 процентов?

Нет, и мы этого не скажем. Мы можем сократить количество необоснованных ответов и добавить отказы, проверки и оценки.

Нужно ли мне менять поставщика модели?

Не всегда. Многие неудачи связаны с поиском, контекстом или отсутствием оценки. Если смена модели является правильным шагом, мы так и скажем.

Проценты точности придумаешь?

Нет. Мы будем говорить только о тех случаях, которые мы действительно тестировали на вашей системе.

Как мне начать?

Напишите в WhatsApp или Telegram с товаром и примером неправильного ответа. Ни формы, ни веб-чата.

Должен ли я отключить эту функцию, пока она не будет исправлена?

Если компания уже изобретает цены или политику, пауза или обязательная передача могут быть ответственным шагом. Мы поможем вам решить.

Это то же самое, что сломанный ИИ-агент?

Они пересекаются. Используйте эту страницу для придуманных ответов. Используйте страницу агента в случае сбоя рабочего процесса или вызова инструмента.

Наши знания заключаются в нескольких инструментах, а не в одном индексе. Можете ли вы еще помочь?

Расскажи, как оно подключено. Объединение беспорядочных источников может оказаться более масштабным проектом; первое ужесточение все еще может быть в рамках.

Можно ли это сделать за 24 часа?

Обычный пропуск в будний день часто может остановить наихудший класс необоснованных ответов и рассказать вам, что осталось. Большая программа знаний — это сложный проект.

Вы принимаете каждую идею чат-бота?

Нет. Мы берем сложную задачу в существующей интеграции.

Что, если неправильный ответ уже является юридически или коммерчески чувствительным?

Скажи это пораньше. Могут потребоваться сдерживание и консультации. Мы будем придерживаться технических фактов.

Первая сессия действительно бесплатная?

Да. У каждого клиента одна бесплатная сессия: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент. Линия «24 часа» — это срок, за который мы стремимся начать и закрыть типичный будний случай в рамках объёма, а не 24 часа неоплачиваемой работы. Дальнейшая работа платная, по запросу.

Human First

Галлюцинации LLM доходят до ваших пользователей. Решим за 24 часа.

Если до пользователей уже доходят неверные ответы ИИ, напишите в WhatsApp или Telegram. Вы поговорите с человеком.

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Human First

Выберите канал

Без веб-формы и веб-чата. Напишите в WhatsApp или Telegram — ответит специалист. Сообщение уже заполнено проблемой и страницей.

Telegram откроет чат с @brnzai. Текст часто не вставляется сам — скопируйте его и отправьте там: