DEVHERO Написати в WhatsApp
HelplineЖиві люди, не ШІ. Допомога протягом 24 годин
Human First
агент ШІ не працює

Агент ШІ не працює. Вирішимо за 24 години.

Ви запустили бота, помічника або агентський робочий процес, який мав виконувати реальну роботу.

  • Зациклюється або зупиняється під час виклику інструменту
  • Він ігнорує політику або дозволені інструменти
  • Він втрачає потік під час розмови

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Реальний старший спеціаліст веде. Ім’я — в першій відповіді. ШІ — інструмент; людина перевіряє результат.

01

Проблема

Як виглядає ця проблема, як це зрозуміти і що буде, якщо залишити як є.

Як виглядає ця проблема

Як виглядає невдалий чат-бот або агент, чому він здається трохи фальшивим і чому автономія без відповідальної людини становить ризик.

Агент не може завершити роботу, яку він продав

Агент зациклюється, викликає неправильний інструмент, втрачає контекст, ігнорує політику або виходить з ладу, коли зустрічає реального користувача. Демо було добре. Виробничі розмови – ні. Оркестровка, пам’ять, дозволи інструментів або підказка відхилилися.

Ви не впевнені, продовжувати виправлення чи зупинити

Ви відчуваєте, ніби майбутнє, яке ви обіцяли, трохи фальшиве. Зацікавлені сторони все ще просять демонстрацію. Ви не впевнені, чи продовжувати виправлення, чи зупинитися.

Агент, який не може завершити роботу, є незавершеним продуктом

Агент, який не може завершити роботу, не є «раннім». Це незавершений продукт. Автономія без відповідальної людини — це ризик, а не особливість.

Ви хочете, щоб він надійно виконав завдання, або ви хочете отримати чіткий вердикт, що він не зможе.

Коли агент штучного інтелекту не працює, бот або робочий процес агента зациклюється, викликає неправильний інструмент, втрачає контекст або виходить з ладу, щойно з’являється справжній користувач. Демо було добре. Виробничі розмови – ні.

Оркестровка, пам'ять, дозволи для інструментів або підказка відхилилися. Агент також може виконати неправильну дію — надіслати повідомлення, змінити запис, торкнутися платежу — чого ніколи не показувала демонстрація.

Ми не продаємо фантазію про те, що кожне завдання можна доручити агенту. Звичайне налагодження несправного шляху в робочий день – це те, що ми прагнемо закрити через 24 години, коли воно є в межах.

Ознаки того, що ваш агент ШІ, чат-бот або робочий процес агента порушені

Це практичні невдачі, а не смакові дискусії про особистість моделі.

Зациклюється або зупиняється під час виклику інструменту

Викликається та сама функція, або агент чекає вічно, а користувач ніколи не отримує завершення.

Він ігнорує політику або дозволені інструменти

Він винаходить крок, викликає інструмент, якого не повинен виконувати, або пропускає необхідне підтвердження.

Він втрачає потік під час розмови

Пам’ять, стан сеансу або пошук падає, і агент суперечить сам собі або знову запитує дані, які він уже мав.

Демо-скрипт працює, а реальні користувачі ні

Прорепетували золотий шлях. Все, що не відповідає сценарію, не вдається.

У підключеній системі виконується неправильна дія

Квиток, електронний лист, запис або платіж створено або змінено неправильно.

Ти не розумієш, чому він зробив те, що зробив

Немає тривалого журналу підказок, викликів інструментів і результатів для перевірки.

Якщо агент залишається зламаним і якщо він може завершити визначену роботу

До — якщо залишити як є

Якщо залишити як є

Несправний бот привчає користувачів не довіряти вам. Він також може виконати неправильну дію — надіслати повідомлення, змінити запис, торкнутися платежу — чого ніколи не показувала демонстрація.

Після — якщо ми це закриємо

Якщо ми це закриємо

Агент виконує визначену роботу з чіткими обмеженнями, або ми говоримо вам, що її поки що не можна порушувати. Ви знаєте, що ми змінили і де ще має втрутитися людина.

Впізнаєте ситуацію? Напишіть нам — розберемо.

02

Чому так стається

Звідки це зазвичай береться, чому з’являється в швидкій чи ШІ-роботі, і як перевірити самостійно.

Чому агенти штучного інтелекту та боти, які використовують інструменти, зазнають збою у виробництві

Зламані агенти часто є системною проблемою, а не гаслом «краще підказувати».

Інструменти вказано погано або мають надмірні привілеї

Нечіткий опис інструменту або інструмент, який може зробити занадто багато, призводить до неправильних викликів.

Держава і пам'ять крихкі

Розмова зберігається неналежним чином, скорочена або надіслана між користувачами.

Жодної оцінки реальних завдань

Команда спробувала кілька чатів і назвала це готовим. Немає набору випадків, які потрібно пройти.

Модель запитують запустити робочий процес, який має виконуватися сценарій

Детерміновані кроки залишилися на імпровізацію.

Дозволи та підтвердження відкладено

Агент може діяти у світі без людських воріт на небезпечній сходинці.

Чому поспішні демонстрації агентів ламаються, щойно зустрічаються з реальними користувачами

Команди створюють агента за шаблоном, підключають кілька інструментів і показують щасливий шлях. Шаблон не включає оцінку, трасування чи найменші привілеї.

Як самостійно налагодити несправний агент ШІ

Одна невдала розмова, повністю зареєстрована, корисніша, ніж загальна скарга на те, що «бот тупий».

  • Захопіть одну невдалу транскрипцію до кінця

    Введення користувача, виклики інструментів, результати інструментів і кінцеве повідомлення.

  • Позначте перший неправильний крок

    Погане отримання, неправильний вибір інструменту, втрачена змінна або пропуск політики.

  • Перевірте дозволи та побічні ефекти

    Що насправді може робити агент у підключених системах і чи робив він це?

  • Подивіться, чи мав виконувати цю частину простий сценарій

    Якщо крок є детермінованим, агент може бути неправильним механізмом.

  • Вирішіть, чи потрібно призупинити роботу агента

    Зламаний агент, який може виконувати дії, не повинен залишатися без уваги.

Впізнаєте ситуацію? Напишіть нам — розберемо.

03

Як DevHero це виправляє

Веде досвідчений спеціаліст. ШІ — інструмент. Людина перевіряє результат.

Зламані агенти часто є системною проблемою, а не гаслом «краще підказувати». Інструменти, стан, дозволи та оцінка складні, і розумно побажати фахівця, а не чергове нічне налаштування.

DevHero — перш за все людина, включаючи ботів і агентську розробку. Веде фахівець із досвідом близько 20 років; ШІ є інструментом, а не власником результату. Роботу перевіряє фахівець із заробітної плати. Ми не продаємо фантазію про те, що кожне завдання можна доручити агенту.

DevHero — перш за все людина, включаючи ботів і агентську розробку. Веде спеціаліст. ШІ є інструментом, а не власником результату. Роботу перевіряє фахівець із заробітної плати.

How a typical weekday case moves

  1. 01Повідомлення отримано
  2. 02Спеціаліста названо
  3. 03Діагностика
  4. 04Виправлення
  5. 05Перевірка людиною
  6. 06Передача

Як отримати допомогу, коли агент ШІ не працює

Пишіть у WhatsApp чи Telegram. Ми приймаємо серйозні відмови агентів. Ми не обіцяємо, що кожен робочий процес повинен залишатися агентом.

  1. Опишіть, що має робити агент і як це не вдається

    Стенограма допомагає. Скажіть, чи може він виконувати дії в інших системах.

  2. Відповідає названий спеціаліст

    За хвилину ви побачите їх ім'я. Їх сповіщають, і їх можна викликати, якщо вони не відповідають.

  3. Налагоджуйте та локалізуйте протягом 24 годин, коли в зоні дії

    У звичайний будній день ми прагнемо виправити несправний шлях або звузити агента до того, що він насправді може робити. Повна платформа – це складний проект.

Як DevHero відновлює зламаного агента ШІ або бота

Ми відтворюємо невдалу розмову, перевіряємо виклики інструментів і стан, а потім усуваємо злам або посилюємо обмеження. Людина перевіряє результат.

Ми відтворюємо невдалу розмову або робочий процес, перевіряємо виклики інструментів, стан, дозволи та шлях до моделі, а потім усуваємо збій або звужуємо агента до того, що він насправді може робити. Повноцінна агентська платформа – це складний проект. Звичайне налагодження несправного шляху в робочий день – це те, що ми прагнемо закрити через 24 години, коли воно є в межах.

  1. Відтворіть помилку за допомогою слідів

    Відсутність слідів означає, що ми спочатку додаємо достатньо журналів.

  2. Ізолюйте інструменти, пам'ять, дозволи та шлях моделі

    Перший неправильний крок повинен мати назву.

  3. Виправити або звузити

    Відремонтуйте інструмент, стан чи підказку — або приберіть небезпечну можливість, поки вона не стане безпечною.

  4. Додайте людські ворота, якщо дія серйозна

    Підтвердження – це функція, а не збій автоматизації.

  5. Залишу вас із справою, яка має продовжувати проходити

    Невелика оцінка перевершує іншу демонстрацію.

Що ви отримуєте за перші 24 години на зламаному агенті

Для типового випадку буднього дня метою є діагностована помилка та безпечніший агент або чесна рекомендація призупинити його.

  1. Названий перший неправильний крок у справжній розмові.

  2. Виправлення, звуження області або рекомендація призупинити дії.

  3. Перевірена людиною зміна.

  4. Коротка примітка про те, що агенту поки не можна дозволяти робити.

  5. Чітке розділення, якщо більша агентська платформа — це робота, що залишилася.

Що надіслати нам про несправність бота чи агента

Стенограма та опис інструментів важливіші, ніж маркетинговий бриф. Не вставляйте в чат секрети або особисті дані інших людей.

Те, що агент має закінчити

Одна робота, одним реченням, якщо можна.

Невдала транскрипція

З викликами інструментів, якщо вони у вас є.

Інструменти та системи, яких він може торкнутися

Особливо електронна пошта, квитки, записи та платежі.

Незалежно від того, чи живе він у виробництві

І чи можна його призупинити.

Стек

Оркестровка, постачальник моделі та додаток навколо нього, якщо ви їх знаєте.

Швидкі та термінові виправлення

Перші 4 години зі спеціалістом + ШІ без обмежень: безкоштовно, один раз на клієнта. Подальша робота платна, за запитом. Людина веде роботу й перевіряє результат.

Безкоштовно (перша сесія)

Складні проєкти

Більша робота йде за іншим тарифом, за запитом. Ми кажемо про це, перш ніж продовжити.

За запитом

Будні, потім вихідні

Базовий план — лише будні. Робота у вихідні — окремий продукт. Будь-яка надбавка називається заздалегідь, до дзвінка, і залежить від складності. Сума: за запитом.

За запитом

Перша сесія безкоштовна: перші 4 години зі спеціалістом плюс ШІ без обмежень, один раз на клієнта. Робота понад це, тариф складних проєктів і тариф вихідних — платні, за запитом.

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Впізнаєте ситуацію? Напишіть нам — розберемо.

04

Щоб залишилось виправленим

Чого не робити далі, які стеки ми бачимо в такій роботі і як утримати виправлення.

Чого не робити, коли агент не працює

Більш оперативні налаштування можуть приховати проблему з інструментом або дозволом, а також можуть зробити дії більш небезпечними.

Залишити в живому зламаного агента, що приймає дії

Якщо він може надсилати або змінювати записи, подумайте про призупинення.

Додаємо більше інструментів для «допомоги»

Збентежений агент із більшою владою гірший.

Використовуючи той самий запуск моделі, щоб оцінити себе як єдину перевірку

Вам потрібні незалежні справи.

Пропускання трасувань, оскільки вони «занадто багатослівні»

Безслідно гадаєш.

Обіцяють повну автономність як наступну демонстрацію

Людський стандарт на першому місці.

Стеки агентів і ботів ми просимо відремонтувати

Скажи нам стек. Якщо ми не повинні це брати, ми це скажемо.

Чат-боти та агенти підтримки

Клієнтські та внутрішні помічники.

Робочі процеси з використанням інструментів і агентів

Оркестратори, виклики функцій і підключені програми.

Інструменти пошуку плюс

Коли база знань і дія знаходяться в одному потоці. Дивіться також LLM галюцинації, якщо основна проблема вигадана відповіді.

Домашні цикли навколо моделі API

Спеціальний кінцевий автомат, який виріс із прототипу.

Як зберегти надійність агента після виправлення

Відремонтований шлях залишається надійним, лише якщо ви дотримуєтеся слідів, обмежень і людського стандарту.

Right after the fix

Журнал підказок, викликів інструментів і результатів

У формі, яку ви можете перевірити.

Найменші привілеї щодо інструментів

Агент не повинен мати широку роль адміністратора "для зручності".

Людське підтвердження серйозних дій

Гроші, електронні листи клієнтам і записи змін.

Невеликий набір для оцінки, який має пройти перед тим, як ви відправите швидку зміну

Смак не тест.

As you keep shipping

Віддайте перевагу сценарію для детермінованих кроків

Не змушуйте модель імпровізувати контрольний список, який ви вже знаєте.

Призупиніть роботу агента, якщо сліди потемніють або кількість помилок підскочить

Ненаглядна дія - це ризик.

Не додавайте інструменти в ту саму зміну, що й підказка

Ти не дізнаєшся, що спричинило регрес.

Впізнаєте ситуацію? Напишіть нам — розберемо.

05

Питання про цю проблему

Прямі відповіді про цю проблему, сесію і те, що буде далі.

Ви працюєте лише з чат-ботами?

Ні. Чат-боти, внутрішні агенти та робочі процеси з використанням інструментів — усі вони входять до цієї сім’ї, доки існує складна технічна проблема, яку потрібно вирішити.

Ти просто зміниш підказку?

Тільки якщо це справжня причина. Часто збій виникає в інструментах, пам’яті, оцінці або дозволах.

Чи може агент залишатися на виробництві, поки ви працюєте?

Ми підкажемо вам, чи варто його призупиняти. Зламаний агент, який може виконувати дії, не повинен залишатися без уваги.

Як мені почати?

Напишіть у WhatsApp або Telegram, що має робити агент і як це не вдається. Ні форми, ні веб-чату.

Чи можете ви зробити агента повністю автономним за 24 години?

Ні, і ми цього не обіцяємо. Ми можемо відремонтувати шлях або звузити агента до того, що він може зробити.

Це те саме, що галюцинації LLM?

Вони перекриваються. Ця сторінка призначена для агента або бота, який не може завершити робочий процес.

Ви придумаєте відсоток успіху?

Ні. Ми поговоримо про справи, які ми фактично вели.

Наш оркестратор — добре відомий фреймворк. Це допомагає?

Скажи нам який. Бренд має менше значення, ніж відстеження, інструменти та дозволи.

Ви приймаєте кожну ідею агента?

Ні. Ми сприймаємо важкі збої в існуючих системах, а не кожен мозковий штурм щодо автономності.

Перша сесія справді безкоштовна?

Так. Кожен клієнт має одну безкоштовну сесію: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент. Лінія «24 години» — це строк, за який ми прагнемо почати й закрити типовий буденний випадок у межах обсягу, а не 24 години неоплачуваної роботи. Подальша робота платна, за запитом.

Human First

Агент ШІ не працює. Вирішимо за 24 години.

Якщо бот або агент вже дає збій користувачам, напишіть у WhatsApp чи Telegram. Ви будете говорити з людиною.

Одна безкоштовна сесія на клієнта: перші 4 години зі спеціалістом плюс ШІ без обмежень як інструмент.

Human First

Оберіть канал

Без вебформи й вебчату. Напишіть у WhatsApp або Telegram — відповість спеціаліст. Повідомлення вже заповнене проблемою і сторінкою.

Telegram відкриє чат із @brnzai. Текст часто не вставляється сам — скопіюйте його й надішліть там: