DEVHERO Написать в WhatsApp
HelplineЖивые люди, не ИИ. Помощь в течение 24 часов
Human First
продакшен лежит

Продакшен лежит. Решим за 24 часа.

Действующий сайт или API не работают или настолько ухудшены, что клиенты не могут их использовать.

  • Проверки работоспособности или балансировщик нагрузки не имеют ничего хорошего
  • Клиенты не могут войти в систему, оплатить или загрузить основную страницу.
  • Уровень ошибок резко возрастает и остается высоким

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Реальный старший специалист ведёт. Имя — в первом ответе. ИИ — инструмент; человек проверяет результат.

01

Проблема

Как выглядит эта проблема, как это понять и что будет, если оставить как есть.

Как выглядит эта проблема

Как выглядит сбой на производстве, почему каждая минута кажется публичной и почему посреди шума полезен спокойный специалист.

Проверка работоспособности завершается неудачно, и пользователи не могут выполнить задание.

Проверка работоспособности не удалась. В балансировщике нагрузки нет ничего здорового. Развертывание пошло не так. Сертификат, диск, база данных, изменение DNS или зависимость унесли с собой службу. Страницы статуса уже загораются.

Вас просят указать расчетное время прибытия, которого у вас нет.

Каждая минута кажется публичной. Вас просят указать расчетное время прибытия, которого у вас нет. Команда находится на совещании и все еще спорит о первом шаге.

Uptime — это обещание, которое вы уже дали

Uptime — это обещание, которое вы уже дали своим пользователям, даже если оно никогда не было записано. Когда производство падает, это обещание уже нарушено. Задача состоит в том, чтобы восстановить его честно.

Вы хотите вернуть его по какой-то причине, а не перезагрузку, которая снова потерпит неудачу через час.

Когда производство не работает, работающий сайт или API отключены или настолько ухудшены, что клиенты не могут их использовать. Вы хотите вернуть его по причине, а не перезагрузке, которая снова потерпит неудачу через час.

Развертывание, сертификат, диск, база данных, изменение DNS или зависимость могут взять с собой службу. Страницы состояния загораются. Команда уже на связи и все еще спорит о первом шаге.

Работа выходного дня — это отдельный продукт; Любая дополнительная плата указывается заранее, перед звонком. Мы не принимаем каждый запрос на поддержку. Берем сложную систему, которой нужен инженер.

Производство знаков падает, а не просто «немного медленное»

Это сигналы о том, что у вас сбой, даже если один регион или один путь все еще работает.

Проверки работоспособности или балансировщик нагрузки не имеют ничего хорошего

Экземпляры терпят неудачу или запускаются и завершаются в цикле.

Клиенты не могут войти в систему, оплатить или загрузить основную страницу.

Домашняя маркетинговая страница может все еще находиться в CDN, пока приложение не работает.

Уровень ошибок резко возрастает и остается высоким

5xx, тайм-ауты или отказ в соединении для нескольких пользователей.

Развертывание находится в неизвестном состоянии.

Некоторые узлы переехали, или миграция находится в середине пути, и никто не хочет ее трогать.

Зависимость отключена, и у вашего приложения нет резервного варианта.

DNS, база данных, очередь или партнерский API — это настоящий сбой.

Вы уже один раз перезапускали и снова вылетело

Перезагрузка не была причиной, только пауза.

Если он останется выключенным и вернется с причиной

До — если оставить как есть

Если оставить как есть

Пока он не работает, вы теряете продажи, доверие и время людей, которые запомнят молчание больше, чем последующие объяснения.

После — если мы закроем это

Если мы закроем это

Обслуживание восстановлено, непосредственная причина известна, а небезопасное решение (если оно необходимо) записано, чтобы его можно было заменить.

Узнаёте ситуацию? Напишите нам — разберём.

02

Почему так выходит

Откуда это обычно берётся, почему появляется в быстрой или ИИ-работе, и как проверить самому.

Распространенные причины простоя производства

Большинство сбоев связаны с последним изменением, насыщением ресурса или зависимостью. Выясняем, какой из них является работой.

Плохой релиз или плохая конфигурация

Флаг, секрет, сертификат или образ контейнера, который не работает только в реальном масштабе.

Нехватка базы данных или диска

Подключения, блокировки, полный том или миграция, которая не завершится.

Изменения DNS, TLS или маршрутизации

Запись, сертификат или правило балансировки нагрузки, которые больше не указывают на исправное происхождение.

Зависимость или квота

Облачный лимит, оплата счета или сторонний сбой без таймаута.

Событие безопасности или мощности.

Атака, всплеск трафика или процесс, завершившийся после развертывания.

Почему молодые стеки и сгенерированные развертывания терпят неудачу на публике

Сгенерированный конвейер или контейнер «работает на моей машине» часто впервые встречается с рабочей версией в день запуска. Быстрые стартапы также пропускают Runbook, поэтому первый сбой — это также первая репетиция.

Инцидент Human First по-прежнему начинается с последнего изменения и журналов, а не с обнадеживающего сценария перезапуска, написанного моделью в середине разговора.

Что проверить в первую очередь, когда сайт не работает

Собирайте улики по ходу дела. Перезагрузка может помочь, а также стереть нужную вам картинку.

  • Подтвердите область действия

    Какие URL, какие регионы, какие пользователи и является ли он полным или деградированным.

  • Проверьте последнее изменение

    Развертывание, DNS, сертификат, изменение облака или задание. Запишите время.

  • Проверьте работоспособность приложения, базы данных и диска.

    Один из них зачастую уже говорит правду.

  • Посмотрите, очевиден ли и безопасен ли откат

    Известный последний хороший артефакт — это подарок, если данные позволяют это.

  • Обратите внимание, не является ли это нарушением безопасности.

    Порча, выкуп или неожиданный админ. Это меняет порядок работы. См. также страницу взломанного сайта.

Узнаёте ситуацию? Напишите нам — разберём.

03

Как DevHero это исправляет

Ведёт опытный специалист. ИИ — инструмент. Человек проверяет результат.

Отключения хаотичны. Спокойный специалист, увидевший такую ​​форму неудачи, полезен именно тем, что вы находитесь в ее центре.

DevHero — человек прежде всего. Вы пишите, видите имя специалиста, и этого человека можно оповестить и позвонить. ИИ может помочь нам сканировать журналы. Человек руководит восстановлением и проверяет исправление. Мы не принимаем каждый запрос на поддержку. Мы берем жесткую систему, для которой нужен инженер, а не сценарий справочного центра.

Пишешь, видишь имя, и этого человека можно оповестить и позвонить. ИИ может помочь нам сканировать журналы. Человек руководит восстановлением и проверяет исправление.

How a typical weekday case moves

  1. 01Сообщение получено
  2. 02Специалист назван
  3. 03Диагностика
  4. 04Исправление
  5. 05Проверка человеком
  6. 06Передача

Как вызвать специалиста на прямой эфир

Пишите в WhatsApp или Telegram прямо сейчас. Если вам нужно быть первым в очереди, спросите о срочном переходе на позицию 1. Работа выходного дня — это отдельный продукт, любая доплата оговаривается заранее.

  1. Скажи, что производство остановлено и что ты уже пробовал

    Время, URL-адреса, последнее развертывание и откат ли вы.

  2. Указанный специалист оповещен

    Через минуту вы увидите их имя. Им можно позвонить, если они не ответят.

  3. Восстановите безопасный путь в течение 24 часов, если возможно, часто гораздо раньше, если причина ясна.

    Программа долгосрочной надежности — это сложный проект.

Как DevHero справляется с инцидентом, связанным с остановкой производства

Мы присоединяемся к инциденту, восстанавливаем безопасный путь к жизни, а затем рассказываем вам, что еще нуждается в долговременном исправлении. Человек проверяет восстановление.

Мы присоединяемся к инциденту, смотрим на последнее изменение, зависимости, журналы и работоспособность данных, а затем восстанавливаем безопасный путь для жизни. После того, как все будет готово, мы расскажем вам, что еще нуждается в долговременном исправлении. Программа долгосрочной надежности — это сложный проект. Работа выходного дня — это отдельный продукт; Любая дополнительная плата указывается заранее, перед звонком.

  1. Присоединяйтесь к ленте

    Последнее изменение, область применения и то, что уже было опробовано.

  2. Стабилизировать

    Откат, аварийное переключение или сдерживание, которое возвращает задание пользователя, если это безопасно.

  3. Найдите причину, имея достаточно доказательств.

    Журналы, работоспособность, диск, зависимости — не уничтожая единственную копию следа, если мы можем этого избежать.

  4. Примите долгосрочное решение или назовите его

    Некоторые причины требуют дальнейшего рассмотрения. Мы не будем притворяться, что перезагрузка — это анализ первопричин.

  5. Запишите небезопасное обходное решение, если оно необходимо.

    Значит его можно заменить.

Что вы получаете в первые часы простоя и в течение 24 часов

Первая цель — восстановить безопасный путь. 24-часовая цель в типичном будничном случае — это причина и контролируемое выздоровление.

  1. Специалист по данному происшествию будет назван, как только вы будете на сеансе.

  2. Обслуживание восстановлено или четкое сдерживание, если это возможно с имеющимся у нас доступом.

  3. Причина, или суженный набор причин, простым языком.

  4. Примечание о любом обходном пути, который не должен оставаться.

  5. Восстановление, проверенное человеком, и последующие действия, если работа по обеспечению надежности сохраняется.

Что нам прислать, если производство остановится?

Скорость имеет значение. Несколько фактов предотвращают слепой перезапуск. Не вставляйте живые пароли в чат.

URL-адреса и время начала

Плюс часовой пояс.

Что видят пользователи

Ошибки, пустые страницы, сбои входа в систему, сбой платежей.

Последнее изменение

Развертывание, DNS, сертификат или облачное событие.

То, что ты уже пробовал

Перезапуск, откат, увеличение масштаба или неудачное переключение при сбое.

Как мы можем с вами войти в систему

Согласованный канал и авторизованный доступ.

Быстрые и срочные исправления

Первые 4 часа со специалистом + ИИ без ограничений: бесплатно, один раз на клиента. Дальнейшая работа платная, по запросу. Человек ведёт работу и проверяет результат.

Бесплатно (первая сессия)

Сложные проекты

Большая работа идёт по другому тарифу, по запросу. Мы говорим об этом до того, как продолжить.

По запросу

Будни, затем выходные

Базовый план — только будни. Работа в выходные — отдельный продукт. Любая надбавка называется заранее, до звонка, и зависит от сложности. Сумма: по запросу.

По запросу

Первая сессия бесплатна: первые 4 часа со специалистом плюс ИИ без ограничений, один раз на клиента. Работа сверх этого, тариф сложных проектов и тариф выходных — платные, по запросу.

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Узнаёте ситуацию? Напишите нам — разберём.

04

Чтобы осталось исправленным

Чего не делать дальше, какие стеки мы видим в такой работе и как удержать исправление.

Чего не следует делать во время отключения электроэнергии

Движение — это не то же самое, что восстановление. Некоторые ходы усложняют следующий час.

Перезапуск всего перед записью журналов

Вы можете на короткое время выздороветь и потерять дело.

Развертывание свежей версии поверх застрявшего релиза

Ты можешь потерять последний хороший артефакт.

Обсуждение идеального вскрытия, пока оно еще не завершено.

Сначала восстанови, потом пиши.

Публикуем подробную техническую теорию публично, прежде чем вы ее узнаете

Вы можете ошибаться и можете указать путь, который вы не закрыли, если это тоже событие безопасности.

Игнорирование возможности взлома

Если сайт был поврежден или произошла утечка данных, просмотрите взломанный сайт и страницы безопасности и скажите об этом заранее.

Где мы видим падение производства

Расскажите нам стек и хост. Если не стоит брать, мы так и скажем.

Веб-приложения и API в типичных облаках и PaaS

AWS, GCP, Azure и более простые хосты.

Базы данных и очереди, которые берут с собой приложение

Postgres, MySQL, Redis и рабочие места.

DNS, TLS и балансировщики нагрузки

Край, который может выглядеть как сбой приложения.

Платформы выпуска

Изменение CI/CD, которое привело к сбою. См. также неудачные развертывания.

После возобновления производства: как сократить следующий простой

Восстановление считается неполным, если тот же самый ход приведет вас к поражению завтра.

Right after the fix

Пишите график, пока он свежий

Причина, обходной путь и окончательное решение.

Попрактикуйтесь в откате

Откат, который вы никогда не пробовали, — это надежда.

Добавьте отсутствующую проверку работоспособности в задании пользователя.

Не только на статической странице.

Поместите таймауты и сигналы тревоги диска там, где их не хватало

Скучные проверки.

As you keep shipping

Отделение необратимых изменений данных при первом развертывании.

Когда сможешь.

Согласуйте, кому и как можно звонить

Имя и путь, а не групповой чат с пятьюдесятью людьми.

Просмотрите созданные изменения развертывания, прежде чем они будут опубликованы.

Конвейер, который вы не понимаете, выйдет из строя публично.

Узнаёте ситуацию? Напишите нам — разберём.

05

Вопросы об этой проблеме

Прямые ответы об этой проблеме, сессии и том, что будет дальше.

Должен ли я уже откатиться?

Если у вас есть известный последний удачный выпуск и безопасный откат, скажите, что вы уже пробовали.

Что, если это нарушение безопасности, а не авария?

Скажи это. Будем относиться к этому с таким порядком работы. См. также страницы взломанного сайта и дыры в безопасности.

Могу ли я пройти без очереди?

Да. Спросите о срочном переходе на позицию 1. Стартовая цена 99 долларов США, пока очередь пуста, позже ее можно будет пересмотреть.

Как мне начать?

Пишите в WhatsApp или Telegram прямо сейчас. Ни формы, ни веб-чата.

Вы по умолчанию работаете по выходным?

Нет. Базовый план — будние дни. Работа в выходные дни — это отдельный продукт, и любые доплаты оговариваются заранее, перед звонком.

Процент доступности придумаешь?

Нет. Мы поговорим об этом инциденте и о том, что мы изменили.

Ты можешь остаться, когда он вернется?

Если вам нужен контроль надежности, мы предлагаем соответствующую ставку и подписываемся на эту работу.

Наша страница статуса все еще зеленая. Означает ли это, что мы встали?

Нет, если задание пользователя не работает. Медицинские осмотры могут быть ошибочными.

Вы принимаете все обращения в службу поддержки?

Нет. Мы берем жестко отключенную систему, для которой нужен инженер, а не скрипт справочного центра.

Первая сессия действительно бесплатная?

Да. У каждого клиента одна бесплатная сессия: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент. Линия «24 часа» — это срок, за который мы стремимся начать и закрыть типичный будний случай в рамках объёма, а не 24 часа неоплачиваемой работы. Дальнейшая работа платная, по запросу.

Human First

Продакшен лежит. Решим за 24 часа.

Если производство уже приостановлено, напишите в WhatsApp или Telegram прямо сейчас. Вы поговорите с человеком.

Одна бесплатная сессия на клиента: первые 4 часа со специалистом плюс ИИ без ограничений как инструмент.

Human First

Выберите канал

Без веб-формы и веб-чата. Напишите в WhatsApp или Telegram — ответит специалист. Сообщение уже заполнено проблемой и страницей.

Telegram откроет чат с @brnzai. Текст часто не вставляется сам — скопируйте его и отправьте там: