DEVHERO Skriv på WhatsApp
HelplineRiktiga människor, inte AI. Hjälp inom 24 timmar
Human First
produktionen är nere

Produktionen är nere. Vi löser det inom 24 timmar.

Livesajten eller API:et är nere, eller så försämrad att kunder inte kan använda den.

  • Hälsokontroller eller lastbalanseraren har inget hälsosamt bakom sig
  • Kunder kan inte logga in, betala eller ladda huvudsidan
  • Felfrekvensen ökar och förblir hög

En gratissession per kund: de första 4 timmarna med en specialist, plus obegränsad AI som verktyg.

En riktig senior specialist leder. Namn i det första svaret. AI är ett verktyg; en människa granskar resultatet.

01

Problemet

Hur det här problemet ser ut, hur du känner igen det, och vad som står på spel om det får vara.

Hur det här problemet ser ut

Hur ett produktionsavbrott ser ut, varför varje minut känns offentlig och varför en lugn specialist är användbar mitt i bruset.

Hälsokontroller misslyckas och användare kan inte slutföra jobbet

Hälsokontroller misslyckas. Lastbalanseraren har inget hälsosamt bakom sig. En distribution gick fel. Ett certifikat, en disk, en databas, en DNS-ändring eller ett beroende tog tjänsten med sig. Statussidor lyser redan upp.

Du blir tillfrågad om en ETA som du inte har

Varje minut känns offentlig. Du blir tillfrågad om en ETA som du inte har. Teamet är i ett samtal och bråkar fortfarande om det första steget.

Upptid är ett löfte du redan har gett

Upptid är ett löfte du redan har gett dina användare, även om det aldrig skrivits ned. När produktionen ligger nere är det löftet redan brutet. Arbetet är att återställa det ärligt.

Du vill ha tillbaka den, med en orsak, inte en omstart som kommer att misslyckas igen om en timme.

När produktionen är nere är livesajten eller API:et offline eller så försämrad att kunder inte kan använda den. Du vill ha tillbaka den med en orsak, inte en omstart som kommer att misslyckas igen om en timme.

Mer om hur detta visar sig

En distribution, ett certifikat, en disk, en databas, en DNS-ändring eller ett beroende kan ta tjänsten med sig. Statussidor tänds. Teamet har redan ett samtal och bråkar fortfarande om det första steget.

Helgarbete är en separat produkt; eventuell tilläggsavgift anges i förväg, innan ett samtal. Vi tar inte emot varje supportförfrågan. Vi tar ett hårt nersystem som behöver en ingenjör.

Tecken på att produktionen är nere, inte bara "lite långsam"

Detta är signaler om att du är i ett avbrott, även om en region eller en väg fortfarande är uppe.

Hälsokontroller eller lastbalanseraren har inget hälsosamt bakom sig

Instanser misslyckas, eller så startar och dör de i en loop.

Kunder kan inte logga in, betala eller ladda huvudsidan

En marknadsföringshemsida kan fortfarande finnas på ett CDN medan appen är död.

Felfrekvensen ökar och förblir hög

5xx, timeouts eller anslutning nekad, för mer än en användare.

En distribution är i ett okänt tillstånd

Vissa noder har flyttats, eller en migrering är halvvägs och ingen vill röra vid den.

Ett beroende är nere och din app har ingen reserv

DNS, en databas, en kö eller ett partner-API är det verkliga avbrottet.

Du har redan startat om en gång och den föll om igen

Omstarten var inte en orsak, bara en paus.

Om den förblir nere och om den kommer tillbaka med en orsak

Före — om du låter det vara

Om du låter det vara

Medan det är nere förlorar du försäljning, förtroende och tid från människor som kommer ihåg tystnaden mer än den senare förklaringen.

Efter — om vi stänger det

Om vi stänger det

Tjänsten är tillbaka, den omedelbara orsaken är känd och den osäkra lösningen – om en sådan behövdes – skrivs ner så att den kan ersättas.

Känner du igen situationen? Skriv till oss, vi reder ut det.

02

Varför det händer

Varifrån det brukar komma, varför det syns i snabbt eller AI-stött arbete, och hur du själv kan kontrollera.

Vanliga orsaker till produktionsavbrott

De flesta avbrott har en sista förändring, en mättad resurs eller ett beroende. Att hitta vilken som är verket.

En dålig version eller en dålig konfiguration

En flagga, en hemlighet, ett certifikat eller en behållarbild som bara misslyckas i levande skala.

Databas eller diskutmattning

Anslutningar, lås, en full volym eller en migrering som inte kommer att slutföras.

Ändringar av DNS, TLS eller routing

En post, ett certifikat eller en lastbalanseringsregel som inte längre pekar på sunda ursprung.

Ett beroende eller en kvot

En molngräns, en betalning av kontot eller ett avbrott från tredje part utan timeout.

En säkerhets- eller kapacitetshändelse

En attack, en trafikökning eller en process som sprang iväg efter en utplacering.

Varför unga stackar och genererade distributioner misslyckas hårt offentligt

En genererad pipeline eller en "works on my machine"-behållare möter ofta produktionen för första gången på en lanseringsdag. Snabba startups hoppar också över runbooks, så det första avbrottet är också den första repetitionen.

En Human First-incident börjar fortfarande med den senaste ändringen och loggarna, inte med ett hoppfullt omstartsskript skrivet av en modell mitt i samtalet.

Vad du ska kontrollera först när webbplatsen är nere

Fånga bevis allt eftersom. En omstart kan hjälpa och även torka bilden du behövde.

  • Bekräfta omfattningen

    Vilka webbadresser, vilka regioner, vilka användare och om det är totalt eller försämrat.

  • Kontrollera den senaste ändringen

    Implementera, DNS, certifikat, molnbyte eller ett jobb. Skriv ner tiden.

  • Titta på hälsan för appen, databasen och disken

    En av dem talar ofta redan sanningen.

  • Se om en återställning är uppenbar och säker

    En känd sista bra artefakt är en gåva, om data tillåter det.

  • Notera om detta kan vara en säkerhetsincident

    Förstöring, lösen eller oväntad administratör. Det ändrar arbetsordningen. Se även sidan för hackad webbplats.

Känner du igen situationen? Skriv till oss, vi reder ut det.

03

Hur DevHero löser det

En senior specialist leder. AI är ett verktyg. En människa granskar resultatet.

Avbrott är kaotiska. En lugn specialist som har sett denna form av misslyckande är användbar just för att du är mitt uppe i det.

DevHero är människan först. Du skriver, du ser en specialists namn och den personen kan larmas och ringas upp. AI kan hjälpa oss att skanna loggar. En människa leder återhämtningen och kontrollerar åtgärden. Vi tar inte emot varje supportförfrågan. Vi tar ett hårt nersystem som behöver en ingenjör, inte ett hjälpcenterskript.

Du skriver, du ser ett namn och den personen kan larmas och ringas upp. AI kan hjälpa oss att skanna loggar. En människa leder återhämtningen och kontrollerar åtgärden.

How a typical weekday case moves

  1. 01Meddelande mottaget
  2. 02Specialist namngiven
  3. 03Diagnos
  4. 04Åtgärd
  5. 05Mänsklig kontroll
  6. 06Överlämning

Hur man får en specialist på ett direktavbrott

Skriv på WhatsApp eller Telegram nu. Om du behöver stå först i kön, fråga om den akuta flytten till position 1. Helgarbete är en separat produkt, med eventuell tilläggsavgift angiven i förväg.

  1. Säg att produktionen ligger nere och vad du redan provat

    Tider, webbadresser, senaste distribution och om du återställde.

  2. En namngiven specialist larmas

    Inom en minut bör du se deras namn. De kan ringas om de inte svarar.

  3. Återställ en säker väg, inom 24 timmar i omfattning, ofta mycket tidigare om orsaken är klar

    Ett längre tillförlitlighetsprogram är ett komplext projekt.

Hur DevHero fungerar en incident med produktionsnedgång

Vi ansluter oss till incidenten, återställer en säker väg att leva och berättar sedan vad som fortfarande behöver åtgärdas. En människa kontrollerar återhämtningen.

Vi ansluter oss till incidenten, tittar på den senaste förändringen, beroenden, loggarna och datatillståndet och återställer sedan en säker väg att leva. När den är klar berättar vi vad som fortfarande behöver en varaktig åtgärd. Ett längre tillförlitlighetsprogram är ett komplext projekt. Helgarbete är en separat produkt; eventuell tilläggsavgift anges i förväg, innan ett samtal.

  1. Gå med i tidslinjen

    Senaste ändring, omfattning och vad som redan har prövats.

  2. Stabilisera

    Återställning, failover eller en inneslutning som tar tillbaka användarjobbet, om det är säkert.

  3. Hitta orsaken med tillräckligt med bevis

    Loggar, hälsa, disk, beroenden — utan att förstöra den enda kopian av spåret om vi kan undvika det.

  4. Sätt en varaktig fix i rörelse, eller namnge den

    Vissa orsaker behöver en uppföljning. Vi kommer inte att låtsas att en omstart är en rotorsaksanalys.

  5. Skriv ner den osäkra lösningen, om en sådan behövdes

    Så den kan bytas ut.

Vad du får under de första timmarna av ett avbrott och inom 24 timmar

Det första målet är att återställa en säker väg. 24-timmarsmålet, på ett typiskt vardagsfall i omfattning, är en orsak och en kontrollerad återhämtning.

  1. En specialist på händelsen, namngiven, när du är i sessionen.

  2. Tjänsten återställd, eller en tydlig inneslutning, om det är möjligt med den åtkomst vi har.

  3. En orsak, eller en begränsad uppsättning orsaker, i klartext.

  4. En anteckning om eventuella lösningar som inte får stanna.

  5. En människokontrollerad återhämtning, och en uppföljning om tillförlitlighetsarbete återstår.

Vad vi ska skicka när produktionen är nere

Hastigheten spelar roll. Några fakta förhindrar en blind omstart. Klistra inte in livelösenord i chatten.

URL:er och tiden då det började

Plus tidszonen.

Vad användare ser

Fel, tomma sidor, inloggningsfel, betalningar misslyckas.

Den senaste ändringen

Implementera, DNS, certifikat eller molnhändelse.

Vad du redan provat

Omstart, återställning, uppskalning eller en misslyckad failover.

Hur vi kan komma in i systemet med dig

En överenskommen kanal och auktoriserad åtkomst.

Snabba och akuta åtgärder

Första 4 timmarna med en specialist + obegränsad AI: gratis, en gång per kund. Fortsatt arbete är betalt, på förfrågan. En människa leder och granskar resultatet.

Gratis (första sessionen)

Komplexa projekt

Större arbete har en annan taxa, på förfrågan. Vi säger det innan vi går vidare.

På förfrågan

Vardagar, sedan helger

Grundplanen gäller bara vardagar. Helgarbete är en separat produkt. Eventuellt tillägg anges i förväg, före varje samtal, och beror på komplexitet. Belopp: på förfrågan.

På förfrågan

Den första sessionen är gratis: de första 4 timmarna med en specialist, plus obegränsad AI, en gång per kund. Arbete därefter, taxan för komplexa projekt och helgtaxan är betalda, på förfrågan.

En gratissession per kund: de första 4 timmarna med en specialist, plus obegränsad AI som verktyg.

Känner du igen situationen? Skriv till oss, vi reder ut det.

04

Så att det förblir löst

Vad du inte ska göra sedan, vilka stackar vi ser i den här typen av arbete, och hur fixen håller.

Vad man inte ska göra mitt i ett avbrott

Rörelse är inte detsamma som återhämtning. Vissa drag gör nästa timme svårare.

Startar om allt innan du registrerar loggar

Du kan få en kort återhämtning och förlora orsaken.

Utplacera en ny gissning ovanpå en release som har fastnat

Du kan förlora den sista bra artefakten.

Debatterar om den perfekta obduktionen medan den fortfarande är nere

Återställ först och skriv sedan.

Publicera en detaljerad teknisk teori offentligt innan du vet ordet av

Du kan ha fel, och du kan avslöja en sökväg som du inte har stängt om detta också är en säkerhetshändelse.

Ignorera möjligheten för ett brott

Om webbplatsen förstördes eller data läcker, se den hackade webbplatsen och säkerhetssidorna och säg det tidigt.

Där vi ser produktionen gå ner

Berätta för oss stacken och värden. Om vi ​​inte skulle ta det så säger vi det.

Webappar och API:er på typiska moln och PaaS

AWS, GCP, Azure och enklare värdar.

Databaser och köer som tar med sig appen

Postgres, MySQL, Redis och jobbarbetare.

DNS, TLS och lastbalanserare

Kanten som kan se ut som ett programfel.

Släppplattformar

En CI/CD-byte som blev ett avbrott. Se även misslyckade distributioner.

Efter att produktionen är tillbaka: hur man gör nästa avbrott kortare

En återhämtning är ofullständig om samma drag skulle ta dig ner i morgon.

Right after the fix

Skriv tidslinjen medan den är ny

Orsak, lösning och den bestående korrigeringen.

Practise a rollback

En återställning ni aldrig har testat är bara ett hopp.

Lägg till den saknade hälsokontrollen på användarjobbet

Inte bara på en statisk sida.

Placera timeouts och disklarm där de saknades

Tråkiga checkar.

As you keep shipping

Separera oåterkalleliga dataändringar från förstagångsinstallationen

När du kan.

Kom överens om vem som kan ringas och hur

Ett namn och en sökväg, inte en gruppchatt med femtio personer.

Granska genererade implementeringsändringar innan de går live

En pipeline som du inte förstår kommer att misslyckas offentligt.

Känner du igen situationen? Skriv till oss, vi reder ut det.

05

Frågor om det här problemet

Raka svar om det här problemet, sessionen och vad som händer sedan.

Borde jag redan ha rullat tillbaka?

Om du har en känd senaste bra release och en säker återställning, säg vad du redan försökt.

Vad händer om detta är en säkerhetsincident, inte en krasch?

Säg det. Vi kommer att behandla det med den arbetsordningen. Se även sidorna på en hackad webbplats och om säkerhetshål.

Kan jag hoppa i kön?

Ja. Fråga om den brådskande flytten till position 1. Startpriset är 99 USD medan kön är tom, och det kan revideras senare.

Hur börjar jag?

Skriv på WhatsApp eller Telegram nu. Inget formulär, ingen webbchatt.

Arbetar du helger som standard?

Nej. Grundplanen är vardagar. Helgarbete är en separat produkt och eventuell tilläggsavgift anges i förväg, innan ett samtal.

Kommer du att uppfinna en tillgänglighetsprocent?

Nej. Vi pratar om den här incidenten och vad vi ändrade.

Kan du stanna kvar efter att den är tillbaka?

Vill du ha en tillförlitlighetsuppföljning erbjuder vi matchningsgraden och vi skriver på för det arbetet.

Vår statussida är fortfarande grön. Betyder det att vi är uppe?

Inte om användarjobbet är nere. Hälsokontroller kan titta på fel sak.

Tar du alla supportbiljetter?

Nej. Vi tar ett system som ligger nere och behöver en ingenjör, inte ett skript från en hjälpsida.

Är den första sessionen verkligen gratis?

Ja. Varje kund får en gratissession: de första 4 timmarna med en specialist, plus obegränsad AI som verktyg. 24-timmarslinjen är den tid vi siktar på att starta och stänga ett typiskt vardagsärende inom ramen, inte 24 timmars obetalt arbete. Fortsatt arbete är betalt, på förfrågan.

Human First

Produktionen är nere. Vi löser det inom 24 timmar.

Om produktionen redan är nere, skriv på WhatsApp eller Telegram nu. Du kommer att prata med en person.

En gratissession per kund: de första 4 timmarna med en specialist, plus obegränsad AI som verktyg.

Human First

Välj en kanal

Inget webbformulär, ingen webbchatt. Skriv på WhatsApp eller Telegram, en specialist svarar. Meddelandet är förifyllt med problemet och sidan.

Telegram öppnar chatten med @brnzai. Texten klistras ofta inte in automatiskt — kopiera den och skicka den där: