DEVHERO Nhắn trên WhatsApp
HelplineNgười thật, không phải AI. Hỗ trợ trong 24 giờ
Human First
môi trường production đang chết

Môi trường production đang chết. Chúng tôi khắc phục trong 24 giờ.

Trang web hoặc API trực tiếp không hoạt động hoặc xuống cấp đến mức khách hàng không thể sử dụng.

  • Kiểm tra tình trạng hoặc bộ cân bằng tải không có tác dụng gì đằng sau chúng
  • Khách hàng không thể đăng nhập, thanh toán hoặc tải trang cốt lõi
  • Tỷ lệ lỗi tăng vọt và duy trì ở mức cao

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Chuyên gia cao cấp thật sự dẫn dắt. Tên trong thư trả lời đầu. AI là công cụ; một người kiểm tra kết quả.

01

Vấn đề

Vấn đề này trông như thế nào, làm sao nhận ra, và điều gì đang bị đe dọa nếu để vậy.

Vấn đề này trông như thế nào

Việc ngừng sản xuất trông như thế nào, tại sao mỗi phút đều có cảm giác công khai và tại sao một chuyên gia bình tĩnh lại hữu ích giữa lúc ồn ào.

Kiểm tra tình trạng không thành công và người dùng không thể hoàn thành công việc

Kiểm tra tình trạng không thành công. Bộ cân bằng tải không có gì lành mạnh đằng sau nó. Việc triển khai đã gặp sự cố. Chứng chỉ, ổ đĩa, cơ sở dữ liệu, thay đổi DNS hoặc phần phụ thuộc đã sử dụng dịch vụ đó. Các trang trạng thái đã sáng lên.

Bạn đang được yêu cầu ETA mà bạn không có

Mỗi phút đều có cảm giác công khai. Bạn đang được yêu cầu ETA mà bạn không có. Nhóm đang trong một cuộc gọi và vẫn đang tranh cãi về bước đầu tiên.

Thời gian hoạt động là lời hứa bạn đã thực hiện

Thời gian hoạt động là lời hứa bạn đã đưa ra với người dùng của mình, ngay cả khi lời hứa đó chưa bao giờ được viết ra. Khi sản xuất ngừng hoạt động, lời hứa đó đã bị phá vỡ. Công việc là khôi phục nó một cách trung thực.

Bạn muốn nó hoạt động trở lại, có nguyên nhân chứ không phải một lần khởi động lại sẽ thất bại sau một giờ.

Khi quá trình sản xuất ngừng hoạt động, trang web hoặc API trực tiếp sẽ ngoại tuyến hoặc xuống cấp đến mức khách hàng không thể sử dụng. Bạn muốn nó hoạt động trở lại có nguyên nhân chứ không phải một lần khởi động lại sẽ thất bại sau một giờ.

Thêm về cách việc này thể hiện

Việc triển khai, chứng chỉ, ổ đĩa, cơ sở dữ liệu, thay đổi DNS hoặc phần phụ thuộc có thể đi kèm với dịch vụ. Trang trạng thái sáng lên. Nhóm đã thực hiện cuộc gọi và vẫn đang tranh cãi về bước đầu tiên.

Công việc cuối tuần là một sản phẩm riêng biệt; mọi khoản phụ phí đều được nêu trước, trước khi gọi. Chúng tôi không nhận mọi yêu cầu hỗ trợ. Chúng tôi xử lý một hệ thống cứng cần kỹ sư.

Việc sản xuất các dấu hiệu ngừng hoạt động chứ không chỉ 'chậm một chút'

Đây là những tín hiệu cho thấy bạn đang bị ngừng hoạt động, ngay cả khi một vùng hoặc một đường dẫn vẫn hoạt động.

Kiểm tra tình trạng hoặc bộ cân bằng tải không có tác dụng gì đằng sau chúng

Các phiên bản không thành công hoặc bắt đầu và chết trong một vòng lặp.

Khách hàng không thể đăng nhập, thanh toán hoặc tải trang cốt lõi

Trang chủ tiếp thị có thể vẫn còn trên CDN trong khi ứng dụng không hoạt động.

Tỷ lệ lỗi tăng vọt và duy trì ở mức cao

5xx, hết thời gian chờ hoặc kết nối bị từ chối trên nhiều người dùng.

Triển khai ở trạng thái không xác định

Một số nút đã được di chuyển hoặc quá trình di chuyển đang diễn ra giữa chừng và không ai muốn chạm vào nó.

Phần phụ thuộc không hoạt động và ứng dụng của bạn không có dự phòng

DNS, cơ sở dữ liệu, hàng đợi hoặc API đối tác mới là sự cố ngừng hoạt động thực sự.

Bạn đã khởi động lại một lần và nó lại bị lỗi

Việc khởi động lại không phải là nguyên nhân, chỉ là sự tạm dừng.

Nếu nó không hoạt động và nếu nó quay trở lại có nguyên nhân

Trước — nếu bạn để vậy

Nếu bạn để vậy

Trong thời gian suy thoái, bạn sẽ đánh mất doanh số bán hàng, sự tin tưởng và thời gian từ những người sẽ nhớ đến sự im lặng hơn là lời giải thích sau đó.

Sau — nếu chúng tôi khép lại

Nếu chúng tôi khép lại

Dịch vụ đã hoạt động trở lại, nguyên nhân trực tiếp đã được xác định và cách giải quyết không an toàn — nếu cần — sẽ được ghi lại để có thể thay thế.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

02

Vì sao xảy ra

Thường đến từ đâu, vì sao xuất hiện trong công việc nhanh hoặc có AI hỗ trợ, và cách tự kiểm tra.

Nguyên nhân phổ biến gây ra tình trạng ngừng sản xuất

Hầu hết các lần ngừng hoạt động đều có thay đổi cuối cùng, tài nguyên bão hòa hoặc phụ thuộc. Tìm xem cái nào là công việc.

Một bản phát hành tồi hoặc cấu hình kém

Cờ, bí mật, chứng chỉ hoặc hình ảnh vùng chứa chỉ bị lỗi ở quy mô trực tiếp.

Cơ sở dữ liệu hoặc ổ đĩa cạn kiệt

Các kết nối, khóa, toàn bộ tập hoặc quá trình di chuyển sẽ không hoàn tất.

DNS, TLS hoặc các thay đổi định tuyến

Một bản ghi, chứng chỉ hoặc quy tắc cân bằng tải không còn chỉ ra nguồn gốc lành mạnh.

Một sự phụ thuộc hoặc một hạn ngạch

Giới hạn đám mây, thanh toán tài khoản hoặc ngừng hoạt động của bên thứ ba mà không hết thời gian chờ.

Một sự kiện về bảo mật hoặc năng lực

Một cuộc tấn công, lưu lượng truy cập tăng đột biến hoặc một quá trình bỏ chạy sau khi triển khai.

Tại sao các ngăn xếp trẻ và các triển khai được tạo lại thất bại nặng nề ở nơi công cộng

Một quy trình được tạo ra hoặc một thùng chứa 'hoạt động trên máy của tôi' thường sẽ đáp ứng sản xuất lần đầu tiên vào ngày ra mắt. Các công ty khởi nghiệp nhanh cũng bỏ qua runbooks nên lần ngừng hoạt động đầu tiên cũng là buổi diễn tập đầu tiên.

Sự cố Human First vẫn bắt đầu với thay đổi cuối cùng và nhật ký, chứ không phải với tập lệnh khởi động lại đầy hy vọng được viết bởi một mô hình ở giữa cuộc gọi.

Khi website bị sập cần kiểm tra những gì đầu tiên

Hãy ghi lại bằng chứng khi bạn di chuyển. Việc khởi động lại có thể giúp ích và cũng có thể xóa hình ảnh bạn cần.

  • Xác nhận phạm vi

    URL nào, khu vực nào, người dùng nào và liệu URL đó là toàn bộ hay đã xuống cấp.

  • Kiểm tra thay đổi cuối cùng

    Triển khai, DNS, chứng chỉ, thay đổi đám mây hoặc công việc. Viết ra thời gian.

  • Xem tình trạng của ứng dụng, cơ sở dữ liệu và ổ đĩa

    Một trong số đó thường đã nói sự thật.

  • Xem liệu việc khôi phục có rõ ràng và an toàn hay không

    Một đồ tạo tác tốt cuối cùng được biết đến là một món quà, nếu dữ liệu cho phép.

  • Lưu ý xem đây có phải là sự cố bảo mật không

    Phá hoại, đòi tiền chuộc hoặc quản trị viên không mong muốn. Điều đó thay đổi thứ tự công việc. Xem thêm trang web bị tấn công.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

03

DevHero khắc phục thế nào

Chuyên gia cao cấp dẫn dắt. AI là công cụ. Một người kiểm tra kết quả.

Mất điện rất hỗn loạn. Một chuyên gia bình tĩnh đã nhìn thấy hình thức thất bại này sẽ rất hữu ích vì bạn đang ở giữa nó.

DevHero là Con người trên hết. Bạn viết, bạn nhìn thấy tên của một chuyên gia và người đó có thể được cảnh báo và gọi điện. AI có thể giúp chúng tôi quét nhật ký. Một người dẫn đầu quá trình khôi phục và kiểm tra bản sửa lỗi. Chúng tôi không nhận mọi yêu cầu hỗ trợ. Chúng tôi xử lý một hệ thống cứng cần kỹ sư chứ không phải tập lệnh của trung tâm trợ giúp.

Bạn viết, bạn nhìn thấy một cái tên và người đó có thể được thông báo và gọi điện. AI có thể giúp chúng tôi quét nhật ký. Một người dẫn đầu quá trình khôi phục và kiểm tra bản sửa lỗi.

How a typical weekday case moves

  1. 01Đã nhận tin
  2. 02Đã nêu tên chuyên gia
  3. 03Chẩn đoán
  4. 04Khắc phục
  5. 05Người kiểm tra
  6. 06Bàn giao

Làm thế nào để có được chuyên gia khi mất điện trực tiếp

Hãy viết trên WhatsApp hoặc Telegram ngay bây giờ. Nếu bạn cần là người đầu tiên xếp hàng, hãy hỏi về việc chuyển gấp lên vị trí 1. Công việc cuối tuần là một sản phẩm riêng biệt, có bất kỳ khoản phụ phí nào được nêu trước.

  1. Nói rằng sản lượng đang ngừng hoạt động và những gì bạn đã thử

    Thời gian, URL, lần triển khai gần đây nhất và liệu bạn có quay lại hay không.

  2. Một chuyên gia có tên được cảnh báo

    Trong vòng một phút, bạn sẽ thấy tên của họ. Họ có thể được gọi nếu họ không trả lời.

  3. Khôi phục đường dẫn an toàn, trong 24 giờ khi nằm trong phạm vi, thường sớm hơn nhiều nếu nguyên nhân rõ ràng

    Một chương trình có độ tin cậy cao hơn là một dự án phức tạp.

DevHero xử lý sự cố ngừng sản xuất như thế nào

Chúng tôi tham gia vào vụ việc, khôi phục lại con đường sống an toàn, sau đó cho bạn biết những gì vẫn cần khắc phục lâu dài. Một con người kiểm tra sự phục hồi.

Chúng tôi tham gia sự việc, xem xét thay đổi cuối cùng, các phần phụ thuộc, nhật ký và tình trạng của dữ liệu, sau đó khôi phục đường dẫn an toàn để tồn tại. Sau khi hoàn tất, chúng tôi sẽ cho bạn biết những gì vẫn cần khắc phục lâu dài. Một chương trình có độ tin cậy cao hơn là một dự án phức tạp. Công việc cuối tuần là một sản phẩm riêng biệt; mọi khoản phụ phí đều được nêu trước, trước khi gọi.

  1. Tham gia dòng thời gian

    Thay đổi cuối cùng, phạm vi và những gì đã được thử.

  2. Ổn định

    Khôi phục, chuyển đổi dự phòng hoặc ngăn chặn giúp khôi phục công việc của người dùng, nếu điều đó an toàn.

  3. Tìm ra nguyên nhân có đủ bằng chứng

    Nhật ký, tình trạng, ổ đĩa, phần phụ thuộc — mà không phá hủy bản sao duy nhất của dấu vết nếu chúng ta có thể tránh được.

  4. Thực hiện một giải pháp lâu dài hoặc đặt tên cho nó

    Một số nguyên nhân cần được theo dõi. Chúng tôi sẽ không coi việc khởi động lại là một phân tích nguyên nhân gốc rễ.

  5. Viết ra cách giải quyết không an toàn, nếu cần

    Vậy là có thể thay thế được.

Những gì bạn nhận được trong những giờ đầu tiên ngừng hoạt động và trong vòng 24 giờ

Mục đích đầu tiên là khôi phục một con đường an toàn. Mục tiêu 24 giờ, trong phạm vi trường hợp điển hình của các ngày trong tuần, là nguyên nhân và sự phục hồi đã được kiểm tra.

  1. Một chuyên gia về vụ việc, được nêu tên, khi bạn tham gia phiên họp.

  2. Dịch vụ đã được khôi phục hoặc ngăn chặn rõ ràng, nếu điều đó có thể thực hiện được với quyền truy cập mà chúng tôi có.

  3. Một nguyên nhân, hoặc một tập hợp các nguyên nhân thu hẹp, bằng ngôn ngữ đơn giản.

  4. Một lưu ý về cách giải quyết nào đó không được lưu lại.

  5. Quá trình phục hồi do con người kiểm tra và theo dõi nếu độ tin cậy vẫn hoạt động.

Cần gửi gì cho chúng tôi khi sản lượng ngừng hoạt động

Tốc độ rất quan trọng. Một số sự thật ngăn cản việc khởi động lại một cách mù quáng. Không dán mật khẩu trực tiếp vào cuộc trò chuyện.

URL và thời gian bắt đầu

Cộng với múi giờ.

Những gì người dùng nhìn thấy

Lỗi, trang trống, đăng nhập thất bại, thanh toán không thành công.

Thay đổi cuối cùng

Triển khai, DNS, chứng chỉ hoặc sự kiện trên đám mây.

Những gì bạn đã thử

Khởi động lại, khôi phục, mở rộng quy mô hoặc chuyển đổi dự phòng không thành công.

Làm thế nào chúng tôi có thể kết nối với bạn trên hệ thống

Một kênh được thống nhất và quyền truy cập được ủy quyền.

Sửa nhanh và khẩn

4 giờ đầu với chuyên gia + AI không giới hạn: miễn phí, một lần cho mỗi khách. Công việc sau đó là trả phí, theo yêu cầu. Một người dẫn dắt và kiểm tra kết quả.

Miễn phí (phiên đầu)

Dự án phức tạp

Công việc lớn hơn dùng mức phí khác, theo yêu cầu. Chúng tôi nói rõ trước khi tiếp tục.

Theo yêu cầu

Ngày thường, rồi cuối tuần

Kế hoạch cơ bản chỉ cho ngày thường. Việc cuối tuần là sản phẩm riêng. Mọi phụ phí được nêu trước, trước mọi cuộc gọi, và tùy độ phức tạp. Số tiền: theo yêu cầu.

Theo yêu cầu

Phiên đầu miễn phí: 4 giờ đầu với chuyên gia, cộng AI không giới hạn, một lần cho mỗi khách. Công việc sau đó, mức phí dự án phức tạp và mức cuối tuần là trả phí, theo yêu cầu.

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

04

Để giữ được trạng thái đã sửa

Không nên làm gì tiếp theo, các stack chúng tôi thấy trong kiểu việc này, và cách giữ bản sửa.

Những việc không nên làm khi bị cúp điện

Chuyển động không giống như khôi phục. Một số động thái khiến giờ tiếp theo trở nên khó khăn hơn.

Khởi động lại mọi thứ trước khi bạn ghi lại nhật ký

Bạn có thể hồi phục trong thời gian ngắn và mất nguyên nhân.

Triển khai dự đoán mới dựa trên bản phát hành bị kẹt

Bạn có thể mất hiện vật tốt cuối cùng.

Đang tranh luận về việc khám nghiệm tử thi hoàn hảo trong khi nó vẫn đang ngừng hoạt động

Khôi phục trước rồi mới viết.

Đăng lý thuyết kỹ thuật chi tiết ở nơi công cộng trước khi bạn biết

Bạn có thể sai và bạn có thể tiết lộ một con đường mà bạn chưa đóng nếu đây cũng là một sự kiện bảo mật.

Bỏ qua khả năng vi phạm

Nếu trang web bị xóa giao diện hoặc dữ liệu bị rò rỉ, hãy xem trang web bị tấn công và trang bảo mật và thông báo sớm.

Chúng ta thấy sản lượng đi xuống ở đâu

Hãy cho chúng tôi biết ngăn xếp và máy chủ. Nếu chúng tôi không nên lấy nó, chúng tôi sẽ nói như vậy.

Ứng dụng web và API trên các đám mây và PaaS điển hình

AWS, GCP, Azure và các máy chủ đơn giản hơn.

Cơ sở dữ liệu và hàng đợi mang theo ứng dụng

Postgres, MySQL, Redis và nhân viên công việc.

DNS, TLS và bộ cân bằng tải

Cạnh có thể trông giống như lỗi ứng dụng.

Nền tảng phát hành

Một thay đổi CI/CD đã bị ngừng hoạt động. Xem thêm các lần triển khai không thành công.

Sau khi sản xuất trở lại: làm thế nào để rút ngắn thời gian ngừng hoạt động tiếp theo

Việc phục hồi sẽ không hoàn tất nếu hành động tương tự sẽ hạ gục bạn vào ngày mai.

Right after the fix

Viết dòng thời gian khi còn mới

Nguyên nhân, cách giải quyết và cách khắc phục lâu dài.

Thực hành khôi phục

Việc khôi phục mà bạn chưa từng thử là một niềm hy vọng.

Thêm phần kiểm tra tình trạng còn thiếu vào công việc của người dùng

Không chỉ trên một trang tĩnh.

Đặt thời gian chờ và cảnh báo ổ đĩa ở những nơi còn thiếu

Kiểm tra nhàm chán.

As you keep shipping

Tách biệt các thay đổi dữ liệu không thể đảo ngược khỏi lần triển khai đầu tiên

Khi bạn có thể.

Đồng ý ai có thể được gọi và bằng cách nào

Một cái tên và một con đường, không phải một cuộc trò chuyện nhóm với năm mươi người.

Xem lại các thay đổi triển khai đã tạo trước khi chúng đi vào hoạt động

Một quy trình mà bạn không hiểu sẽ thất bại ở nơi công cộng.

Bạn thấy quen tình huống này? Nhắn chúng tôi, chúng tôi sẽ sắp xếp.

05

Câu hỏi về vấn đề này

Câu trả lời thẳng về vấn đề này, phiên làm việc, và bước tiếp theo.

Tôi có nên quay lại chưa?

Nếu bạn có bản phát hành tốt gần đây nhất và bản khôi phục an toàn, hãy nói những gì bạn đã thử.

Nếu đây là sự cố bảo mật chứ không phải sự cố thì sao?

Nói vậy đi. Chúng tôi sẽ xử lý nó theo thứ tự công việc đó. Xem thêm các trang về trang web bị tấn công và các lỗ hổng bảo mật.

Tôi có thể chuyển hàng được không?

Có. Hỏi về việc chuyển gấp lên vị trí 1. Giá khởi điểm là 99 USD khi hàng đợi trống và có thể sửa đổi sau.

Tôi phải bắt đầu như thế nào?

Hãy viết trên WhatsApp hoặc Telegram ngay bây giờ. Không có hình thức, không có trò chuyện trên web.

Bạn mặc định làm việc cuối tuần phải không?

Không. Gói cơ bản là các ngày trong tuần. Công việc cuối tuần là một sản phẩm riêng biệt và mọi khoản phụ phí đều được nêu trước khi gọi điện.

Bạn sẽ phát minh ra tỷ lệ phần trăm sẵn có chứ?

Không. Chúng ta sẽ nói về sự việc này và những gì chúng ta đã thay đổi.

Bạn có thể ở lại sau khi nó quay lại không?

Nếu bạn muốn theo dõi độ tin cậy, chúng tôi đưa ra mức giá phù hợp và chúng tôi ký hợp đồng với công việc đó.

Trang trạng thái của chúng tôi vẫn còn xanh. Điều đó có nghĩa là chúng ta đã lên?

Không nếu công việc của người dùng không hoạt động. Kiểm tra sức khỏe có thể đang nhìn vào điều sai trái.

Bạn có nhận mọi phiếu hỗ trợ không?

Không. Chúng tôi có một hệ thống cứng cần kỹ sư chứ không phải tập lệnh của trung tâm trợ giúp.

Phiên đầu có thật sự miễn phí không?

Có. Mỗi khách được một phiên miễn phí: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ. Mốc 24 giờ là thời gian chúng tôi nhằm bắt đầu và khép một vụ việc ngày thường điển hình trong phạm vi, không phải 24 giờ làm việc không lương. Công việc tiếp theo là trả phí, theo yêu cầu.

Human First

Môi trường production đang chết. Chúng tôi khắc phục trong 24 giờ.

Nếu việc sản xuất đã ngừng hoạt động, hãy viết thư trên WhatsApp hoặc Telegram ngay bây giờ. Bạn sẽ nói chuyện với một người.

Một phiên miễn phí cho mỗi khách: 4 giờ đầu với chuyên gia, cộng AI không giới hạn như một công cụ.

Human First

Chọn kênh

Không biểu mẫu web, không chat web. Nhắn trên WhatsApp hoặc Telegram, một chuyên gia trả lời. Tin nhắn đã được điền sẵn vấn đề và trang.

Telegram mở cuộc trò chuyện với @brnzai. Đoạn này thường không được dán sẵn — hãy sao chép và gửi tại đó: