Tháng 7/2025, cộng đồng Hiệp Khách Giang Hồ VTC gặp phải một trong những sự cố nghiêm trọng nhất kể từ khi game ra mắt.

Người chơi phản ánh tình trạng lỗi đăng nhập, mất dữ liệu nhân vật, mất vật phẩm, kẹt tài khoản… Sau nhiều ngày bảo trì nhưng không thể khắc phục hoàn toàn, đội ngũ vận hành buộc phải đưa ra quyết định mà không MMORPG nào mong muốn:

Rollback dữ liệu.

Bối cảnh

• 15/07/2025 Server bắt đầu gặp sự cố về dữ liệu. Người chơi xuất hiện hàng loạt lỗi như đăng nhập thất bại, mất item, kẹt account…
• 16/07/2025 Tiến hành bảo trì khẩn cấp với hy vọng xử lý sự cố.
• 17/07/2025 Bảo trì tiếp tục kéo dài nhưng tình trạng vẫn chưa được khắc phục. Toàn bộ server được đóng để tập trung xử lý dữ liệu.
• 24/07/2025 HKGH VTC chính thức thông báo Rollback toàn bộ dữ liệu về ngày 10/07/2025.

Một chút về Timeline

Lịch bảo trì định kỳ của HKGH VTC diễn ra vào thứ Năm hàng tuần

• 10/07/2025: Bảo trì định kỳ và thực hiện Backup dữ liệu.
• 16/07/2025: Sự cố xảy ra trước thời điểm bảo trì tuần tiếp theo 1 ngày, team vận hành chủ động bảo trì sớm để khắc phục nhưng không thành công.
• 16 – 24/07: Server đóng hoàn toàn để khắc phục.
• 24/07/2025: Công bố Rollback về bản Backup ngày 10/07.

Đội ngũ vận hành từng chia sẻ rằng sẽ cố gắng khôi phục đến ngày 16/07. Tuy nhiên dữ liệu tại thời điểm đó đã không còn toàn vẹn, vì vậy bản Backup ngày 10/07 trở thành lựa chọn an toàn cuối cùng.

Điều đó đồng nghĩa với việc toàn bộ dữ liệu phát sinh từ ngày 10/07 đến 16/07 đều biến mất.

Hay nói cách khác, toàn bộ người chơi đã bị “xuyên không” trở về một tuần trước.

Team vận hành phải đối mặt với điều gì?

Về mặt kỹ thuật, Rollback chỉ đơn giản là đưa dữ liệu trở về một thời điêm cũ, nhưng với Game Operations thì Rollback còn kéo theo hàng loạt vấn đề nan giải…

1. Khôi phục dữ liệu

Ưu tiên lớn nhất là khôi phục hệ thống trong trạng thái ổn định và toàn vẹn. Trước khi nghĩ đến đền bù, truyền thông hay mở lại server, dữ liệu phải sạch và đủ an toàn để vận hành tiếp. Nếu mở server khi dữ liệu vẫn chưa ổn định, sự cố có thể tiếp tục lan rộng.

2. Đối soát Cash và vật phẩm Shop

Người chơi đã nạp tiền, mua vật phẩm, sử dụng Cash trong giai đoạn bị mất dữ liệu. Những phần này cần được đối soát thông qua lịch sử nạp, lịch sử tiêu phí và các Logs liên quan để hoàn trả phù hợp. Đây là phần khó về khối lượng xử lý, nhưng vẫn còn cơ sở để kiểm tra.

3. Giao dịch giữa người chơi

Đây là bài toán rất phức tạp.

Ví dụ, ngày 12/07, người chơi A bán cho người chơi B một món đồ trị giá 5 triệu đồng qua chuyển khoản.

Sau Rollback, món đồ quay trở lại tài khoản của A.

Trong khi đó B đã chuyển tiền ngoài đời thật, nhưng sau Rollback lại không còn món đồ đã mua.

Với những giao dịch ngoài game như vậy, nhà phát hành gần như không có đủ cơ sở để xác minh toàn bộ.

4. Đại lý Cash và Shop Account

Các đại lý Cash, shop account cũng phải tự đối soát lại giao dịch với khách hàng của mình.

Ai đã mua gì? Đã giao vật phẩm chưa? Sau Rollback vật phẩm còn hay mất?

Cần hoàn tiền, giao lại vật phẩm, hay xử lý theo từng trường hợp?

Đây là phần không nằm hoàn toàn trong hệ thống game, nhưng lại chịu ảnh hưởng trực tiếp từ sự cố dữ liệu.

5. Cường hóa và tiêu hao vật phẩm

Trong một tuần đó, người chơi có thể đã sử dụng Charm, Phù, Bùa, nguyên liệu… để cường hóa hoặc nâng cấp vật phẩm.

Cash dùng để mua một số vật phẩm có thể đối soát qua Logs. Nhưng kết quả cường hóa, nguyên liệu đã tiêu hao, vật phẩm đã thay đổi trạng thái… lại rất khó khôi phục chính xác như ban đầu.

6. Truyền thông

Song song với việc sửa lỗi, đội ngũ vận hành phải liên tục cập nhật tình hình cho cộng đồng.

Server đóng càng lâu, câu hỏi càng nhiều, người chơi càng hoang mang.

Người chơi muốn biết vì sao lỗi xảy ra, bao giờ mở lại, dữ liệu sẽ được khôi phục đến đâu, giao dịch đã mất xử lý thế nào, đền bù ra sao…

7. Đền bù

Đền bù luôn là phần khó cân bằng.

• Đền bằng gì?
• Đền bao nhiêu?
• Đền cho toàn server hay theo từng nhóm thiệt hại?

Không có một phương án hoàn hảo, bởi mỗi người chơi chịu ảnh hưởng theo một cách khác nhau.

• Có người mất thời gian cày cấp.
• Có người mất vật phẩm.
• Có người mất cơ hội giao dịch.
• Có người mất tiền thật qua các giao dịch ngoài game.

Nhìn lại sự cố

Nếu nhìn riêng từng vấn đề, chúng có vẻ thuộc nhiều nhóm khác nhau.

• Kỹ thuật.
• Cash.
• Giao dịch người chơi.
• Truyền thông.
• Đền bù.

Nhưng nếu đặt tất cả cạnh nhau, có thể thấy chúng cùng bắt đầu từ một điểm:

Khoảng cách giữa thời điểm xảy ra sự cố và bản Backup gần nhất quá xa.

Nếu bản Backup gần nhất chỉ cách vài giờ hoặc một ngày, phần lớn vấn đề vẫn sẽ tồn tại, nhưng mức độ thiệt hại sẽ giảm đi rất nhiều.

Phạm vi dữ liệu bị mất sẽ nhỏ hơn, lượng giao dịch bị ảnh hưởng ít hơn, số trường hợp cần xử lý cũng giảm đi đáng kể.

Đó là bài học lớn nhất của Case này.

Bài học: Backup dữ liệu thường xuyên

Khi game mới mở, Backup theo tuần có thể vẫn được xem là đủ trong một số điều kiện vận hành. Nhưng sau nhiều tháng hoạt động, giá trị dữ liệu của mỗi ngày đã khác hoàn toàn.

Dữ liệu hàng ngày không đơn giản chỉ là Progression của game (EXP, Level, Item…) mà còn là Economy, là Community… là giao dịch, cash, thị trường, quan hệ người chơi và nhiều thứ phát sinh khác…

Vì vậy, chiến lược Backup cũng phải thay đổi theo vòng đời của game.

Game càng vận hành lâu, Economy càng phát triển, giao dịch càng nhiều, giá trị dữ liệu càng lớn. Khi đó, Backup không nên chỉ phụ thuộc vào lịch bảo trì hàng tuần. Thay vào đó, nên cân nhắc:

• Backup dữ liệu theo ngày.
• Backup trước khi thay đổi Config.
• Backup trước khi mở Event, đổi Drop Rate, mở giai đoạn hoặc Update phiên bản…

Việc Backup không thể ngăn được số nhưng có thể giảm một phần thiệt hại mà sự cố gây ra.

Công cụ hỗ trợ: Hệ thống Logs

Nếu Backup giúp giảm phạm vi dữ liệu bị mất, thì Logs sẽ giúp đội ngũ vận hành có cơ sở để xử lý phần thiệt hại đã phát sinh.

Trong quá trình vận hành, nhiều sự cố phát sinh như gamer báo mất item, lừa đảo, kiểm tra progress… đều cần đến Logs để truy xuất thông tin. Logs nên được phân tách thành các phần riêng biệt thể thuận tiện cho truy xuất.

• Logs nạp tiền.
• Logs tiêu Cash.
• Logs mua vật phẩm.
• Logs cường hóa.
• Logs tạo vật phẩm.
• Logs giao dịch.

Logs càng đầy đủ và rõ ràng, khả năng đối soát và hỗ trợ người chơi càng cao.

Một gợi mở khác: Không chỉ là dữ liệu

Backup và Logs là những cách xử lý cứng. Chúng giúp giảm thiệt hại, hỗ trợ đối soát và tăng khả năng khôi phục sau sự cố. Nhưng có một thứ mà cả Backup lẫn Logs đều không thể khôi phục hoàn toàn.

Đó là niềm tin.

Thứ được tích lũy từ cách đội ngũ vận hành giao tiếp, lắng nghe và đồng hành với cộng đồng trong suốt quá trình hoạt động.

Khi người chơi cảm thấy mình chỉ đang tương tác với một hệ thống, họ sẽ nhìn sự cố như một thiệt hại cần được đền bù. Nhưng nếu người chơi cảm thấy đội ngũ vận hành thực sự lắng nghe, minh bạch và cùng họ xây dựng trò chơi, họ sẽ có xu hướng nhìn sự cố như một biến cố mà cả hai bên cùng phải vượt qua.

Đây cũng là một chủ đề rất thú vị mà tôi muốn phân tích trong một Case Study khác: Vai trò của niềm tin, những người có sức ảnh hưởng trong cộng đồng và mối quan hệ giữa Game Operations với người chơi.

Bởi suy cho cùng, Game Operations không chỉ là vận hành server.

Mà còn là vận hành mối quan hệ giữa trò chơi, đội ngũ vận hành và cộng đồng người chơi.