Chuyển tới nội dung chính

Health check, log và giám sát

Mô tả nền tảng nằm ở observability. Tài liệu này là hướng dẫn vận hành: cách quan sát hệ thống đang chạy.

Health check​

CáchLệnhÝ nghĩa
Livenesscurl -s https://<API_DOMAIN>/api/v1/health/liveProcess còn phục vụ HTTP
Readinesscurl -s https://<API_DOMAIN>/api/v1/health/readyMongoDB (database) và Redis (redis); 503 nếu một trong hai lỗi
Dockerdocker compose -f docker-compose.prod.yml pshealthy của backend dựa trên liveness
Giám sát ngoàiTrỏ uptime monitor tới https://<domain-api>/api/v1/health/readyBáo khi cả VPS chết

Health check không phản ánh hàng đợi BullMQ, dịch vụ AI, SMTP, nguồn tin ngoài; hàng đợi được theo dõi qua metric và alert QueueBacklog, QueueFailedJobs.

Log​

  • Log JSON ra stdout ở production; pino-pretty một dòng ở môi trường khác.
  • Mức mặc định: info ở production, debug nơi khác; đổi bằng LOG_LEVEL.
  • Mỗi request có req.id (từ X-Request-Id hợp lệ hoặc UUID), cũng trả về client trong header X-Request-Id.
  • Docker giữ 5 file mỗi file 10 MB cho mỗi container.
docker compose -f docker-compose.prod.yml logs -f backend
docker compose -f docker-compose.prod.yml logs backend | grep <request-id>

Log có thể chứa dữ liệu cá nhân (văn bản CV, email lúc xóa tài khoản): data-protection. Hạn chế quyền truy cập log.

Dòng log đáng theo dõi​

Dấu hiệuÝ nghĩa
[ingestion-alert] <key>: ...Nguồn tin ngoài SUSPECT hoặc lỗi từ 3 lần liên tiếp. Đây là cơ chế cảnh báo duy nhất, không có kênh khác
Gemini quota denied và dòng "Rescheduled parse"Đọc CV bị hoãn vì hết quota Gemini
Failed to parse CV / Failed to analyzeLỗi xử lý hồ sơ; chi tiết ở parseError, analysisError của bản ghi
Topic guard ... allowing response throughBộ lọc chủ đề lỗi và cho qua
List cache read/write failedRedis có vấn đề, cache danh sách bị bỏ qua
Skipping sync for missing or disabled job sourceNguồn bị tắt hoặc bị xóa

Sentry​

Đặt SENTRY_DSN để nhận lỗi không phải 4xx; sự kiện gắn tag request_id để nối với log. Không có SENTRY_DSN thì tắt (sentry).

Hàng đợi​

Việc cần xemCách
Thống kê hàng đợi hồ sơGET /api/v1/resumes/queue/stats (quản trị viên)
Chỉ số hàng đợi gợi ý việc làmTrả kèm POST /api/v1/mail/send-job-recommendations
Lịch sử đồng bộ nguồn tinGET /api/v1/job-sources/:key/runs
Chat AIGET /api/v1/chat/admin/usage/*
Việc lỗi trong RedisKhông có giao diện trong repository; kiểm tra bằng công cụ BullMQ ngoài. Hàng đợi job-ingestion không giữ việc lỗi

Metric và cảnh báo​

Prometheus scrape backend:9464, Alertmanager gửi email. Cài đặt, danh sách alert và cách xử lý: alerts. Deploy và rollback: rollback.

Chưa có: dashboard (Grafana), metric disk và RAM của VPS.