Chuyển tới nội dung chính

Sequence: đồng bộ tin từ nguồn ngoài

Trình tự tương tác khi đồng bộ một nguồn. Giải thích thiết kế và quy tắc nằm ở job-ingestion; tài liệu này chỉ vẽ thứ tự.

Actor​

ActorVai trò
CronKích hoạt mỗi 6 giờ cho nguồn đang bật
Quản trị viênKích hoạt tay một nguồn bằng POST /job-sources/:key/sync
ProcessorWorker BullMQ chạy syncSource
Nguồn ngoàiATS hoặc trang việc làm

Luồng chính​

Nhánh thay thế và lỗi​

Tình huốngĐiểm xảy raKết quả
Nguồn bị tắt hoặc không tồn tạiBước đầu của runGhi cảnh báo, bỏ qua, không tạo crawl_runs
Việc cùng jobId đã cóadd ở bước 2BullMQ bỏ qua, không tạo việc thứ hai
Bị chặn 403, 429, captchaVòng tải chi tiếtDừng vòng lặp, stoppedEarly, kết quả PARTIAL, vẫn áp dụng bước vòng đời với danh sách đầy đủ
Danh sách rỗng hoặc co dưới 50% mức nềnisSuspectListingSUSPECT, computeTransitions không đóng tin vì vắng mặt
Lỗi không bắt đượcBất kỳ bướccrawl_runs thành FAILED, ném lại, BullMQ retry tối đa 3 lần với backoff mũ bắt đầu 5 giây
Không có adapter cho providerĐầu syncUnrecoverableError, không retry

Thành phần liên quan​