Chuyển tới nội dung chính

Module Queues (BullMQ)

Overview​

Xử lý nền bằng BullMQ, một thư viện hàng đợi dùng Redis. Một hàng đợi giữ các việc (job) chờ xử lý; một processor (worker) lấy việc ra chạy; việc lỗi có thể được thử lại. Cả producer (nơi đưa việc vào) lẫn processor đều chạy trong cùng tiến trình NestJS với API (queues.module.ts).

Lý do dùng hàng đợi và ranh giới đồng bộ hay bất đồng bộ: asynchronous-processing. Phần này mô tả từng hàng đợi và độ tin cậy.

Bảy hàng đợi​

Tên lấy từ queues.constants.ts.

Hàng đợiProcessorAi đưa việc vàoViệcSong song
resume-processingresume-queue.processor.tsresumesparse-resume, analyze-resume1, giới hạn 15 việc mỗi 60 giây
job-ingestionjob-ingestion-queue.processor.tsjob-ingestion (cron và API)sync-source1 (mặc định)
job-recommendationjob-recommendation-queue.processor.tsmail (cron và API)send-job-recommendations5
company-follower-notificationcompany-follower-queue.processor.tsjobs khi tạo tinsend-new-job-notification1 (mặc định)
application-notificationapplication-notification-queue.processor.tsresumessend-status-update-email, send-new-application-email1 (mặc định)
job-expiration-notificationjob-expiration-queue.processor.tsjobs (cron hết hạn)send-job-expired-notification1 (mặc định)
account-deletionaccount-deletion-queue.processor.tsauthdelete-account (trễ 30 ngày)1 (mặc định)

"1 (mặc định)" nghĩa là processor không khai báo concurrency, BullMQ chạy một việc mỗi lần cho mỗi hàng đợi.

Tùy chọn mặc định và theo từng hàng đợi​

Mặc định toàn cục (redis.module.ts): 3 lần thử, backoff mũ bắt đầu 2 giây, giữ 100 việc hoàn thành tối đa 1 giờ, giữ 500 việc lỗi tối đa 24 giờ. Tùy chọn khai báo trên từng việc ghi đè mặc định này:

Hàng đợi / việcLần thửBackoff (mũ)Giữ việc hoàn thànhGiữ việc lỗijobId (loại trùng)
parse-resume32 giâymặc địnhmặc địnhKhông, độ ưu tiên 1
analyze-resume32 giâymặc địnhmặc địnhKhông, độ ưu tiên 2
job-ingestion35 giâyXóa ngayXóa ngaysync-<sourceKey>
send-job-recommendations35 giây24 giờ, tối đa 10007 ngàyKhông
send-new-job-notification35 giâyXóa ngayGiữ vô thời hạnKhông
application-notification (2 loại việc)35 giâyXóa ngayGiữ vô thời hạnKhông
send-job-expired-notification35 giâyXóa ngayGiữ vô thời hạnKhông
delete-account310 giâyXóa ngayGiữ vô thời hạndelete-account-<userId>

Độ ưu tiên trong BullMQ: số nhỏ hơn được xử lý trước, nên parse-resume (1) chạy trước analyze-resume (2).

Idempotency: chống xử lý trùng​

Idempotent nghĩa là xử lý nhiều lần cho cùng kết quả như một lần. Hiện trạng theo từng hàng đợi:

Hàng đợiCơ chếĐánh giá
job-ingestionjobId = sync-<key> loại trùng khi việc còn trong hàng đợi hoặc đang chạy; ghi upsert theo khóa tự nhiênTốt: chạy lại an toàn
account-deletionjobId = delete-account-<userId> (cũng dùng để hủy); processor kiểm tra lại trạng thái trước khi xóaTốt
resume-processingKhông có jobId; kết quả ghi đè bằng findByIdAndUpdateGhi đè an toàn nhưng tốn tài nguyên khi chạy trùng
job-recommendationKhông có jobId; không có kiểm tra "đã gửi tuần này" trong processor đã đọcCó thể gửi trùng nếu bị kích hoạt hai lần
Các hàng đợi email còn lạiKhông có jobIdCó thể gửi trùng nếu retry sau khi đã gửi thành công một phần

Retry, lỗi và việc lỗi​

  • Việc ném lỗi sẽ được thử lại tối đa 3 lần theo backoff mũ. Hết lần thử, việc chuyển sang trạng thái lỗi (failed).
  • UnrecoverableError (ví dụ không có adapter cho nguồn tin) khiến BullMQ không thử lại.
  • Việc lỗi được giữ theo bảng trên. Với removeOnFail: false việc lỗi nằm lại Redis vô thời hạn, hữu ích để gỡ lỗi nhưng tăng dung lượng nếu lỗi nhiều.
  • Có hai loại xử lý lỗi đặc biệt:
    • Hết quota Gemini ở parse-resume: không ném lỗi mà lên lịch lại việc với độ trễ, việc hiện tại kết thúc thành công (cv-parsing-and-matching).
    • Lỗi gửi email riêng lẻ ở send-new-job-notification và khi gửi email xóa tài khoản: bị bắt và chỉ ghi log, không retry (comment trong code: "Non-fatal").

Cron​

Bốn cron của ứng dụng, tất cả chạy trong tiến trình chính (data-flow), không có khóa phân tán:

CronLịchViệc
sync-external-job-sources0 */6 * * *Đưa việc sync-source cho mỗi nguồn đang bật
weekly-job-recommendations0 9 * * 1Duyệt subscribers, đưa send-job-recommendations theo lô 100
deactivate-expired-jobs0 * * * *Tắt tin hết hạn, đưa send-job-expired-notification
cleanup-orphaned-company-logos0 2 * * *Xóa logo mồ côi (không dùng hàng đợi)

Múi giờ của cả bốn là Asia/Ho_Chi_Minh.

Chi tiết các hàng đợi chưa mô tả ở nơi khác​

job-recommendation​

Mỗi việc xử lý một người đăng ký (job-recommendation-queue.processor.ts):

  1. Đọc email, name, skills, location, locationCode; bỏ qua nếu không có người đăng ký hoặc không có email.
  2. Truy vấn tin isActive, chưa xóa mềm, endDate chưa qua, có giao kỹ năng với đăng ký (skills: { $in: ... }), và địa điểm nếu có.
  3. Lấy tối đa 5 tin và gửi một email.

Truy vấn này không lọc approvalStatus (đã grep cả file processor, không có approvalStatus hay APPROVED), nên email gợi ý có thể chứa tin PENDING hoặc REJECTED, trái với quy tắc hiển thị công khai (job-approval).

account-deletion​

Việc delete-account được lên lịch trễ 30 ngày khi người dùng yêu cầu xóa; hủy yêu cầu thì xóa việc theo jobId (auth-account-deletion.service.ts). Khi chạy, processor (đã kiểm tra lại rằng việc xóa vẫn còn lịch, để tránh đua với việc hủy) thực hiện theo thứ tự:

BướcHành độngLoại
1Xóa mọi phiên của người dùng; xóa token hủy xóa và cache chatXóa thật
2Đặt email của mọi resumes thành deleted_<userId>@deleted.invalidẨn danh một phần
3Xóa CV trực tuyến (cvprofiles)Xóa thật
4Xóa mọi chat_sessions và chat_messagesXóa thật
5Xóa mềm các subscribers theo emailXóa mềm
6Ẩn danh users: name = "Deleted User", email ẩn danh, isActive = false, bỏ password, googleId, avatar, company, savedJobs, companyFollowed và các field khóaẨn danh
7Xóa mềm usersXóa mềm
8Gửi email xác nhận tới địa chỉ cũ; lỗi gửi chỉ được log

Known Limitation​

  • Phân tích hồ sơ có thể chạy hai lần. Khi nộp bằng file, handleUploadAndQueue đưa cả parse-resume và analyze-resume; khi parse xong, processor đưa thêm một analyze-resume. Không có jobId để loại trùng. Kết quả ghi đè nên đúng, nhưng tốn một lượt tính. Mặt tích cực: nếu việc analyze đầu chạy khi chưa parse xong (ví dụ parse bị hoãn do quota) và thất bại, lượt do parse đưa vào là đường phục hồi.
  • Xóa tài khoản không triệt để dữ liệu cá nhân. Chỉ email của resumes được ẩn danh. parsedData (họ tên, điện thoại, email, kinh nghiệm), cvStructuredData (bản sao toàn bộ CV), url (đường dẫn file CV), createdBy.email và histories.updatedBy.email vẫn còn. File CV, ảnh đại diện trên đĩa không bị xóa (không có bước xóa file). notifications, chat_tool_actions, ai_usage_logs của người dùng không bị xóa. Comment trong code gọi bước 3 và 4 là "GDPR hard-delete", nhưng phạm vi xóa không bao gồm các mục trên. Đã đọc mã; chưa chạy thử. Cần xác nhận với yêu cầu pháp lý áp dụng, tài liệu không đánh giá tuân thủ.
  • Email người dùng được ghi vào log khi xóa tài khoản: dòng Starting cascade deletion for user <id> (<email>) và dòng hoàn tất (account-deletion-queue.processor.ts).
  • Việc lỗi giữ vô thời hạn ở bốn hàng đợi email và xóa tài khoản (removeOnFail: false), trong khi mặc định toàn cục là 24 giờ; không có tác vụ dọn dẹp.
  • Email gợi ý việc làm có thể chứa tin chưa duyệt hoặc bị từ chối, xem mục job-recommendation ở trên. Cùng với email "tin mới" gửi lúc tạo tin (jobs), có hai đường để tin chưa duyệt tới người dùng qua email.
  • Email có thể gửi trùng khi retry (không có khóa chống trùng), và lỗi gửi từng email ở send-new-job-notification không được thử lại.
  • Một tiến trình duy nhất: worker chia sẻ CPU và bộ nhớ với API, và mọi hàng đợi chạy trong cùng tiến trình (scalability).
  • Cron không có khóa: với nhiều instance, cron chạy nhiều lần; chỉ job-ingestion được loại trùng nhờ jobId. Với job-recommendation, addBulk không có jobId, nên nhiều instance có thể đưa trùng việc.
  • Cache kết quả parse (parsed_cv:<resumeId>) dùng CACHE_MANAGER nằm trong bộ nhớ, nên không tồn tại sau khi khởi động lại.

Future Improvement​

Đề xuất, chưa có trong code:

  • Đặt jobId cố định cho analyze-resume (ví dụ analyze-<resumeId>) để loại trùng.
  • Đặt removeOnFail có giới hạn cho các hàng đợi email.
  • Thêm bước xóa file và ẩn danh đầy đủ resumes khi xóa tài khoản.
  • Khóa phân tán cho cron khi chạy nhiều instance.

Testing​

Có test cho ResumeQueueService, JobIngestionQueueService và AccountDeletionQueueProcessor. Các processor còn lại (resume, job-recommendation, company-follower, application-notification, job-expiration, job-ingestion) không có test riêng.

Source References​

src/queues/, redis.module.ts.