Hardening Jenkins Controller

Mục lụcCopy Anchor Link

• Mục tiêu và ranh giới
• Kiến trúc hardening
  • Luồng và hướng kết nối
  • Network policy không phải authorization
• Baseline hardening có bằng chứng
• Phân đoạn mạng và egress
  • Mạng quản trị cho UI và API
  • Agent pools, DNS và firewall
  • Egress, webhook và SSRF
• Đánh giá và giảm tính năng rủi ro
  • Quy trình cho từng thay đổi
  • Danh mục cần review
• Quyền filesystem và persistent storage
  • Phân loại dữ liệu và quyền
  • Container, volume, umask và SELinux
• Headers an toàn sau reverse proxy
  • Cấu hình minh họa ở edge
  • Xác minh proxy, CSRF và giao diện
• Chuỗi thay đổi có kiểm soát
• Lab local: review threat model không chạm Jenkins
  • Chuẩn bị fixture an toàn
  • Đọc kết quả và cleanup có guard
• Troubleshooting
• Checklist tự kiểm tra
• Checklist incident và rollback
• Nguồn Jenkins chính thức
• Đọc tiếp

Mục tiêu và ranh giớiCopy Anchor Link

Hardening controller là giảm khả năng một request, agent, plugin, filesystem hoặc dependency trở thành đường vào cấu hình Jenkins hay capability của build. Nó không biến source code không tin cậy thành an toàn. Controller production nên điều phối; built-in node đặt 0 executor và workload chạy trong agent pool tách biệt theo mức tin cậy.

Sau bài này, bạn có thể lập một baseline có owner và bằng chứng, xác định flow mạng tối thiểu, review thay đổi rủi ro theo version/runtime, và quay lui mà không ghi đè dữ liệu controller. Nền tảng asset, identity và trust boundary được trình bày tại Mô hình bảo mật Jenkins và kiến trúc controller–agent tại Kiến trúc Jenkins.

Kiến trúc hardeningCopy Anchor Link

Luồng và hướng kết nốiCopy Anchor Link

direction: down
S: "SCM webhook đã xác thực"
E: "Egress proxy hoặc dịch vụ đã\nduyệt"
B: "Backup mã hóa, access tách biệt"
M: "Management network" {
  U: "Người dùng quản trị và\nautomation"
  P: "Reverse proxy tin cậy"
  C: "Jenkins controller"
  H: "JENKINS_HOME và plugin storage"
}
X: "Execution networks tách theo\ntrust tier" {
  A1: "Agent pool untrusted"
  A2: "Agent pool trusted-release"
}

M.U -> M.P: "HTTPS 443, identity và\nauthorization"
S -> M.P: "HTTPS 443"
M.P -> M.C: "private HTTP hoặc TLS; forwarded\nheaders bị ghi đè"
M.C -> E: "HTTPS allowlist: SCM, Update\nCenter, IdP, artifact"
X.A1 -> M.P: "outbound WSS/HTTPS hoặc\ntransport đã duyệt"
X.A2 -> M.C: "flow riêng, egress hẹp hơn"
M.C -> M.H
M.H -> B

Sơ đồ là threat model khởi điểm, không phải một hợp đồng port cố định. Ghi rõ hostname, proxy hop, DNS resolver, transport agent, destination egress và owner thực tế trước khi viết firewall rule. Một agent WebSocket thường tạo kết nối outbound HTTPS đến proxy; inbound TCP và SSH có hướng kết nối khác, nên phải review theo launch method thay vì chỉ mở một cổng “Jenkins”.

Network policy không phải authorizationCopy Anchor Link

Network segmentation giới hạn ai có thể chạm network endpoint. Jenkins authentication và authorization quyết định identity nào được làm gì sau khi đã chạm controller. Một allowlist IP không cấp Job/Build; một permission hợp lệ cũng không cho phép public controller. Giữ độc lập TLS, realm, authorization strategy, CSRF, firewall và policy agent. Xem chi tiết quyền tại Authorization & RBAC và request mutation tại CSRF & API Tokens.

Baseline hardening có bằng chứngCopy Anchor Link

Bảng này là baseline để giao owner xác nhận, không phải cấu hình chung cho mọi Jenkins. Evidence nên là config diff đã bảo vệ, output kiểm tra đã redaction, ticket/change record hoặc kết quả sandbox; không chứa token, cookie, private key hay nội dung JENKINS_HOME.

Phân đoạn mạng và egressCopy Anchor Link

Mạng quản trị cho UI và APICopy Anchor Link

Đặt controller, UI và API trong mạng quản trị. Người dùng, automation và webhook chỉ đi vào qua reverse proxy/load balancer trên URL HTTPS canonical. Controller bind loopback hoặc private subnet; firewall/security group chỉ cho IP, subnet hoặc identity của proxy đã biết tới upstream. Hướng dẫn URL, context path và forwarded header nằm tại Reverse Proxy và TLS.

Tách các nhóm sau khi threat model yêu cầu:

• Management: browser quản trị, API automation, proxy, controller, backup và observability. Không mở đường trực tiếp từ mạng build không tin cậy vào filesystem hay cổng quản trị controller.
• Execution: agent pools riêng cho PR/fork, CI nội bộ và release. Label chỉ là lựa chọn scheduler; ranh giới thật cần identity runtime, filesystem, credential scope và egress riêng.
• Integration: SCM, IdP, Update Center/mirror, registry và artifact service. Đặt hostname/CA/proxy contract rõ ràng thay vì dùng Internet mở rộng.

Webhook không phải lý do công khai controller. Reverse proxy là điểm nhận webhook, kiểm tra TLS/hostname/routing theo integration và chuyển đúng request tới controller private. Authentication/authorization trong Jenkins vẫn phải bật; webhook validation cụ thể tùy SCM plugin và version nên phải được kiểm thử trong sandbox.

Agent pools, DNS và firewallCopy Anchor Link

Chọn flow theo loại agent, rồi allowlist hướng đi tối thiểu:

DNS là control thực thi: resolver của controller và từng pool chỉ nên phân giải domain được policy cho phép, phản hồi phải đi qua DNS đáng tin cậy và CA/TLS phải khớp hostname. Không dùng IP tạm để né certificate hoặc DNS. Khi có proxy outbound, cấu hình NO_PROXY cho endpoint nội bộ có chủ đích, không dùng nó làm cách né inspection/allowlist.

Egress, webhook và SSRFCopy Anchor Link

Controller cần egress thực sự cần thiết, ví dụ Update Center/mirror đã duyệt, SCM, IdP, artifact service, time service hoặc proxy của tổ chức. Agent cần egress khác theo toolchain. Danh sách phải có FQDN/destination, port/protocol, purpose, owner, nguồn cấu hình và ngày review.

Giảm SSRF (server-side request forgery) bằng cách không cho controller/plugin đi tới metadata service, RFC1918/private endpoint, loopback hoặc admin API chỉ vì request/URL do người dùng, job parameter hay plugin cung cấp. Ở proxy/egress layer, deny các destination nhạy cảm theo policy; ở Jenkins, review plugin và Pipeline nào nhận URL, webhook endpoint, repository URL hay proxy setting từ input. Không coi chặn egress là thay thế cho patch security advisory hoặc validation input.

Đánh giá và giảm tính năng rủi roCopy Anchor Link

Quy trình cho từng thay đổiCopy Anchor Link

Không có danh sách “tắt tất cả” an toàn cho mọi Jenkins LTS, plugin và launch method. Một control có thể ở Jenkins core, plugin, reverse proxy, service manifest hoặc không tồn tại trong runtime của bạn. Trước khi đổi, xác định chính xác feature/protocol, consumer, version, dependency và tác động build/integration.

1. Đánh giá rủi ro: gắn feature với actor, asset, network flow và advisory hiện hành. Xác nhận feature có tồn tại/đang bật trên controller sandbox cùng version.
2. Chỉ định owner và impact: owner Jenkins, network, security hoặc workload phải đồng ý consumer bị ảnh hưởng; thông báo job/team trước change window.
3. Kiểm thử hẹp: dùng identity, job, agent và webhook sandbox để kiểm tra cả allow lẫn deny. Chụp version/config trước thay đổi.
4. Triển khai và quan sát: áp dụng một thay đổi logic, theo dõi login, queue, agent, plugin log và endpoint liên quan trong thời gian định trước.
5. Rollback và advisory review: đặt tiêu chí quay lui, cấu hình/version đã biết tốt và người quyết định. Sau advisory, review core và plugin dependency; compensating control không thay patch khi bản vá đã được phê duyệt.

Danh mục cần reviewCopy Anchor Link

Xem Authentication, Authorization & RBAC, Credentials & Secrets và CSRF & API Tokens để không nhầm identity, permission, credential hay crumb với network control.

Quyền filesystem và persistent storageCopy Anchor Link

Phân loại dữ liệu và quyềnCopy Anchor Link

JENKINS_HOME là security boundary trên filesystem: thường chứa configuration, job/build metadata, plugin, credential metadata đã mã hóa và material trong secrets/. Người đọc/ghi home, plugin hoặc backup có thể có ảnh hưởng vượt quyền Jenkins UI. Dùng service user chuyên dụng, directory ownership và mode tối thiểu; tách quyền host/storage/backup khỏi người chạy build khi có thể.

Credential Jenkins được mã hóa vẫn không thay thế filesystem boundary. Encryption giúp bảo vệ dữ liệu ở lớp Jenkins, nhưng process/host/backup identity đọc được home hoặc key material vẫn cần bị giới hạn. Không copy credentials.xml, master.key hay file trong secrets/ giữa controller/generation. Quy trình backup và restore cô lập nằm tại Backup & Restore Jenkins.

Container, volume, umask và SELinuxCopy Anchor Link

Với container, xác minh user/UID/GID mà image thực tế chạy, loại volume (named volume, bind mount, driver từ xa), owner/mode sau restore và security context. Ưu tiên persistent volume chỉ gắn cho controller. Bind mount phải có owner/mode hẹp; mount read-only cho backup reader khi workflow cho phép. Không chạy controller lâu dài bằng root để vượt lỗi volume.

umask ảnh hưởng file mới tạo nhưng không sửa mode file cũ; owner, ACL, mount option và parent directory vẫn phải được review. Với SELinux/AppArmor, đọc denial, context/label và policy tối thiểu cho đúng mount/service. Không tắt security module hay dùng chmod 777/shared writable mount như một cách sửa permission. Ví dụ deployment Docker, named volume và SELinux được giải thích tại Chạy Jenkins với Docker; cấu hình service Linux nằm tại Cài Jenkins trên Linux.

Headers an toàn sau reverse proxyCopy Anchor Link

Cấu hình minh họa ở edgeCopy Anchor Link

Headers nên do reverse proxy/load balancer đã được tin cậy sở hữu. Trước khi thêm, inventory header do CDN, WAF, ingress và Jenkins runtime đang phát; Jenkins core/plugin/version có thể thay behavior, vì vậy không khẳng định core tự đặt hay không đặt một header cụ thể. Mẫu Nginx dưới đây chỉ minh họa một block edge, không phải cấu hình hoàn chỉnh để chép vào production:

# Minh họa: đặt trong server HTTPS đã có proxy trust chain được review.
# Xác nhận không có lớp edge khác gửi header mâu thuẫn.
add_header X-Content-Type-Options "nosniff" always;

# Chỉ bật sau khi hostname luôn phục vụ HTTPS ổn định.
# add_header Strict-Transport-Security "max-age=31536000" always;

# Bắt đầu bằng frame-ancestors hẹp; test integration có nhúng UI trước rollout.
add_header Content-Security-Policy "frame-ancestors 'self'" always;

• HSTS: chỉ bật khi HTTPS ổn định cho hostname. includeSubDomains hoặc preload ảnh hưởng rộng và khó rollback ở browser; chỉ dùng sau review toàn bộ domain liên quan.
• X-Content-Type-Options: nosniff: giảm MIME sniffing. Kiểm thử download, artifact/static asset và integration có content type không chuẩn.
• Clickjacking: Content-Security-Policy với frame-ancestors là control hiện đại cho embedding. Nếu dùng X-Frame-Options, xác nhận tương thích/bổ sung thay vì gửi policy mâu thuẫn.
• CSP: không sao chép một policy “chặt” từ ứng dụng khác. Jenkins UI, Stapler, plugin, inline behavior hoặc integration có thể hỏng. Bắt đầu với mục tiêu hẹp, đo violation và test runtime trước khi mở rộng directive.

Xác minh proxy, CSRF và giao diệnCopy Anchor Link

Proxy là trusted boundary chỉ khi nó ghi đè Host, X-Forwarded-Proto, X-Forwarded-Host và X-Forwarded-Port (hoặc quy ước tương đương đã chọn) trước controller. Không pass-through header do Internet client tự gửi. Jenkins URL, hostname, scheme, port và context path phải khớp; lỗi redirect/origin/crumb thường là tín hiệu sửa trust chain, không phải lý do tắt CSRF.

Sau thay đổi proxy/header, xác minh trong sandbox hoặc change window:

1. browser đăng nhập/đăng xuất qua URL canonical, có và không có context-path slash theo policy;
2. API read-only bằng service identity tối thiểu, rồi một mutation sandbox có flow crumb/token đúng runtime;
3. webhook test đại diện vào path canonical, không gửi credential production;
4. UI, static asset, download artifact đã cho phép, redirect và integration frame đã phê duyệt;
5. inbound WebSocket agent (nếu dùng), access/error log proxy và trạng thái node.

Đây là validation runtime. Static review chỉ chứng minh header/config render đúng ý định; nó không chứng minh Jenkins, plugin, proxy chain hay browser thực thi tương thích.

Chuỗi thay đổi có kiểm soátCopy Anchor Link

shape: sequence_diagram
O: "Owner thay đổi"
S: "Security/Network reviewer"
J: "Jenkins sandbox"
P: "Proxy/Platform"
R: "Runtime evidence"
O -> S: "Threat model, phạm vi, impact và\nrollback"
S -> O: "Phê duyệt\ncontrol/version/advisory review" {style.stroke-dash: 4}
O -> J: "Chụp baseline và kiểm thử\nallow/deny"
O -> P: "Áp dụng một thay đổi nhỏ trong\ncửa sổ"
P -> J: "Đưa flow/proxy policy mới vào\nruntime"
J -> R: "Login, API, webhook, agent,\nUI/static-asset smoke test"
branch1: "alt: Tiêu chí pass" {
  R -> O: "Evidence đã redact; theo dõi sau\nrollout" {style.stroke-dash: 4}
}
branch2: "else: Tiêu chí fail hoặc tác\nđộng không chấp nhận" {
  O -> P: "Rollback config/rule đã biết tốt"
  O -> J: "Xác nhận phục hồi và mở incident\nnếu cần"
}

Trước change, giữ bản backup nhất quán và đường recovery administrator. Không gộp nâng core, plugin, proxy, authentication và firewall trong một thao tác nếu không có lý do đã review; khi failure xảy ra, cần biết control nào đổi. Đọc Nâng cấp Jenkins để xử lý version migration và Cấu hình hệ thống Jenkins cho ownership, drift và change window.

Lab local: review threat model không chạm JenkinsCopy Anchor Link

Lab này chỉ tạo fixture review trong thư mục tạm do mktemp sinh ra. Nó không khởi động Docker/Jenkins, không gọi network, không mở firewall, không sửa JENKINS_HOME, không có secret và không chứng minh runtime production. Dùng kết quả như đầu vào cho owner network/Jenkins, sau đó thực hiện validation runtime riêng trên sandbox.

Chuẩn bị fixture an toànCopy Anchor Link

set -euo pipefail
LAB_ROOT="$(mktemp -d "${TMPDIR:-/tmp}/jenkins-controller-hardening.XXXXXX")"
case "$LAB_ROOT" in
  "${TMPDIR:-/tmp}"/jenkins-controller-hardening.*) ;;
  *) printf 'Refuse unexpected lab path: %s\n' "$LAB_ROOT" >&2; exit 1 ;;
esac

: > "$LAB_ROOT/.lab-owned-marker"
cat > "$LAB_ROOT/review.md" <<'EOF'
# Local-only controller hardening review

| Flow | Direction | Allowed destination | Owner | Runtime test |
| --- | --- | --- | --- | --- |
| UI/API | user -> proxy -> controller | HTTPS canonical URL | platform | login + API read-only |
| Webhook | SCM -> proxy -> controller | declared webhook path | SCM owner | signed sandbox event |
| Agent | agent -> controller/proxy | approved transport | CI owner | node online/reconnect |
| Controller egress | controller -> service | approved FQDN only | network | DNS + TLS check |

Decisions to obtain before rollout:
- Is anonymous access required, and what exact permission/resource proves it?
- Which agent pools are untrusted, CI, and release?
- Which plugin/core advisories apply to the pinned inventory?
- Which proxy header and CSP behavior has runtime evidence?
EOF

printf 'Review fixture: %s/review.md\n' "$LAB_ROOT"

Mở file local, thay các mô tả chung bằng reference đã redaction đến policy/ticket của môi trường, không thay bằng IP production, token, cookie, private key hay dump config. Kết quả mong đợi là fixture có bốn flow và bốn câu hỏi; đây là threat-model/config review, không phải bằng chứng Jenkins đã được harden.

Đọc kết quả và cleanup có guardCopy Anchor Link

Chỉ cleanup khi đã đọc fixture và không còn cần nó. Lệnh dưới kiểm tra marker, prefix và parent tạm trước khi xóa; nó không nhận fixed path, volume hay JENKINS_HOME:

test -f "$LAB_ROOT/.lab-owned-marker"
case "$LAB_ROOT" in
  "${TMPDIR:-/tmp}"/jenkins-controller-hardening.*)
    rm -rf -- "$LAB_ROOT"
    ;;
  *)
    printf 'Refuse cleanup outside guarded lab path: %s\n' "$LAB_ROOT" >&2
    exit 1
    ;;
esac

Nếu guard từ chối hoặc bạn không chắc path thuộc lab, không xóa. Không thay LAB_ROOT bằng đường dẫn do người khác cung cấp. Lab cố ý không có image executable; nếu bạn mở rộng nó thành Docker sandbox riêng, pin image theo tag/version hoặc digest đã phê duyệt, bind loopback và áp dụng guard prefix/parent tương tự cho mọi cleanup.

TroubleshootingCopy Anchor Link

Khi cần log, thu thập cửa sổ thời gian hẹp và redact trước khi chia sẻ. Logs & Diagnostics và Monitoring & Metrics giúp phân biệt log controller, agent, build và tín hiệu vận hành.

Checklist tự kiểm traCopy Anchor Link

• Controller UI/API chỉ nhận traffic qua HTTPS proxy hoặc mạng quản trị; upstream không public trực tiếp.
• Mỗi flow browser, webhook, agent, controller egress và agent egress có hướng, FQDN/port/transport, owner và evidence.
• DNS, TLS/CA, firewall/security group và proxy trust chain được review theo từng hop; forwarded header do client không thể pass-through.
• Tôi không nhầm network policy/label với Jenkins authentication, authorization, credential scope hoặc sandbox.
• Built-in node/controller có 0 executor cho workload production; pool untrusted, CI và release tách capability phù hợp.
• Anonymous read, CLI/API, legacy transport, agent protocol, Script Approval và plugin/formatter đã được đánh giá theo runtime/version, không tắt theo danh sách mù.
• Mỗi change có owner, impact, sandbox test, rollback, advisory review và tiêu chí dừng rollout.
• JENKINS_HOME, plugin/cache, logs, backup và workspace có ownership/ACL/retention riêng; không có chmod 777, root workaround hay shared writable mount.
• Credential được mã hóa không bị nhầm là thay thế cho bảo vệ filesystem, backup key hay trust boundary agent.
• HSTS chỉ được bật khi HTTPS ổn định; clickjacking/CSP/header được test với UI, Stapler/plugin, API, webhook và static asset.
• Lab chỉ tạo fixture mktemp local, có marker/prefix/parent guard và không chạm controller, host firewall hay secret.

Checklist incident và rollbackCopy Anchor Link

Khi rollout làm mất login, webhook, agent hoặc phát hiện exposure, ưu tiên bảo vệ bằng chứng và giới hạn blast radius hơn là sửa nhiều lớp cùng lúc.

1. Ổn định: dừng change tiếp theo, ghi thời điểm UTC, owner, version core/plugin và config/rule vừa áp dụng. Không xóa log, plugin, volume hay backup.
2. Phân loại: xác định có phải mất availability, lộ credential, agent compromise, header/proxy lỗi hay advisory exposure. Với nghi ngờ secret, thu hồi/rotate theo incident process thay vì chỉ xóa output.
3. Cô lập có mục tiêu: đóng flow/rule mới hoặc disable integration theo runbook đã phê duyệt; không lockout toàn bộ network/admin hoặc public controller để debug.
4. Rollback: khôi phục một config/proxy/firewall/plugin plan đã biết tốt. Nếu core/plugin đã migration state, restore backup trước change vào storage cô lập thay vì chỉ hạ binary trên cùng home.
5. Xác minh phục hồi: dùng recovery administrator, login URL canonical, API sandbox, webhook đại diện, agent pool, queue, UI/static asset và log/metric trong cửa sổ quan sát.
6. Đóng vòng: lưu evidence đã redact, quyết định advisory, nguyên nhân, residual risk và follow-up owner/date. Giữ backup/evidence theo retention; không cho hai controller cùng ghi một JENKINS_HOME.

Nguồn Jenkins chính thứcCopy Anchor Link

• Securing Jenkins — điểm bắt đầu cho hardening và vận hành bảo mật.
• Managing Security — authentication, authorization, agent protocols và cấu hình security.
• Access Control — permission, anonymous access và giới hạn của authorization.
• Controller Isolation — tách workload khỏi controller/built-in node.
• Reverse proxy configuration — URL, forwarded headers và kiểm thử proxy.
• Backing up Jenkins — bảo vệ JENKINS_HOME, key material và restore.
• Using Jenkins agents — node, executor và lựa chọn kết nối agent.
• Jenkins Security Advisories — advisory Jenkins core và plugin để review trước change.
• Installing Jenkins with Docker — persistent volume, UID/GID và vận hành controller container.

Đọc tiếpCopy Anchor Link