Case 01 — Job-Intelligence platforma
Distribuirani crawler na 7 servera, 16 ATS integracija, kontinuirano obogaćivanje za 2,5 M otvorenih pozicija na DACH tržištu.
Izazov
Vodeći igrač DACH recruitmenta trebao je data layer koji njegov vlastiti tim više nije mogao održavati: milijuni aktivnih pozicija, dnevno osvježavanih, iz 16 različitih applicant-tracking sustava, obogaćeni kontaktima, platnim razredima, metapodacima tvrtki i semantičkom analizom opisa. Bez downtimea, bez rupa u podacima, s forenzički provjerljivom kontrolom kvalitete.
Arhitektura
Master čvor orkestrira API, cron scheduling, daemon-keeper i isporuku frontenda. Šest specijaliziranih workera dijeli opterećenje po domeni — ATS crawling, ekstrakcija career page, description shards, geo-discovery. Dedicirani database host s PgBouncer poolom.
Pipeline
Description pipeline na 8 shardova (resilient)
- 01Sharding preko hashtexta — deterministička raspodjela na 8 particija
- 02Zasebni Python proces po shardu + zasebna log datoteka
- 03Endless reconnect s eksponencijalnim backoffom [1,2,4,8,16,30]s
- 04Mini-batch commit svakih 50 redaka — idempotentno, samo UPDATE
- 05Daemon-keeper s Telegram alertima — auto-restart kod missa + log tail + OOM provjera
Tehnološki stack
Rezultat
Od go-livea: uptime 99,9 %+. Pokrivenost descriptiona 84 %, pokrivenost e-maila 65 %, quality score raste prema 80 %. Pipeline radi svaki dan od 04:30 do 07:30 bez intervencije operatera. Dvije godine planiranih popravaka postale su suvišne zahvaljujući jedinstvenom connection managementu i cluster-wide daemon-keeperu.