Full-Stack Engineer Web Crawling

Certivity

Job

In dieser Position entwickelst du skalierbare Web-Crawler, die dynamische Webseiten in strukturierte Daten umwandeln und sicherstellen, dass diese Systeme stabil bleiben, während du gegen Antibot-Maßnahmen vorgehst.

Job-Zusammenfassung

Job-Technologien

Deine Rolle im Team

  • We build and operate large-scale web crawling and extraction systems that turn unstructured, dynamic websites into clean, structured, and correct data.
  • You'll own crawlers end-to-end: discovery, resilient fetching against real anti-bot defenses, and turning HTML/PDF into trustworthy structured output.
  • Build and scale crawlers that handle dynamic, large-scale sites - and keep them running as those sites change and fight back.
  • Stay ahead of anti-bot measures: TLS/browser fingerprinting, proxies, session and rate-limit strategy, change detection.
  • Turn raw HTML and PDF into clean, correct structured data - including LLM-assisted extraction - where silently-wrong output is worse than a crash.
  • Design and operate pipelines for ingestion, deduplication, versioning, and enrichment.
  • Ship and run containerized apps in the cloud, with CI/CD.
  • Shape our technical architecture and engineering culture.

Unsere Erwartungen an dich

Qualifikationen

  • Strong Python - real production code, async.
  • A data-correctness mindset - you care that extracted data is right, not just that the job finished.
  • Docker + at least one major cloud (GCP, Azure, or AWS), Git, comfortable on the CLI.
  • Clear communicator who works well in a small, fast-moving team.
  • Nice to have: LLM-assisted extraction / working with LLMs, ML pipelines, or data labeling workflows.
  • Nice to have: Go or Java/Spring Boot.
  • Nice to have: Frontend (React) - or eagerness to pick it up.
  • Nice to have: Terraform, Kubernetes, modern DevOps tooling.

Erfahrung

  • 3+ years of professional software development (5+ for the senior track).
  • Hands-on web scraping at scale, including firsthand experience with anti-bot defenses and the failure modes of large-scale collection.

Unser Angebot

  • A vibrant in-office culture in Munich with the option for up to 60 % work from home.
  • Flexible working hours.
  • 30 vacation days per year (including 4 "company rest days" over christmas).
  • 30 days of "workation" per year, within the EU and selected countries.
  • High autonomy and flat hierarchies.

Benefits

Work-Life-Integration

Themen, mit denen du dich im Job beschäftigst

Job-Standorte

Karte der Job-Standorte
© OpenMapTiles, © OpenStreetMap contributors
  • Standort München
    Bayern, Deutschland

Das ist dein Arbeitgeber

Certivity ist ein RegTech-Startup mit Sitz in München, das eine KI-gestützte Plattform entwickelt, um Unternehmen in regulierten Branchen zu unterstützen. Diese Plattform wandelt regulatorische Dokumente in strukturierte Informationen um und hilft Teams, regulatorische Änderungen zu überwachen. Seit der Gründung im Jahr 2021 hat das Unternehmen mehr als 15.000 Nutzer in 10 Ländern gewonnen.

Unternehmenstyp
Startup
Arbeitsmodell
Onsite, Hybrid
Branche
Internet, IT, Telekom
  • HUK-COBURG VersicherungsgruppeCoburg

    • Hybrid
    • Onsite
    • Vollzeit
    • Senior

    Wir - die HUK-COBURG Versicherungsgruppe - zählen zu den 10 größten in Deutschland. Vor über 90 Jahren gegründet sind wir mit über 13 Millionen Kund:innen heute der große Versicherer für Privathaushalte und der größte deutsche Autoversicherer. Dass wir...

    • Angular
    • TypeScript
    • JIRA
    • JavaScript
    • CSS
    • Confluence
    • +1
    • +3
  • WebslineSalzburg, Freilassing

    • Hybrid
    • Onsite
    • Vollzeit
    • Senior

    Du gestaltest die technische Weiterentwicklung unserer Softwareprodukte aktiv mit und prägst deren langfristige Architektur. Du entwickelst mit C# als zentraler Entwicklungssprache und technologischer Grundlage unserer Kernanwendungen. Du konzipierst,...

    • C#
    • JavaScript
    • SQL
    • CSS
    • HTML5
    • AJAX
    • MS SQL-Server
    • +2
    • +3
  • syracom AGWiesbaden

    • Easy Apply
    • 68k – 85k €
    • Hybrid
    • Onsite
    • Vollzeit
    • Senior

    Als Senior Software Engineer (m/w/d) übernimmst du eine zentrale technische Rolle in anspruchsvollen Kundenprojekten und entwickelst nachhaltige, skalierbare Softwarelösungen in komplexen Enterprise-Umgebungen. In deiner Rolle übernimmst du insbesondere...

    • SQL
    • TypeScript
    • Kubernetes
    • OpenShift
    • NoSQL
    • React
    • Java
    • Spring
    • JavaScript
    • Angular
    • +8

Full-Stack Engineer Web Crawling

Certivity