# HandwerkerJobKit robots.txt # GEO-/AI-ready crawler policy for public SEO, pSEO and commerce discovery # =========================================== # Standard Web Crawlers # =========================================== User-agent: Googlebot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Googlebot-Image Allow: / User-agent: Bingbot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Twitterbot Allow: / User-agent: facebookexternalhit Allow: / User-agent: LinkedInBot Allow: / # =========================================== # SEO Tools # =========================================== User-agent: AhrefsBot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Allow: /v3s9xvyju11ymcrze4gs5vt1xnf863jg.txt Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= # =========================================== # AI Crawlers - Generative Engine Optimization # =========================================== User-agent: GPTBot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: ChatGPT-User Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Google-Extended Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Googlebot-Extended Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: ClaudeBot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Claude-Web Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Anthropic-AI Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: anthropic-ai Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: PerplexityBot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: cohere-ai Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: Bytespider Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= User-agent: CCBot Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= # =========================================== # General Access Rules # =========================================== User-agent: * Allow: / Allow: /auth/registrieren Allow: /.well-known/ Allow: /api/openapi.json Allow: /regionen Allow: /region/ Allow: /stellenanzeige-muster Allow: /stellenanzeige-muster/ Allow: /weiterbildung/ Allow: /tarif/ Allow: /handwerker-kosten Allow: /handwerker-kosten/ Allow: /azubi-finden/ Allow: /mitarbeiter-finden/ Allow: /stellenanzeige/ Allow: /gehalt/ Allow: /blog/ Allow: /glossar/ Disallow: /dashboard/ Disallow: /auth/login Disallow: /auth/2fa Disallow: /auth/passwort Disallow: /auth/ Disallow: /admin/ Disallow: /api/ Disallow: /v2/ Disallow: /*?*intent= Disallow: /*?*callbackUrl= Crawl-delay: 1 Content-Signal: ai-train=no, search=yes, ai-input=yes # =========================================== # Sitemap & AI/Agent Discovery # =========================================== Sitemap: https://www.handwerkerjobkit.de/sitemap.xml # https://www.handwerkerjobkit.de/sitemap-markdown.xml steht hier bewusst NICHT als Sitemap. # Eine Sitemap-Zeile bedeutet "crawlen und indexieren". Die Markdown-Twins # sind Alternativdarstellungen der HTML-Seiten (canonical zeigt dorthin) und # sollen kein Crawl-Budget von den echten Seiten abziehen. Fuer AI-Crawler # bleibt sie auffindbar: ueber llms.txt, .well-known/agent-skills und den # Link-Header rel="sitemap", den jede Seite mitliefert. # LLM-specific information file for AI assistants # See: https://www.handwerkerjobkit.de/llms.txt # See: https://www.handwerkerjobkit.de/llms-full.txt # See: https://www.handwerkerjobkit.de/.well-known/llms.txt # Agent discovery and public API metadata # See: https://www.handwerkerjobkit.de/.well-known/agents.json # See: https://www.handwerkerjobkit.de/ai-agent.json # See: https://www.handwerkerjobkit.de/.well-known/ai-plugin.json # See: https://www.handwerkerjobkit.de/.well-known/agent-skills/index.json # See: https://www.handwerkerjobkit.de/.well-known/api-catalog # See: https://www.handwerkerjobkit.de/.well-known/openapi.json # AI information file # See: https://www.handwerkerjobkit.de/ai.txt