# robots.txt para agregador.shop # Políticas de Rastreamento para Mecanismos de Busca e Agentes de IA (GEO) # # Todos os robôs num grupo só (09/11/2026): um grupo específico (ex.: "User-agent: Googlebot" só com "Allow: /") # substitui o grupo "*" para aquele robô, e o Googlebot e o Bingbot ignoravam os bloqueios de /api/, /click/ e # /minha-area. Buscadores e agentes de IA continuam liberados para todo o conteúdo público. User-agent: * User-agent: Googlebot User-agent: Bingbot User-agent: Google-Extended User-agent: GPTBot User-agent: ChatGPT-User User-agent: PerplexityBot User-agent: ClaudeBot User-agent: CCBot Allow: / Allow: /llms.txt Disallow: /api/ Disallow: /minha-area Disallow: /click/ Disallow: */feed/ Disallow: /feed/ Disallow: /comments/ # Mapa do Site Canônico e Documento Semântico GEO (LLMs.txt) Sitemap: https://agregador.shop/sitemap.xml # llms.txt: https://agregador.shop/llms.txt