Screaming Frog para GEO
TL;DR
- O Screaming Frog audita à escala os sinais que tornam o conteúdo citável pela IA.
- Desde a v20/v21 liga-se a OpenAI, Gemini, Anthropic e Ollama, com até 100 prompts sobre os dados do crawl.
- O Log File Analyser distingue bots de treino (GPTBot, ClaudeBot) de bots de citação em tempo real (OAI-SearchBot, PerplexityBot).
- A maioria dos bots de IA não executa JavaScript como o Googlebot - verificar o HTML renderizado é crítico.
GEO não se faz página a página, à mão. O Screaming Frog permite auditar à escala os sinais que decidem se o teu conteúdo é citável pela IA - e, com o Log File Analyser, ver o que os bots de IA fazem mesmo no teu site. São cinco frentes.
1. Auditar citabilidade com Custom Extraction
Em Config > Custom > Extraction, com XPath ou CSS, extrais de cada página os sinais que os LLMs adoram: uma definição curta logo a seguir ao heading, blocos de FAQ, tabelas, listas, datas e estatísticas, e a marcação de autor. É a forma de medir, em todas as URLs de uma vez, quão "extraível" é o teu conteúdo.
2. Prompts LLM à escala (sem código)
Desde a v21, em Config > API Access > AI, configuras até 100 prompts contra o texto, o HTML ou uma extração do crawl, com OpenAI, Gemini, Anthropic ou Ollama. Serve para classificar intenção, extrair entidades, resumir, ou montar um scoring de sinais tipo E-E-A-T - o Screaming Frog dá o mecanismo; o critério defines tu no prompt (não é um recurso "E-E-A-T" oficial).
3. Structured data e entidade, à escala
O Screaming Frog valida Schema.org/JSON-LD nativamente. Para GEO é como confirmas, em massa, que tens Author, Organization, sameAs e tipos como FAQPage/Article onde deves - os sinais de entidade que sustentam a citação por IA.
4. Renderização JavaScript: ver o que a IA vê
Em modo JavaScript Rendering, comparas o HTML bruto com o renderizado. Isto é crítico porque, ao contrário do Googlebot, a maioria dos bots de IA não executa JavaScript: conteúdo dependente de JS pode ser invisível para eles.
Bots de IA: treino vs citação em tempo real
| Tipo | Bots | O que fazem |
|---|---|---|
| Treino | GPTBot, ClaudeBot, CCBot, Google-Extended | Recolhem conteúdo para treinar modelos |
| Citação em tempo real | OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User | Buscam páginas para responder e citar agora |
5. Log File Analyser: o que a IA faz mesmo
O Log File Analyser traz presets para os user-agents de IA. Vês que URLs cada bot visita, os códigos de resposta (um 4XX/5XX a um bot de citação é uma citação perdida), e verificas os bots por IP para despistar spoofing. O SEO Spider audita o site; o LFA audita os acessos reais.
Faço isto no serviço de GEO, a par do trabalho de embeddings para autoridade temática.
Dados-chave
| Bots de IA principais ativos | 21 |
|---|---|
| Sites que bloqueiam o GPTBot | 5,89% |
| Crescimento do bloqueio do ClaudeBot (YoY) | +32,7% |
| Tráfego de referral vindo de IA | 0,1% |
| Fontes-topo não partilhadas entre IAs | 86% |
Dados Ahrefs (autoridade terceira), amostras de ~140M e ~35K sites.
Fontes: Ahrefs — AI bot block rates · Ahrefs — AI traffic research
Erros comuns e como fazer bem
O Screaming Frog dá-te o mecanismo; o critério é teu. Erros que já vi custarem caro:
| Evita (erro comum) | Faz (boa prática) |
|---|---|
| ✗ Auditar GEO só com o HTML bruto | ✓ Ativar o rendering - a maioria dos bots de IA não executa JS |
| ✗ Bloquear GPTBot e PerplexityBot sem reparar | ✓ Decidir conscientemente que bots de IA queres deixar entrar |
| ✗ Confiar no scoring do LLM sem o validar | ✓ Calibrar o prompt e conferir uma amostra à mão |
| ✗ Ignorar os logs | ✓ Ver no Log File Analyser o que os bots de IA acederam mesmo |
Ferramentas que uso e recomendo
- Screaming Frog SEO SpiderCrawl técnico e auditoria on-page em profundidade.
- Google Search ConsolePerformance orgânica, cobertura e Core Web Vitals de campo.
- ChatGPTAssistente de IA para pesquisa, análise e auditorias rápidas.
- PerplexityMotor de resposta com fontes, útil para pesquisa e GEO.
- GeminiAssistente de IA do Google, com grounding no Search.
Fontes
- Screaming Frog - How To Crawl With AI Prompts
- Screaming Frog - Monitor AI Bots in the Log File Analyser
- Screaming Frog - How to Crawl with ChatGPT
- Ahrefs - AI bot block rates
- Ahrefs - AI traffic research
Perguntas frequentes
O Screaming Frog lê o llms.txt?
Sim - é só um URL, e o crawler lê qualquer ficheiro. Mas não há um recurso oficial dedicado ao llms.txt; trata-o como qualquer outro crawl. O que é o llms.txt →
Preciso do Log File Analyser?
Para ver o comportamento real dos bots de IA, sim. O SEO Spider diz-te como o site está; o Log File Analyser diz-te o que os bots realmente acederam. Serviço de GEO →