4,8%
das 420 respostas saíram erradas: 20 no total.
Quando a IA lê um relatório de sustentabilidade,
quanto volta errado?
20 das 420 respostas saíram erradas (4,8%) e, com outras 21 só parcialmente certas, uma resposta em cada dez não estava inteiramente certa. Fizemos dez perguntas factuais sobre cada um de 14 relatórios de sustentabilidade publicados ao ChatGPT, ao Gemini e a um leitor da camada de texto, e avaliamos cada resposta contra um gabarito escrito a partir das páginas.
Peça esta análise para um dos seus relatórios ↗Números principais
1 em 10
respostas não estava inteiramente certa, contando as 21 parciais.
13 de 20
respostas erradas eram um valor verdadeiro do próprio relatório, só que não o pedido.
A pergunta
Quando ferramentas de IA leem um relatório de sustentabilidade, quantas respostas factuais saem erradas?
Método
- 14 relatórios de sustentabilidade públicos de 2025 e 2026, de 9 países e 10 setores, em inglês, espanhol e português. Seis foram feitos em InDesign e oito em Word.
- Dez perguntas por relatório, sempre dos mesmos tipos: cinco números exatos (dois só em tabela e um só em gráfico ou imagem), duas leituras de gráfico, uma meta com linha de base, escopo e método ou asseguração.
- Um gabarito escrito a partir das páginas antes de qualquer rodada.
- Três leitores: ChatGPT (chat temporário, PDF anexado, raciocínio Medium); Gemini (chat temporário, PDF anexado; Pro em 11 relatórios, Flash em 3); e um leitor da camada de texto (o Claude lendo o texto extraído, sem imagens das páginas), que representa o que recebem um índice de busca, um pipeline de recuperação ou um leitor de tela num PDF sem tags.
- Uma rodada por relatório e leitor, cada resposta avaliada como correta, parcial, errada ou não encontrada: 420 respostas.
Resultados
Corretas, parciais, erradas e não encontradas, por leitor
140 respostas por leitor. O ChatGPT acertou 93% e errou 2. O Gemini deu mais respostas erradas, 15 de 140 (11%), a maioria com cara de certa. O leitor da camada de texto quase não errou número (3), mas não encontrou 22, a maioria em perguntas de gráfico e em números mostrados só como imagem.
| Leitor | Corretas | Parciais | Erradas | Não encontradas |
|---|---|---|---|---|
| ChatGPT | 130 (93%) | 7 (5%) | 2 (1%) | 1 (1%) |
| Gemini | 113 (81%) | 10 (7%) | 15 (11%) | 2 (1%) |
| Leitor da camada de texto | 111 (79%) | 4 (3%) | 3 (2%) | 22 (16%) |
Respostas corretas por tipo de pergunta
As leituras de gráfico tiveram a menor taxa de acerto nos três leitores: ChatGPT 23 de 28, Gemini 19 de 28, leitor da camada de texto 15 de 28.
| Tipo de pergunta | ChatGPT | Gemini | Camada de texto |
|---|---|---|---|
| Número exato | 28/28 (100%) | 22/28 (79%) | 24/28 (86%) |
| Número exato, só em tabela | 28/28 (100%) | 26/28 (93%) | 24/28 (86%) |
| Número exato, só em gráfico ou imagem | 11/14 (79%) | 10/14 (71%) | 9/14 (64%) |
| Leitura de gráfico | 23/28 (82%) | 19/28 (68%) | 15/28 (54%) |
| Meta e linha de base | 13/14 (93%) | 12/14 (86%) | 13/14 (93%) |
| Escopo | 13/14 (93%) | 13/14 (93%) | 13/14 (93%) |
| Método ou asseguração | 14/14 (100%) | 11/14 (79%) | 13/14 (93%) |
As 20 respostas erradas, por causa
A maioria dos erros não foi inventada. Foi o número errado do relatório certo. Classificação feita a partir das notas de avaliação; a causa não é uma coluna do CSV.
| Causa | Respostas erradas | O que significa |
|---|---|---|
| Valor vizinho | 13 | Um valor verdadeiro do próprio relatório, da coluna, do ano, do escopo ou do gráfico ao lado |
| Não está no documento | 4 | Um número ou um nome de auditor que não aparece em lugar nenhum do relatório (os quatro do Gemini) |
| Outras leituras erradas | 3 | Respostas erradas que não foram nem valor vizinho nem ausentes do documento |
Os erros comunsO que dá errado,
O que dá errado,
e o que resolve no arquivo.
O valor vizinho
Em 13 dos 20 erros, a ferramenta pegou um valor verdadeiro do relatório, mas da coluna, do ano, do escopo ou do gráfico ao lado: o número de 2023 no lugar do de 2024, o Escopo 1 sem as emissões biogênicas, outra nota do mesmo selo, o gráfico vizinho.
Correção no arquivoRótulo de ano e escopo junto de cada número, nos cabeçalhos das tabelas e nos rótulos dos gráficos, para que nenhum valor seja lido sem o seu contexto.
Perdido numa imagem
22 das 140 respostas do leitor da camada de texto não foram encontradas, a maioria em perguntas de gráfico e em números mostrados só como imagem: tabelas coladas como figura, cards de destaque, gráficos sem rótulo. Os chats, que olham a imagem da página, acharam a maioria.
Correção no arquivoTabelas de verdade, não imagens de tabelas, para que os números existam como texto que a busca, a recuperação e os leitores de tela alcancem.
O gráfico mal lido
As leituras de gráfico foram onde todos os leitores tropeçaram, com a menor taxa de acerto nas três colunas.
Correção no arquivoRótulos de dados em cada gráfico e uma descrição curta, em texto, do que ele mostra.
Hoje os chats compensam muita coisa lendo a página como imagem. O risco está na ferramenta que responde com confiança o número vizinho e em todo leitor que depende da estrutura.
Limites
- Uma rodada por relatório e leitor; não houve segunda rodada.
- O Claude.ai não foi testado. A coluna da camada de texto é o Claude lendo o texto extraído, não o produto claude.ai.
- O Gemini respondeu com o Flash em 3 dos 14 relatórios, porque o Pro estava sobrecarregado.
- Uma amostra pequena e de conveniência. Dos 20 relatórios listados, 3 não tinham gráfico de dados para as perguntas de gráfico e 3 passavam do limite de 10 MB do upload mesmo comprimidos. Em 9 dos 14 PDFs, só as fotos foram recomprimidas para caber no upload; texto e tags ficaram idênticos, conferidos página a página.
- InDesign x Word não separou os chats. O leitor da camada de texto foi melhor nos arquivos de InDesign (90% contra 71%), mas os Word desta amostra têm mais tabelas e gráficos colados como imagem e são quase todos em espanhol ou português. Com 14 relatórios, isso não separa ferramenta de idioma: é uma pista, não um achado.
- Este é um teste de extração e recuperação, não uma auditoria de acessibilidade.
Dados abertos
As 420 notas, uma linha por pergunta (140) e uma coluna por leitor, com C (correta), P (parcial), I (errada) ou N (não encontrada). Os relatórios estão anonimizados como R01 a R14, só com setor, país, idioma, ferramenta de criação, número de páginas e tags.
Baixe o CSV ↓Veja num relatório só
O mesmo informe de quatro páginas, diagramado duas vezes e exportado de duas formas, e o que assistentes de IA, um leitor de tela e um verificador de acessibilidade encontraram em cada arquivo.
Um relatório, lido de duas formas →