Encontrar um erro de verdade: um experimento para fazer numa IA
O experimento do livro IA por dentro, com o pedido pronto para copiar, o que observar na resposta e, quando o livro mostra a resposta, o que ele viu.
Exemplos rodados de verdade em 23/09/2026: os de assistente com o Claude Haiku 4.5, numa configuração neutra, sem ferramentas e sem configurações pessoais; os de modelos abertos com o Qwen2.5, de meio bilhão a 3 bilhões de parâmetros. Rodados de novo, alguns darão respostas diferentes.
Capítulo 7
Encontrar um erro de verdade
A sua cidade, a sua profissão, a empresa onde trabalha. Peça detalhes, como datas, nomes e números.
O pedido pronto
[três perguntas, com datas, nomes e números] Responda sem pesquisar na internet.
Confira
O que o livro viu
Sobre Joaquim Tadeval, um nome inventado para o teste, um modelo aberto pequeno escreveu biografias inteiras; o Claude Haiku respondeu que não encontrava informações confiáveis. Perguntado quantas letras "r" tem "arrozeiro", que no tokenizador do GPT-4o chega em três pedaços, ele acertou: três.
Exemplos rodados de verdade em 23/09/2026: os de assistente com o Claude Haiku 4.5, numa configuração neutra, sem ferramentas e sem configurações pessoais; os de modelos abertos com o Qwen2.5, de meio bilhão a 3 bilhões de parâmetros. Rodados de novo, alguns darão respostas diferentes.