EDIÇÃO #203 | NEWSLETTER SEMANAL DA ANÁLISE MACRO

Agentes de IA na Econometria

Fala, Reader, tudo bem por aí?

Saiu na semana passada um paper do NBER que fez uma coisa que muita gente do nosso meio faz todo dia sem medir: pedir para o modelo escrever código econométrico. Só que Galiani, López e Sosa mediram com rigor de experimento. 1.890 runs, 21 tarefas, 3 softwares, 3 níveis de agência.

Fui ler o PDF inteiro. Não o abstract.

E o resultado é interessante por dois motivos: por onde a IA chegou — 95,7% de sucesso — e por onde ela parou. Os 4,1% que sobram são exatamente o que faltava para eu conseguir explicar, com número, uma coisa que venho falando há meses: a fronteira da delegação não é técnica, é econômica.

Bora ao que importa?

🎯 O experimento

Sebastian Galiani (Tulane, NBER) e coautores da Universidad de San Andrés montaram um benchmark de 21 tarefas de econometria aplicada. Regressão linear, DiD, RDD, IV, painel dinâmico, séries temporais. Cada tarefa com dataset, estimando-alvo, output de referência e tolerância de scoring.

Cada tarefa foi rodada em Stata, R e Python, sob três níveis de agência crescente:

• Chatbot — escreve o script uma vez e não vê a execução.
• One-repair — se falhar, recebe um relatório estruturado e revisa uma vez.
• Agente restrito — roda o código, lê o output, revisa e decide quando entregar (com teto de turnos).

Modelos testados: Claude Sonnet 4.6 (o benchmark principal), GPT-5.4 via Codex e DeepSeek V4 Flash. Inferência com cluster por tarefa, p-valores por wild cluster bootstrap com 9.999 replicações. É paper sério.

📊 O número que muda o jogo

A taxa de sucesso vai de 74,4% no chatbot para 95,7% no agente restrito. Passando por 83,2% no one-repair intermediário.

TAXA DE SUCESSO POR NÍVEL DE AGÊNCIA

Chatbot (só escreve o script): 74,4%

One-repair (uma revisão após erro): 83,2%

Agente restrito (executa e se corrige): 95,7%

Efeito do agente restrito vs. chatbot: +21,3 p.p. no Claude, +20,2 no GPT-5.4, +18,7 no DeepSeek. Todos significativos a 1%.

E o custo? Sobe de US$ 0,18 para US$ 0,26 por run em média. US$ 0,36 por acerto adicional. É o preço de eliminar cinco de cada seis falhas.

O one-repair, ainda mais interessante, captura ~40% do ganho por um centavo a mais no custo por run bem-sucedido. Custo-benefício absurdo para quem quer um meio termo.

⚙️ Prompt virou substituto, não complemento

Aqui está o achado que vira o jogo para quem vende curso de "engenharia de prompt".

O efeito médio do few-shot (dar exemplos no prompt) é positivo: +6,6 p.p. no Claude, +8,9 no GPT-5.4. Legal. Mas a interação few-shot × agente restrito é negativa: −12,7 p.p. no Claude e −12,4 no GPT-5.4.

Traduzindo: prompt caprichado e agência são substitutos. Quando o modelo pode executar e se corrigir, o ganho marginal de você caprichar no prompt praticamente evapora. A frase dos próprios autores é seca: "the agency provided by the harness matters more than sophisticated prompting."

Ressalva importante, para não vender além dos dados: no DeepSeek a interação é positiva (+15,2). Ou seja, a substituição descreve bem a análise principal com Claude e a comparação com Codex, mas não é lei universal. É o padrão dominante, não o único.

Ainda assim, a mensagem para quem projeta workflow é clara: o esforço marginal vale mais em montar o harness — deixar o modelo rodar, ver o erro, revisar — do que em torturar o prompt.

🔎 Stata, R e Python

Um subresultado que dói na profissão: no chatbot zero-shot, o Stata está 33,3 p.p. abaixo do Python no arm do Claude (p = 0,005). No GPT-5.4, −77,1. No DeepSeek, −66,7.

No benchmark completo, com todos os arms, fica assim:

• Python: 88,7%
• R: 88,9%
• Stata: 75,7%

Sob o agente restrito, essas diferenças encolhem. Ou seja: a agência compensa a fragilidade do ambiente. O modelo tropeça mais em Stata na primeira tentativa, mas se você deixar ele rodar, ler erro e refazer, ele chega perto.

Só que aqui vem o incômodo. Vilhuber et al. (2020) documentam que o Stata responde por 73% dos pacotes de replicação nos periódicos da AEA. Ou seja: o software onde o modelo é menos forte na primeira tentativa é o mainstream absoluto da profissão. Não é canto de nicho.

⚠️ O que roda e está errado

Chegamos na parte que importa.

Entre os runs que executam com sucesso e escrevem um arquivo de resultado válido — sem erro nenhum, script rodou bonitinho —, ainda falham 10,5% no chatbot, 7,3% no one-repair e 4,1% no agente restrito.

Repare no que isso significa. Não é o modelo dando exception. Não é código quebrado. É código que roda, entrega output, e estima outra coisa.

CITAÇÃO LITERAL DO PAPER

"Specification review remains necessary because these scripts can execute successfully."

O exemplo concreto que os autores destrincham é Arellano–Bond, painel dinâmico. Os scripts "can execute while estimating a different dynamic-panel specification". O few-shot ajuda um pouco nessa tarefa específica (sobe de 44,4% para 68,9% de acerto), mas o problema não some.

A taxonomia de falha silenciosa que os autores usam para testar o próprio corretor é assustadora de tão comum: estimador errado, amostra errada, inferência errada (coeficiente certo, cluster errado), efeitos fixos errados, output errado, número hard-coded sem implementar o estimador, default de pacote não harmonizado.

Qualquer um que já revisou código de aluno reconhece essa lista. E a máquina, num contexto de agência, comete os mesmos erros — só que sem deixar rastro no terminal.

E os autores são honestos sobre o limite do que testaram:

"Some runs execute successfully while implementing a different specification. We do not evaluate that aspect of LLM performance. Testing the LLM's ability to decide the correct specification given an economic problem would require further research."

Ou seja: o benchmark mede se o modelo implementa o que foi pedido. Não mede se o modelo escolhe o que devia ser pedido. Essa parte, os autores dizem em bom português, fica em aberto.

🧭 O mapa do Ng

Por coincidência boa, no mesmo dia em que li o paper, saiu no The Batch (issue 366) o "AI Engineering Skills Map" do Andrew Ng. Ele analisou mais de 10.000 vagas de emprego, fez entrevistas com gestores e recrutadores, e destilou quatro competências.

• 1. Building and deploying AI applications — dominar LLMs, RAG, workflows agentivos, e usar estatística para "measure, steer, and govern AI systems". Ênfase em evals e error analysis loops.
• 2. Software engineering fundamentals — trade-offs entre custo, escalabilidade, confiabilidade, velocidade. Arquitetura, data store, testes.
• 3. Using coding agents — ter "a good mental model for how agents work": gerenciar contexto, planejar, verificar, orquestrar múltiplos agentes.
• 4. Shaping the build — "having product sense and understanding business context and customer goals". Participar da definição do spec, não apenas implementá-lo.

Olhe para as quatro à luz do paper.

A competência #3 é exatamente o que o agente restrito faz: montar o loop de execução e correção. É onde saiu de 74,4% para 95,7%. A #1 clássica de prompt perdeu importância relativa — os −12,7 p.p. de interação confirmam.

A #4 é a que resiste. Shaping the build. Decidir o spec. Escolher qual é a especificação correta dado um problema econômico. Isso é exatamente o que os autores do paper dizem que não testaram.

E é exatamente o que eles descrevem como o resíduo do pesquisador:

"The researcher retains the research question, the econometric method, the parameters of interest, and the identification assumptions."

📄 Papers da semana

Oito papers na minha fila esta semana. Reordenei por proximidade à tese da edição.

• ​AI Agents and Prompt Engineering in Econometric Coding — NBER (o paper da edição)
• ​Monetary Policy in an AI-Driven Two-Speed Economy — Bank of Canada
• ​Cheaper AI, More Informality? A Dual Labor Market Model for Developing Economies — arXiv/RePEc
• ​Aggregate Gains from AI and Their Distribution: Global Evidence from Usage Data — FMI
• ​Adoption and investment in AI across the euro area — BCE
• ​Generative AI and Posted Labor Demand: Volume, Seniority and Timing — CNS
• ​The Economics of Large Language Models: Token Allocation, Fine-Tuning and Optimal Pricing — CEPR
• ​AI Financial Advice: Supply, Demand, and Life Cycle Implications — NBER

📊 Modelo da semana — Solow

Vale trazer o Solow para conversar com o paper. No modelo de crescimento clássico, o resíduo de Solow é aquilo que o modelo não explica de dentro. Progresso técnico entra como caixa preta.

No experimento do Galiani et al., o resíduo também é revelador — mas em outro sentido. Os 4,1% de falha silenciosa sob o agente restrito são o que a máquina não resolve mesmo com toda autonomia. E não vai resolver aumentando compute, melhorando prompt, trocando modelo.

É resíduo humano. É julgamento.

E aqui está a leitura macro: enquanto o julgamento sobre especificação não for incorporado ao processo — via revisão de humano competente ou via ferramentas de auditoria de spec —, boa parte do progresso técnico em IA para pesquisa aplicada não vai virar produtividade medida. Vai virar código que roda, estima outra coisa e passa despercebido.

📘 Livros da semana

O −33,3 p.p. do Stata no chatbot dá uma pista útil para quem está escolhendo em que stack investir. Python é onde o modelo já está mais fluente, hoje. E é também onde a competência #2 do Ng (fundamentos de engenharia) tem ecossistema mais denso.

• ​Python for Data Analysis, 3rd Edition — Wes McKinney (2022)
• ​Python Data Analytics: With Pandas, NumPy, and Matplotlib — Fabio Nelli (2023)
• ​Python Data Analysis - Fourth Edition — Navlani & Wijaya (2026)

🧠 Insight final

O paper é favorável à delegação. 95,7% de sucesso por 36 centavos o acerto adicional é muito. Não é uma edição para dizer "a IA não funciona". Funciona, e bem. Quem está travado no degrau 1 da escada da edição #200 tem número aqui para se convencer de que subir compensa.

A mensagem é mais precisa. A delegação tem fronteira, e ela não é técnica: é econômica. O modelo já escreve o estimador com quase 96% de acerto. Quem decide qual estimador responde à pergunta ainda é o economista. E os próprios autores do benchmark dizem que essa parte não foi testada — porque não dá para testar sem que haja alguém, do outro lado, com um problema econômico bem-posto para resolver.

É por isso que a competência #4 do Ng — shape the build — é a que resiste. Não é um chavão motivacional. É onde os 4,1% de falha silenciosa moram.

📎 Material da semana

📄 Resumo da semana (PDF) — o digest completo das newsletters que embasou esta edição.

🎧 Ouça em podcast — esta edição em áudio.

Um abraço,
​Vítor Wilher​
​Análise Macro

A verdade está nos dados.