Uma comparação entre avaliações humanas e testes realizados por inteligência artificial em dez grandes anúncios mostra que as máquinas podem ser surpreendentemente eficientes para identificar trabalhos bons e ruins — desde que tenham liberdade para admitir quando não têm certeza.

A discussão sobre inteligência artificial e publicidade ganhou uma pergunta recorrente: usar IA generativa na criação de anúncios prejudica a eficácia da publicidade?

Depois de dez meses e quatro grandes estudos sobre o tema, uma conclusão aparece de forma consistente. E ela leva a uma questão talvez mais interessante para o marketing atual.

Se as pessoas não conseguem identificar quando um anúncio foi produzido com IA, será que a IA consegue identificar quando humanos produziram um bom anúncio?

O que dez meses de pesquisas mostram

À primeira vista, os principais estudos realizados sobre IA e publicidade parecem chegar a conclusões contraditórias. Mas, quando analisados com mais cuidado, eles estão medindo aspectos diferentes e em canais diferentes.

Um dos estudos mais rigorosos, conduzido por pesquisadores da NYU Stern e da Emory University e chamado “AI Advertising Paradox”, utilizou um experimento controlado com desenho causal para medir o comportamento dos consumidores.

Os anúncios produzidos com IA superaram os anúncios feitos por humanos em até 19%. Porém, quando os participantes eram informados de que a IA havia sido utilizada, a performance caía 31,5%.

O dado mais importante, no entanto, foi outro: muitas vezes, as pessoas simplesmente não conseguem perceber quando a IA participou da produção de um anúncio. Quando a execução funciona bem, a tecnologia não necessariamente deixa sinais evidentes de que foi utilizada.

Outro estudo, realizado por pesquisadores de diferentes universidades e baseado em mais de 500 milhões de impressões, chegou a resultados semelhantes ao utilizar click-through rate, ou CTR, como métrica comportamental.

Cerca de 45% dos anúncios realmente produzidos com IA foram classificados pelos participantes como “definitivamente ou provavelmente feitos por humanos”. Ao mesmo tempo, 25% dos anúncios genuinamente produzidos por pessoas foram identificados como feitos por IA.

Na prática, as pessoas não conseguem determinar com segurança se a inteligência artificial participou ou não da criação de uma peça.

Os anúncios feitos com IA também apresentaram CTR ligeiramente superior e tiveram os melhores resultados justamente quando não pareciam ter sido produzidos pela tecnologia.

Existe, porém, uma limitação importante nesses dois estudos. Ambos analisam ambientes de baixa atenção e alta intenção de clique, como publicidade display e conteúdo nativo em sites, formatos que normalmente conseguem manter a atenção do consumidor por poucos segundos.

Esses ambientes capturam principalmente consumidores que já estão no mercado naquele momento, e não a enorme parcela do público que ainda não pretende comprar.

Além disso, CTR possui pouca ou nenhuma relação com os efeitos de construção de marca no longo prazo. Por isso, é difícil generalizar os resultados para toda a publicidade.

Outros dois estudos utilizaram creative pre-testing, ferramentas projetadas para prever efeitos de curto e longo prazo.

Um deles, divulgado recentemente, testou 20 anúncios e concluiu que os anúncios produzidos por IA tiveram performance inferior aos feitos por humanos.

Outro estudo, publicado dez meses antes, analisou 18 anúncios com 2.700 pessoas e chegou à conclusão oposta.

Nenhuma das duas amostras é suficientemente grande para determinar um resultado aplicável a toda a indústria. Ainda assim, os dois estudos encontraram exatamente o mesmo fenômeno observado nas pesquisas maiores: sem serem informados previamente, os consumidores não conseguiam identificar de maneira confiável quais anúncios tinham sido produzidos com IA.

Essa consistência leva a uma pergunta mais prática para o marketing.

Quando a IA passa a julgar o trabalho humano

É importante ter cuidado ao interpretar manchetes sobre uma suposta rejeição do público à inteligência artificial.

Quando as pessoas são explicitamente questionadas sobre o uso de IA, podem demonstrar rejeição. Mas, quando não são informadas, muitas vezes sequer percebem que a tecnologia participou do processo.

Os estudos indicam justamente que os anúncios com IA de melhor performance geralmente não deixam evidente que a tecnologia foi utilizada.

Isso também diferencia a inteligência artificial de técnicas artesanais cuja própria execução faz parte da percepção de valor do público. Uma animação tradicional em massinha, por exemplo, pode deixar marcas físicas e imperfeições que comunicam ao espectador como aquele trabalho foi produzido.

Para profissionais de marketing que precisam criar trabalhos eficazes em escala, enquanto o número de assets continua aumentando, surge uma questão mais relevante.

Se humanos não conseguem identificar se uma IA produziu determinado anúncio, será que a IA consegue determinar se humanos produziram um bom anúncio?

Se conseguir, a tecnologia passa a ter uma aplicação bastante prática: analisar peças criadas por pessoas, apoiar melhores decisões e reservar os testes humanos, normalmente mais caros, para situações em que eles realmente sejam necessários.

AI-ception: colocando a inteligência artificial para avaliar publicidade sobre IA

Para explorar essa possibilidade, foram selecionados dez anúncios conhecidos de marcas ligadas à inteligência artificial. Entre eles estavam o anúncio de Natal da Coca-Cola, o primeiro comercial do Claude para o Super Bowl e outras campanhas que já haviam passado anteriormente por testes com pessoas reais.

Esses testes utilizavam respostas emocionais humanas associadas à capacidade de prever a performance das campanhas no mundo real.

Em seguida, os mesmos anúncios foram avaliados por uma ferramenta de inteligência artificial treinada com 18 milhões de respostas emocionais humanas.

Um aspecto importante desse sistema é que ele não precisa necessariamente fornecer uma resposta. Quando não possui segurança suficiente para apresentar uma avaliação, pode simplesmente se recusar a atribuir uma nota. Quando existe confiança suficiente, classifica o anúncio dentro de faixas de performance baixa, média ou alta.

A questão, então, era simples: a IA conseguiria diferenciar um anúncio humano realmente ruim sobre inteligência artificial de um anúncio bom?

Na maior parte das vezes, sim.

A IA acertou a classificação de Fluency Rating em dez de dez casos. Na Star Rating, acertou nove de dez.

E o único caso sem correspondência não foi exatamente um erro. A inteligência artificial se recusou a dar uma resposta.

Isso aconteceu com o comercial “Can I Get a Six Pack”, do Claude, exibido no Super Bowl. Nos testes realizados com pessoas, o anúncio recebeu a menor avaliação possível.

A peça contém uma quantidade significativa de nuances culturais, e a decisão da IA de não tentar adivinhar sua performance é, nesse caso, um resultado interessante por si só.

A IA foi mais precisa nos extremos

Os resultados mais precisos apareceram quando os anúncios estavam nas extremidades da escala de performance.

Quando uma peça era claramente muito ruim ou muito boa, a inteligência artificial conseguia identificá-la com mais segurança.

Isso é relevante porque uma ferramenta desse tipo teria pouca utilidade se não fosse capaz de distinguir justamente os trabalhos mais fracos dos mais fortes.

Entre os anúncios de pior performance estava uma campanha da Otter.ai baseada fortemente em argumentos de venda. Nos testes humanos, recebeu uma classificação de 1 estrela, e a IA também a identificou corretamente como uma peça de baixa performance.

Um antigo anúncio do ChatGPT para o Super Bowl, anterior a uma mudança de posicionamento da marca, utilizava animação para apresentar a inteligência artificial como parte da evolução humana. A campanha gerou reações negativas suficientes para receber apenas 1 estrela nos testes com pessoas. A avaliação da IA chegou à mesma conclusão.

Outro exemplo foi um anúncio da Apple sobre reescrita de emails. A mensagem acabava sugerindo involuntariamente que a tecnologia simplesmente apagaria parte da personalidade do usuário. A avaliação foi novamente equivalente: 1 estrela nos testes humanos e 1 estrela na avaliação feita pela IA.

Quando Apple e ChatGPT apresentaram campanhas melhores, a inteligência artificial também foi capaz de reconhecer a evolução.

Essa capacidade de identificar quando uma marca melhora sua publicidade representa uma aplicação bastante concreta da tecnologia para profissionais de marketing.

Na outra extremidade estavam alguns dos anúncios de melhor performance.

O comercial de Natal da Coca-Cola recebeu 5 estrelas, e a IA o classificou corretamente entre os trabalhos de alto desempenho.

O anúncio “Dream Job”, do Google Gemini, alcançou 3,1 estrelas nos testes realizados com pessoas e também foi identificado pela inteligência artificial como uma peça de boa performance.

O problema aparece no meio da tabela

A maior dificuldade da inteligência artificial apareceu nos anúncios de performance intermediária e em peças que envolviam maior grau de inovação.

O lançamento do Galaxy S26, da Samsung, por exemplo, recebeu 4 estrelas nos testes humanos. A IA conseguiu apenas determinar que ele “não era um anúncio de 1 estrela”.

Tecnicamente, a conclusão estava correta, mas não oferecia informação suficientemente específica para orientar uma decisão de marketing.

Algo semelhante aconteceu com uma campanha da Meta em parceria com a Ray-Ban para seus novos óculos. A inteligência artificial identificou corretamente uma performance mais baixa, mas conseguiu apenas afirmar que o anúncio estava entre os 40% piores da amostra.

Diante de uma classificação tão ampla, o caminho mais prudente seria recorrer a dados humanos antes de tomar decisões adicionais.

Uma conclusão muito mais útil para profissionais de marketing

Os consumidores nunca demonstraram grande preocupação com a maneira como os anúncios são produzidos. Na maioria das situações, eles sequer dedicam atenção suficiente à publicidade para questionar seu processo de produção.

O mercado, por outro lado, vem adotando intensamente ferramentas de AI creative testing, incluindo sistemas treinados com datasets privados e soluções integradas a LLMs.

O problema aparece quando essas ferramentas são projetadas para sempre fornecer alguma resposta.

Existe uma nuance importante que muitas discussões atuais sobre IA ainda ignoram: a inteligência artificial trabalha com probabilidades.

Ela identifica padrões com base em dados anteriores.

Ao mesmo tempo, parte do que torna a publicidade eficaz é justamente sua capacidade de apresentar algo único, novo ou inesperado.

Quanto mais original for uma ideia, uma execução ou mesmo um produto, mais difícil pode ser para uma IA prever corretamente seu sucesso.

Em determinados casos, o comportamento mais adequado da tecnologia é simplesmente não apresentar uma resposta.

Assim como humanos não conseguem determinar sempre se um anúncio foi produzido por inteligência artificial, a IA também não consegue determinar em todas as situações se humanos fizeram um bom anúncio.

E isso não deveria ser encarado necessariamente como um problema.

Ferramentas que sempre afirmam saber a resposta merecem ser questionadas.

Profissionais de marketing precisarão se acostumar não apenas a observar a resposta fornecida pela inteligência artificial, mas também a considerar o nível de confiança que ela pode ter em diferentes situações.

No fim, um sistema desse tipo funciona como uma máquina de previsão baseada nos dados que possui e, igualmente importante, nos dados que ainda não possui.

A inteligência artificial tende a melhorar rapidamente. Ainda é incerto se algum dia ela conseguirá alcançar completamente o julgamento humano, especialmente diante de criatividade, inovação e nuances culturais.

Mas ela provavelmente continuará se aproximando.

Para o marketing, talvez a grande oportunidade não esteja em escolher entre julgamento humano ou inteligência artificial. Está em entender quando a tecnologia possui dados suficientes para ajudar e, principalmente, reconhecer os momentos em que ainda vale a pena recorrer às pessoas.