top of page

11 de fevereiro de 2023

5 Vezes em que o ChatGPT errou

Nem só de acertos vive a inteligência artificial, esses colunistas vem experimentando com a ferramenta desde que ela apareceu nos confins da internet e bem antes de ganhar as primeiras páginas dos jornais, nesse meio tempo reunimos alguns erros interessantes e curiosos da plataforma que nos fazem pensar sobre os limites e possibilidades dessa tecnologia.

Cozinhando com IA

Partindo de um exemplo bem pessoal, esses dias resolvemos fazer aqui em casa (Paulo, que mora em Portugal, está no Brasil nesse começo de ano - o que explica, em parte, porque essa coluna tem abordado menos o tema da realidade virtual) Charutinhos de Repolho.

Pedimos a receita para a madrasta de Paulo, cozinheira de mão cheia e especialista no prato.

O áudio de Whatsapp foi transcrito e sistematizado usando o ChatGPT.

A receita parece bem estruturada e não difere muito de outras encontradas na internet; mas quando Paulo abriu a panela, surpresa - boa parte dos charutos tinham se desmanchado e perdido a forma.

Depois, reouvindo o áudio, descobrimos que faltou aquele pulo do gato - colocar um pratinho em cima dos charutos, dentro da panela, justamente para eles não perderem a forma.

É, ChatGPT, tem coisas que vem mesmo da experiência.

Ser ou não ser, eis a questão?

Esses dias Paulo foi conversar com Demi Getschko, um dos pioneiros da internet no Brasil e diretor do NIC.br, órgão responsável por todos os domínios de internet terminados em .br a conversa - claro - acabou caindo em Inteligência Artificial. A posição de Demi é interessante e vale a sua própria coluna em outro momento, por aqui queríamos reproduzir um erro interessante que Demi encontrou em seus experimentos.

Demi perguntou ao ChatGPT a frase mais famosa de Macbeth, obra de Shakespeare e a resposta foi:

To be or not to be, that is the question

Ou, “Ser ou não ser, eis a questão”

Acertou o autor, mas errou a obra. Quando Demi apontou que esse era um trecho de Hamlet, a ferramenta, sempre educada, agradeceu e corrigiu o erro.

Tentamos reproduzir o experimento por aqui, mas parece que - de lá pra cá - o ChatGPT andou estudando um pouco.

Ainda um pouco confuso, mas em breve chegaremos lá.

Pegadinha

O melhor da internet é o Brasileiro, dizem.
E, claro, foi só surgiu uma inteligência capaz de responder a qualquer pergunta que o espírito troll brasileiro resolveu apresentar à pobre IA.

Uma das ‘pegadinhas’ mais recorrentes que esses colunistas viram circulando pela internet, como prova da burrice da IA é a seguinte:

A mãe de João tem três filhos. A primeira filha se chama Abril. O segundo filho se chama Maio. Como se chama o terceiro?

Existem diversas variações e a brincadeira, quando feita entre amigos, consiste em perguntar de maneira rápida para ver o outro se confunde.

O ChatGPT, parece, sofre do mesmo desvio de atenção que parte dos seres humanos.

Mas por aqui, muito mais do que sacanear o modelo linguístico, nos interessa entender seu funcionamento, então fizemos mais alguns experimentos.

E por fim, um prompt ainda mais elaborado.

O que isso tudo significa? Que ainda temos muito que aprender sobre como a Inteligência Artificial “pensa” e ela ainda tem muito a aprender sobre a capacidade do b.rasileiro de trollar os amiguinhos.

Conta e faz de conta

Essa veio do Twitter, o @rochabruno, desenvolvedor de software achou a aritmética do ChatGPT um pouco… lusitana.

Uma coisa que notamos por aqui é que se você não apontar o erro, a tendência do ChatGPT é dobrar a aposta e insistir no erro.

Mas tentei aplicar a mesma estratégia do exemplo acima e o resultado é mais animador:

Mostrando que a conversa com o ChatGPT, assim como qualquer outra conversa, merece atenção e esmero.

Para o último exemplo vamos sair das coisas banais - e do ChatGPT - para falar sobre um erro que custou muito caro.
​​Na apresentação do Bardo, a máquina da Google que vai se valer do chatbot da empresa, o LaMDA, feita pelo CEO Sundar Pichal no último dia seis, um dos exemplos de resposta dizia que o telescópio espacial James Webb foi o primeiro engenho a tirar uma foto de um planeta fora de nosso próprio sistema solar. Não demorou muito para algum curioso descobrir que isso estava errado (foi o telescópio Kepler quem fez isso, em 2010).
O erro enunciado em alto e bom som foi acompanhado por uma queda no valor da empresa de 160 bilhões de dólares, ou dezesseis vezes mais que o próprio telescópio. No mesmo dia, a Meta (ex-Facebook) caiu 3% na Nasdaq, sem que tenha cometido qualquer erro em praça pública. E de nada adiantou fazerem a mesma pergunta sobre o telescópio para o Chatgpt e terem colhido o mesmo engano, o estrago estava feito.
Nenhuma engenhoca conseguiu adeptos na velocidade com que o Chatgpt tem obtido, mas isso não elimina erros graves ou banais. Parte do problema tem a ver com a pressa de divulgar o que ainda está em teste. Para dar algum contexto, vale lembrar que em junho de 1886 o engenheiro alemão Karl Friedrich Michael Benz apresentou o Benz Patent-Motorwagen, primeiro automóvel movido a gasolina do mundo. Tinha três pneus do tamanho das rodas de uma bicicleta, chassi feito de madeira, apenas um banco e um volante que era, na verdade, uma manivela. O motor era de quatro tempos, como os de hoje, mas com apenas um cavalo de potência e não passava de 16 quilômetros por hora (um cavalo alcança 88). Pouco tempo depois de ir para as ruas, bateu num posto. Karl não desistiu: logo depois, se uniu ao engenheiro alemão Gottlieb Daimler, e fundou a Daimler-Benz, dando origem a Mercedes-Benz.

bottom of page