Nos dois últimos episódios, conversamos sobre problemas relacionados diretamente ao desenvolvimento dos modelos de linguagem, como limite temporal, compreensão estatística e falta de valores sociais, entre outros. Neste episódio, vamos discutir dois limites operacionais que também impactam os resultados: o contexto semântico e a janela de contexto.

Uma palavra pode ter mais de um significado próprio, sem considerar os sentidos figurados. Um banco pode ser uma instituição financeira, um banco de praça, uma cadeira em um bar ou um conjunto de dados. O que vai definir o seu significado real (semântico) é o texto no qual a palavra está inserida. Isso é o contexto semântico. Para complicar um pouco mais esse cenário, existem também os significados figurados das palavras. Estrela pode ser um corpo celeste ou um animal marinho. Mas pode também indicar uma atriz ou cantora famosa, uma pessoa que se destaca ou uma marca de brinquedos. Se isso é complicado para nós, imagine para o computador, que nunca “viu” nenhum tipo de banco ou uma estrela! Que só “conhece” as palavras a partir das relações estatísticas que elas possuem com outras palavras.

A falta de contexto é um erro muito frequente no uso de modelos de linguagem. Com a humanização da IA, a gente tende a achar que ela entende o significado real das palavras e que pode “deduzir” o contexto a partir da palavra. O caminho correto é exatamente o contrário, você precisa fornecer o contexto para que a IA identifique o “significado” da palavra e, a partir daí, estabeleça as relações corretas, fornecendo respostas adequadas às suas demandas. Se você não informar o contexto adequado, ela utilizará o significado mais provável ou mais frequente. A seguir transcrevo uma conversa com o Copilot (Microsoft, USA), para ilustrar esse tópico.

 “- Eu: Cite cinco palavras associadas à estrela.

– Copilot: luz, brilho, constelação, galáxia e universo.

– Eu: Posso associar estrela com brinquedos?

– Copilot: Sim, você pode associar estrela com brinquedos, e isso faz bastante sentido dependendo do contexto. A associação funciona porque “estrela” não é apenas um objeto astronômico — ela também aparece como forma, símbolo, tema e personagem em muitos brinquedos.

– Eu: Você conhece uma marca de brinquedos chamada estrela?

– Copilot: Sim. A Estrela é uma das marcas de brinquedos mais tradicionais do Brasil, fundada em 1937 por Siegfried Adler, em São Paulo. Ela marcou gerações com brinquedos que se tornaram ícones culturais e ainda hoje é reconhecida como referência no mercado infantil.”

Vamos à janela de contexto. Este conceito não tem relação com o significado das palavras, mas com o número máximo de tokens (palavras) que o modelo de linguagem consegue administrar em uma única conversa. Ela inclui tanto as mensagens e arquivos enviados, quanto as respostas elaboradas. Este limite varia muito entre os diferentes aplicativos e as suas versões e, geralmente, é bem grande. Apesar disso, sempre há um limite. Quando você chega perto dele, o modelo de linguagem pode esquecer as informações do início da conversa ou se tornar confuso. Às vezes, é preciso iniciar uma nova conversa (chat). Pode-se dizer que a janela de contexto equivale à memória do aplicativo, ou seja, ao que ele se lembra dentro da mesma conversa.

Veja algumas dicas para lidar com esses limites operacionais:

• sempre defina o contexto (cenário) relacionado à sua conversa ou tarefa, para que as respostas sejam mais precisas;
• separe suas conversas (chats) por temas específicos – um tema, uma conversa;
• ao enviar textos longos, seja no campo de mensagem ou como arquivo anexo, dê a seguinte instrução específica – “analise o texto e responda ok”. Isso evita que a IA gere respostas desnecessárias

Não perca o próximo episódio: ONDE MAIS ERRAMOS AO USAR A IA

Se quiser aprofundar seu conhecimento sobre modelos de linguagem, conheça o curso Desbravando o ChatGPT(www.antoniotoledo.com.br).