Na segunda edição da série Inteligência artificial, modo de usar, explico como a tecnologia realmente funciona
Explicamos o tal de LLM (sigla em inglês para grande modelo de linguagem).
A inteligência artificial que alimenta o ChatGPT e o chatbot Bing, da Microsoft, é capaz de conduzir conversas semelhantes a humanas e escrever texto em prosa natural e fluida sobre uma variedade interminável de temas. Ela também consegue desempenhar tarefas complexas, desde escrever código até planejar a festa de aniversário de uma criança.
Mas como tudo isso funciona? Para responder à pergunta, precisamos olhar sob o capô de algo chamado LLM –o tipo de IA que alimenta esses sistemas.
Os grandes modelos de linguagem, ou LLMs (a sigla em inglês – large language models), são relativamente novos no cenário da IA. Os primeiros apareceram há cinco anos e não eram muito bons. Hoje, são capazes de redigir emails, apresentações e memorandos e dar aulas particulares de uma língua estrangeira. Mais capacidades certamente vão aparecer nos próximos meses e anos, à medida que a tecnologia melhora, e o Vale do Silício procura lucrar com ela.
Vou mostrar a você passo a passo de como criar um grande modelo de linguagem a partir do zero, simplificando coisas e deixando fora muita matemática complexa. Vamos fazer de conta que estamos tentando construir um LLM para ajudá-lo a responder a seus emails. Vamos batizá-lo MailBot.
Passo 1: Defina uma meta
Todo sistema de IA precisa de uma meta. Pesquisadores chamam isso de função objetiva. Ela pode ser simples –por exemplo, “ganhar o maior número possível de partidas de xadrez”—, ou complexa, como “prever as formas tridimensionais das proteínas, usando apenas suas sequências de aminoácidos”.
A maioria dos grandes modelos de linguagem tem a mesma função objetiva básica: dada uma sequência de texto, adivinhar o que vem a seguir. Daremos objetivos mais específicos ao MailBot mais para frente, mas vamos nos limitar a esse objetivo por enquanto.
Passo 2: Colete grande quantidade de dados
A seguir, precisamos reunir os dados de treinamento que vão ensinar ao MailBot como escrever. Idealmente, vamos juntar um repositório colossal de texto, o que geralmente significa bilhões de páginas tiradas da internet –coisas como postagens de blogs, tuítes, artigos da Wikipedia e reportagens jornalísticas.
Para começar usaremos algumas bibliotecas de dados gratuitas e publicamente disponíveis, como o repositório Common Crawl de dados da web. Mas também vamos querer acrescentar nosso "molho secreto", na forma de dados proprietários ou especializados. De modo geral, quanto mais dados tivermos e quanto mais diversificadas as fontes, melhor será nosso modelo.
Antes de colocar os dados em nosso modelo, precisamos decompô-los em unidades chamadas tokens, que podem ser palavras, frases ou mesmo caracteres individuais. Transformar texto em pedaços pequenos ajuda um modelo a analisá-los mais facilmente.
Passo 3: Construir sua rede neural
Uma vez que nossos dados tenham sido tokenizados, teremos que montar o “cérebro” da IA –um tipo de sistema conhecido como rede neural. Esta é uma teia complexa de nodos (ou “neurônios”) interconectados que processam e armazenam informação.
Para o MailBot, vamos querer utilizar um tipo relativamente novo de rede neural conhecido como modelo transformador. Essas redes podem analisar múltiplos pedaços de texto ao mesmo tempo, o que as torna mais rápidas e eficientes. (Os modelos transformadores são a chave de sistemas como o ChatGPT, cuja sigla representa “Transformador Generativo Pré-treinado”).
Passo 4: Treinar sua rede neural
A seguir, o modelo vai analisar os dados, token por token, identificando padrões e relações. Ele pode observar que “olá” frequentemente é seguido por um nome ou que “abraços” geralmente vem antes de sua assinatura. Identificando esses padrões, a IA aprende a construir mensagens que fazem sentido.
O sistema também desenvolve um senso de contexto. Por exemplo, ele pode aprender que “banco” pode indicar uma instituição financeira ou um móvel sobre o qual se sentar, dependendo das palavras que o cercam.
À medida que vai aprendendo esses padrões, o modelo transformador desenha um mapa: uma representação matemática tremendamente complexa da linguagem humana. Ele rastreia essas relações usando valores numéricos conhecidos como parâmetros. Muitos dos melhores LLMs atuais possuem centenas de bilhões de parâmetros ou até mais.
O treinamento pode levar dias ou até semanas e vai exigir quantidades imensas de potência de computação. Mas, a partir do momento que tiver sido feito, o sistema estará quase pronto para começar a escrever seus emails.
Um fato bizarro é que ele pode desenvolver outras habilidades também. À medida que os LLMs aprenderem a prever a palavra seguinte em uma sequência, repetidamente, eles podem acabar conquistando outras habilidades inesperadas, como, por exemplo, escrever código de computador. Os especialistas em IA chamam a isso de comportamentos emergentes. Frequentemente, ainda não sabem explicá-los.
Passo 5: depure seu modelo
A partir do momento que um grande modelo de linguagem é treinado, ele precisa ser calibrado para uma tarefa específica. Por exemplo, um chatbot usado por um hospital pode precisar entender termos médicos.
Para depurar o MailBot, podemos pedir a ele que gere vários emails, contratar pessoas para avaliar a precisão dos emails e então introduzir as avaliações de volta no modelo, até ele melhorar.
Essa é uma descrição aproximada da abordagem usada com o ChatGPT, que é conhecida como aprendizagem de reforço com feedback humano.
Passo 6: lançar, com cuidado
Parabéns! Uma vez que o MailBot tenha sido treinado e depurado, ele estará pronto para ser usado. Depois de você construir algum tipo de interface de usuário para ele –como por exemplo uma extensão do Chrome que se conecta ao seu aplicativo de email—, ele poderá começar a redigir emails.
Mas, por melhor que ele possa parecer, ainda é recomendável monitorar o que faz seu novo assistente. Empresas como Microsoft e Meta (dona do Facebook) já descobriram que sistemas de IA podem ser erráticos e imprevisíveis. Podem até tornar-se assustadores e perigosos.
Amanhã vamos aprender mais sobre como as coisas podem dar errado de maneiras inesperadas e às vezes perturbadoras.
Sua lição de casa
Vamos explorar uma das habilidades mais criativas dos LLMs: a capacidade de combinar conceitos e formatos díspares para formar algo bizarro e novo. A título de exemplo, nossos colegas do New York Times pediram ao ChatGPT para “escrever uma canção na voz de Taylor Swift usando temas de um livro do Dr. Seuss”.
Sua lição de casa de hoje é tentar misturar e combinar um formato, um estilo e um tópico. Por exemplo: “escreva um poema com o estilo do rapper Snoop Dogg sobre o tema do aquecimento global”.
Fonte: Folha de SP (04/07/2023)
Nenhum comentário:
Postar um comentário
"Este blog não se responsabiliza pelos comentários emitidos pelos leitores, mesmo anônimos, e DESTACAMOS que os IPs de origem dos possíveis comentários OFENSIVOS ficam disponíveis nos servidores do Google/ Blogger para eventuais demandas judiciais ou policiais".