O que é um modelo transformer?

O que é

Primeiro, o texto é dividido em pequenas partes chamadas tokens, que muitas vezes são palavras inteiras ou partes de palavras. A etapa central se chama atenção. Para cada token, o modelo pondera o quanto ele se relaciona com os demais tokens do texto, e é assim que descobre a que se refere uma palavra como "ele". Por fim, ele pontua todos os próximos tokens possíveis, escolhe um dos prováveis, o acrescenta e repete.

Antes de fazer qualquer coisa disso, o modelo é treinado. Ele recebe quantidades enormes de texto e se ajusta, muitas vezes, até suas previsões melhorarem. É por isso que escreve uma prosa fluida e natural, e também é a origem de sua principal fraqueza. O modelo produz texto plausível e não consulta fatos verificados, então pode afirmar algo falso no mesmo tom calmo de algo verdadeiro. Ferramentas como o Claude e o ChatGPT da OpenAI são construídas assim.

Por que isso importa para uma empresa

• Fluência não é precisão: um resultado bem escrito ainda pode estar errado, então fatos, números e citações precisam ser conferidos.
• Seus dados: com um modelo hospedado, seu texto é enviado ao provedor para ser processado, então decida o que pode ser compartilhado.
• Custo: o uso costuma ser medido em tokens, então entradas e saídas maiores custam mais.
• Revisão humana: uma pessoa com conhecimento deve ler tudo o que chega a um cliente ou a um registro.

Como isso aparece no nosso trabalho

No nosso trabalho de IA e automação, escolhemos o modelo para cada tarefa, mantemos uma pessoa no processo para os resultados que importam e ajudamos os clientes a decidir quais dados podem ser enviados. Para uma visão mais ampla de ferramentas que agem por conta própria, leia sobre IA agêntica.

Saiba mais

• Transformer na WikipediaUma visão geral técnica do desenho, útil para quem quer mais profundidade.
• Grande modelo de linguagem na WikipediaUma visão geral neutra de como esses modelos são construídos e usados, útil como ponto de partida.