Modelação da língua

A modelação da linguagem é uma tarefa fundamental no âmbito da Inteligência Artificial (IA) e do Processamento de Linguagem Natural (PLN). O seu principal objetivo é construir sistemas que possam compreender, gerar e prever a linguagem humana. Na sua essência, um modelo de linguagem aprende a distribuição de probabilidades de sequências de palavras (ou caracteres, ou tokens) com base em grandes quantidades de dados de texto. Isto permite ao modelo determinar a probabilidade de uma determinada frase ou expressão ocorrer naturalmente, permitindo-lhe executar várias tarefas relacionadas com a linguagem de forma eficaz. É uma tecnologia fundamental que está na base de muitas aplicações modernas de IA, desde assistentes virtuais a editores de texto sofisticados.

Como funciona a modelação da língua

Os modelos linguísticos funcionam através da análise de padrões, gramática e relações contextuais nos dados de texto em que são treinados. As primeiras abordagens baseavam-se em métodos estatísticos como os n-gramas, que calculam a probabilidade de uma palavra com base nas "n" palavras anteriores. Embora úteis, estes métodos tinham frequentemente dificuldades em lidar com dependências de longo alcance e em captar um significado semântico mais profundo.

O advento da aprendizagem profunda (DL) fez avançar significativamente a modelação da linguagem. Arquitecturas de redes neuronais (NN), tais como:

• Redes Neuronais Recorrentes (RNNs): Processa seqüências mantendo um estado interno ou memória, bem explicado neste post do blog da Colah.
• Memória longa de curto prazo (LSTM): Um tipo avançado de RNN melhor equipado para lidar com sequências longas e mitigar o problema do gradiente de desaparecimento.
• Transformadores: Utiliza mecanismos de atenção, em particular a auto-atenção, permitindo que o modelo pondere a importância de diferentes palavras na sequência de entrada, independentemente da sua distância. Esta arquitetura, introduzida no artigo seminal"Attention Is All You Need", está na base da maioria dos modelos mais avançados.

Estes modelos neurais são normalmente treinados utilizando estruturas como PyTorch ou TensorFlow em corpora de texto massivos, aprendendo caraterísticas linguísticas complexas através de técnicas como a retropropagação.

Aplicações da modelação da linguagem

A capacidade de prever e compreender sequências de palavras torna a modelação da linguagem incrivelmente versátil. Eis algumas das principais aplicações:

• Texto preditivo e preenchimento automático: Quando o teclado do teu smartphone sugere a palavra seguinte ou o teu motor de pesquisa completa a tua consulta, os modelos de linguagem estão a trabalhar, prevendo a continuação mais provável com base no que foi introduzido até ao momento. Isto melhora a experiência do utilizador e a velocidade de escrita, como se pode ver em ferramentas como o Smart Compose daGoogle.
• Tradução automática: Ferramentas como o Google Translate utilizam modelos linguísticos sofisticados, muitas vezes baseados em modelos sequência-a-sequência, para traduzir texto entre línguas de forma precisa e fluente. Os modelos aprendem os alinhamentos entre as línguas e geram traduções que preservam o significado e a estrutura gramatical. Para mais informações, consulta a entrada do glossário Tradução automática.
• Reconhecimento de fala: A conversão da linguagem falada em texto envolve a previsão da sequência mais provável de palavras correspondentes à entrada de áudio, alimentando tecnologias como a Siri da Apple.
• Geração de texto: Cria texto semelhante ao humano para artigos, resumos, sistemas de diálogo(Chatbots) e escrita criativa.
• Análise do sentimento: Determina o tom emocional (positivo, negativo, neutro) expresso num texto, frequentemente utilizado para analisar comentários de clientes ou redes sociais.
• Resposta a perguntas: Compreende as questões colocadas em linguagem natural e fornece respostas relevantes com base num determinado contexto ou numa base de conhecimentos, como os sistemas desenvolvidos pelo Allen Institute for AI.

Conceitos relacionados

É útil distinguir a modelação da linguagem de termos relacionados:

• Processamento de linguagem natural (PNL): A modelação da linguagem é um subcampo ou uma tarefa essencial no âmbito da PNL. A PNL é o domínio mais vasto que se preocupa em permitir que os computadores processem, analisem e compreendam a linguagem humana em geral. Vê a nossa visão geral da PNL.
• Modelos de linguagem de grande porte (LLMs): Trata-se essencialmente de modelos linguísticos muito grandes e poderosos, normalmente construídos utilizando a arquitetura Transformer e treinados em enormes conjuntos de dados (muitas vezes tirando partido dos princípios do Big Data ). Exemplos incluem modelos como GPT-4 e BERT. Os LLMs são frequentemente considerados modelos de base, um conceito detalhado pelo Centro de Investigação de Modelos de Base (CRFM) de Stanford.
• Visão por computador (CV): Enquanto os modelos linguísticos processam texto, a CV centra-se em permitir que as máquinas interpretem e compreendam informações visuais de imagens e vídeos. As tarefas incluem a deteção de objectos, a classificação de imagens e a segmentação de imagens, frequentemente abordadas por modelos como Ultralytics YOLO. A intersecção destes campos é explorada em modelos multimodais e modelos de linguagem visual, que processam dados visuais e de texto. Plataformas como o Ultralytics HUB simplificam a formação e a implementação de vários modelos de IA, incluindo os modelos para tarefas de visão. Podes explorar várias tarefas de CV suportadas pelo Ultralytics.