Aprendizagem auto-supervisionada

A aprendizagem auto-supervisionada (SSL) é uma abordagem de aprendizagem automática (ML) que permite que os modelos aprendam a partir de grandes quantidades de dados não rotulados. Ao contrário da aprendizagem supervisionada, que depende fortemente de dados meticulosamente rotulados, a SSL cria engenhosamente os seus próprios sinais de supervisão diretamente a partir dos próprios dados de entrada. Isto torna-a excecionalmente valiosa em campos como a visão por computador (CV) e o processamento de linguagem natural (PNL), onde os dados não rotulados são abundantes, mas o custo e o esforço da rotulagem manual(anotação de dados) podem ser proibitivos.

Como funciona a aprendizagem auto-supervisionada

O mecanismo central por detrás do SSL envolve a conceção de uma "tarefa de pretexto". Trata-se de uma tarefa auxiliar, auto-gerada, em que o modelo tem de prever certas propriedades dos dados que foram intencionalmente ocultadas ou alteradas. Ao resolver esta tarefa de pretexto, o modelo é obrigado a aprender estruturas e representações subjacentes significativas(embeddings) dos dados sem rótulos fornecidos por humanos. Esta fase inicial de formação é normalmente designada por pré-treino.

Por exemplo, na visão por computador, uma tarefa de pretexto pode envolver:

• Prevê a posição relativa de manchas de imagem baralhadas.
• Colorir uma imagem em tons de cinzento.
• Preenche as partes em falta de uma imagem (inpainting).
• Aprende representações através do contraste de diferentes vistas aumentadas da mesma imagem, uma técnica utilizada em métodos de aprendizagem contrastiva como o SimCLR e o MoCo.

Em PNL, uma tarefa de pretexto bem conhecida é a modelação de linguagem mascarada, utilizada por modelos como o BERT. Neste caso, o modelo aprende a prever palavras que foram aleatoriamente mascaradas (escondidas) nas frases.

Após o pré-treinamento em grandes conjuntos de dados não rotulados, o modelo capta representações de caraterísticas ricas. Este modelo pré-treinado pode então ser adaptado a tarefas específicas a jusante - como a deteção de objectos, a classificação de imagens ou a análise de sentimentos - através deum processo designado por afinação. Normalmente, o ajuste fino requer uma quantidade muito menor de dados rotulados em comparação com o treino de um modelo a partir do zero, o que torna a SSL um fator essencial para uma aprendizagem por transferência eficaz.

SSL vs. Outros Paradigmas de Aprendizagem

É crucial diferenciar o SSL dos paradigmas de ML relacionados:

• Aprendizagem supervisionada: Depende inteiramente de dados rotulados, onde cada entrada é emparelhada com uma saída correta. A SSL, por outro lado, gera as suas etiquetas a partir dos próprios dados.
• Aprendizagem não supervisionada: Procura encontrar padrões (como o agrupamento) ou reduzir a dimensionalidade em dados não rotulados sem tarefas de pretexto predefinidas. Embora a SSL utilize dados não rotulados, tal como a aprendizagem não supervisionada, difere pelo facto de criar sinais de supervisão explícitos através de tarefas de pretexto para orientar a aprendizagem de representação.
• Aprendizagem Semi-Supervisionada: Usa uma combinação de uma pequena quantidade de dados rotulados e uma grande quantidade de dados não rotulados. O pré-treinamento SSL pode muitas vezes ser um passo preliminar antes do ajuste fino semi-supervisionado.

Aplicações no mundo real

O SSL tem capacidades de Inteligência Artificial (IA) significativamente avançadas:

1. Avança com os modelos de visão computacional: O pré-treinamento SSL permite que modelos como Ultralytics YOLO11 aprendam caraterísticas visuais robustas a partir de enormes conjuntos de dados de imagens não rotuladas antes de serem ajustados para tarefas como a deteção de objectos em veículos autónomos ou a análise de imagens médicas. O uso de pesos pré-treinados derivados da SSL geralmente leva a um melhor desempenho e a uma convergência mais rápida durante o treinamento do modelo.
2. Alimentar grandes modelos de linguagem (LLMs): Os modelos de base como o GPT-4 e o BERT dependem fortemente de tarefas de pré-texto SSL (como a modelação de linguagem mascarada) durante a sua fase de pré-treino em vastos corpora de texto. Isto permite-lhes compreender a estrutura da linguagem, a gramática e o contexto, alimentando aplicações que vão desde chatbots sofisticados e tradução automática até à sumarização de texto.

O SSL reduz significativamente a dependência de conjuntos de dados rotulados dispendiosos, democratizando o desenvolvimento de modelos de IA poderosos. Ferramentas como o PyTorch e TensorFlowjuntamente com plataformas como o Ultralytics HUB, fornecem ambientes para aproveitar as técnicas de SSL para criar e implantar soluções de IA de ponta.