Modello Ensemble

Un ensemble di modelli è un approccio di apprendimento automatico (ML) in cui più modelli individuali vengono combinati strategicamente per produrre un unico risultato predittivo, spesso superiore. Invece di affidarsi a un singolo modello, l'ensemble sfrutta l'intelligenza collettiva di diversi modelli, con l'obiettivo di migliorare le prestazioni complessive, aumentare la robustezza e ridurre la probabilità di fare previsioni sbagliate a causa delle debolezze di un singolo modello. Questa tecnica è una pietra miliare della moderna intelligenza artificiale (AI) ed è ampiamente applicata in vari domini, tra cui la computer vision (CV). L'ensembling dei modelli rientra nella più ampia categoria dei metodi di ensemble.

Come funzionano i gruppi di modelli

L'idea alla base dell'ensembling dei modelli è che, combinando modelli diversi - addestrati in modo diverso o utilizzando algoritmi diversi - i loro errori individuali possano annullarsi a vicenda, portando a una previsione finale più accurata e affidabile. Le strategie più comuni per combinare i risultati dei modelli includono:

• Media/voto: Per i compiti di regressione, le previsioni dei singoli modelli vengono mediate. Per i compiti di classificazione, la previsione finale è determinata da un voto di maggioranza (hard voting) o dalla media delle probabilità previste (soft voting).
• Bagging (aggregazione Bootstrap): Più istanze dello stesso modello di base(alberi decisionali, per esempio) vengono addestrate in modo indipendente su diversi sottoinsiemi casuali dei dati di addestramento. L'algoritmo Random Forest è un classico esempio di bagging.
• Boosting: I modelli vengono addestrati in modo sequenziale e ogni nuovo modello si concentra sulla correzione degli errori commessi da quelli precedenti. Ne sono un esempio AdaBoost, Gradient Boosting e XGBoost.
• Accatastamento: Le previsioni di diversi modelli di base (ad esempio, un SVM, una rete neurale e un modello k-Nearest Neighbors ) vengono utilizzate come caratteristiche di input per un "meta-modello" finale (spesso un modello più semplice come la regressione logistica) che impara a combinare al meglio queste previsioni.

Nel contesto dell'apprendimento profondo, gli ensemble possono comprendere la combinazione di modelli con architetture diverse (come una CNN e un Vision Transformer (ViT)), modelli addestrati con iperparametri diversi o modelli addestrati su sottoinsiemi di dati diversi. Anche tecniche come il salvataggio di checkpoint del modello in epoche diverse e il loro assemblaggio (snapshot ensembling) possono essere efficaci.

Ensemble di modelli vs. metodi di ensemble

Pur essendo strettamente correlati, questi termini hanno sfumature leggermente diverse.

• Metodi Ensemble: Si riferisce all'ampia categoria di tecniche o algoritmi (come bagging, boosting, stacking) utilizzati per creare e combinare più modelli. È la metodologia.
• Ensemble di modelli: Si riferisce in genere al gruppo specifico di modelli che sono stati combinati utilizzando un metodo di ensemble. È il modello composito risultante.

In sostanza, si utilizzano i metodi di ensemble per creare un ensemble di modelli.

Vantaggi e considerazioni

L'utilizzo di ensemble di modelli offre vantaggi significativi:

• Migliori prestazioni: Gli ensemble raggiungono spesso una maggiore accuratezza e una migliore generalizzazione rispetto a qualsiasi modello singolo, vincendo spesso le competizioni di apprendimento automatico.
• Maggiore robustezza: Facendo la media dei bias o degli errori dei singoli modelli, gli ensemble sono meno sensibili agli outlier o al rumore dei dati e meno inclini all'overfitting.
• Riduzione degli errori: La combinazione di diversi modelli aiuta a ridurre il rischio di affidarsi a un singolo modello difettoso.

Tuttavia, ci sono delle considerazioni da fare:

• Maggiore complessità: La formazione, la gestione e la distribuzione di più modelli è intrinsecamente più complessa rispetto alla gestione di un singolo modello. La distribuzione dei modelli diventa più complessa.
• Costo computazionale più elevato: L'addestramento di più modelli richiede più risorse di calcolo(CPU/GPU) e tempo. Anche l 'inferenza può essere più lenta, poiché le previsioni di tutti i modelli di base devono essere calcolate e combinate.
• Interpretabilità: Capire perché un ensemble fa una specifica previsione può essere più impegnativo che interpretare un singolo modello più semplice, anche se le tecniche di Explainable AI (XAI) si stanno evolvendo.

Piattaforme come Ultralytics HUB possono aiutare a gestire la complessità dell'addestramento e del monitoraggio di più modelli, semplificando potenzialmente la creazione di ensemble efficaci.

Applicazioni del mondo reale

Gli ensemble di modelli sono ampiamente utilizzati in vari ambiti:

1. Rilevamento degli oggetti nella visione artificiale: In compiti come la guida autonoma o la sorveglianza della sicurezza, diversi modelli di rilevamento degli oggetti (ad esempio, diverse versioni di Ultralytics YOLO come YOLOv8 e YOLOv10, o modelli come RT-DETR) possono essere assemblati. Ad esempio, la combinazione di modelli addestrati su incrementi diversi o in fasi diverse dell'addestramento(l'incremento del tempo di prova può essere considerato una forma di ensembling) può migliorare l'accuratezza del rilevamento e la robustezza in condizioni difficili(Guida all'ensembling dei modelli YOLOv5).
2. Diagnosi medica: Gli ensemble possono combinare le previsioni di diversi modelli che analizzano immagini mediche (come radiografie o risonanze magnetiche) o dati dei pazienti. Un modello potrebbe eccellere nel rilevare determinate anomalie, mentre un altro è più bravo in altre. L'unione di questi modelli può portare a uno strumento diagnostico più affidabile, fondamentale per applicazioni come il rilevamento dei tumori.
3. Previsioni finanziarie: La previsione dei prezzi delle azioni o del rischio di credito comporta spesso un'elevata incertezza. L'assemblaggio di modelli addestrati su diverse finestre di dati storici o utilizzando diversi indicatori economici può fornire previsioni più stabili e accurate di qualsiasi singolo modello predittivo. Per saperne di più sull'IA nella finanza.
4. Controllo della qualità della produzione: La combinazione di modelli che ispezionano i prodotti da diverse angolazioni o che si concentrano su diversi tipi di difetti può creare un sistema di ispezione della qualità più completo di un singolo modello di visione(Computer Vision in Manufacturing).

L'ensembling di modelli è una tecnica potente per spingere i limiti delle prestazioni dei sistemi di ML, rendendola uno strumento prezioso nel kit di strumenti degli sviluppatori di IA.