Ricerca dell'architettura neurale (NAS)

La ricerca di architetture neurali (NAS) è una tecnica automatizzata nel campo dell'apprendimento automatico (ML) che si concentra sulla progettazione della struttura ottimale, o architettura, delle reti neurali (NN). Invece di affidarsi a esperti umani per progettare manualmente i layout di rete attraverso tentativi ed errori, NAS impiega algoritmi per esplorare un vasto spazio di architetture possibili e identificare quelle più efficaci per un determinato compito e set di dati. Questa automazione accelera il processo di sviluppo e può scoprire nuove architetture ad alte prestazioni che potrebbero non essere intuitivamente ovvie per i progettisti umani, ottimizzando metriche come l'accuratezza, la velocità(latenza di inferenza) o l'efficienza computazionale, che è cruciale per l'implementazione di modelli su dispositivi di intelligenza artificiale edge.

Come funziona la ricerca nell'architettura neurale

Il processo fondamentale di NAS coinvolge tre componenti principali: uno spazio di ricerca, una strategia di ricerca e una strategia di stima delle prestazioni. Lo spazio di ricerca definisce l'insieme delle possibili architetture di rete che possono essere progettate, delineando essenzialmente gli elementi costitutivi (come i diversi tipi di funzioni di convoluzione o di attivazione) e il modo in cui possono essere collegati. La strategia di ricerca guida l'esplorazione di questo spazio, utilizzando metodi che vanno dalla ricerca casuale e dall'apprendimento per rinforzo agli algoritmi evolutivi. Infine, la strategia di stima delle prestazioni valuta il rendimento di un'architettura candidata, spesso con l'addestramento parziale o completo della rete su un set di dati e la misurazione delle sue prestazioni, anche se per accelerare questo processo si utilizzano tecniche come la condivisione dei pesi o i predittori di prestazioni, come illustrato nella ricerca di Google AI. La gestione efficiente di questi esperimenti può essere facilitata da piattaforme come Weights & Biases o Ultralytics HUB.

Vantaggi principali dei NAS

L'automazione della progettazione dell'architettura con i NAS offre vantaggi significativi:

• Prestazioni ottimizzate: Trova architetture su misura per compiti specifici, come il rilevamento di oggetti o la classificazione di immagini, che spesso superano quelle progettate manualmente in termini di precisione o efficienza.
• Riduzione dei tempi di sviluppo: automatizza il processo di progettazione dell'architettura, che richiede molto tempo e spesso è guidato dall'intuizione.
• Scoperta di nuove architetture: Scopre strutture di rete non convenzionali ma efficaci che i progettisti umani potrebbero trascurare.
• Efficienza per hardware specifici: Può ottimizzare le architetture per i vincoli di distribuzione, come la bassa latenza di inferenza sui dispositivi mobili(Edge AI) o acceleratori specifici come le TPU.

Applicazioni nell'IA e nell'apprendimento automatico

Il NAS si è dimostrato valido in diversi ambiti dell'apprendimento profondo (DL):

1. Modelli di rilevamento degli oggetti ottimizzati

Un esempio importante è YOLO-NAS, sviluppato da Deci AI utilizzando la tecnologia NAS. Questo modello ha affrontato in modo specifico le limitazioni delle precedenti versioni di Ultralytics YOLO, incorporando blocchi che favoriscono la quantizzazione grazie a NAS. Il risultato è che i modelli offrono un equilibrio superiore tra precisione e latenza, rendendoli molto efficaci per applicazioni in tempo reale come l'intelligenza artificiale nelle soluzioni automobilistiche e la gestione intelligente del traffico, anche dopo la quantizzazione del modello in formati come l'INT8 per una distribuzione efficiente. Ulteriori informazioni sulle tecniche di quantizzazione sono disponibili in risorse come la documentazione di NVIDIA TensorRT o la guida di Ultralytics sulle opzioni di distribuzione dei modelli. Ultralytics supporta diversi modelli di rilevamento degli oggetti, tra cui YOLO-NAS.

2. Analisi delle immagini mediche

Nel settore sanitario, NAS viene utilizzato per progettare reti neurali convoluzionali (CNN) personalizzate per l'analisi di immagini mediche. Ad esempio, il NAS può ottimizzare le architetture per compiti come il rilevamento di tumori nelle scansioni MRI (simile al set di dati Brain Tumor) o la segmentazione di organi nelle immagini TC, portando potenzialmente a strumenti diagnostici più veloci e accurati per aiutare i medici. L'applicazione dell'intelligenza artificiale nell'analisi delle immagini mediche è un campo in rapida crescita, come evidenziato da istituzioni come il National Institutes of Health (NIH). La gestione di questi modelli e set di dati specializzati può essere semplificata utilizzando piattaforme come Ultralytics HUB. È anche possibile utilizzare YOLO11 per il rilevamento dei tumori.

NAS e concetti correlati

Il NAS è un componente specifico all'interno del più ampio campo dell'Automated Machine Learning (AutoML). Mentre il NAS si concentra esclusivamente sulla ricerca della migliore architettura di rete neurale, l'AutoML mira ad automatizzare l'intera pipeline di ML, comprese fasi come la preelaborazione dei dati, l'ingegnerizzazione delle caratteristiche, la selezione del modello e la regolazione degli iperparametri. È fondamentale distinguere la NAS dalla messa a punto degli iperparametri: la messa a punto degli iperparametri ottimizza le impostazioni di configurazione (come il tasso di apprendimento o la dimensione del batch) per una determinata architettura del modello, mentre la NAS cerca l'architettura stessa. Entrambe le tecniche sono spesso utilizzate insieme per ottenere prestazioni ottimali del modello. Strumenti come Optuna o Ray Tune, che si integra con i modelli YOLO di Ultralytics, sono popolari per l'ottimizzazione degli iperparametri. Comprendere queste distinzioni aiuta ad applicare le giuste tecniche di automazione per costruire sistemi di intelligenza artificiale efficienti. Per saperne di più sulla regolazione degli iperparametri, consultare la documentazione di Ultralytics.