Adam Optimizer

Adam (Adaptive Moment Estimation), derin öğrenme (DL) ve makine öğreniminde (ML) yaygın olarak kullanılan bir optimizasyon algoritmasıdır. Her parametre için öğrenme oranını ayrı ayrı uyarlayarak eğitim süreci sırasında ağ ağırlıklarını verimli bir şekilde güncellemek için tasarlanmıştır. Diederik P. Kingma ve Jimmy Ba tarafından"Adam: A Method for Stochastic Optimization" adlı makalede tanıtılan Adam, diğer iki popüler optimizasyon tekniğinin avantajlarını bir araya getirmektedir: AdaGrad (Adaptive Gradient Algorithm) ve RMSprop(Root Mean Square Propagation). Bu kombinasyon, çok sayıda parametreye ve karmaşık veri kümelerine sahip büyük sinir ağlarını eğitmek için özellikle etkili olmasını sağlar.

Adam Nasıl Çalışır?

Adam, gradyanların birinci ve ikinci momentlerinin tahminlerine dayanarak her parametre için uyarlanabilir öğrenme oranlarını hesaplar. Esasen, geçmiş gradyanların üstel olarak azalan ortalamasını (momentuma benzer şekilde) ve geçmiş karesel gradyanların üstel olarak azalan ortalamasını (AdaGrad/RMSprop'a benzer şekilde) takip eder.

• Momentum: İlgili yönde gradyan inişini hızlandırmaya yardımcı olur ve salınımları azaltarak daha hızlı yakınsama sağlar.
• Uyarlanabilir Öğrenme Oranları: Güncellemelerin tarihsel olarak ne sıklıkta ve ne kadar büyük olduğuna bağlı olarak her ağırlık için öğrenme oranını ayarlar. Büyük veya sık güncelleme alan parametreler daha küçük öğrenme oranlarına sahip olurken, küçük veya seyrek güncelleme alanlar daha büyük öğrenme oranlarına sahip olur. Bu özellikle seyrek gradyanlara veya gürültülü verilere sahip problemler için kullanışlıdır.
• Önyargı Düzeltme: Adam, özellikle çürüme ortalamalarının hala başlangıç aşamasında olduğu eğitimin ilk aşamalarında, moment tahminlerinde sıfıra doğru başlangıç yanlılığını gidermek için bir mekanizma içerir.

Tek, sabit bir öğrenme oranı (veya bir programa göre azalan bir oran) kullanan Stokastik Gradyan İnişi (SGD) gibi daha basit algoritmalarla karşılaştırıldığında, Adam'ın parametre başına adaptasyonu, özellikle karmaşık kayıp manzaralarında iyi bir çözüm bulmada genellikle daha hızlı ilerleme sağlar.

Adam'ın Avantajları

Adam çeşitli nedenlerden dolayı popülerdir:

• Hesaplama Verimliliği: Nispeten az bellek gerektirir ve hesaplama açısından verimlidir.
• İyi Varsayılan Performans: Varsayılan hiperparametreler genellikle geniş bir problem yelpazesinde iyi çalışır ve kapsamlı hiperparametre ayarlama ihtiyacını azaltır.
• Büyük Problemler için Uygunluk: Bilgisayarla görme (CV) ve doğal dil işleme (NLP) alanlarında yaygın olan büyük veri kümeleri ve yüksek boyutlu parametre uzaylarına sahip problemlerde iyi performans gösterir.
• Durağan Olmayan Hedefleri Ele Alır: Amaç fonksiyonunun zaman içinde değiştiği problemler için çok uygundur.
• Seyrek Gradyanlarda Etkilidir: Uyarlanabilir öğrenme oranları, gradyanların seyrek olduğu senaryolar için uygun hale getirir.

Gerçek Dünyadan Örnekler

Adam, birçok son teknoloji model için başvurulacak bir optimize edicidir:

Örnek 1: Bilgisayarla Görme

Bilgisayarla görmede Adam, görüntü sınıflandırma, nesne algılama ve görüntü segmentasyonu gibi görevler için derin Evrişimsel Sinir Ağlarını (CNN'ler) eğitmek için sıklıkla kullanılır. Örneğin, bir kişinin eğitilmesi Ultralytics YOLO Görüntülerdeki nesneleri(COCO veri kümesindekiler gibi) tespit etmek veya örnek segmentasyonu yapmak için kullanılan model, eğitim aşamasında verimli yakınsama için Adam'dan yararlanabilir. Ayrıca tümör tespiti gibi görevler için tıbbi görüntü analizinde de uygulanmaktadır.

Örnek 2: Doğal Dil İşleme

Adam, BERT ve GPT varyantları gibi büyük dil modellerini (LLM'ler) eğitmek için standart bir optimize edicidir. Makine çevirisi, metin özetleme veya duygu analizi gibi görevler için modelleri eğitirken Adam, bu büyük(dönüştürücü tabanlı) modellerle ilişkili karmaşık kayıp fonksiyonu ortamında verimli bir şekilde gezinmeye yardımcı olur.

İçinde kullanım Ultralytics YOLO

Ultralytics ekosisteminde, Adam ve varyantı AdamW (ayrıştırılmış ağırlık azalmalı Adam), Ultralytics YOLO modellerini eğitmek için mevcut optimize edicilerdir. Adam'ın uyarlanabilir öğrenme oranlarından yararlanmak, nesne algılama, örnek segmentasyonu veya poz tahmin modellerinin eğitimi sırasında yakınsamayı hızlandırabilir YOLO11 SGD, potansiyel olarak daha iyi nihai genelleme(aşırı uyumdan kaçınma) nedeniyle bazı YOLO modelleri için genellikle varsayılan ve önerilen optimize edici olsa da Adam, özellikle belirli senaryolarda veya ilk deneme ve model değerlendirme sırasında yararlı olan sağlam bir alternatif sunar. Optimize ediciyi ve diğer eğitim ayarlarını kolayca yapılandırabilirsiniz. Ultralytics HUB gibi araçlar, kullanıcıların Adam da dahil olmak üzere çeşitli optimize ediciler kullanarak modelleri yerel olarak veya bulut eğitimi yoluyla eğitmelerine olanak tanıyarak süreci kolaylaştırır. Gibi çerçeveler PyTorch ve TensorFlowUltralytics çerçevesinde kullanılan Adam'ın standart uygulamalarını sağlar. Daha fazla performans iyileştirmesi için, bilgi damıtma veya farklı model mimarilerini keşfetme gibi teknikleri göz önünde bulundurun.