Support-Vektor-Maschine (SVM)

Die Support Vector Machine (SVM) ist ein beliebter und leistungsfähiger überwachter Algorithmus des maschinellen Lernens (ML), der vor allem für Klassifizierungsaufgaben verwendet wird, aber auch für die Regression (Support Vector Regression - SVR) und die Erkennung von Ausreißern geeignet ist. SVMs wurden in den 1990er Jahren entwickelt und funktionieren so, dass sie eine optimale Grenze, eine sogenannte Hyperebene, finden, die Datenpunkte, die verschiedenen Klassen angehören, in einem hochdimensionalen Raum am besten voneinander trennt. Der Grundgedanke besteht darin, den Abstand zwischen der Hyperebene und den nächstgelegenen Datenpunkten (Stützvektoren) jeder Klasse zu maximieren, was oft zu einer guten Verallgemeinerungsleistung bei ungesehenen Daten führt.

Wie Svm funktioniert

Das Kernprinzip von SVM ist die Suche nach der idealen Hyperebene zur Unterteilung eines Datensatzes. Für Daten, die durch eine gerade Linie oder eine flache Ebene getrennt werden können (linear trennbare Daten), identifiziert SVM die Hyperebene, die den größtmöglichen Abstand zwischen den Klassen erzeugt. Die Datenpunkte aus den Trainingsdaten, die dieser Hyperebene am nächsten liegen und die für die Bestimmung ihrer Position und Ausrichtung entscheidend sind, werden als Stützvektoren bezeichnet. Diese Konzentration auf die schwierigsten Punkte in der Nähe der Grenze macht die SVM speichereffizient, da nur diese Stützvektoren benötigt werden, um das Modell nach dem Training zu definieren.

Für Datensätze, bei denen die Klassen nicht durch eine lineare Grenze getrennt werden können (nicht linear trennbare Daten), verwenden SVMs eine Technik namens Kernel-Trick. Diese clevere Methode ermöglicht es SVMs, die ursprünglichen Daten in einen höherdimensionalen Raum abzubilden, in dem eine lineare Trennung möglich ist, ohne die Koordinaten in diesem neuen Raum explizit zu berechnen. Zu den gängigen Kernel-Funktionen gehören:

• Linear: Für linear trennbare Daten.
• Polynomial: Bildet Daten mithilfe von Polynomfunktionen auf höhere Dimensionen ab.
• Radiale Basisfunktion (RBF): Eine beliebte Wahl für komplexe, nicht lineare Beziehungen.
• Sigmoid: Ähnlich wie die Aktivierungsfunktion, die in neuronalen Netzen (NN) verwendet wird.

Die Wahl des Kernels und seiner Parameter ist entscheidend und erfordert oft eine sorgfältige Abstimmung der Hyperparameter.

Relevanz und Anwendungen

SVMs bleiben trotz des Aufstiegs von Deep Learning (DL) relevant, insbesondere in Szenarien mit hochdimensionalen Daten (viele Merkmale), aber begrenzten Trainingsstichproben. Sie sind für ihre theoretischen Garantien und ihre Robustheit bekannt, vor allem wenn ein klarer Trennungsspielraum besteht. In der Vergangenheit waren SVMs in Kombination mit Merkmalsextraktoren wie dem Histogram of Oriented Gradients (HOG) der Stand der Technik für Aufgaben wie die Objekterkennung, wie die Entwicklung der Objekterkennung zeigt.

Häufige Anwendungen sind:

• Bildklassifizierung: Kategorisierung von Bildern auf der Grundlage ihres Inhalts (z. B. Unterscheidung zwischen verschiedenen Arten von Blumen oder Tieren). SVMs können effektiv sein, wenn sie mit handgefertigten Merkmalen aus Bildern verwendet werden, vor allem bei Datensätzen von mittlerer Größe.
• Text-Kategorisierung: Klassifizierung von Textdokumenten in vordefinierte Kategorien, wie z. B. die Erkennung von Spam-E-Mails oder die Stimmungsanalyse von Kundenrezensionen. SVMs können gut mit hochdimensionalen Textdaten (wie TF) umgehen.
• Bioinformatik: Wird für Aufgaben wie die Proteinklassifizierung oder die Krebsdiagnose auf der Grundlage von Genexpressionsdaten verwendet, bei denen die Anzahl der Merkmale im Vergleich zur Anzahl der Proben sehr groß sein kann.
• Gesichtserkennung: Die Identifizierung oder Verifizierung von Personen anhand von Gesichtsmerkmalen, oft als Teil eines größeren Systems.

Vorteile und Beschränkungen

Vorteile:

• Effektiv in hohen Dimensionen: Die Leistung ist auch dann gut, wenn die Anzahl der Merkmale größer ist als die Anzahl der Stichproben.
• Speichereffizient: Verwendet nur eine Teilmenge der Trainingspunkte (Support-Vektoren) in der Entscheidungsfunktion.
• Vielseitig: Für die Entscheidungsfunktion können verschiedene Kernel-Funktionen festgelegt werden, die eine flexible Handhabung verschiedener Datentypen ermöglichen.
• Gute Verallgemeinerung: Das Ziel der Margenmaximierung führt oft zu Modellen mit guter Genauigkeit bei ungesehenen Daten.

Beschränkungen:

• Berechnungsintensiv: Das Training kann bei sehr großen Datensätzen langsam sein.
• Kernel und Parameterempfindlichkeit: Die Leistung hängt stark von der Wahl des Kernels und seiner Parameter (z. B. C, Gamma) ab und erfordert eine sorgfältige Abstimmung.
• Schlechte Leistung bei sich überschneidenden Klassen: Nicht ideal, wenn sich die Datenklassen stark überschneiden.
• Keine direkten Wahrscheinlichkeitsschätzungen: Standard-SVMs erzeugen Klassenzuordnungen, aber keine direkten Wahrscheinlichkeitswerte. Techniken wie die Platt-Skalierung werden benötigt, um die SVM-Ausgaben in Wahrscheinlichkeiten zu kalibrieren.

Svm im Vergleich zu anderen Algorithmen

Im Vergleich zu einfacheren Algorithmen wie der logistischen Regression zielen SVMs darauf ab, den Spielraum zu maximieren, anstatt nur eine Trenngrenze zu finden, was zu einer besseren Generalisierung führen kann. Im Gegensatz zu baumbasierten Methoden wie Entscheidungsbäumen oder Zufallsforsten konstruieren SVMs eine einzige optimale Hyperebene (möglicherweise in einem hochdimensionalen Raum). Während moderne Deep Learning-Modelle wie Ultralytics YOLO die automatische Extraktion von Merkmalen aus Rohdaten (wie Pixeln in der Computer Vision (CV)) beherrschen, erfordern SVMs oft ein sorgfältiges Feature-Engineering, können aber bei kleineren Datensätzen oder bestimmten Arten von strukturierten Daten, bei denen die Merkmale gut definiert sind, außergewöhnlich gut funktionieren. Beliebte Implementierungen sind LibSVM und das SVM-Modul in scikit-learn. Das Trainieren und Verwalten solcher und anderer Modelle kann mit Plattformen wie Ultralytics HUB vereinfacht werden, die den MLOps-Lebenszyklus vereinfachen.