Learning with kernels

Abstract

Support Vektor (SV) Maschinen verbinden verschiedene Techniken der Statistik, des maschinellen Lernens und Neuronaler Netze. Eine Schlüsselposition fällt den Kernen zu, d.h. dem Konzept, lineare Algorithmen durch eine Abbildung in Merkmalsräume nichtlinear zu machen. Die Dissertation behandelt folgende Aspekte: (1) Erweiterungen des Support Vektor Algorithmus (2) Erweiterungen und Anwendungen kernbasierter Methoden auf andere Algorith- men wie das unüberwachte Lernen (3) Abschätzungen zur Generalisierungsfähigkeit, die besonders auf kernbasierte Methoden abgestimmt sind Nach einer kurzen Einführung in die SV Regression wird gezeigt, wie die epsilon-unempfindliche Kostenfunktion durch andere Funktionen ersetzt werden kann, während gleichzeitig die Vorteile des ursprünglichen Algorithmus erhalten bleiben, oder auch neue Eigenschaften wie automatische Parameteranpassung hinzugefügt werden. Weiterhin wird die Verbindung zwischen Kernen und Regularisierung aufgezeigt. Es folgt eine theoretische Analyse verschiedener häufig verwendeter Kerne, nebst Kriterien zur leichten Überprüfung von Mercers Bedingung. Weitere Veränderungen führen zu semiparametrischen Modellen sowie "geizigen" Näherungsverfahren. Abschließend werden drei Optimierungsalgorithmen vorgestellt, nämlich die Methode der inneren Punkte, Auswahlalgorithmen und sequentiell minimale Optimierung. Als analytisches Werkzeug fungiert hier das primär-duale Konzept der Optimierung. Auch Pseudocode wird in diesem Zusammenhang zur Verfügung gestellt. Unüberwachtes Lernen ist ein Anwendungsfall kernbasierter Methoden auf neue Probleme. Neben Kern PCA kann man das Regularisierungskonzept dazu verwenden, allgemeinere Mermalsextraktoren zu erhalten. Ein zweiter Ansatz führt zu einem stufenlosen Übergang zwischen der erzeugenden topographischen Abbildung (GTM) und Hauptkurven. Der zweite Teil der Dissertation beschäftigt sich mit Abschätzungen zur uniformen Konvergenz für die bisher vorgestellten Algorithmen und Konzepte. Dazu wird zuerst kurz ein Überblick über existierende Techniken zur Kapazitätskontrolle und Funktionalanalysis gegeben. Letztere spielen eine entscheidende Rolle, da die Klasse der Kernentwicklungen als Bild unter einem linearen Operator aufgefaßt werden kann, was Abschätzungen der Generalisierungsfähigkeit sogar in den Fällen ermöglicht, in denen klassische Ansätze wie die VC Dimension versagen bzw. zu konservative Abschätzungen geben. Insbesondere wird gezeigt, daß es möglich ist, die Überdeckungszahlen einer gegebenen Hypothesenklasse direkt zu berechnen, ohne den Umweg über die Berechnung der VC Dimension zu nehmen. Anwendungen finden die neuen Methoden bei Support Vektor Maschinen, Konvexkombinationen von Hypothesen (z.B. Boosting und spärliche Kodierung), "geizigen" Näherungsverfahren und Hauptkurven.