Achtung: Aufgrund von Wartungsarbeiten des TU -Schließsystems können im diesem Bereich derzeit Fehler auftreten und es werden keine Änderungen übernommen. Vielen Dank für Ihr Verständnis.

389.207 Bayesian Machine Learning
Diese Lehrveranstaltung ist in allen zugeordneten Curricula Teil der STEOP.
Diese Lehrveranstaltung ist in mindestens einem zugeordneten Curriculum Teil der STEOP.

2021W, VO, 2.0h, 3.0EC

Merkmale

  • Semesterwochenstunden: 2.0
  • ECTS: 3.0
  • Typ: VO Vorlesung
  • Format der Abhaltung: Hybrid

Lernergebnisse

Nach positiver Absolvierung der Lehrveranstaltung sind Studierende in der Lage, grundlegende Theorie und Methodik des Bayesschen maschinellen Lernens zu verstehen und anzuwenden. Ein weiteres Ergebnis ist eine Verbesserung der Beherrschung der englischen (Fach-)Sprache.

Inhalt der Lehrveranstaltung

* Einführung:  Motivation, Anwendungen, Überblick.

* Bayessche Schätzung:  Allgemeiner Bayesscher Schätzer, MMSE-Schätzer, MAP-Schätzer, ML-Schätzer.

* Bayessche Klassifizierung:  Allgemeiner Bayesscher Klassifikator, MAP-Klassifikator, ML-Klassifikator.

* Exponentialfamilie:  Definition und Ausdrücke, Log-partition-Funktion, erschöpfende Statistik, a-posteriori-Verteilung, konjugierte a-priori-Verteilung, Bayessche Schätzer, Beispiele.

* Bayessche Netze:  Definition, grundlegende Beispiele, bedingte Unabhängigkeit, d-Trennungs-Eigenschaft, Markov-Decke.

* Elementare Verteilungen and konjugierte a-priori-Verteilungen:  Gauss, Gamma, Invers-Gamma, Wishart, Invers-Wishart, Bernoulli, Beta, Multinomial, Dirichlet, Student-t, Einbettung in die Exponentialfamilie, elementare Inferenzprobleme.

* Monte Carlo-Methoden:  Verwerfungsmethode, Importance Sampling, MCMC-Methoden, Metropolis-Hastings-Algorithmus, Zyklen von MCMC-Kernen, Gibbs-Sampling.

* Variationelle Bayessche Methoden: Laplace-Approximation, evidence lower bound, Mean-field-Approximation, CAVI-Algorithmus, stochastische variationelle Inferenz, variationeller EM-Algorithmus, Expectation-Propagation-Algorithmus.

Themen zur Auswahl (die Studierenden entscheiden sich für zwei davon)

* Inferenz in probabilistischen Netzen: Faktorgraph, Sum-Product-Algorithmus, Max-Sum-Algorithmus, loopy belief propagation.

* Gaußsche Mischverteilung:  Definition, ML-Methoden, Monte Carlo-Methoden, variationelle Bayessche Methoden, Clusteranalyse.

* Gaußprozess-Regression:  Gaußprozess-Modell, Regression, Bestimmung der Hyperparameter, Gaußprozess-Klassifizierung, relevance vector machine.

* Bayessches tiefgehendes Lernen:  Bayessches Neuronales Netz, Bestimmung der Gewichte, variationelle Bayessche Methoden, Dropout.

Methoden

Der Vortragende (Hlawatsch) trägt den Vorlesungsstoff vor, spricht mit den Studierenden darüber und beantwortet allfällige Fragen der Studierenden. Dabei bedient er sich einer Tafel, auf die er mittels Kreide (ggf. auch mehrfarbig) gewisse Zeichen schreibt und einfache Bilder zeichnet, sowie eines Tafeltuchs, mit dem er die Tafel von Zeit zu Zeit löscht. Weiters verwendet er einen Overhead-Projektor, mit dem er kompliziertere Bilder und Tabellen auf eine Leinwand projiziert. Der Vortrag des Vortragenden wird durch ein Skriptum unterstützt.

Prüfungsmodus

Mündlich

Weitere Informationen

Diese Vorlesung kann als Teil des Wahlmoduls "Advanced Signal Processing" gewählt werden.

Erste Vorlesung: Donnerstag, 07.10.2021, 15:15 Uhr. Die Vorlesung findet online mittels Zoom statt. Ein Link wird rechtzeitig über TISS allen AbonnentInnen bekanntgegeben werden.

Vortragende Personen

Institut

LVA Termine

TagZeitDatumOrtBeschreibung
Do.15:00 - 17:3007.10.2021Sem 389 (LIVE)Bayesian Machine Learning

Leistungsnachweis

Mündiche Prüfung

LVA-Anmeldung

Nicht erforderlich

Curricula

StudienkennzahlSemesterAnm.Bed.Info
066 507 Telecommunications

Literatur

Schriftliche Unterlagen zur Lehrveranstaltung werden verfügbar sein.

Empfohlenes Lehrbuch: Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.  Kostenlos herunterladen:

https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/

Vorkenntnisse

Kenntnisse über Wahrscheinlichkeitsrechnung und Zufallsvariable sowie Matrizenrechnung

Sprache

Englisch