Philosophie Lexikon der Argumente

Home Screenshot Tabelle Begriffe

 
Komplex: ein Komplex ist aus Komponenten zusammengesetzt, die gegeneinander abgrenzbar und relativ selbstständig sind. Komplexes Verhalten bezieht sich auf Systeme, die aus mehreren Komponenten bestehen, deren relative Selbständigkeit sich in diesem Verhalten bemerkbar macht. Die relative Selbständigkeit der Komponenten richtet sich nach der Beschreibung des gesamten Komplexes.

_____________
Anmerkung: Die obigen Begriffscharakterisierungen verstehen sich weder als Definitionen noch als erschöpfende Problemdarstellungen. Sie sollen lediglich den Zugang zu den unten angefügten Quellen erleichtern. - Lexikon der Argumente.

 
Autor/Titel Begriff Zusammenfassung Metadaten

Peter Norvig über Komplex/Komplexität – Lexikon der Argumente

Norvig I 712
Komplexität/KI-Forschung/Norvig/Russell: [Eine Möglichkeit, die Komplexität zu reduzieren, ist] die Modellauswahl mit Kreuzvalidierung der Modellgröße. Ein alternativer Ansatz ist die Suche nach einer Hypothese, die direkt die gewichtete Summe
Norvig I 713
des empirische Verlusts und die Komplexität der Hypothese, die wir die Gesamtkosten nennen werden, minimiert:
Kosten (h) = EmpVerlust(h) + λ Komplexität (h)
ˆh ∗ = argmin Kosten (h)/h∈H.
Hier ist λ ein Parameter, eine positive Zahl, die als Umrechnungsrate zwischen Verlust und Komplexität der Hypothese (die ja nicht auf der gleichen Skala gemessen werden) dient. Dieser Ansatz kombiniert Verlust und Komplexität in einer Metrik und ermöglicht es uns, sofort die beste Hypothese zu finden.
Regularisierung: Dieser Prozess des expliziten Ahndens komplexer Hypothesen wird Regularisierung genannt (weil er nach einer Funktion sucht, die regelmäßiger bzw. weniger komplex ist). Beachten Sie, dass die Kostenfunktion zwei Entscheidungen erfordert: die Verlustfunktion und das Komplexitätsmaß, das als Regularisierungsfunktion bezeichnet wird. Die Wahl der Regularisierungsfunktion hängt vom Raum der Hypothese ab.
Eine weitere Möglichkeit zur Vereinfachung der Modelle besteht darin, die Dimensionen, mit denen die Modelle arbeiten, zu reduzieren. Ein Prozess der Merkmalsauswahl kann durchgeführt werden, um Attribute zu verwerfen, die irrelevant erscheinen. Χ2-Pruning ist eine Art von Merkmalsauswahl.
MDL: Die Hypothese der Mindestbeschreibungslänge (minimum description length bzw MDL) minimiert die erforderliche Gesamtzahl der Bits. VsMDL: Dies funktioniert gut im Grenzbereich, aber bei kleineren Problemen besteht die Schwierigkeit darin, dass die Wahl der Enkodierung für das Programm - zum Beispiel, wie ein Entscheidungsbaum am besten als Bitfolge kodiert wird - das Ergebnis beeinflusst. >Lernen/KI-Forschung.
Norvig I 759
Geschichte: Während sich der Ansatz der "identification in the limit" auf die letztendliche Konvergenz konzentriert, versucht die Untersuchung der Kolmogorov-Komplexität oder algorithmischen Komplexität, die von Solomonoff (1964(1), 2009(2)) und Kolmogorov (1965)(3) unabhängig voneinander entwickelt wurde, eine formale Definition für den Begriff der Einfachheit zu liefern, der in Ockhams Rasiermesser verwendet wird. Um dem Problem zu entgehen, dass die Einfachheit von der Art der Informationsdarstellung abhängt, wird vorgeschlagen, die Einfachheit an der Länge des kürzesten Programms für eine universelle Turingmaschine zu messen, die die beobachteten Daten korrekt reproduziert.
Obwohl es viele mögliche universelle Turingmaschinen und es somit viele mögliche "kürzeste" Programme gibt, unterscheiden sich diese Programme in ihrer Länge höchstens um eine Konstante, die unabhängig von der Datenmenge ist. Diese schöne Einsicht, die im Wesentlichen zeigt, dass jeder anfängliche representation bias letztendlich durch die Daten selbst überwunden wird, wird nur durch die Unentscheidbarkeit der Berechnung der Länge des kürzesten Programms getrübt. Näherungswerte wie die Mindestbeschreibungslänge oder MDL (Rissanen, 1984(4), 2007(5)) können stattdessen verwendet werden und haben in der Praxis hervorragende Ergebnisse erbracht. Der Text von Li und Vitanyi (1993)(6) ist die beste Quelle für die Kolmogorov-Komplexität.
Norwig I 762
Die Komplexität des Lernens mit neuronalen Netzen wurde von Forschern in der Theorie des computergestützten Lernens untersucht. Frühe Berechnungsergebnisse wurden von Judd (1990)(7) erzielt, der zeigte, dass das allgemeine Problem, einen Satz von Gewichten zu finden, der mit einer Reihe von Beispielen konsistent ist, selbst unter sehr restriktiven Annahmen NP-vollständig ist. Einige der ersten Ergebnisse der Stichprobenkomplexität wurden von Baum und Haussler (1989)(8) erzielt, die zeigten, dass die Anzahl der für effektives Lernen erforderlichen Beispiele etwa um W logW wächst, wobei W die Anzahl der Gewichte ist. Seitdem wurde eine viel ausgefeiltere Theorie entwickelt (Anthony und Bartlett, 1999)(9), einschließlich des wichtigen Ergebnisses, dass die Repräsentationsfähigkeit eines Netzwerks sowohl von der Größe als auch von der Anzahl der Gewichte abhängt, ein Ergebnis, das angesichts unserer Diskussion über die Regulierung nicht überraschend sein dürfte.


1. Solomonoff, R. J. (1964). A formal theory of inductive inference. Information and Control, 7, 1–22,
224-254.
2. Solomonoff, R. J. (2009). Algorithmic probability-theory and applications. In Emmert-Streib, F. and
Dehmer, M. (Eds.), Information Theory and Statistical Learning. Springer.
3. Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems in Information Transmission, 1(1), 1–7.
4. Rissanen, J. (1984). Universal coding, information, prediction, and estimation. IEEE Transactions on Information Theory, IT-30(4), 629-636.
5. Rissanen, J. (2007). Information and Complexity in Statistical Modeling. Springer.
6. Li, M. and Vitanyi, P. M. B. (1993). An Introduction to Kolmogorov Complexity and Its Applications.
Springer-Verlag.
7. Judd, J. S. (1990). Neural Network Design and the Complexity of Learning. MIT Press.
8. Baum, E. and Haussler, D. (1989). What size net gives valid generalization? Neural Computation,
1(1), 151160.
9. Anthony, M. and Bartlett, P. (1999). Neural Network Learning: Theoretical Foundations. Cambridge
University Press.


_____________
Zeichenerklärung: Römische Ziffern geben die Quelle an, arabische Ziffern die Seitenzahl. Die entsprechenden Titel sind rechts unter Metadaten angegeben. ((s)…): Kommentar des Einsenders. Übersetzungen: Lexikon der Argumente
Der Hinweis [Autor1]Vs[Autor2] bzw. [Autor]Vs[Begriff] ist eine Hinzufügung des Lexikons der Argumente.

Norvig I
Peter Norvig
Stuart J. Russell
Artificial Intelligence: A Modern Approach Upper Saddle River, NJ 2010

Send Link
> Gegenargumente gegen Norvig

Autoren A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   Y   Z  


Begriffe A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   Z