Philosophie Lexikon der ArgumenteHome
| |||
|
| |||
| Neuronale Netze: Neuronale Netze sind Rechenmodelle nach dem Vorbild des menschlichen Gehirns, die Muster erkennen und komplexe Probleme lösen sollen. Sie bestehen aus Schichten miteinander verbundener Knoten (analog zu Neuronen), die Eingabedaten verarbeiten und lernen, Aufgaben zu erfüllen, indem sie die Stärke der Verbindungen auf der Grundlage von Rückmeldungen anpassen. Sie werden häufig beim maschinellen Lernen eingesetzt und ermöglichen Anwendungen wie Bilderkennung, Sprachverarbeitung und Vorhersageanalysen. Siehe auch Künstliche Neuronale Netze, Konnektionismus, Computermodelle, Computation, Künstliche Intelligenz, Maschinenlernen._____________Anmerkung: Die obigen Begriffscharakterisierungen verstehen sich weder als Definitionen noch als erschöpfende Problemdarstellungen. Sie sollen lediglich den Zugang zu den unten angefügten Quellen erleichtern. - Lexikon der Argumente. | |||
| Autor | Begriff | Zusammenfassung/Zitate | Quellen |
|---|---|---|---|
|
Peter Norvig über Neuronale Netze – Lexikon der Argumente
Norvig I 761 Neuronale Netzwerke/Norvig/Russell: Literatur über Neuronale Netze: Cowan und Sharp (1988b(1), 1988a(2)) geben einen Überblick über die frühe Geschichte, beginnend mit den Arbeiten von McCulloch und Pitts (1943)(3). (Wie in Kapitel 1 erwähnt, hat John McCarthy auf die Arbeit von Nicolas Rashevsky (1936(4), 1938(5)) als das früheste mathematische Modell des neuronalen Lernens verwiesen). Norbert Wiener, ein Pionier der Kybernetik und Steuerungstheorie (Wiener, 1948)(6), arbeitete mit McCulloch und Pitts zusammen und beeinflusste eine Reihe junger Forscher, darunter Marvin Minsky, der 1951 vermutlich als erster ein funktionierendes neuronales Netzwerk in Hardware entwickelte (siehe Minsky und Papert, 1988(7), S. ix-x). Turing (1948)(8) schrieb einen Forschungsbericht mit dem Titel Intelligent Machinery, der mit folgendem Satz beginnt: "Ich schlage vor, die Frage zu untersuchen, ob es Maschinen möglich ist, intelligentes Verhalten zu zeigen" und daraufhin eine wiederkehrende Architektur neuronaler Netze beschreibt, die er "B-type unorganized machines" nannte, sowie einen Ansatz zu ihrem Training. Leider blieb der Bericht bis 1969 unveröffentlicht und wurde bis vor kurzem fast vollständig ignoriert. Frank Rosenblatt (1957)(9) erfand das moderne "Perzeptron" und bewies das Perceptron-Konvergenz-Theorem (1960), obwohl es durch rein mathematische Forschungsarbeiten außerhalb des Kontexts neuronaler Netze bereits vorausgeahnt worden war (Agmon, 1954(10); Motzkin und Schoenberg, 1954(11)). Es wurden auch einige frühe Arbeiten zu mehrschichtigen Netzen durchgeführt, darunter Gamba-Perzeptrons (Gamba et al., 1961)(12) und MADALINES (Widrow, 1962)(13). Learning Machines (Nilsson, 1965)(14) decken einen Großteil dieser frühen Arbeiten und mehr ab. Der spätere Niedergang der frühen Bemühungen in der Perzeptron-Forschung wurde durch das Buch Perceptrons (Minsky und Papert, 1969)(15) beschleunigt (oder, wie die Autoren später behaupteten, lediglich erklärt), in welchem die mangelnde mathematische Exaktheit des Fachgebiets beklagt wurde. Das Buch wies darauf hin, dass einschichtige Perzeptrons nur linear trennbare Begriffe darstellen könnten, und bemerkte das Fehlen effektiver Lernalgorithmen für mehrschichtige Netze. Die Veröffentlichungen in (Hinton und Anderson, 1981)(16), basierend auf einer Konferenz in San Diego in 1979, können als eine Renaissance des Konnektionismus betrachtet werden. Die zweibändige "PDP" (Parallel Distributed Processing)-Anthologie (Rumelhart et al., 1986a)(17) und ein kurzer Artikel in Nature (Rumelhart et al., 1986b)(18) erregte große Aufmerksamkeit - die Anzahl der Arbeiten über "neuronale Netze" hat sich zwischen 1980-84 und 1990-94 tatsächlich um den Faktor 200 vervielfacht. Die Analyse neuronaler Netze mithilfe der physikalischen Theorie der magnetischen Spin-Gläser (Amit et al., 1985)(19) hat die Verbindungen zwischen der statistischen Mechanik und der Theorie der neuronalen Netze intensiviert - und damit nicht nur nützliche mathematische Erkenntnisse, sondern auch Seriosität geliefert. Die Technik der Rückwärtspropagation wurde schon früh erfunden (Bryson und Ho, 1969)(20), aber sie wurde auch mehrmals wiederentdeckt (Werbos, 1974(21); Parker, 1985(22)). Die probabilistische Interpretation neuronaler Netze hat mehrere Quellen, darunter Baum und Wilczek (1988)(23) und Bridle (1990)(24). Die Rolle der Sigmoidfunktion wird von Jordan (1995)(25) diskutiert. Das Lernen von Bayesschen Parametern für neuronale Netze wurde von MacKay (1992)(26) vorgeschlagen Norvig I 762 und von Neal (1996)(27) weiter untersucht. Die Fähigkeit neuronaler Netze, Funktionen zu repräsentieren, wurde von Cybenko (1988(28), 1989(29)) untersucht, der zeigte, dass zwei verborgene Schichten ausreichen, um jede beliebige Funktion zu repräsentieren, und eine einzige Schicht ausreicht, um eine kontinuierliche Funktion zu repräsentieren. Die Methode der "optimal brain damage" (>Künstliche Neuronale Netze/Norvig) zur Entfernung ungenutzter Verbindungen stammt von LeCun et al. (1989)(30), und Sietsma und Dow (1988)(31) zeigen, wie ungenutzte Einheiten entfernt werden können. >Komplexität/Norvig. Norvig I 763 Bei den neuronalen Netzen sind Bishop (1995)(32), Ripley (1996)(33) und Haykin (2008)(34) die führenden Publikationen. Das Gebiet der Computational Neuroscience wird von Dayan und Abbott (2001)(35) abgedeckt. 1. Cowan, J. D. and Sharp, D. H. (1988b). Neural nets and artificial intelligence. Daedalus, 117, 85–121. 2. Cowan, J. D. and Sharp, D. H. (1988a). Neural nets. Quarterly Reviews of Biophysics, 21, 365–427. 3. McCulloch, W. S. and Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5, 115–137. 4. Rashevsky, N. (1936). Physico-mathematical aspects of excitation and conduction in nerves. In Cold Springs Harbor Symposia on Quantitative Biology. IV: Excitation Phenomena, pp. 90–97. 5. Rashevsky, N. (1938). Mathematical Biophysics: Physico-Mathematical Foundations of Biology. University of Chicago Press. 6. Wiener, N. (1948). Cybernetics. Wiley. 7. Minsky, M. L. and Papert, S. (1988). Perceptrons: An Introduction to Computational Geometry (Expanded edition). MIT Press. 8. Turing, A. (1948). Intelligent machinery. Tech. rep. National Physical Laboratory. reprinted in (Ince, 1992). 9. Rosenblatt, F. (1957). The perceptron: A perceiving and recognizing automaton. Report 85-460-1, Project PARA, Cornell Aeronautical Laboratory. 10. Agmon, S. (1954). The relaxation method for linear inequalities. Canadian Journal of Mathematics, 6(3), 382–392. 11. Motzkin, T. S. and Schoenberg, I. J. (1954). The elaxation method for linear inequalities. Canadian Journal of Mathematics, 6(3), 393–404. 12. Gamba, A., Gamberini, L., Palmieri, G., and Sanna, R. (1961). Further experiments with PAPA. Nuovo Cimento Supplemento, 20(2), 221–231. 13. Widrow, B. (1962). Generalization and information storage in networks of adaline “neurons”. In Self-Organizing Systems 1962, pp. 435–461. 14. Nilsson, N. J. (1965). Learning Machines: Foundations of Trainable Pattern-Classifying Systems. McGraw-Hill. Republished in 1990. 15. Minsky, M. L. and Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry (first edition). MIT Press. 16. Hinton, G. E. and Anderson, J. A. (1981). Parallel Models of Associative Memory. Lawrence Erlbaum Associates. 17. Rumelhart, D. E., Hinton, G. E., andWilliams, R. J. (1986a). Learning internal representations by error propagation. In Rumelhart, D. E. and McClelland, J. L. (Eds.), Parallel Distributed Processing, Vol. 1, chap. 8, pp. 318–362. MIT Press. 18. Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1986b). Learning representations by back propagating errors. Nature, 323, 533–536. 19. Amit, D., Gutfreund, H., and Sompolinsky, H. (1985). Spin-glass models of neural networks. Physical Review, A 32, 1007–1018. 20. Bryson, A. E. and Ho, Y.-C. (1969). Applied Optimal Control. Blaisdell. 21. Werbos, P. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Ph.D. thesis, Harvard University. 22. Parker, D. B. (1985). Learning logic. Technical report TR-47, Center for Computational Research in Economics and Management Science, Massachusetts Institute of Technology. 23. Baum, E. and Wilczek, F. (1988). Supervised learning of probability distributions by neural networks. In Anderson, D. Z. (Ed.), Neural Information Processing Systems, pp. 52–61. American Institute of Physics. 24. Bridle, J. S. (1990). Probabilistic interpretation of feedforward classification network outputs, with relationships to statistical pattern recognition. In Fogelman Souli´e, F. and H´erault, J. (Eds.), Neuro computing: Algorithms, Architectures and Applications. Springer-Verlag. 25. Jordan, M. I. (1995). Why the logistic function? a tutorial discussion on probabilities and neural networks. Computational cognitive science technical report 9503, Massachusetts Institute of Technology. 26. MacKay, D. J. C. (1992). A practical Bayesian framework for back-propagation networks. Neural Computation, 4(3), 448–472. 27. Neal, R. (1996). Bayesian Learning for Neural Networks. Springer-Verlag. 28. Cybenko, G. (1988). Continuous valued neural networks with two hidden layers are sufficient. Technical report, Department of Computer Science, Tufts University. 29. Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of Controls, Signals, and Systems, 2, 303–314. 30. LeCun, Y., Jackel, L., Boser, B., and Denker, J. (1989). Handwritten digit recognition: Applications of neural network chips and automatic learning. IEEE Communications Magazine, 27(11), 41– 46. 31. Sietsma, J. and Dow, R. J. F. (1988). Neural net pruning - Why and how. In IEEE International Conference on Neural Networks, pp. 325–333. 32. Bishop, C. M. (1995). Neural Networks for Pattern Recognition. Oxford University Press. 33. Ripley, B. D. (1996). Pattern Recognition and Neural Networks. Cambridge University Press. 34. Haykin, S. (2008). Neural Networks: A Comprehensive Foundation. Prentice Hall. 35. Dayan, P. and Abbott, L. F. (2001). Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems. MIT Press._____________ Zeichenerklärung: Römische Ziffern geben die Quelle an, arabische Ziffern die Seitenzahl. Die entsprechenden Titel sind rechts unter Metadaten angegeben. ((s)…): Kommentar des Einsenders. Übersetzungen: Lexikon der ArgumenteDer Hinweis [Begriff/Autor], [Autor1]Vs[Autor2] bzw. [Autor]Vs[Begriff] bzw. "Problem:"/"Lösung", "alt:"/"neu:" und "These:" ist eine Hinzufügung des Lexikons der Argumente. |
Norvig I Peter Norvig Stuart J. Russell Artificial Intelligence: A Modern Approach Upper Saddle River, NJ 2010 |
||
> Gegenargumente gegen Norvig
> Gegenargumente zu Neuronale Netze ...
