Thema:
Re:Neuronale Netzwerke flat
Autor: _bla_
Datum:14.01.18 23:28
Antwort auf:Neuronale Netzwerke von mat

>Ich hab den Eindruck, was von vielen nicht genug oder auch gar nicht wahrgenommen wird, ist die Geschichte mit den neuronalen Netzwerken, also dem Machine Learning bzw. Deep Learning.
>Basierend auf Forschung aus den 90ern, deren Erkenntnisse erst jetzt umsetzbar sind, weil die Computer jetzt schnell genug und gerade auch die Datenmengen groß genug geworden sind, gab es speziell bei Google und in China riesige Fortschritte.


Naja. Viele Grundlagen stammen tatsächlich aus den 90ern, aber es ist auch vieles neu dazugekommen. Es hat nicht nur die fehlende Rechenleistung gelegen, man war auch aus theoretischen Gründen der Meinung, das auch viel Rechenleistung eigentlich nicht die Situation nicht deutlich verbessern würde. Die Rechenleistung war auch nicht unwichtig, aber eben auch Sachen wie die Verfügbarkeit großer Datensätze oder eben auch Sachen wie ReLU als Aktivierungsfunktion oder Pre-training um an dem Vanishing Gradient Problem vorbeizukommen.


>Wir haben mittlerweile Technologie, die aus dem Betrachten einer großen Anzahl von Schachpartien das Schachspielen erlernen kann - von den Regeln des Spiels selbst bis zur ausgeklügelten Strategie, so dass kein menschlicher Spieler mehr mithalten kann. Und das alles innerhalb einer Stunde (wenn auch mit hoch-parallelisierter High-End-Hardware).

Ein bisschen vorsichtig muss man dabei sein. In dem Algorithmus dafür stecken zwar nicht die Schachregeln direkt drin, aber trotzdem ist das Ganze alles andere als universell und passt halt auf Spiele wie Schach oder Go, aber auf viele andere wieder gar nicht.


>Insgesamt hab ich den Eindruck, dass diese neuronalen Netzwerke immer mehr menschlichen Kleinkindern ähneln, wobei die natürlich auf alles mögliche reagieren können, und neuronale Netzwerke nur die Aufgabe lösen können, auf die sie trainiert wurden.

Das ist aber ein falscher Eindruck. Neuronale Netzwerke können darauf trainiert werden Sachen zu machen, die früher als kaum machbar oder extrem schwer galten. Aber sie sind weit von einem menschlichen Kleinkind entfernt. Das menschliche Kleinkind lernt praktisch automatisch, bei den neuronalen Netzwerken hingegen brauchst du Experten, die den Aufbau des Netzwerks genau für das Problem anpassen, Beispieldaten werden oft in sehr großer Menge benötigt, sie müssen aufwendig aufbereitet werden, die richtigen Hyperparameter für das Training müssen gefunden werden usw.


>Aber in der breiten Öffentlichkeit scheint es kein rechtes Bewusstsein für diese Weiterentwicklung zu geben. Selbst die Informierteren unter meinen Freunden sind überrascht, wenn ich denen mal eine Linksammlung rüberschicke. Dabei sehen viele die Fähigkeiten z.B. der Google-Bildersuche oder nutzen Apps wie Prism (Stil-Übertragung von einem Bild ins andere).

Wobei man oft vorsichtig sein muss, weil es viele sehr beeindruckende Demonstrationen gibt, bei denen aber die Beschränkungen oft nicht klar werden. Es gibt bspw. neuronale Netzwerke, die aus einem Pixelhaufen, CSI-artig, ein sehr realistisches Gesicht rekonstruieren. Ist sehr beeindruckend, es fällt aber ganz leicht unter den Tisch, das es eben nur mit Gesichtern funktioniert und die rekonstruierten Gesichter teilweise rein gar nichts mit dem ursprünglichen Gesicht zu tun haben und versucht man das Netz auf die Rekonstruktion vieler unterschiedlicher Objekttypen zu trainieren klappt es praktisch gar nicht mehr.

>Gleichzeitig übersehen viele, die neuronale Netzwerke als Heilsbringer feiern, wie fehleranfällig sie sind. Erstmal erwartet man zum Beispiel von Deep-Learning-unterstützter Spracherkennung perfekte Ergebnisse, während selbst Menschen weit davon entfernt sind, alles zu verstehen. Und dann gibt es Forschungsergebnisse, die nahelegen wie leicht die Netzwerke zu überlisten sind, indem man Fehlklassifizierung gezielt ausnutzt und so dafür sorgt, dass die Bilderkennung statt einer Schildkröte ein Maschinengewehr erkennt, während kein Mensch auf diese abwegige Idee käme (dazu ein empfehlenswertes Video vom Chaos Communications Congress: [https://media.ccc.de/v/34c3-8860-deep_learning_blindspots]).
>


>Hochinteressantes Thema jedenfalls. Manchmal denke ich schonmal präventiv "I welcome our new robot overlords". Lang dauert das so nicht mehr bis zur Singularität.

Ich denke schon. Die aktuellen Fortschritte sorgen wieder mal dafür, das man meint, jetzt wäre praktisch schon alle entscheidenden Probleme gelöst. Dabei ist völlig unklar, wie viele Probleme noch gelöst werden müssen. Etwa so als ob ein Handwerker der bisher nur eine Säge kannte und dann ein Hammer gefunden hat. Er wird sich erstmal total freuen, was er jetzt alles neues bauen kann und wird erstmal ein Weile lang neue Nutzungsmöglichkeiten für sein neues Werkzeug finden, zwischendurch wird er wahrscheinlich überoptimistisch davon ausgehen, das er mit der richtigen Nutzung von Säge und Hammer alles beliebige Bauen kann und er nur noch etwas üben muss, aber irgendwann wird er feststellen, das es einfach noch ganz anderer Werkzeuge bedarf. Bisher werden bspw. praktisch immer sehr sehr große Datenmengen fürs Training benötigt. Menschen hingegen können oftmals aus sehr wenigen Beispielen lernen. Zeig einem Menschen der noch nie ein Quokka gesehen hat, ein einzelnes Bild von einem Quokka und er wird es vermutlich im Zoo wiedererkennen können, auch wenn es in einem ganz anderen Winkel steht als in dem Bild. Das neuronale Netz ist hingegen ziemlich aufgeschmissen, wenn es nur ein einzelnes Beispiel hat und wird tausende Beispielbilder brauchen, um Quokkas erkennen zu können.


< antworten >