Tag Archives: deeplearning

Neural Network – really easy explained – I mean: really!

26 Samstag Mrz 2016

Posted by in Artificial Intelligence, Technologie

≈ Leave a Comment

Tags

, , , , ,

There is a lot talking going on about neural networks, deep learning, artifical intelligence. When people talk about neural networks I sometimes get the impression, that they think it’s

  1. either some almost lifelike thing : „it’s like the brain!“
  2. or that it’s really complicated math stuff, which no „normal“ person can understand.

Well first things first: it’s nothing lifelike at all.

It is actually just math: just adding and multiplying numbers. And it really looks complicated. But if you bite through all this math formulas, some books and some online video tutorials you get the impression, that the basics are not some kind of „higher math“ – it’s just complicated because you have a lot of numbers to calculate with.

 

If you have a bunch of numbers on a page, you can get really confused, what to multiply and add with what and where. To learn this stuff and to understand it sustainably(!) I needed some simple examples with which I can repeat this stuff again and again. And I learn best, if I explain it to someone else – therefore I wanted to create a presentation about neural networks.

A couple of month ago I stumbled over Trask’s article in which he wrote a neural network in just 11 lines of code.1 That really helped me a lot in doing my slides. I reused his code to calculate the numbers you find in this article. I plan to publish my IPython notebook corresponding to this article as well. It’s just not ready yet :-)

So, have fun!

 

And yeah it reeeeally looks complicated in math :-)

Andrew Ng explains Neural Network Backpropagation in the coursera machine learning MOOC

Andrew Ng explains neural network backpropagation in the coursera machine learning MOOC

But do not get me wrong: Andrew Ng is a really good and really pleasant teacher and I really like his course. I still look at it form time to time, if something is unclear to me (again :-). If you had a view at my slides and still want to know more about neural networks, I highly recommend his course. The math formulas do really have their rights here, because there is no better language to encapsulate the whole calculation process in just some tiny symbols. Understanding the formulas makes it much easier to talk about changes in the calculations in different implementations of neural networks. And in the course there is more stuff about neural networks. For example how to avoid errors like the one on my last screens.

  1. In case you wonder, how you can calculate so many numbers in just 11 lines of code: That’s another story about matrix multiplication, which is just like a „writing simplification“ of doing all the equations manually – if you need to refresh your school knowledge about matrix multiplication, I highly recommend the Khan-Academy. [↩]

Maschinen verstehen … immer mehr – aktueller Stand im DeepLearning

12 Freitag Dez 2014

Posted by in Artificial Intelligence, Technologie

≈ 1 Comment

Tags

, , , , ,

Großartiger TEDx Talk in Brüssel über Maschinen Intelligenz.

Die Schlüsseltechnologie in diesem Vortrag ist Deep Learning. Die Technologie beruht auf großen Neuralen Netzen. In einem meiner letzten Artikel habe ich das ein wenig erläutert.

Das Erstaunliche an der Technologie ist, dass Deep Learning Systeme relativ einfach Features in einer Masse von Daten erkennen können. Beispielsweise erkennen sie in Bildern Kanten, Ausrichtungen, Formen und können die Bilder nach diesen Features gruppieren. Das machen sie je nach Art der Daten besser als viele bisherige Clustering-Algorithmen. Tatsächlich sind sie in einigen Wettbewerben, in denen es beispielsweise um das Erkennen von  Straßenschildern ging, sogar besser als Menschen.

Im Video sieht man aber auch schön, wo die Grenzen liegen. Das System erkennt recht gut, welche Auto-Bilder einander ähnlich sind. Es erkennt aber nicht von alleine, welche die Vorderseite oder die Rückseite abbilden, da diese sich – im Vergleich seitlichen Aufnahmen oder Aufnahmen von Rädern – sehr ähneln. Hier muss wieder der Mensch ran, um zu sagen was ihm wichtig ist – denn er hat ein Ziel und möchte Handeln. Das Deep Learning System hat kein Ziel.

Classify Front and Back Pictures

Das Deep Learning System hat die Vorder- und Rückseiten noch nicht voneinander getrennt – der Mensch hilft mit.

Doch glasklar ist, dass ein solches System eine unglaubliche Unterstützung beim Suchen und Sortieren von relevanten Informationen ist. Ich vermute, dass solche System in Zukunft an immer mehr Orten anzutreffen sind. Überlegen wir mal, wie einfach es wäre mit einem solchen System Kunden-Anfragen, Produkt-Informationen oder Produktbilder zu klassifizieren und zu verschlagworten. Ähnlichkeitssuchen, die heute in kommerziellen Produkten eingesetzt werden, sind da in den meisten Fällen eher rudimentär oder sie sind sehr kundenspezifisch entwickelt worden und kosten dementsprechend.

Wenn man aber ein Deep Learning System einfach mit Daten füttern und die Gruppierung so einfach verbessern kann, wie in dem Auto-Bilder-Beispiel aus dem Video; wenn wir also so etwas wie ein „Standardprodukt“ für Daten-Gruppierung hätten, dann werden die Systeme überall integriert werden.

Aber erstens glaube ich nicht, dass es ganz so plug&play-mäßig funktioniert, wie in dem Video zu sehen, und zum zweiten kosten die Integration und das User-Interface pro Daten-Typ nochmal extra. Ich glaube die Hype-Kurve ist noch nicht ganz an der Spitze – das Tal der Enttäuschungen wird noch kommen :-)

 

 

Maschinen verstehen

06 Mittwoch Aug 2014

Posted by in Artificial Intelligence, Learning, Technologie

≈ 4 Comments

Tags

, , , , , , , , ,

In den letzten Monaten habe ich mich viel mit Künstlicher Intelligenz beschäftigt und bin nach wie vor fasziniert von dem Thema – bzw den Themen, denn es gibt so viele verschiedene Technologien und Ansätze.

  • Eine sehr gute Einführung, die einem die Geschichte, die Ansätze und Einsatzbereiche der KI nahe bringt: „Künstliche Intelligenz“ von Günter Görz und Bernhard Nebel.
  • Tiefgehender ist der „Grundkurs künstliche Intelligenz“ Wolfgang Ertel.
  • Data Mining und Maschinelles Lernen nutzen teilweise die gleichen Technologien – von daher fand ich den Quereinstieg über „Data Analysis with Open Source Tools“ von Philipp K. Janert auch interessant – auch wenn ich es noch nicht anwenden konnte, glaube ich dass das Hintergrundwissen mit noch zu Gute kommt.
  • Web Data Mining von Bing Liu bietet noch weitere Methoden wie Association Rules zur Wissens-Generierung aus Daten, die ich sicher noch verwenden kann.
  • Hat man die Grundlagen verstanden, lohnt sich der kostenlose Online-Kurs von Andrew Ng sehr! Hier wird das Verständnis für Neuronale Netze aus den mathematischen Grundlagen und anhand von Programmier-Beispielen in Octave aufgebaut. Danach wir einem klar, wie „einfach“ die Algorithmen letztlich sind. Mit einfach meine ich, dass sie gar nicht so kompliziert sind, wie sie anfangs erscheinen – einfach heißt nicht dumm. Sie sind extrem leistungsfähig, und die Menschen, die sie erdacht haben sind äußerst gewitzt vorgegangen. Mein Respekt – aber auch Verständnis – für Mathematiker ist in dem Kurs nochmal gewachsen.

Allerdings bin ich auch ein wenig enttäuscht. Sicherlich habe ich bisher nur an der Oberfläche gekratzt, kenne nur die Werkzeuge und ich lasse mich gerne noch überraschen. Mein erster Eindruck ist aber, dass wir noch weit, weit, weit von einer „echten“ künstlichen Intelligenz – einer „starken KI“ entfernt sind, die einen Menschen in seinen Problemlösungs-Fähigkeiten und mit Bewusstsein nachbilden soll. Auf einer Skala von „normaler“ Software(1) bis „menschlicher“ Intelligenz(10) liegt die KI bei maximal 3 würde ich behaupten. Dafür hole ich ein wenig aus – hoffe ihr habt ein paar Minuten – aber es wird interessant – versprochen :-) Continue reading »