• IT Specialist
  • Who I am
  • Blog

Kopfknacker

~ breaking my head...

Tag Archives: deeplearning

Neural Network – really easy explained – I mean: really!

26 Samstag Mrz 2016

Posted by Christoph Diefenthal in Artificial Intelligence, Technologie

≈ Leave a Comment

Tags

AI, artificial intelligence, deeplearning, machinelearning, neural network, software

There is a lot talking going on about neural networks, deep learning, artifical intelligence. When people talk about neural networks I sometimes get the impression, that they think it’s

  1. either some almost lifelike thing : „it’s like the brain!“
  2. or that it’s really complicated math stuff, which no „normal“ person can understand.

Well first things first: it’s nothing lifelike at all.

It is actually just math: just adding and multiplying numbers. And it really looks complicated. But if you bite through all this math formulas, some books and some online video tutorials you get the impression, that the basics are not some kind of „higher math“ – it’s just complicated because you have a lot of numbers to calculate with.

 

If you have a bunch of numbers on a page, you can get really confused, what to multiply and add with what and where. To learn this stuff and to understand it sustainably(!) I needed some simple examples with which I can repeat this stuff again and again. And I learn best, if I explain it to someone else – therefore I wanted to create a presentation about neural networks.

A couple of month ago I stumbled over Trask’s article in which he wrote a neural network in just 11 lines of code.1 That really helped me a lot in doing my slides. I reused his code to calculate the numbers you find in this article. I plan to publish my IPython notebook corresponding to this article as well. It’s just not ready yet :-)

So, have fun!

 

And yeah it reeeeally looks complicated in math :-)

Andrew Ng explains Neural Network Backpropagation in the coursera machine learning MOOC

Andrew Ng explains neural network backpropagation in the coursera machine learning MOOC

But do not get me wrong: Andrew Ng is a really good and really pleasant teacher and I really like his course. I still look at it form time to time, if something is unclear to me (again :-). If you had a view at my slides and still want to know more about neural networks, I highly recommend his course. The math formulas do really have their rights here, because there is no better language to encapsulate the whole calculation process in just some tiny symbols. Understanding the formulas makes it much easier to talk about changes in the calculations in different implementations of neural networks. And in the course there is more stuff about neural networks. For example how to avoid errors like the one on my last screens.

  1. In case you wonder, how you can calculate so many numbers in just 11 lines of code: That’s another story about matrix multiplication, which is just like a „writing simplification“ of doing all the equations manually – if you need to refresh your school knowledge about matrix multiplication, I highly recommend the Khan-Academy. [↩]

Maschinen verstehen … immer mehr – aktueller Stand im DeepLearning

12 Freitag Dez 2014

Posted by Christoph Diefenthal in Artificial Intelligence, Technologie

≈ 1 Comment

Tags

AI, deeplearning, Jeremy Howard, ki, machinelearning, tedtalk

Großartiger TEDx Talk in Brüssel über Maschinen Intelligenz.

Die Schlüsseltechnologie in diesem Vortrag ist Deep Learning. Die Technologie beruht auf großen Neuralen Netzen. In einem meiner letzten Artikel habe ich das ein wenig erläutert.

Das Erstaunliche an der Technologie ist, dass Deep Learning Systeme relativ einfach Features in einer Masse von Daten erkennen können. Beispielsweise erkennen sie in Bildern Kanten, Ausrichtungen, Formen und können die Bilder nach diesen Features gruppieren. Das machen sie je nach Art der Daten besser als viele bisherige Clustering-Algorithmen. Tatsächlich sind sie in einigen Wettbewerben, in denen es beispielsweise um das Erkennen von  Straßenschildern ging, sogar besser als Menschen.

Im Video sieht man aber auch schön, wo die Grenzen liegen. Das System erkennt recht gut, welche Auto-Bilder einander ähnlich sind. Es erkennt aber nicht von alleine, welche die Vorderseite oder die Rückseite abbilden, da diese sich – im Vergleich seitlichen Aufnahmen oder Aufnahmen von Rädern – sehr ähneln. Hier muss wieder der Mensch ran, um zu sagen was ihm wichtig ist – denn er hat ein Ziel und möchte Handeln. Das Deep Learning System hat kein Ziel.

Classify Front and Back Pictures

Das Deep Learning System hat die Vorder- und Rückseiten noch nicht voneinander getrennt – der Mensch hilft mit.

Doch glasklar ist, dass ein solches System eine unglaubliche Unterstützung beim Suchen und Sortieren von relevanten Informationen ist. Ich vermute, dass solche System in Zukunft an immer mehr Orten anzutreffen sind. Überlegen wir mal, wie einfach es wäre mit einem solchen System Kunden-Anfragen, Produkt-Informationen oder Produktbilder zu klassifizieren und zu verschlagworten. Ähnlichkeitssuchen, die heute in kommerziellen Produkten eingesetzt werden, sind da in den meisten Fällen eher rudimentär oder sie sind sehr kundenspezifisch entwickelt worden und kosten dementsprechend.

Wenn man aber ein Deep Learning System einfach mit Daten füttern und die Gruppierung so einfach verbessern kann, wie in dem Auto-Bilder-Beispiel aus dem Video; wenn wir also so etwas wie ein „Standardprodukt“ für Daten-Gruppierung hätten, dann werden die Systeme überall integriert werden.

Aber erstens glaube ich nicht, dass es ganz so plug&play-mäßig funktioniert, wie in dem Video zu sehen, und zum zweiten kosten die Integration und das User-Interface pro Daten-Typ nochmal extra. Ich glaube die Hype-Kurve ist noch nicht ganz an der Spitze – das Tal der Enttäuschungen wird noch kommen :-)

 

 

Maschinen verstehen

06 Mittwoch Aug 2014

Posted by Christoph Diefenthal in Artificial Intelligence, Learning, Technologie

≈ 4 Comments

Tags

AI, begreifen, deeplearning, intelligenz, ki, lernen, machineintelligence, machinelearning, software, wissen

In den letzten Monaten habe ich mich viel mit Künstlicher Intelligenz beschäftigt und bin nach wie vor fasziniert von dem Thema – bzw den Themen, denn es gibt so viele verschiedene Technologien und Ansätze.

  • Eine sehr gute Einführung, die einem die Geschichte, die Ansätze und Einsatzbereiche der KI nahe bringt: „Künstliche Intelligenz“ von Günter Görz und Bernhard Nebel.
  • Tiefgehender ist der „Grundkurs künstliche Intelligenz“ Wolfgang Ertel.
  • Data Mining und Maschinelles Lernen nutzen teilweise die gleichen Technologien – von daher fand ich den Quereinstieg über „Data Analysis with Open Source Tools“ von Philipp K. Janert auch interessant – auch wenn ich es noch nicht anwenden konnte, glaube ich dass das Hintergrundwissen mit noch zu Gute kommt.
  • Web Data Mining von Bing Liu bietet noch weitere Methoden wie Association Rules zur Wissens-Generierung aus Daten, die ich sicher noch verwenden kann.
  • Hat man die Grundlagen verstanden, lohnt sich der kostenlose Online-Kurs von Andrew Ng sehr! Hier wird das Verständnis für Neuronale Netze aus den mathematischen Grundlagen und anhand von Programmier-Beispielen in Octave aufgebaut. Danach wir einem klar, wie „einfach“ die Algorithmen letztlich sind. Mit einfach meine ich, dass sie gar nicht so kompliziert sind, wie sie anfangs erscheinen – einfach heißt nicht dumm. Sie sind extrem leistungsfähig, und die Menschen, die sie erdacht haben sind äußerst gewitzt vorgegangen. Mein Respekt – aber auch Verständnis – für Mathematiker ist in dem Kurs nochmal gewachsen.

Allerdings bin ich auch ein wenig enttäuscht. Sicherlich habe ich bisher nur an der Oberfläche gekratzt, kenne nur die Werkzeuge und ich lasse mich gerne noch überraschen. Mein erster Eindruck ist aber, dass wir noch weit, weit, weit von einer „echten“ künstlichen Intelligenz – einer „starken KI“ entfernt sind, die einen Menschen in seinen Problemlösungs-Fähigkeiten und mit Bewusstsein nachbilden soll. Auf einer Skala von „normaler“ Software(1) bis „menschlicher“ Intelligenz(10) liegt die KI bei maximal 3 würde ich behaupten. Dafür hole ich ein wenig aus – hoffe ihr habt ein paar Minuten – aber es wird interessant – versprochen :-) Continue reading »

Categories

  • Artificial Intelligence
  • Data Analytics
  • Innovation
  • Leadership
  • Learning
  • Motivation
  • Organisation
  • Philosophical
  • Technologie
  • Uncategorized
  • User Interface

Tags

3D 3D Drucker AI anfänger artificial intelligence aufmerksamkeit begreifen biblionetz blog deeplearning delegieren denkfehler dueck early adopters erfindung erwartungen führung gedanken gelassenheit hüther innovation intelligenz ki konstruktivismus konzepte lernen machinelearning motivation multitouch organisieren programmieren real schreiben sinek software softwareentwicklung statistik thebrain triz vertrauen virtuell wahrheit wissen worte zukunft

Last Posts

  • Auf zu neuen Welten
  • Neural Network – really easy explained – I mean: really!
  • Analysing DATA2 – Star Trek and Predict Who Said What via Multinomial Naive Bayes
  • Analyzing DATA – Pandas, Python and Star Trek: The Next Generation
  • No one can tell you you can’t learn about yourself!

Archive

  • September 2018
  • März 2016
  • Januar 2016
  • Oktober 2015
  • August 2015
  • Juni 2015
  • Februar 2015
  • Januar 2015
  • Dezember 2014
  • November 2014
  • September 2014
  • August 2014
  • Juli 2014
  • Juni 2014
  • März 2014
  • Februar 2014
  • Januar 2014
  • November 2013
  • Oktober 2013
  • August 2013
  • Juli 2013
  • Juni 2013
  • Mai 2013

Meta

  • Anmelden
  • Feed der Einträge
  • Kommentare-Feed
  • WordPress.org

Tweets

Meine Tweets

Proudly powered by WordPress Theme: Chateau by Ignacio Ricci.

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. Cookie settingsACCEPT
Privacy & Cookies Policy

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these cookies, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may have an effect on your browsing experience.
Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these cookies, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may have an effect on your browsing experience.

Notwendig immer aktiv

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Nicht notwendig

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.