Maschinen verstehen … immer mehr – aktueller Stand im DeepLearning

Tags

, , , , ,

Großartiger TEDx Talk in Brüssel über Maschinen Intelligenz.

Die Schlüsseltechnologie in diesem Vortrag ist Deep Learning. Die Technologie beruht auf großen Neuralen Netzen. In einem meiner letzten Artikel habe ich das ein wenig erläutert.

Das Erstaunliche an der Technologie ist, dass Deep Learning Systeme relativ einfach Features in einer Masse von Daten erkennen können. Beispielsweise erkennen sie in Bildern Kanten, Ausrichtungen, Formen und können die Bilder nach diesen Features gruppieren. Das machen sie je nach Art der Daten besser als viele bisherige Clustering-Algorithmen. Tatsächlich sind sie in einigen Wettbewerben, in denen es beispielsweise um das Erkennen von  Straßenschildern ging, sogar besser als Menschen.

Im Video sieht man aber auch schön, wo die Grenzen liegen. Das System erkennt recht gut, welche Auto-Bilder einander ähnlich sind. Es erkennt aber nicht von alleine, welche die Vorderseite oder die Rückseite abbilden, da diese sich – im Vergleich seitlichen Aufnahmen oder Aufnahmen von Rädern – sehr ähneln. Hier muss wieder der Mensch ran, um zu sagen was ihm wichtig ist – denn er hat ein Ziel und möchte Handeln. Das Deep Learning System hat kein Ziel.

Classify Front and Back Pictures

Das Deep Learning System hat die Vorder- und Rückseiten noch nicht voneinander getrennt – der Mensch hilft mit.

Doch glasklar ist, dass ein solches System eine unglaubliche Unterstützung beim Suchen und Sortieren von relevanten Informationen ist. Ich vermute, dass solche System in Zukunft an immer mehr Orten anzutreffen sind. Überlegen wir mal, wie einfach es wäre mit einem solchen System Kunden-Anfragen, Produkt-Informationen oder Produktbilder zu klassifizieren und zu verschlagworten. Ähnlichkeitssuchen, die heute in kommerziellen Produkten eingesetzt werden, sind da in den meisten Fällen eher rudimentär oder sie sind sehr kundenspezifisch entwickelt worden und kosten dementsprechend.

Wenn man aber ein Deep Learning System einfach mit Daten füttern und die Gruppierung so einfach verbessern kann, wie in dem Auto-Bilder-Beispiel aus dem Video; wenn wir also so etwas wie ein „Standardprodukt“ für Daten-Gruppierung hätten, dann werden die Systeme überall integriert werden.

Aber erstens glaube ich nicht, dass es ganz so plug&play-mäßig funktioniert, wie in dem Video zu sehen, und zum zweiten kosten die Integration und das User-Interface pro Daten-Typ nochmal extra. Ich glaube die Hype-Kurve ist noch nicht ganz an der Spitze – das Tal der Enttäuschungen wird noch kommen :-)

 

 

Wahrheit, Schuld, Bedeutung, Schizophrenie, Sinn, Lernen – was haben diese Begriffe gemeinsam

Tags

, , , , , , ,

Warum gibt es diese Konzepte überhaupt? Sind sie etwas Reales? Gibt es Wahrheit? Gibt es Schuld ? Oder sind das Erfindungen?

Die Begriffe sind vom Inhalt her aus völlig unterschiedlichen Bereichen.
Aber sie haben eines gemeinsam: Ohne Kontext sind sie nicht denkbar.

Es sind verschiedene Kontexte: innere, persönliche, soziale Kontexte. Die Grundlage ist bei allen dieselbe: Gebildet werden die Konzepte aus Regeln, die wir einmal akzeptiert haben und denen wir vertrauen. Im Folgenden hangle ich mich von rein inneren Begriffen wie „Wahrheit“1 bis zu sozialen Begriffen wie „Schuld“2, um Kontext und Regeln genauer zu beleuchten und den Zusammenhang herauszustellen. Mal sehen wohin die Reise dann noch geht.

Wahrheit

Von der Wahrheit meint man, dass es eine Einzige geben muss. Entweder ist etwas wahr oder falsch. Punkt. Ob es diese einzige objektive Wahrheit gibt, sei mal dahingestellt – wenn ja, dann wissen wir nie, ob wir sie schon erreicht haben, denn wir können unsere Wahrnehmung oder Annahmen nicht mit der Wahrheit vergleichen. Wir haben immer nur unsere Wahrnehmungen und die Regeln nach denen wir sie ordnen.

Die Entscheidung, ob etwas wahr oder falsch ist, treffe ich nur anhand von Regeln, die ich in mir bilde, und deren Ergebnis ich für wahr halte.  „Schau dort hin, dann siehst du einen roten Ball“ oder „Wenn du 1 und 1 und 1 zusammenziehst, dann schreibe hinter dem Gleichheitszeichen eine 3“. Manche dieser Wenn-Dann-Regeln, wie das „Wenn Hinschauen, dann ist das Gesehene da“, klingen trivial, denn wir haben sie schon früh gelernt. Manche sind sogar angeboren. Nichts desto trotz sind dies die Regeln, auf die wir uns verlassen. Zauberer und optische Täuschungen nutzen unser Vertrauen in diese Regeln schamlos aus.

linien

Durch die „Regel der Perspektive“, die wir verinnerlicht haben, wirkt die obere Linie länger als die untere. Mehr davon hier.

Continue reading »

  1. ich allein entscheide was ich für wahr halte, andere können widersprechen und auch mit Naturgesetzen argumentieren, aber ich entscheide selbst was wahr ist []
  2. andere entscheiden, wessen ich mich schuldig mache []

Die Schuld hat Ihre Schuldigkeit getan, die Schuld kann gehen

Tags

, ,

Warum reden eigentlich immer alle gleich von Schuld, wenn etwas schief geht? Kaum spricht einer das Wort aus, gehen alle in Hab-Acht-Stellung, bereit zur Verteidigung: „Das war nicht mein Fehler, da hat der da Schuld.“ Und schon ist es wieder soweit: Es wird nicht mehr über das gesprochen was da schief ging, sondern nur noch über den Verursacher. Selbst wenn man dann die Diskussion wenden möchte, wenn man zurück zum Thema möchte, wird jeder Satz kritisch beäugt – es könnte ja heimlich Kritik an meiner Person sein! … Es ist so mühselig.

Es ist verständlich, dass niemand seine Person in Frage gestellt sehen möchte. Man hat die Situation anders eingeschätzt, als wie sie sich nun herausstellt. Der Fehler ist trotz bester Absichten entstanden. Begegnet man einer solchen Situation, mit der man nicht gerechnet hat, dann muss man eine Neubewertung vornehmen. Meist muss nicht das gesamtes eigene Weltbild dafür angepaßt werden, aber doch Teile davon. Man selbst muss das eigene Deutungsschema auf Druck von außen in Frage stellen. „Who am I in this situation?“ schrieb  Anselm Strauss dazu in „Mirrors and Masks“. Denn wenn das eigene Deutungsschema in Frage gestellt wird, dann ist das auch immer eine Infragestellung der eigenen Identität. Und das wird mit Recht als Bedrohung angesehen.

So verständlich es also ist, dass jemand sich bedroht fühlt, wenn ein unerwartetes Problem auftritt. Die Frage nach der Schuld behindert die Suche nach der Lösung ungemein. Wie Peter Kruse schon im Video: „8 Regeln für den totalen Stillstand in Unternehmen“ sagte: „Finden Sie raus, wer wirklich Schuld ist. Analysieren Sie. Fangen Sie bloss nicht an zu ändern“ – sehr beliebt in deutschen Unternehmen :-)

Continue reading »

Maschinen verstehen

Tags

, , , , , , , , ,

In den letzten Monaten habe ich mich viel mit Künstlicher Intelligenz beschäftigt und bin nach wie vor fasziniert von dem Thema – bzw den Themen, denn es gibt so viele verschiedene Technologien und Ansätze.

  • Eine sehr gute Einführung, die einem die Geschichte, die Ansätze und Einsatzbereiche der KI nahe bringt: „Künstliche Intelligenz“ von Günter Görz und Bernhard Nebel.
  • Tiefgehender ist der „Grundkurs künstliche Intelligenz“ Wolfgang Ertel.
  • Data Mining und Maschinelles Lernen nutzen teilweise die gleichen Technologien – von daher fand ich den Quereinstieg über „Data Analysis with Open Source Tools“ von Philipp K. Janert auch interessant – auch wenn ich es noch nicht anwenden konnte, glaube ich dass das Hintergrundwissen mit noch zu Gute kommt.
  • Web Data Mining von Bing Liu bietet noch weitere Methoden wie Association Rules zur Wissens-Generierung aus Daten, die ich sicher noch verwenden kann.
  • Hat man die Grundlagen verstanden, lohnt sich der kostenlose Online-Kurs von Andrew Ng sehr! Hier wird das Verständnis für Neuronale Netze aus den mathematischen Grundlagen und anhand von Programmier-Beispielen in Octave aufgebaut. Danach wir einem klar, wie „einfach“ die Algorithmen letztlich sind. Mit einfach meine ich, dass sie gar nicht so kompliziert sind, wie sie anfangs erscheinen – einfach heißt nicht dumm. Sie sind extrem leistungsfähig, und die Menschen, die sie erdacht haben sind äußerst gewitzt vorgegangen. Mein Respekt – aber auch Verständnis – für Mathematiker ist in dem Kurs nochmal gewachsen.

Allerdings bin ich auch ein wenig enttäuscht. Sicherlich habe ich bisher nur an der Oberfläche gekratzt, kenne nur die Werkzeuge und ich lasse mich gerne noch überraschen. Mein erster Eindruck ist aber, dass wir noch weit, weit, weit von einer „echten“ künstlichen Intelligenz – einer „starken KI“ entfernt sind, die einen Menschen in seinen Problemlösungs-Fähigkeiten und mit Bewusstsein nachbilden soll. Auf einer Skala von „normaler“ Software(1) bis „menschlicher“ Intelligenz(10) liegt die KI bei maximal 3 würde ich behaupten. Dafür hole ich ein wenig aus – hoffe ihr habt ein paar Minuten – aber es wird interessant – versprochen :-) Continue reading »

Quizfrage: 2,4,6 was kommt als nächstes?

Tags

, ,

8,10,12 vermutlich, oder?

Genau und dann?

14,16,18 …

Richtig

Also immer plus 2 – ist doch ganz einfach!

Je mehr richtige Antworten wir geben, desto sicherer werden wir, dass die Regel, die wir im Kopf haben, stimmt. Was aber, wenn die Regel nur lautet: Die nächste Zahl muss höher sein als die vorherige?

Bestätigungsfehler

… nennt man diese Art von Denkfehler. Oft wählen wir nur Informationen aus, die unseren Erwartungen entsprechen, anstatt das Gegenteil zu prüfen, zu versuchen die Regel in unserem Kopf zu widerlegen!

In Talebs Buch „Der Schwarze Schwan bin ich wieder einmal auf das Beispiel gestoßen. Mit schwarzen Schwänen bezeichnet er eben genau die Art von Ereignissen, die plötzlich und unerwartet eintreten, weil wir nicht damit gerechnet haben – nicht mal auf dem Schirm hatten, dass sie auftreten würden.

Continue reading »

Zeitungen sind die Supermärkte des Journalismus

Tags

, ,

Guter Lesestoff!

http://www.baekdal.com/insights/what-if-quality-journalism-isnt/

Die New York Times hat analysiert, warum Sie immer weniger Traffic abbekommt.

Ihr Ergebnis ist: Es liegt nicht am Produkt, es liegt am Marketing! Der Autor sieht das ein bisschen anders…

Wenn eine Zeitung alles für alle hat, und jeden nur ein bisschen was davon interessiert, dann ist es ein Supermarkt! Und wer geht in einen Supermarkt, in dem er an tausend Reaglen vorbeigehen muss, die ihn nicht interessieren, wenn er alles was ihn INTERESSIERT, direkt vor der Haustür hat?

 

Well, companies like Nike, Starbucks, Tesla and GoPro are extremely niche brands targeting people with a very specific customer need, within a very narrow niche. This is the exact opposite of the traditional newspaper model. Each one of Nike’s products, for example, are highly valuable to just their niche, but not that relevant outside it.
Whereas Walmart and Tesco are mass-market brands that offer a lot of everything in the hope that people might decide to buy something. They trade off relevance for size and convenience.
In other words, newspapers are the supermarkets of journalism. You are not the brands. Each article (your product) has almost zero value, but as a whole, there is always a small percentage of your offering that people need.

The New York Times is publishing 300 new articles every single day, and in their Innovation Report they discuss how to surface even more from their archives. This is the Walmart business model.
It’s the same with how print newspapers used to work. We needed this one place to go because it was too hard to get news from multiple sources.

Imagine what would happen to real-world supermarkets, if every brand was just one step away, regardless of what you wanted. Would you still go to a supermarket, knowing that 85% of the products you see would be of no interest to you? Or would you instead turn directly to each brand that you care about?
http://www.baekdal.com/insights/what-if-quality-journalism-isnt/

Amazon hat auch alle Produkte, aber es ist kein Massen-Markt, sondern es kümmert sich um die Bedürfnisse jedes Einzelnen.

Amazon might be a supermarket in terms of the variety (and randomness) of the products offered, but it’s business model is based on fulfilling people’s intent.

Amazon is the exact opposite of that. You never go to Amazon just to browse around. You go to Amazon because you have a specific intent. You are looking for something specific, and you have turned to Amazon to see what price they are offering it.
http://www.baekdal.com/insights/what-if-quality-journalism-isnt/

Interessant finde ich auch den Gedanken zu den „funktionierenden“ Modellen im Internet:

But in the digital world, we have no scarcity and there are no limitations. As such, the editorial model of a generalized package doesn’t really work. Instead, we have three other models:

  1. The Amazon model (the supermarket of intent). Here you start with people’s intent, and then you deliver that with the highest form of targeting possible.

  2. The social model (the supermarket of interest). Here you start with what people are interested in, and then you build your offerings around those interests for that specific individual.

  3. The niche model. This is what goes into either the Amazon or the social model.

 

Der bisherige „Massen“-Supermarkt funktioniert online nicht, da die Wege zu dem was mich wirklich interessiert so viel kürzer sind. Früher war es ein Problem effektive an viele (und gute) Informationen zu kommen, die mich interessieren, so wie es heute noch ein Problem ist effektiv an viele (und gute) Produkte zu kommen, die mich interessieren. Wenn mein Kühlschrank einmal alle Produkte selber bestellt, die ich benötige, dann wird auch langsam das Ende der Supermärkte kommen…

Vielleicht machen sie dann auch mehr Werbung? Das Geschäftsmodell selber kann ja nicht das Problem sein…

Big Data, Big Mind, Big Thinking

Tags

, , , ,

Es ist immer wieder schön, wenn man die eigenen Gedanken wiederfindet.

In What Am I Thinking About You? beschreibt Neurowissenschaftlerin Rebecca Saxe, wie eine „Theorie des Mind“1, die eine Maschine von uns entwickelt, Ihre Möglichkeiten uns zu verstehen steigern kann.

Ziele in anderen zu erkennen, ist dabei ein wichtiges Feature.

Ein Zweig der künstlichen Intelligenz-Forschung ist das Verstehen von menschlicher Sprache. Sentiment Analysis versucht bspw. anhand von Facebook und Twitter Kommentaren zu erkennen, ob wir bestimmte Produkte mögen oder nicht. 80% kann man schnell erschlagen, aber wenn jemand ironisch wird oder sein Missfallen in Übertreibung ausdrückt, dann kann das eine Maschine nur sehr schwer erkennen.

Big Data hilft hier weiter – man kann anhand statistischer Vergleiche in großen Datenmengen feststellen, ob ein ähnliches Kommentar eher eine Übertreibung oder Ironie ist. Aber das ist kein „Verständnis“. Komplett Neues – bspw. ein neuer Slang-Begriff wie „voll fett“ – wird dabei schnell als Missfallen interpretiert, wenn man die Hintergründe nicht kennt.

Nicht umsonst sagt Rebecca Saxe:

We can recognize and think about and reason through a literally infinite set of situations and goals and human minds. And yet we have a very particular and finite machinery to do that. So what are the right ingredients? … the human brain devotes a lot of resources to so-called social cognition

Um Neues beurteilen zu können, braucht auch eine Maschine eine „Theorie of Mind“ von Ihrem Gegenüber.

What were her goals? What did she want? What changed her mind? There are all kinds of features of that story that you were able to extract in the moment. If a computer could extract [such] features, we could [improve its ability to do] sentiment analysis.

Die Maschine muss erkennen können, was HINTER den Handlungen steckt. Sie muss Annahmen treffen, die zu Ihren Wahrnehmungen des Gegenüber passen.

Nichts anderes machen wir bspw., wenn uns jemand begegnet, von dem wir dachten, dass er traurig sein sollte. Er lacht! Unsere Wahrnehmung passt nicht zu unseren Annahmen. Wir müssen unser Model korrigieren, bzw müssen etwas neues postulieren, dass sie zum Lachen bringt. Etwas, von dem wir nicht wussten, dass es da ist.

My colleague Josh Tenenbaum and I have been working for years just to build a kind of mathematical representation of what it means to think of somebody as having a plan or a goal, such that this model can predict human judgments about the person’s goal in a really simple context. What do you need to know about a goal? We’re trying to build models that describe that knowledge.

Big Data kann das nicht!

This is not big data; it’s trying to describe the structure of the knowledge.

aber…

That’s always been viewed as an opposition: the people who want bigger data sets and the people who want the right knowledge structures. […] What used to be viewed as opposite traditions in AI should now be viewed as complementary, where you try to figure out probabilistic representations that learn from data.

Da bin ich einer Meinung. Big Data hilft bei einer Sortierung der Wahrnehmungen und kann alle Ereignisse in (vorher) angefertigte Kategorien stecken. Was fehlt ist der Abgleich mit einem Modell.

Nur wenn ich Annahmen treffe, wie die Welt aussieht, kann ich überhaupt merken, wenn sie nicht so aussieht.

  1. der“…Fähigkeit, eine Annahme über Bewusstseinsvorgänge in anderen Personen vorzunehmen und diese in der eigenen Person zu erkennen“ (wiki) []

Das Leben ist doch nicht nur Spaß !?!

Tags

, ,

Parque John Lennon

When I was 5 years old, my mother always told me that happiness was the key to life. When I went to school, they asked me what I wanted to be when I grew up. I wrote down ‘happy’. They told me I didn’t understand the assignment, and I told them they didn’t understand life. John Lennon

Ja ja, der hat gut reden – reich und berühmt und dann nur noch in Indien unterwegs, wo er sicher immer zugedröhnt war.

Mag ja sein, aber hat er nicht recht?

Nein! Man kann als Normalo nicht nur Spaß haben und 24 Stunden am Tag Happy Happy singend durch die Gegend laufen! Da kriegt man doch nix mehr auf die Reihe.

Ok, zugegeben, aber das sagt er ja auch nicht. Es ist sein Ziel glücklich zu sein. Ich glaube nicht, dass er das immer ist.

Eben, das ist doch total unrealistisch! Als wenn man immer machen kann was man will! Man muss halt manchmal auch anpacken und richtig ranklotzen!

Stimmt. Aber warum machst du das? Warum klotzt du richtig ran? Machst du das, weil du unglücklich werden willst, oder weil du glücklich sein willst?

Was für eine Frage! Natürlich will ich auch glücklich sein, aber es geht halt nicht immer.

Ok, aber dann sind du und John Lennon doch nicht so unterschiedlich, oder? Ihr wollt beide glücklich sein. Das ist doch jedermanns Ziel.

Ja, aber das geht halt nicht immer! Das muss man doch einfach akzeptieren!

Es gibt Dinge, die nerven. Das ist nunmal so.

Ja stimmt, da hast du recht. Dennoch frage ich dich: Warum machst du die Sachen, die dich unglücklich machen?

Warum machst du’s denn? Weil man muss – weil man Geld braucht um zu leben und um sich schöne Sachen zu erlauben – oder damit man es später dann mal besser hat. Die Gesellschaft ist nun mal so.

Verstehe, du machst also die Dinge, die dich unglücklich machen, damit du mehr Zeit hast, mehr Geld hast, mehr Reisen kannst etc. Also einfach damit du mehr Möglichkeiten hast glücklich zu sein!

Exakt! Und auf die Gefahr hin, dass du mir jetzt damit kommst das wäre ein Widerspruch: Damit kriegst du mich nicht. So ist die Welt nunmal, egal ob ich mehr Geld verdiene oder weniger  – Ying und Yang – Gut und Böse – fifty/fifty – oder auch mal 80/20 und umgekehrt, aber da gibts nix dran zu rütteln.

Hm, hast dus schon mal probiert?

Das weiß man doch einfach! Ok, guck mal: Ich hab nen Job der mir Spaß macht. Ich bin gut da drin. Aber es gibt eben auch da Dinge, die mich nerven. Das ist nun mal so.

 

Schon als Baby hat der Elefant seine Ketten nicht sprengen können. Sinnlos, es nochmal zu probieren. (Bildquelle)

Da fällt mir eine kleine Anekdote ein. Hast du dich mal gefragt, warum Elefanten nur mit einer dünnen Kette gefesselt sind? Er könnte sich leicht aus der Gefangenschaft befreien. Als Baby-Elefant hat er es oft probiert und es nie geschafft. Irgendwann hatte er gelernt, dass es nicht geht und hat es aufgegeben.

Haha, ja nette Geschichte. Aber doch nur eine Geschichte von Tieren. Wir Menschen sind da wohl ein wenig klüger.

Findest du?…

Continue reading »

Turning Point für Turing Test?

Tags

, , , , , , ,

Nachdem mal wieder fast alle Medien auf den Zug aufgesprungen sind, ohne groß zu hinterfragen (klar, es geht ja um Klicks!), rudern sie nach einem Tag Recherche wieder zurück:

Ich war gespannt, als ich den ersten Artikel anklickte, aber leider konnte der Artikel meine Sensationslust nicht befriedigen… Tatsächlich gibt es genug Kritikpunkte an diesem speziellen Test. Und es gibt einige Kritik an Turing-Test selbst.

Worum gings im Turing Test?

Vor 50 Jahren wagte Turing für das Jahr 2000 die Prognose, dass ein Computer:

  • nach einer 5 minütigen Unterhaltung mit Mensch und Maschine,
  • bei reinem Schriftverkehr –  kein Sehen, Zeigen, Sprechen, etc –
  • bereits in 30% der Tests als Mensch durchgeht.1

Ein netter Wettbewerb, ein erster Schritt und schon schwer genug, wie man feststellt. Mit der Realität hat das aber wenig zu tun.

Eine weitere wichtige <implizite> Einschränkung im Turing-Test ist: die Versuchsteilnehmer WISSEN alle, dass sie beim Turing-Test mitmachen. Von daher ist durchaus vorstellbar, dass Menschen, die damit nicht rechnen, und die daher keine investigativen Fragen stellen, in Chats-Foren – auch länger als 5 Minuten – getäuscht werden.

Aber es gibt Wege dagegen anzugehen:

Turing Test für Spam-Bots

Turing Test für Spam-Bots, (von xkcd.com)

Lustig.

Continue reading »

  1. http://mind.oxfordjournals.org/content/LIX/236/433, Seite 442 []

Darfs ein bisschen mehr sein? Die Zukunft: Gelesen aus den Strickmustern des Menschen

Tags

, , ,

Im Nachhinein ist alles ganz einleuchtend. Warum haben sich Facebook, das Web 2.0 oder überhaupt das Internet durchgesetzt? Weil wir plappern wollen, weil wir uns austauschen wollen, weil wir kommunizieren wollen.

Vorausgesagt hätten das aber die wenigsten. Man guckt sich immer an, was gerade da ist, und prognostiziert mehr davon. Mehr Drohnen, mehr Roboter, mehr Automatisierung. Trivial: Das Unvorhersehbare kann niemand vorhersehen. Gleich bleiben jedoch die Bedürfnisse des Menschen – zumindest die tieferen und Kommunizieren ist sicher eines der Grundlegendsten.

Vielleicht lassen sich zukünftige technologische Strömungen vorhersagen, wenn man von den grundlegenden Bedürfnissen ausgeht? Versuchen wir es.

Continue reading »