Korrespondenzfindung mit Netzwerken neuronaler Kolumnen

Page 3

1 EINLEITUNG 3

1 Einleitung

Sehen, im Sinne von Erkennen von Objekten, insbesondere in unbekannten Umgebungen, ist eine Fähigkeit, die von Menschen alltäglich unbewußt genutzt wird. Soll diese Fähigkeit einem Computer mittels Programmierung beigebracht werden, ergeben sich eine Reihe sehr komplexer Probleme, deren Lösungen seit langer Zeit Bestandteil von Forschung und Entwicklung sind. Dabei werden zunehmend Anstrengungen unternommen, um die Informationsverarbeitung im Gehirn zu verstehen. Oft wird der Teil des Gehirns, der für das Sehen und Erkennen zuständig ist, als Schlüssel für das Verständnis der gesamten Struktur und Funktionsweise des Gehirns genannt. In dieser Arbeit werden Aspekte des Seh- und Erkennungsproblems mit einem Netzwerk neuronaler Kolumnen gelöst. Die Struktur des Netzwerks wird schrittweise entwickelt und es werden Zwischenergebnisse gesammelt. Insbesondere wird eine auf neuronalen Kolumnen basierende Ähnlichkeitsauswertung untersucht. Schließlich werden Simulationen des Netzwerks mit Input aus künstlichen und echten Bildern durchgeführt. Anhand von vielen Beispielen wird das Verhalten des Netzwerks in Bezug auf die Korrespondenzfindung untersucht.

Für alle Simulationen des Netzwerks kommt eine von mir in C++ geschriebene Software zum Einsatz, deren Entwicklung einen großen Teil der Arbeit ausgemacht hat. Der Quellcode sowie Bilder und Animationen von Simulationen befinden sich auf der beiliegenden DVD.

Page 4

2 DAS KORRESPONDENZPROBLEM 4

2 Das Korrespondenzproblem

Das Korrespondenzproblem beschreibt das Problem, korrespondierende Punkte in zwei verschiedenen Bildern des selben Objektes wiederzufinden. Diese Schwierigkeit ist uns Menschen nicht bewußt, da wir permanent Objekte und ihre Details wiedererkennen. Maschinell jedoch ist dieses Problem noch nicht allgemeingültig gelöst worden. Das Sehproblem liegt in den Transformationen (z.B. Translation, Skalierung, Rotation und Tiefenrotation), die das Bild eines Objekts erfährt, wenn es in einem anderen Umfeld gesehen wird. Auch wirken die Beleuchtung und eventuelle Spiegelungen auf die Abbildung. Ist ein System in der Lage Korrespondenzen zwischen zwei Bildern eines Objektes trotz einer solchen Trans-formation zu finden, nennt man es invariant gegenüber dieser Transformation. Zur Lösung des Korrespondenzproblems wird also ein System benötigt, das gegenüber möglichst vielen der genannten Transformationen invariant ist.

2.1 Dynamic Link Matching

Dynamic Link Matching (DLM) ist ein korrespondenzbasiertes System zur Objekterkennung (von der Malsburg 1981; Lades u. a. 1993; Konen u. a. 1994; Würtz 1995). Es basiert auf der Annahme, daß neuronale Zellen, die korrespondierende Stimuli erhalten, sehr schnell neuronale Verbindungen zwischen einander aufbauen oder verstärken. Diese schnell veränderlichen neuronalen Verbindungen sollen Ähnlichkeit und Nachbarschaft kodieren und damit das Korrespondenzproblem lösen. Es gibt eine Reihe von Implementierungen des DLM, die auch technische Anwendungen fanden, z.B. (Wiskott 1995). Um als Modell zur Erklärung der Korrespondenzfindung und Objekterkennung im menschlichen Gehirn zu dienen, sind bisherige Implementierungen des DLM neurophysiologisch gesehen jedoch zu langsam (Lücke 2005, Seite 87,88). In (Lücke 2005, Kapitel 6) wird ein neuronal implementiertes DLM vorgestellt, dessen neuronale Einheiten aus Makrokolumnen und Minikolumnen bestehen.

Zunächst sollen die Ideen des DLM kurz zusammengefaßt werden. Es gibt zwei Schichten aus neuronalen Einheiten, die Inputschicht und die Modellschicht. Die Motivation der beiden Schichten ist es, daß im menschlichen Gedächtnis ein Modell eines Objektes existiert und das Gehirn versucht, dieses in dem Bild, das wir durch die Netzhaut erhalten, wiederzufinden. Jede Schicht repräsentiert ein entsprechendes Bild. Auf der einen Seite das Inputbild, das vom Auge und damit von der Netzhaut gesehen wird, und auf der anderen Seite das Modellbild, das das im Gedächtnis gespeicherte Objekt zeigt. In Abbildung 1 sind beide Schichten in einer schematischen Zeichnung des DLM zu sehen.

Die neuronalen Einheiten erhalten die Merkmale der jeweils zugehörigen Bilder. Meistens werden dazu nicht die Informationen der einzelnen Bildpunkte (Pixel) der Bilder benutzt, sondern Antworten aus Gabor-Filtern, auch Merkmals-Vektoren genannt (siehe auch (Wiskott 1995)), die die Umgebung eines Punktes x als eine Anzahl von Eigenschaften zusammenfassen. Die neuronalen Einheiten sind in einem regelmäßigen Gitter in der Input- und der Modellschicht angeordnet. Parallel zur Auflösung des Bildes in Pixeln kann also eine Auflösung in Merkmals-Vektoren,

Page 7

3 MINIKOLUMNEN UND MAKROKOLUMNEN 7

3 Minikolumnen und Makrokolumnen

Die Gehirnforschung beschäftigt sich mit dem Aufbau und der Funktionsweise des Gehirns, sowohl des menschlichen als auch dem von Säugetieren. Während für die grobe Aufteilung der Funktionen im Gehirn bereits Regionen identifiziert wurden, ist die Funktionsweise der einzelnen Regionen weitgehend ungeklärt. Einzelne Neuronen konnten recht genau untersucht und verstanden werden, jedoch ist unklar, wie Netzwerke aus Neuronen die komplexen Aufgaben des Gehirns bewältigen. Erst in den letzten zehn Jahren konnten einige Ergebnisse diese Netzwerke aus Neuronen betreffend gefunden werden. So haben verschiedene Untersuchungen gezeigt, daß große Teile des Gehirns in Kolumnen strukturiert sind, siehe (Mountcastle 1997) und (Buxhoeveden und Casanova 2002). Ansammlungen von Neuronen, die senkrecht zur kortikalen Oberfläche liegen und stark exzitatorisch verbunden sind, werden als Minikolumnen bezeichnet. Wenn mehrere Minikolumnen miteinander interagieren, können sie zusammengefaßt als Makrokolumne bezeichnet werden. Basierend auf diesen Erkenntnissen wurde in (Lücke u. a. 2002) und (Lücke 2005) ein mathematisches Modell vorgeschlagen, das den gefundenen Strukturen Rechnung trägt. Dabei werden Minikolumnen aus zufällig exzitatorisch verschalteten Neuronen gebildet. Diese Minikolumnen sind innerhalb einer Makrokolumne un-tereinander hemmend gekoppelt. Aus Makrokolumnen lassen sich neuronale Netzwerke zur Bewältigung verschiedener Aufgaben erstellen, wie später noch gezeigt wird. Zunächst soll jedoch die einzelne Makrokolumne und Minikolumne betrachtet werden.

Das Verhalten von Minikolumnen und Makrokolumnen wurde analytisch und mit Hilfe von Simulationen untersucht. Die analytischen Ergebnisse erlaubten eine Abstraktion des Verhaltens, die die Minikolumne als kleinste Einheit behandelt, also nicht mehr einzelne Neuronen modelliert, siehe (Lücke 2005b) und (Lücke 2005). In einer Simulation müssen demzufolge nicht mehr einzelne Neuronen simuliert werden, das erlaubt eine schnelle Simulation von Netzwerken aus Makrokolumnen und Minikolumnen in einer übersichtlichen Weise. In dieser Arbeit wird daher das abstrakte Modell der Minikolumnen und Makrokolumnen verwendet. Im folgenden soll dieses Modell kurz erläutert und zusammengefaßt werden. Die Dynamik einer Minikolumne wird beschrieben durch (siehe (Lücke 2005b) und (Lücke 2005, Kapitel 5)):

Dabei ist p α die Aktivität der Minikolumne α innerhalb einer Makrokolumne, die aus k Minikolumnen besteht. Die Funktion f (p, h) ist eine unter vielen möglichen so genannten Aktivierungsfunktionen. In (Lücke 2005b) und (Lücke 2005, Kapitel 5) wurde gezeigt, daß sie die dort bestimmte Bifurkations-Eigenschaft besitzt. ν ist ein Faktor, der stellvertretend für die Stärke der inhibitorischen Kopplung zwischen den Minikolumnen steht. Wie später noch detailliert gezeigt wird, wird ν mit einem kleinen Wert beginnend mit der Zeit immer größer und forciert damit die Bifurkati- on. Das Maximum der Aktivitäten aller k Minikolumnen einer Makrokolumne wirkt

Page 8

3 MINIKOLUMNEN UND MAKROKOLUMNEN 8

zusammen mit ν inhibitorisch auf die Aktivitäten p α .

˜ J α ist der mittelwertfreie afferente Input zur Minikolumne α. Er ergibt sich zu (aus (Lücke 2005, Kapitel 6.2)):

Als afferenten Input J α bezeichnen wir den Input, der von außerhalb in die Minikolumne einfließt. Er beeinflußt die Aktivität der Minikolumne α, gewichtet durch den Kopplungsfaktor κ. Der letzte Term in Gleichung (1) modelliert weißes Rauschen mit dem Rauschfaktor σ. Das weiße Rauschen ist wichtig, um die Bifurkation auch ohne afferenten Input zu erzwingen.

Die Bifurkation des Systems ist praktisch die Fähigkeit des Systems eine Entscheidung zu treffen. Bei steigender Inhibition wird das System immer empfindlicher gegenüber Störungen, die durch den afferenten Input und das weiße Rauschen auftreten. Die Bifurkation äußert sich im „Abschalten“ der Minikolumnen, das im nächsten Abschnitt näher erläutert wird.

3.1 Simulation einer Makrokolumne

Für eine Simulation der Dynamik einer Makrokolumne muss die Differentialgleichung (1) in eine Differenzengleichung überführt werden. Da die Differentialgleichung nicht analytisch gelöst werden, sondern nur über die Zeit simuliert werden soll, wird eine numerische Methode angewandt. Die Euler-Methode stellt sich hierbei als ausreichend und einfach zu handhaben dar. Es ergibt sich folgende Differenzengleichung:

Die Schrittweite ist ∆t. η(t) ist eine normalverteilte Zufallsvariable. Wie bereits erwähnt wird ν als Faktor für die Inhibition bei jeder Iteration erhöht. Er verläuft linear zwischen ν min und ν max . Für ν(t) kann man also schreiben:

Dabei ist T die gesamte Zeitspanne, die zwischen einer Inhibition von ν = ν min bis ν = ν max vergeht. Die Simulations-Grenzen ν min und ν max werden so gewählt, daß der Bifurkationspunkt zwischen ihnen liegt. Der Bifurkationspunkt liegt nach der Stabilitätsanalyse in (Lücke 2005b) und (Lücke 2005, Kapitel 5) genau bei ν = 0, 5. Mit Rauschen und Input als Störungen liegt der Bifurkationspunkt in der Nähe von ν = 0, 5. Ein Durchgang von ν = ν min bis ν = ν max wird ν-Zyklus genannt. Die einzelnen Schritte, mit denen ν erhöht und die Aktivitäten neu berechnet werden, bezeichnen wir als Iterationen. Zu Beginn eines jeden ν-Zyklus werden die Aktivi- täten der Minikolumnen zu p = 1 − ν min initialisiert. Anders als in (Lücke 2005)

Page 11

4 NETZWERKE MERKMALS-KODIERENDER MAKROKOLUMNEN 11

4 Netzwerke Merkmals-kodierender Makrokolumnen

Erhalten Minikolumnen einer Makrokolumne nicht nur externen Input, sondern zudem noch Input von Minikolumnen anderer Makrokolumnen, bilden die Makrokolumnen ein Netzwerk. Da hier mit einem Netzwerk aus Makrokolumnen ein DLM-Netz gebaut werden soll (siehe Kapitel 2.1), beschränken wir uns auf die Netzwerkstrukturen, die zu diesem Ziel führen.

4.1 Zwei Makrokolumnen

Zunächst sollen zwei miteinander vernetzte Makrokolumnen betrachtet werden. Dabei liegt eine der Makrokolumnen auf der Inputschicht des DLM-Netzwerks und die andere auf der Modellschicht. Beide Makrokolumnen bekommen als afferenten Input jeweils einen Merkmals-Vektor, deshalb nennen wir diese von nun an Merkmalskodierende Makrokolumnen. Die einzelnen Werte eines Merkmals-Vektors sind Gaborfilter-Antworten auf bestimmte Orientierungen und Frequenzen. Betrachtet man ein Bild als Graustufenverteilung V ( x), erzeugt die Gabor-Wavelet-Transformation zu jedem Bildpunkt komplexe Werte Q j ( x), die die Eigenschaften des Bildpunktes und seiner Umgebung beinhalten. Q j ( x) ist als Faltung der Grauwertverteilung mit ψ j ( x), einem sogenannten Gabor-Kern, definiert (siehe (Wiskott 1995)).

In (Wiskott 1995) und auch hier werden 8 Orientierungen und 5 Frequenzen k j mit den Indizes ρ = 0, ..., 4 und µ = 0, ..., 7 zu: k jx k ρ cos ϕ µ , k ρ = 2 (− ρ+2 2 ) π, ϕ µ = µ π k j = = (10)

k jy k ρ sin ϕ µ 8

Wie bereits gesagt, ist Q j ( x) komplexwertig, für die in dieser Arbeit verwendeten Merkmals-Vektoren wird nur der Betrag von Q j ( x) verwendet. Der Merkmals-Vektor besteht dann aus 40 Einträgen, die jeweils einer Frequenz und einer Orientierung zugeordnet werden können.

F j ( x) = |Q j ( x)| (11)

Um einen Merkmals-Vektor aus 40 Einträgen als Input verarbeiten zu können, muss die Makrokolumne aus 40 Minikolumnen bestehen. Jede Minikolumne erhält dann einen Eintrag des Merkmals-Vektors als afferenten Input.

J I = F α (12)

α

Page 13

4 NETZWERKE MERKMALS-KODIERENDER MAKROKOLUMNEN

Merkmals repräsentieren. Sie sollten folglich miteinander verbunden werden. Die einfachste Verbindung ist eine eins-zu-eins-Verbindung, siehe Abbildung 3.

Durch Subtraktion des Wertes 1

kolumne null. Falls alle verbundenen Minikolumnen β die gleiche Aktivität aufweisen, heben sich die Einflüsse aller p β auf die Minikolumne α auf. Es wirken also nur die Unterschiede der Aktivitäten p β auf die Minikolumne α.

Abbildung 3: Schematische Darstellung zweier Makrokolumnen, die jeweils einen Merkmals-Vektor der jeweiligen Schicht als afferenten Input erhalten (Grafik aus (Lücke 2005)). Zudem sind sie mit einer eins-zu-eins-Verbindung miteinander ver-bunden.

4.2 Simulation zweier Makrokolumnen

Für die Simulation zweier Makrokolumnen wird, wie in Kapitel 3.1, die Differenzengleichung (4) verwendet. Es werden zwei Makrokolumnen mit jeweils k = 4 Minikolumnen simuliert, die Parameter sind die gleichen wie in Gleichung 7. Die Minikolumnen erhalten Zufallswerte als afferenten Input J α . Zunächst sollen die beiden Makrokolumnen nicht miteinander verbunden sein. Um das gesamte Netzwerk aus Makrokolumnen (zunächst zwei Makrokolum- nen) während einer Simulation beobachten zu können wurde eine grafische Ausgabe

Page 17

4 NETZWERKE MERKMALS-KODIERENDER MAKROKOLUMNEN 17