在這一節(jié)里，我將對(duì)我這些年所從事的工作進(jìn)行更詳細(xì)的闡述，重點(diǎn)介紹近十年的，因?yàn)檫@些和本書的主體最有聯(lián)系。

早在20世紀(jì)80年代晚期，我就開始利用一種模擬達(dá)爾文進(jìn)化的軟件形式，所謂的基因算法(Genetic Algorithm)來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，并開始發(fā)表一系列的科學(xué)研究論文。到我獲得博士學(xué)位時(shí)，我已經(jīng)發(fā)表了20篇論文。

神經(jīng)網(wǎng)絡(luò)可以被想象成由像枝節(jié)一樣的纖維(叫做軸突(axon)和樹突(dendrite))連接起來的三維大腦細(xì)胞矩陣。來自神經(jīng)元的信號(hào)由軸突發(fā)送出去。樹突將信號(hào)傳入神經(jīng)元。當(dāng)一個(gè)軸突和一個(gè)樹突相連，形成的聯(lián)系叫做神經(jīng)鍵(synapse)。

在一個(gè)真正的生物大腦中，每一個(gè)神經(jīng)元或者大腦細(xì)胞擁有上萬個(gè)神經(jīng)鍵。也就是說，它可以被上萬個(gè)來自其他神經(jīng)元的信號(hào)所影響。這些神經(jīng)信號(hào)同時(shí)到達(dá)一個(gè)神經(jīng)元，被加強(qiáng)或者加權(quán)，然后相加。如果總的信號(hào)大于神經(jīng)元激活閥值，神經(jīng)元就會(huì)被激活，也就是說，它會(huì)順著自己的軸突發(fā)送電子脈沖信號(hào)，信號(hào)的頻率決定于總的信號(hào)強(qiáng)度大于閥值多少。軸突的脈沖發(fā)送到神經(jīng)鍵，進(jìn)一步影響其他的神經(jīng)元。

一系列神經(jīng)元圖片

神經(jīng)元(人腦細(xì)胞)有許多不同的存在方式。

這種生物神經(jīng)網(wǎng)絡(luò)可以用程序模擬。在20世紀(jì)80—90年代，一個(gè)典型的神經(jīng)網(wǎng)絡(luò)里的神經(jīng)元數(shù)目大概有10余個(gè)到100個(gè)不等。當(dāng)時(shí)我的博士研究工作，每個(gè)神經(jīng)網(wǎng)絡(luò)通常最多擁有16個(gè)神經(jīng)元。這和我現(xiàn)在工作中使用近1億個(gè)神經(jīng)元形成了強(qiáng)烈的對(duì)比。

下面幾頁對(duì)我的工作進(jìn)行了更為詳細(xì)的描述，并且技術(shù)性更強(qiáng)。我希望你能夠堅(jiān)持下去，但是如果理解起來確實(shí)有困難的話，跳過此節(jié)也不會(huì)太影響對(duì)本書總體的了解。同時(shí)在這里提醒您一下，本書最后有一個(gè)術(shù)語表，可能會(huì)對(duì)閱讀有所幫助。

神經(jīng)網(wǎng)絡(luò)，許多神經(jīng)元相互連接起來形成復(fù)雜的神經(jīng)網(wǎng)絡(luò)，也就是人腦

CBM演化出來的神經(jīng)網(wǎng)絡(luò)的二維圖像

基因算法

基因算法(Genetic Algorithm)是一種達(dá)爾文進(jìn)化的程序模擬形式，用來優(yōu)化任何被進(jìn)化的性能。實(shí)際應(yīng)用中，我把基因算法用于神經(jīng)網(wǎng)絡(luò)的進(jìn)化。具體通過以下的方式來模擬神經(jīng)網(wǎng)絡(luò)的運(yùn)行。首先要考慮如何描述神經(jīng)網(wǎng)絡(luò)本身。我使用16個(gè)神經(jīng)元并且讓它們和自身以及其他神經(jīng)元連接，因此，總共有16×16=256個(gè)連接。輸入信號(hào)的強(qiáng)度，以普通的十進(jìn)制數(shù)字來表示，例如，再乘以一個(gè)權(quán)值，例如，然后相加。作為這個(gè)概念的一個(gè)例子，想象一個(gè)非常簡(jiǎn)單的只有兩個(gè)神經(jīng)元的網(wǎng)絡(luò)，因此，有4個(gè)連接。神經(jīng)元1輸出的信號(hào)通過連接或形成神經(jīng)突起C11發(fā)送到自身，并且通過連接或形成神經(jīng)突起C12發(fā)送到神經(jīng)元2。 神經(jīng)元2輸出的信號(hào)通過連接或形成神經(jīng)突起C22發(fā)送到自身，并且通過連接或形成神經(jīng)突起C21發(fā)送到神經(jīng)元1。假設(shè)在某個(gè)時(shí)刻的強(qiáng)度是S1和S2(例如，和)。

每一個(gè)連接Cij(或者形成神經(jīng)突起)擁有一個(gè)相應(yīng)的權(quán)值Wij，用來和通過該連接輸入的信號(hào)強(qiáng)度相乘。因此，輸送到神經(jīng)元2的信號(hào)總強(qiáng)度應(yīng)該是(W12* S1 + W22* S2 )。對(duì)于神經(jīng)元1計(jì)算也類似?？偣灿?個(gè)這樣的權(quán)值。假設(shè)每一個(gè)權(quán)值的范圍在–1到+1之間。因此，每一個(gè)權(quán)值可以用二進(jìn)制小數(shù)來表示，比如說8個(gè)比特(二進(jìn)制數(shù)字，0或者1)。4個(gè)這樣的數(shù)字可以用4×8=32個(gè)比特來表示，可以排列成有32個(gè)比特的一行。對(duì)于16個(gè)神經(jīng)元，我們將用一個(gè)有16×16×8=2 048個(gè)比特的行或串來表示我將用來進(jìn)化的神經(jīng)網(wǎng)絡(luò)的16×16個(gè)權(quán)值。

如果我知道2 048個(gè)比特的值(0或者1)，我將可以計(jì)算所有的256個(gè)權(quán)值，并且可以通過它們建立一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)。相反，如果知道所有的權(quán)值，并且知道輸入信號(hào)的初始值，我們就可以計(jì)算出每一個(gè)神經(jīng)元發(fā)射時(shí)候的信號(hào)強(qiáng)度。如果知道了每一個(gè)神經(jīng)元是怎么發(fā)射的，就會(huì)知道整個(gè)神經(jīng)網(wǎng)絡(luò)是怎么發(fā)射信號(hào)的或是怎么運(yùn)轉(zhuǎn)的。我們可以提取某些神經(jīng)元的信號(hào)，并且把這些信號(hào)當(dāng)作控制信號(hào)，來控制一些活動(dòng)，比如說，通過控制機(jī)器人腿的角度來讓它行走。