Matlab貝葉斯網(wǎng)工具箱是一款針對(duì)Matlab所推出的神經(jīng)網(wǎng)絡(luò)工具。可實(shí)現(xiàn)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)、參數(shù)學(xué)習(xí)、推理和構(gòu)建貝葉斯分類器等，可支持多種節(jié)點(diǎn)（概率分布），精確和近似推理，參數(shù)和結(jié)構(gòu)學(xué)習(xí)，靜態(tài)和動(dòng)態(tài)模型，免費(fèi)下載，歡迎體驗(yàn)。

【使用說(shuō)明】

　　1引言

　　在過(guò)去十年左右的時(shí)間里，已成為一個(gè)強(qiáng)大統(tǒng)一的圖形化模型形式主義的統(tǒng)計(jì)被廣泛使用，許多概率模型機(jī)學(xué)習(xí)和工程，范圍從混合模型，隱馬爾可夫模型（HMMs）的，從因子分析（PCA）：卡爾曼lters。這樣做的原因是以下報(bào)價(jià)描述[Jor99]：

　　圖形模型是概率論與數(shù)之間的婚姻圖論。他們提供了一個(gè)自然的工具用于處理兩個(gè)問(wèn)題 發(fā)生在整個(gè)應(yīng)用數(shù)學(xué)和工程不確定性和復(fù)雜性，特別是他們發(fā)揮越來(lái)越在學(xué)習(xí)機(jī)的設(shè)計(jì)和分析的重要作用算法。根本的圖形模型的想法是概念模塊化建立一個(gè)復(fù)雜的系統(tǒng)，結(jié)合簡(jiǎn)單的部分。概率論相結(jié)合，使零件的膠，確保該系統(tǒng)作為一個(gè)整體是一致的，和提供方式數(shù)據(jù)接口模型。圖論方面的圖形模型提供了一個(gè)直觀的吸引力接口由人類模型高度相互作用的變量集以及數(shù)據(jù)結(jié)構(gòu)本身自然高效的設(shè)計(jì)的通用算法。

　　圖形模型缺乏相應(yīng)的通用軟件包。本文介紹了一個(gè)企圖建立這樣一個(gè)包，稱為貝葉斯網(wǎng)絡(luò)工具箱（BNT的）。首先，我們將描述圖形模型表示，推理和學(xué)習(xí)的過(guò)程中出現(xiàn)的一些問(wèn)題。然后，我們將描述現(xiàn)有軟件套件的方法，通過(guò)對(duì)這些問(wèn)題的。最后，我們描述BNT，它克服了現(xiàn)有的包的一些缺點(diǎn)。

　　假設(shè)讀者已經(jīng)熟悉圖形模型的基礎(chǔ)：例如，見(jiàn)書[Jor02，CDLS99，Edw00，Jor99，F(xiàn)re98]。

　　2概述 圖形模型有兩種主要的“方式”:直接的和間接的。這也是可以結(jié)合定向和無(wú)向圖。我們將依次討論每個(gè)。

　　2.1導(dǎo)演的圖形模型

　　向無(wú)環(huán)圖（DAG）的模型，也稱為貝葉斯或信仰網(wǎng)絡(luò)，在人工智能界很受歡迎，部分原因是他們本身的因果解釋[Pea00，這使得它們的結(jié)構(gòu)很容易手工設(shè)計(jì)（如專家系統(tǒng)）。 DAG的模型也有用的時(shí)空數(shù)據(jù)建模和動(dòng)力系統(tǒng)，因?yàn)樗鼈兛梢跃幋a\時(shí)間之箭“（這種模式是有時(shí)也被稱為DBNs，或動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)。）

　　DAG的模型也很受歡迎，在貝葉斯統(tǒng)計(jì)的社會(huì)，因?yàn)閰?shù)可以明確表示節(jié)點(diǎn)（隨機(jī)變量），并賦予分布（普賴厄斯）。生成的圖形，不僅提供了一個(gè)簡(jiǎn)明的規(guī)定陽(yáng)離子模型，但也可以被利用的計(jì)算，例如，由Gibbs抽樣。這是眾所周知的BUGS1包。

　　一個(gè)DAG模型，其中包括決定和實(shí)用的節(jié)點(diǎn)，以及機(jī)會(huì)節(jié)點(diǎn)，是被稱為一個(gè)影響（決定）圖，可用于最優(yōu)決策。

　　也有一個(gè)圖形化模型，被稱為一個(gè)依賴網(wǎng)絡(luò)[HCM+00]允許執(zhí)導(dǎo)周期。它可以是有用的數(shù)據(jù)可視化，但不總是定義一個(gè)獨(dú)特的聯(lián)合分布：詳情請(qǐng)參閱[HCM+00]。

　　2.1.1定向型號(hào)參數(shù)

　　段參數(shù)化，可以定向模型（兩個(gè)貝葉斯網(wǎng)絡(luò)和依賴網(wǎng)）通過(guò)指定所有本地的條件概率分布（草稿），即，分布P（XijPai），其中Xi表示i節(jié)點(diǎn)和排它的父母。最包假設(shè)所有節(jié)點(diǎn)代表離散的隨機(jī)變量（分類），另外,除CPDs的是，可以表示為表

　　表格的CPDs是簡(jiǎn)單的代表，學(xué)習(xí)和使用的推論（見(jiàn)第3.1.1），但缺點(diǎn)是需要的參數(shù)是在父母的指數(shù)。其他的陳述，只需要一個(gè)線性參數(shù)的數(shù)量，已被提出，包括嘈雜OR[Pea88]和其概括[MH97]，后勤（乙狀結(jié)腸）函數(shù)[Nea92]。

　　決策樹(shù)[BFGK96]可以用來(lái)表示一個(gè)變量（數(shù)據(jù)依賴）的CPDs參數(shù)的數(shù)目;他們也有用的變量（母公司）的選擇內(nèi)部結(jié)構(gòu)學(xué)習(xí)算法（見(jiàn)4.2節(jié)）。前饋神經(jīng)網(wǎng)絡(luò)（多層感知器，或總綱發(fā)展藍(lán)圖），條件線性高斯（聯(lián)絡(luò)小組）廣義線性模型（GLMs）也可以用于連續(xù)模式的CPDs節(jié)點(diǎn)。

　　貝葉斯模型，我們需要各種豐富的國(guó)家方案文件，例如，Dirichlet先驗(yàn)多項(xiàng)參數(shù)，威沙特（伽瑪）先驗(yàn)方差/精度參數(shù)，以及為權(quán)重矩陣的高斯先驗(yàn)。我們也可以使用非參數(shù)分布。

　　很容易讓用戶NE異國(guó)情調(diào)的CPDs。 diÆculties出現(xiàn)時(shí)，我們希望做相應(yīng)的模型推斷，和/或當(dāng)我們?cè)噲D了解參數(shù)從數(shù)據(jù)，我們將討論下面這些問(wèn)題。

　　2.2無(wú)向圖形模式

　　在無(wú)向圖形模式，又稱馬爾可夫網(wǎng)絡(luò)，共同物理和計(jì)算機(jī)視覺(jué)的社區(qū)。對(duì)于實(shí)例，伊辛模型和馬爾可夫隨機(jī)域（MRFs）電網(wǎng)結(jié)構(gòu)馬爾可夫網(wǎng)絡(luò)。在統(tǒng)計(jì)社區(qū)，無(wú)向模型經(jīng)常被用來(lái)模型多路應(yīng)急表，在這種情況下，他們被稱為（分層）對(duì)數(shù)線性模型[Edw00]。

　　2.3混合指示/無(wú)向圖形模式

　　它是可以結(jié)合到什么叫做鏈定向和無(wú)向圖圖[CDLS99]一個(gè)常見(jiàn)的例子是，在圖像處理，其中隱藏節(jié)點(diǎn)都連接在一個(gè)無(wú)向的二維網(wǎng)格，但每個(gè)隱藏節(jié)點(diǎn)有一個(gè)孩子其中包含的像素的觀測(cè)值（見(jiàn)圖1）。至于推論是而言，可以從隱藏的像素觀察表示一個(gè)定向或無(wú)向弧，但是，有向弧表示首選當(dāng)談到學(xué)習(xí)（見(jiàn)4.1節(jié)）。因子圖形式主義[KFL01]是一個(gè)非常普遍的方式，使用圖形結(jié)構(gòu)在當(dāng)?shù)卮淼娜蚰Ｐ停ú灰欢ㄊ歉怕剩?，或因素?/p>

　　圖1：圖像處理鏈圖。每個(gè)陰影節(jié)點(diǎn)是一個(gè)觀察像素，是由于其隱藏的父（清）;相關(guān)的隱患彼此，馬爾可夫場(chǎng)與成對(duì)潛力隨機(jī)建模。這是可能間轉(zhuǎn)換[YFW01]，盡管所有這些陳述有時(shí)信息是“丟失”的過(guò)程中從圖形結(jié)構(gòu)（此信息將implicitely代表在參數(shù)）。這可以等的 計(jì)算復(fù)雜的推理，以及模型intrepretability。

　　3推理

　　由此推斷，我們的意思是計(jì)算

　　其中Xj代表一組觀測(cè)變量，Xi代表一組隱藏變量的價(jià)值，我們估計(jì)感興趣，XK是無(wú)關(guān)隱藏變量（滋擾）。例如，Xi是否有可能代表疾病我，Xj可能代表觀察到的癥狀?；蛳部赡艽硪粋€(gè)未知參數(shù)，Xj的所有數(shù)據(jù)。有兩種主要的推論：精確和近似。我們同時(shí)將討論下面問(wèn)題。

　　3.1精確推理

　　精確推理（有一個(gè)封閉的形式解決方案感）是唯一可能一套非常有限的情況下，特別是當(dāng)所有隱藏節(jié)點(diǎn)是離散的，或當(dāng)所有節(jié)點(diǎn)（隱藏和觀察）有線性高斯分布（在其中

　　情況下，網(wǎng)絡(luò)僅僅是一個(gè)稀疏的聯(lián)合多元高斯參數(shù)[SK89，RG99）。專家系統(tǒng)和隱馬爾可夫模型（HMMs）屬于在前一類，而因子分析和卡爾曼lters的屬于后者。

　　有兩種主要的精確推理算法：只有那些工作DAG的模型，和那些定向和無(wú)向圖的工作。 DAG的推理算法利用的規(guī)則鏈的分解合資，P(X) = P(X1)P(X2|X1)P(X3|X1;X2) ….基本上是“推產(chǎn)品內(nèi)的款項(xiàng)”邊緣化無(wú)關(guān)隱藏的這被稱為節(jié)點(diǎn)有效[LD94，Dec96，AM00];變量消除算法。計(jì)算結(jié)果是一個(gè)單一的邊際P（Xi|Xj）。

　　一般的推理算法是在消息傳遞方面的定義上樹(shù)。如果原始圖無(wú)向循環(huán)（循環(huán)），它必須被轉(zhuǎn)換所謂的交界樹(shù)使用三角[Kja90]或割集空調(diào)[Dra95]?？上蚧驘o(wú)向樹(shù)，郵件可通過(guò)并行 或連續(xù)計(jì)算的消息可能會(huì)或可能不會(huì)涉及除法運(yùn)算。例如，制定了珍珠的的算法Pea88]有分裂; Hugin/ JLO算法的的定向樹(shù)[JLO90]制定無(wú)向樹(shù)與分工;和信念傳播[YFW01]制定無(wú)師無(wú)向網(wǎng)絡(luò)。所有這些算法基本上同等學(xué)歷。

　　消息傳遞算法的優(yōu)勢(shì)時(shí)問(wèn)津在計(jì)算所有邊緣人同時(shí)（這是必要的學(xué)習(xí)，例如）：他們用動(dòng)態(tài)規(guī)劃，以避免重復(fù)計(jì)算，將參與調(diào)用變量消除了n次，一次為每個(gè)變量。然而，變量消除是比較容易實(shí)現(xiàn)，使某些優(yōu)化利用特定查詢的知識(shí)。

　　3.1.1電位

　　實(shí)施任何的款項(xiàng)和產(chǎn)品方面的推理算法（例如，變量消除或消息傳遞），它是要代表每個(gè)作為一個(gè)對(duì)象，它支持的操作（方法）總和/本地分布整合，乘法和可選分工。我們將調(diào)用這樣一個(gè)對(duì)象的”潛力”，這僅僅是一個(gè)非負(fù)的變量在其領(lǐng)域的功能.

　　如果在域中的所有隨機(jī)變量是離散的，我們可以代表一個(gè)潛在的作為一個(gè)多維數(shù)組（表）。如果在域中的所有隨機(jī)變量共同高斯，我們可以作為一個(gè)多元高斯代表的潛力：簡(jiǎn)單存儲(chǔ)的均值，方差和規(guī)模因子。如果某些變量是離散和一些有高斯，我們可以代表一個(gè)條件高斯的潛力（CG），而不是一個(gè)標(biāo)量的表，這是一個(gè)高斯表。最后，如果某些變量是離散隨機(jī)變量和一些實(shí)用變量是離散的，我們可以表示為一對(duì)表的潛力;這是在非常有用

　　uence圖。所有這些類型的潛力描述[CDLS99];也見(jiàn)[Mur98b]。

　　CG潛力可以代表NITE高斯混合物。不幸的是，這表示不關(guān)閉。也就是說(shuō)，如果我們有一個(gè)潛在域（四），其中D是k的可能值的離散變量，C是一個(gè)連續(xù)變量，PD（四）仍然是一個(gè)k個(gè)高斯混合：它尚未得到任何小。故重復(fù)的款項(xiàng)和產(chǎn)品的應(yīng)用將導(dǎo)致代表性的大小炸毀。逼近之一是使用\弱邊緣化“[Lau92]減少使用矩匹配一個(gè)單一的高斯混合高斯模型。 （“本實(shí)施[Lau92]數(shù)值是不穩(wěn)定的，并已得到改善[LJ99]。）又見(jiàn)Min01]。

　　無(wú)向模型已經(jīng)參數(shù)化潛力，拉幫結(jié)派，所以沒(méi)有轉(zhuǎn)換是必要的。導(dǎo)演模型參數(shù)的CPDs 但我們不能簡(jiǎn)單地定義的潛力∅(Xi;Pai) = P(Xi|Pai)。然而，這是唯一可能的CPDs幾種：有關(guān)詳細(xì)信息，請(qǐng)參閱第7.2.1。

　　抽象層次潛力允許我們重復(fù)使用相同的代碼許多模型。例如，只需更換與高斯離散潛力相同的代碼的潛力，可以使用，也可以實(shí)現(xiàn)向前向后HMM模型或非線性動(dòng)力學(xué)系統(tǒng)的RTS平滑算法[Mur98a]。

　　3.2近似推理

　　即使在精確推理是數(shù)學(xué)可能的情況下，它可能不是計(jì)算可行的：推理的成本取決于樹(shù)寬W圖（即，規(guī)模最大的集團(tuán)在相應(yīng)的最佳三角圖）。特別是，如果所有（隱藏）節(jié)點(diǎn)是離散的二進(jìn)制值，推理需要為O（2W）的時(shí)間。 （聯(lián)合高斯分布，推論總是在最O（N3），其中n是節(jié)點(diǎn)的數(shù)目，無(wú)論對(duì)W;然而，有時(shí)（例如，在圖像處理中的應(yīng)用），n是非常大的。）

　　對(duì)于樹(shù)木（沒(méi)有無(wú)向循環(huán)圖），樹(shù)寬是常數(shù)（即最大的風(fēng)扇（父母），圖中的任何節(jié)點(diǎn)），并推斷需要O（n）的時(shí)間。然而，對(duì)于其他的圖形，特別是那些重復(fù)結(jié)構(gòu)，樹(shù)寬電網(wǎng)等，隨著變量的數(shù)目（例如，在N =毫米網(wǎng)格，樹(shù)寬是O（M）=（PN）），并準(zhǔn)確推斷往往是不可行的。

　　有至少有兩個(gè)原因之一，可能需要近似推理：要么因?yàn)橛?jì)算精確解時(shí)間過(guò)長(zhǎng)，或因?yàn)?是沒(méi)有封閉形式（分析）解決方案。 （精確推理被稱為是NP-難一般）。復(fù)雜的前一種來(lái)自某些種類的圖結(jié)構(gòu)，后者由某些種類的分布。 （在一般情況下，幾乎所有的續(xù)隨機(jī)變量的分布產(chǎn)生棘手的后驗(yàn)，完全觀測(cè)共軛指數(shù)的情況下，是一個(gè)值得注意的例外）。下面我們列出一些可以用來(lái)處理棘手兩種技術(shù)。

　　采樣（蒙特卡羅）方法。最簡(jiǎn)單的一種重要抽樣，我們從中隨機(jī)抽樣事先P（x），（無(wú)條件）x隱藏變量的分布，然后重量的樣品其的可能性，磷（YJX）的，其中y是證據(jù)。一個(gè)更多的電子脝cient做法高維被稱為蒙特卡羅馬爾可夫鏈（MCMC），這使得我們從后P（XJY）的樣品，甚至當(dāng)我們不能計(jì)算正常化常數(shù)，接收P（下YJX）P（X）。 MCMC方法包括作為特別案件Gibbs抽樣的Metropolis-Hasting算法（如見(jiàn)，[Nea93，GRS96，Mac98]）。 MCMC方法是近似的主要方法在貝葉斯統(tǒng)計(jì)推斷。 變分方法。最簡(jiǎn)單的例子是坡鹿的平均逼近，利用大數(shù)定律隨機(jī)近似大筆變量的手段。特別是，我們基本上是脫鉤的所有節(jié)點(diǎn)，并引進(jìn)一個(gè)新的參數(shù)，稱為變分參數(shù)，每個(gè)節(jié)點(diǎn)，并反復(fù)更新這些參數(shù)，以盡量減少近似真實(shí)的概率之間的交叉熵（KL距離）分布。更新變參數(shù)進(jìn)行推理成為代理。平均ELD逼近生產(chǎn)下界上的可能性。更復(fù)雜的方法是可能的，給予嚴(yán)格的低（上）邊界。教程[JGJS98]。最近，這項(xiàng)技術(shù)有被延長(zhǎng)做近似貝葉斯推理，使用了

　　一種叫做變分貝葉斯[GB00]。

　　信仰的傳播（BP）。這就需要采用消息傳遞算法原始圖，即使它有循環(huán)（無(wú)向循環(huán)）。原本這被認(rèn)為是不健全的，但優(yōu)秀的經(jīng)驗(yàn)成功 [BGT93]，這已被證明可以使用BP算法

　　[MMC98]，導(dǎo)致大量的理論分析，這表明了BP是密切相關(guān)的變分方法[YFW01，SO01]最近這項(xiàng)技術(shù)已延伸到做近似的貝葉斯推理，使用技術(shù)[Min01]稱為期望的傳播。