Potts模型中的互信息和轉(zhuǎn)移熵.pdf

1、互信息是信息論中一種常用的信息度量，它表示一個(gè)變量中包含的關(guān)于另一個(gè)變量的信息量，能夠度量?jī)蓚€(gè)變量相互關(guān)聯(lián)的程度。轉(zhuǎn)移熵在保留了互信息的部分特性的同時(shí)考慮了動(dòng)力學(xué)過(guò)程，能夠衡量一段時(shí)間內(nèi)一個(gè)變量向另一個(gè)變量轉(zhuǎn)移的信息量。近年來(lái)，互信息和轉(zhuǎn)移熵在相變和臨界現(xiàn)象的研究中取得了廣泛的應(yīng)用。一方面，它提供了一種新的視角來(lái)了解相變的規(guī)律，另一方面，有序-無(wú)序相變現(xiàn)象在化學(xué)，生物以及金融領(lǐng)域的一些復(fù)雜系統(tǒng)中廣泛存在。在這類系統(tǒng)中，傳統(tǒng)的通過(guò)序參量描

2、述相變的方法通常難以實(shí)現(xiàn)。在這種情況下，互信息以及轉(zhuǎn)移熵提供了一種研究和預(yù)測(cè)系統(tǒng)相變的有效方法，從而具有十分重要的意義。
　　研究表明，如果以Shannon熵為基礎(chǔ)定義互信息和轉(zhuǎn)移熵，那么在二維Ising模型中，無(wú)論是兩自旋間的(pairwise)互信息還是全局的(global)互信息，其最大值均出現(xiàn)在相變點(diǎn)。轉(zhuǎn)移熵的行為則與互信息不同:pairwise轉(zhuǎn)移熵的最大值出現(xiàn)的位置與臨界溫度重合，global轉(zhuǎn)移熵的最大值對(duì)應(yīng)的溫度則

3、略高于臨界溫度，處于無(wú)序相。如果以Rényi熵為基礎(chǔ)定義互信息和轉(zhuǎn)移熵，則又會(huì)得到不同的結(jié)果:在二維Ising模型中，二階Rényi熵的pairwise和global互信息仍然在臨界點(diǎn)達(dá)到峰值;而二階Rényi熵的pairwise和global轉(zhuǎn)移熵的峰則都出現(xiàn)在無(wú)序相。
　　Ising模型的相變?yōu)槎?jí)相變，為了研究一級(jí)相變的情況，我們將研究擴(kuò)展到Potts模型中。對(duì)于二維q態(tài)Potts模型，q≤4時(shí)系統(tǒng)的相變?yōu)槎?jí)相變，而q＞4

4、時(shí)為一級(jí)相變。我們首先研究了二維q態(tài)Potts模型的Shannon互信息和轉(zhuǎn)移熵在臨界溫度附近的行為，并與Ising模型的結(jié)論進(jìn)行比較。我們使用Glauber動(dòng)力學(xué)，導(dǎo)出用Shannon熵表示的的互信息和轉(zhuǎn)移熵在Potts模型中的表達(dá)式，并研究了它們隨溫度的變化。結(jié)果表明，無(wú)論q的取值如何，Potts模型的Shannon互信息和轉(zhuǎn)移熵隨溫度變化的行為都與Ising模型類似，即pairwise的互信息和轉(zhuǎn)移熵以及global的互信息在相變

5、點(diǎn)處達(dá)到最大值，而global的轉(zhuǎn)移熵的最大值出現(xiàn)在無(wú)序相。
　　隨后，我們又研究了Potts模型中的Rényi互信息和轉(zhuǎn)移熵在臨界溫度附近的行為，并與Ising模型的結(jié)論進(jìn)行比較。我們同樣采用Glauber動(dòng)力學(xué)，導(dǎo)出用二階Rényi熵表示的互信息和轉(zhuǎn)移熵，在q=2時(shí)，得到了與Ising模型相同的結(jié)果，即在Ising模型中，Rényi轉(zhuǎn)移熵的最大項(xiàng)是(1/N)的三階項(xiàng)。但當(dāng)q＞2時(shí)，Potts模型的Rényi轉(zhuǎn)移熵的最大項(xiàng)(1/

6、N)的二階項(xiàng)。我們得出Potts模型中的Rényi互信息和轉(zhuǎn)移熵隨溫度的變化，發(fā)現(xiàn)無(wú)論q如何取值，pairwise和global互信息仍然在相變點(diǎn)處達(dá)到最大值，而pairwise和global轉(zhuǎn)移熵的最大值出現(xiàn)在無(wú)序區(qū)域，與Ising模型的情況相同。
　　綜合以上結(jié)果，我們發(fā)現(xiàn)，無(wú)論是在Shannon熵情形下還是Rényi熵情形下，互信息和轉(zhuǎn)移熵在Potts模型中隨溫度變化的行為都與q的取值無(wú)關(guān)，并且與Ising模型的結(jié)果類似。即