Markovkæder rekurrent

Der er ikke noget dansk ord, der hedder rekurrent. Jeg gætter på at det er det engelske ord recurrent der menes, og at en eller anden blot ikke har gidet slå op i en engelsk ordbog.

Det engelske ord betyder noget i retning af gentagelse og skulle så her betyde at du får det samme uafhængig af n evt. først fra et eller andet n≥1. Du skal altså se efter for hvilket n, resultatet er uafhængig af n

Sandsynligheden for at du er i tilstand 1 og er tilbage i tilstand 1 efter 1 skridt er 1-a. Så at P₁(T₁=1)=1-a er åbenlyst. Se så på P₁(T₁=2), her skal du i første skridt gå fra 1 til 2 (Hvilket har sandsynlighed a), og derfra fra 2 til 1 (som sker med sandsynlighed b). Altså P₁(T₁=2)=ab. Næste er P₁(T₁=3), altså sandsynligheden for at gå fra 1 til 2, fra 2 til 2 og endeligt fra 2 til 1. altså P₁(T₁=3)=a(1-b)b=ab(1-b)^3-2. Hvis du forsætter på denne måde vil du indse at når du lader n stige med 1 ganger du blot (1-b) på endnu engang.

At tilstanden 1 er rekurrent betyder at P₁(T₁<∞)=1, altså at hvis du starter i tilstand 1 vil du komme tilbage til tilstand 1 i et endeligt antal skridt med sandsynlighed 1. Denne sandsynlighed kan du regne som:
P₁(T₁<∞)=Σ_n=1^∞ P₁(T₁=n), disse værdier har du jo fået opgivet, så du kan bare sætte ind og regne summen. Du skal så afgøre for hvilke a og b summen giver 1.