1.连续时间xhdym的一般定义
一个随机过程 {X(t),t≥0} 称为连续时间的xhdym，如果
那么我们称这个过程为马尔科夫过程。另外针对转移概率
pij(s)=P(X(t+s)=j|X(t)=i)
和起始时间t无关的话，我们称这是时间齐次的xhdym。这个转移矩阵和离散时间不同的是，离散时间给出的是一步转移概率，但是连续xhdym的转移概率给出的是和时间相关的。
2.连续时间xhdym的另一类定义
我们考虑连续时间xhdym从一个状态 i 开始，到状态发生变化，比如变成j所经过的时间，由于xhdym的马尔科夫性，这个时间是具有无记忆性的，所以这个时间是服从指数分布的。这和离散时间xhdym是密切相关的，离散时间xhdym中的时间是离散时间，因为由无记忆性，所以是服从几何分布的。
这样我们就可以这样定义连续时间xhdym。xhdym是这样的一个过程。
(i) 在转移到不同的状态 i 前，它处于这个状态的时间是速率为vi的指数分布。
(ii) 当离开状态 i 时，以某种概率Pij进入下一个状态 j ,当然Pij满足
Pii=0,∀i;∑jPij=1,∀i
对比于半xhdym，我们可以发现，连续时间xhdym是一种特殊的半xhdym，在一个状态所待的时间是只不过是一个具体的分布–指数分布，而半xhdym只是说所待的时间是任意的一个随机时间。
3.生灭过程
第二种定义是利于了解连续时间xhdym的相关性质的，我们用生灭过程来说明这种定义的意义所在。首先，我们先说明什么是生灭过程。生灭过程是一个计数过程，在这个过程的任意时刻，新到达者以指数速率 λn 进入系统（生过程），同时系统中的成员以指数速率 μn 离开系统（灭过程）,也就是说假设系统中现在有n个人，那么下一状态有两种，一个是n+1，另一个是n-1.从n状态到n+1状态所经过的时间服从速率为 λn 的指数分布。从状态n到状态n-1所经过的时间服从速率为 μn 的指数分布。这样的过程就是生灭过程，参数 {λn}∞n=0 和 {μn}∞n=0 称为出生率和死亡率。我们做出图来理解这个过程。
图中的状态就是当前系统中的人数，0,1,2,3表示系统中的人数为0,1,2,3.从1状态到2状态所经过的时间 t1 服从速率为 λ1 （图中的L0）的指数分布。从状态1到状态0所经过的时间 t2 服从速率为 μ1 (图中的U1)的指数分布。那么我们很感兴趣的是系统在状态1所待的时间是什么分布，它应该是 λ1 和 μ1 中的较小者，显然是服从参数为 λ1+μ1 的指数分布。那么在即将改变状态那一时刻，这个状态应该转变成哪种状态，同时状态转移概率是多少。问题便是如果 t1=min(t1,t2) ，那么也就是说1状态将要转变成2状态，这个概率为 λ1λ1+μ1 ,如果 t2=min(t1,t2) 那么就是说状态1要转变成状态0，这个概率为 μ1λ1+μ1 ，这样我们就可以说生灭过程是一个连续时间的xhdym。
针对生灭过程，我们感兴趣的一个问题就是从状态i到状态j所进过的平均时间，这可能是这样的一个问题一个种群中，生物个数从0增长到n所使用的平均时间。针对一个出生率 {λn} 和死亡率 {μn} 的一般生灭过程。我们首先记 Ti 为从状态 i 到状态i+1的时间。那么这个平均时间是多少？
根据上面的理论，我们知道从状态i待一个速率为 λi+μi 的指数时间后，要转移状态，转移到状态i+1的概率为 λiλi+μi ，同时转移到状态 i−1 的概率为 μiλi+μi ,但是转移到 i−1 之后，我们需要最终转移到 i+1 ，那么必须经过状态 i ，然后到状态i+1,所以我们得到如下式子
同时我们知道 E(T0)=1λ0 这样我们就可以确定从状态 i 到状态j( i<j )的平均时间，也就是 E(Ti)+...+E(Tj−1) .
下面就要说明一下连续时间xhdym的两个定义之间的关系
根据第二个定义的 (i) ，在状态i所待的时间是速率为 vi 的指数时间，然后状态进行转移，转移概率为 pij ，那么我们定义 qij=vipij 表示从状态i转移到状态j的速率。
那么我们有如下的两个式子
limh→0Pij(h)h=qij,i≠j(2)
我们针对这两个式子进行解释。这里需要有泊松过程的定理来辅助理解， 1−Pii(h) 其实是
Pii(0)−Pii(h) ,那么我们便知道 1−Pii(h)h=vi 表示的就是转移 Pii(t) 概率在0处的倒数。同时 Pii(h)=1−P(Xh≠i|X0=i) ， P(Xh≠i|X0=i) 表示在h时间段内，状态发生了转移，但是由于时间h比较小，所以发生多次转移的概率为 o(h) ，而根据泊松过程(也是连续时间xhdym)的条件三(参见(http://blog.csdn.net/zhlei12345/article/details/45400053)）,我们知道在时间 h 中发生一次状态变化的概率为vih+o(h).综上所述我们便可得到式（1）.同样，我们知道 Pij(h) 表示在时间 h 内，从状态i转变到状态j，多次转变的概率为o(h)，一次转变的概率为 vihPij+o(h) ，所以可得式（2）
这样我们便可以得到所谓的 Q 矩阵，它就表示转移概率矩阵在时间0处的导数。那么如果我们知道了Q矩阵，如何求对应的 P 矩阵呢？这就是著名的wqdej向前向后方程，我们不给出具体的整个定理的条件，只给出结论：
P′(t)=P(t)Q
P′(t)=QP(t)
连续时间马尔科夫过程的极限概率
我们记
然后假设这个连续时间xhdym存在极限分布，那么根据wqdej向前向后方程，我们有如下式子成立
vjPj=∑k≠jqkjPk(3)
它和如下式子
∑jPj=1
我们暂时不用去管连续时间xhdym是否存在极限分布，就假设它存在，然后根据上面的两个式子进行求解，如果存在解，那就是存在，反之就是不存在。
针对式(3)，我们给出如下的解释：回想离散xhdym（非周期）中的极限概率分布，假设有极限 π=π1,...,πn 存在，那么我们有 πi=∑jπjPji ,等式左边等于 ∑jπiPij 表示的是在足够长的时间之后，这个真实的黄豆链从状态i转移到其他的状态的概率，而等式右边表示其他的状态转移到状态i的概率，这两个概率我们分别叫做i的流出和流入，存在极限分布的条件就是每个状态的流入和流出是相等的，同样针对式（3），也有同样的解释，在相当长的一段时间之后，xhdym从状态 j 转移出去的速率就是等式的左面，原因就是vj就是状态转变速率，左面是从其他状态转变到状态 i 的速率，也就是流入速率等于流出速率，那么就存在极限分布。当极限概率Pj存在时，我们称这个链是 遍历的 .
那么我们在求解时，只需要把握住运用 Q 矩阵，使得每个状态的流入速率等于它的流出速率便可。
接下来，我们举个例子来说明xhdym的极限分布的应用
例.一个服务中心由两条服务组成。每条以平均每小时2个服务的指数速率工作。如果顾客以每小时3个的泊松过程到达，假定系统的容量至多是3个顾客。
（a）潜在顾客进入系统的比例是多少？
（b）如果只有单服务线，而他的速率快两倍（即 μ=4 ）,(a)的值是多少？
分析：（a）我们可以这样考虑，在单位时间有3个顾客到达，那么由多少个顾客进入系统，这样潜在顾客进入系统的比例是多少了，这三个人进入的时间不正确的话，它一定是不能进入系统的，所以，我们需要计算出在一个小时内，不正确的时间比例是多少。其实也就是说这一个小时分成可以进入（0）和不可以（1）进入两种状况，那么不可以进入的概率，就是一个顾客能够进入的期望，然后乘以3就是3个顾客能够进入的期望，再除以3就是潜在顾客进入系统的比例。系统中的人数其实是一个连续时间的xhdym，我们画出状态转移图
从 i 状态到j状态转移的等待时间都是指数分布的时间，然后只从状态i转移到其他状态的概率和是1.这是一个连续时间的xhdym，状态有限，我们根据极限分布理论来求其极限分布，根据每个状态的流出速率等于流入速率，举个例子
P1∗(2+3)=(3)P0+P2(4)
这样我们就可以求出在足够长的时间之后，每种状态出现的比例，同时我们知道状态3出现时，我们是无法进入系统的，所以，计算状态3所占比重便可
针对（b），状态转移图如下
，同样可以求其极限分布。
时间可逆性
我们先给出一个连续时间xhdym的极限分布的解释。首先我们考虑其嵌入链，这是一个离散时间的xhdym，我们假设其极限分布存在为 πi ,那么下式是成立的
πi=∑jπjPji
，同时我们知道状态i转移到下一状态的停留时间是服从速率为 vi 的指数分布，也就是平均的停留的时间为 1/vi ，我们自然联想到连续时间xhdym中状态i的极限概率应该是
即 i 状态所待的时间的比重。
针对一个存在极限分布的连续时间xhdym来说，它的逆过程也是连续时间的xhdym。也就是如果这个xhdym已经进行了很长的一段时间，它的状态已经稳定，那么反过来看如果在t时间状态为 i ，那么在(t−s,t)这段时间内保持i状态的概率是服从指数分布的，参数是 vi ,针对逆过程的嵌入链来说，它的一步转移概率为
Qij=πjPjiπi
其中 πi 是原xhdym的嵌入链的平稳概率。
接下来，我们给出连续时间xhdym是时间可逆的概念。如果针对连续时间xhdym的嵌入链是时间可逆的，也就是说
Qij=Pij
即
πjPji=πiPij
利用式（4）,我们推导出针对连续时间xhdym是时间可逆的条件
Piqij=Pjqji
这个的意思是状态i的流出到j的速率等于状态j流出到i的速率。
截止的xhdym
如果针对一个连续时间离散状态的xhdym来说，它的状态集为 S ，同时A⊂S,保持 A 的状态转移方式不变，对于S∩Ac的集合的所有状态转移概率为零，那么限制在 A 上的原连续时间xhdym还是一个xhdym。
截止的xhdym的性质
性质1:一个具有极限概率为 Pj 的时间可逆的xhdym，其截止在集合 A⊂S 上的xhdym是时间可逆的，其极限分布是
性质2:如果对于 i=1,...,n,Xi(t),t≥0 都是独立的时间可逆的连续时间的xhdym，那么向量过程 X1(t),...,Xn(t),t≥o 也是时间可逆的连续时间的xhdym
接下来，我们要举个例子来说明两个性质的应用
例 考察由n个部件组成的系统，其中部件 i(i=1,...,n) 按照速率为 λi 运行一个指数时间，然后失效。在它失效时，对部件 i 的修理开始，修理需要用一个速率为μi的指数分布时间。部件一旦修复，将与新的同样好，部件运行是彼此独立的，除了当只有一个部件工作时系统将暂时停止直到完成一次修复，然后以两个部件重新运行。
(a)系统停止的时间比例是多少?
(b)正在修理的部件的平均个数是多少?
分析:我们将每个部件的运行失效，修复，再运行过程进行观察，可以发现它是一个连续时间马尔科夫过程。其实很简单，状态集合为 0,1 ，状态停留是指数分布，其中0表示失效，1表示正常，同时它也是一个时间可逆的过程。那么极限分布就是
P0=λiλi+μi
那么根据性质2，我们知道随机序列 X1,...,Xn 是一个时间可逆的马尔科夫过程。但是题目中是对这个状态空间有限制的，也就是状态 (0,...,0)n 是不存在的，显然这是一个截止的xhdym。
(a) 系统停止时只有一种情况，就是只剩下一台机器在工作，那么我们只需要确定这种情况的概率便可概率如下
∑j=1n∏i≠jμn−1iλi(μi+λi)n
同时状态 (0,...,0)n 的概率为
P(0)=∏i=1nμni(μi+λi)n
这样我们便可以计算(a)
(b) 针对不截止的xhdym来说，我们用 Ii 表示第 i 个部件正在修理，那么正在修理的部件个数为E(N)=∑ni=1E(Ii)，同时 E(N)=E(N|0)P(0)+E(N|notzero)(1−P(0)) ，我们所要求的便是 E(N|notzero) .