Die Annahmen über die Poisson-Natur des Anforderungsflusses und über die exponentielle Verteilung der Servicezeit sind insofern wertvoll, als sie es uns ermöglichen, den Apparat der sogenannten Markov-Zufallsprozesse in der Theorie der Warteschlangen anzuwenden.
Ein in einem physikalischen System ablaufender Prozess wird als Markov-Prozess (oder Prozess ohne Nachwirkung) bezeichnet, wenn die Wahrscheinlichkeit eines beliebigen Zustands des Systems in der Zukunft zu jedem Zeitpunkt nur vom gegenwärtigen Zustand des Systems abhängt und dies auch tut nicht davon abhängen, wie das System in diesen Zustand gekommen ist.
Betrachten Sie ein elementares Beispiel eines Markov-Zufallsprozesses. Ein Punkt bewegt sich zufällig entlang der x-Achse. Der Punkt befindet sich im Moment am Ursprung und bleibt dort für eine Sekunde. Eine Sekunde später wird eine Münze geworfen; Wenn das Wappen herausgefallen ist, bewegt sich der Punkt um eine Längeneinheit nach rechts, wenn die Nummer - nach links. Eine Sekunde später wird erneut eine Münze geworfen und die gleiche zufällige Bewegung wird ausgeführt usw. Der Prozess der Positionsänderung eines Punktes (oder, wie sie sagen, "Wandern") ist ein zufälliger Prozess mit diskreter Zeit und einer zählbaren Menge von Staaten
Das Schema möglicher Übergänge für diesen Prozess ist in Abb. 2 dargestellt. 19.7.1.
Zeigen wir, dass dieser Prozess ein Markov-Prozess ist. Stellen Sie sich vor, dass sich das System zu einem bestimmten Zeitpunkt beispielsweise im Zustand befindet – eine Einheit rechts vom Ursprung. Mögliche Positionen des Punktes in einer Zeiteinheit sind und mit Wahrscheinlichkeiten 1/2 und 1/2; durch zwei Einheiten - , , mit Wahrscheinlichkeiten 1/4, ½, 1/4 und so weiter. Offensichtlich hängen alle diese Wahrscheinlichkeiten nur davon ab, wo sich der Punkt zu einem bestimmten Zeitpunkt befindet, und sind völlig unabhängig davon, wie er dorthin gelangt ist.
Betrachten wir ein anderes Beispiel. Es gibt ein technisches Gerät, das aus Elementen (Teilen) verschiedener Typen und mit unterschiedlicher Haltbarkeit besteht. Diese Elemente können zu zufälligen Zeiten und unabhängig voneinander ausfallen. Der korrekte Betrieb jedes Elements ist sicherlich für den Betrieb des Geräts als Ganzes erforderlich. Die Betriebszeit eines Elements ist eine nach einem Exponentialgesetz verteilte Zufallsvariable; für Elemente vom Typ und sind die Parameter dieses Gesetzes unterschiedlich und gleich bzw. gleich. Bei einem Geräteausfall werden umgehend Maßnahmen zur Ursachenfindung eingeleitet und das erkannte defekte Element umgehend durch ein neues ersetzt. Die für die Wiederherstellung (Reparatur) des Geräts erforderliche Zeit wird nach einem Exponentialgesetz mit den Parametern (wenn ein Element vom Typ ausgefallen ist) und (wenn ein Element vom Typ ausgefallen ist) verteilt.
In diesem Beispiel ist der im System laufende Zufallsprozess ein Markov-Prozess mit kontinuierlicher Zeit und einer endlichen Menge von Zuständen:
Alle Elemente sind in Ordnung, das System funktioniert,
Das Element des Typs ist defekt, das System wird repariert,
Das Element des Typs ist fehlerhaft, das System wird repariert.
Das Schema möglicher Übergänge ist in Abb. 19.7.2.
Tatsächlich hat der Prozess die Markov-Eigenschaft. Nehmen wir zum Beispiel an, dass sich das System im Moment im Zustand (gesund) befindet. Da die Betriebszeit jedes Elements indikativ ist, hängt der Zeitpunkt des Ausfalls jedes Elements in der Zukunft nicht davon ab, wie lange es bereits funktioniert hat (bei Lieferung). Daher hängt die Wahrscheinlichkeit, dass das System in Zukunft in dem Zustand bleibt oder ihn verlässt, nicht von der „Vorgeschichte“ des Prozesses ab. Nehmen wir nun an, dass sich das System im Moment in einem Zustand befindet (ein Element vom Typ ist fehlerhaft). Da die Reparaturzeit auch indikativ ist, hängt die Wahrscheinlichkeit, die Reparatur zu einem späteren Zeitpunkt abzuschließen, nicht davon ab, wann die Reparatur begonnen und die verbleibenden (betriebsbereiten) Elemente geliefert wurden. Somit ist der Prozess Markovsch.
Beachten Sie, dass die Exponentialverteilung der Elementbetriebszeit und die Exponentialverteilung der Reparaturzeit wesentliche Bedingungen sind, ohne die der Prozess nicht Markovsch wäre. Nehmen wir an, dass die Zeit des korrekten Betriebs des Elements nicht nach einem Exponentialgesetz, sondern nach einem anderen Gesetz verteilt ist - zum Beispiel nach dem Gesetz der gleichmäßigen Dichte im Abschnitt . Das bedeutet, dass jedes Element mit Garantie für die Zeit funktioniert und im Abschnitt von bis jederzeit mit der gleichen Wahrscheinlichkeitsdichte ausfallen kann. Angenommen, das Element funktioniert irgendwann richtig. Offensichtlich hängt die Wahrscheinlichkeit, dass das Element irgendwann in der Zukunft ausfällt, davon ab, wie lange das Element geliefert wurde, d. h. es hängt von der Vorgeschichte ab, und der Prozess wird nicht Markov sein.
Ähnlich verhält es sich mit der Reparaturzeit; Wenn dies kein Hinweis ist und das Element gerade repariert wird, hängt die verbleibende Reparaturzeit davon ab, wann es begonnen wurde. der Prozess wird wieder kein Markovian sein.
Generell spielt die Exponentialverteilung in der Theorie der Markov-Zufallsprozesse mit kontinuierlicher Zeit eine besondere Rolle. Es ist leicht zu sehen, dass in einem stationären Markov-Prozess die Zeit, während der das System in einem Zustand verbleibt, immer nach einem Exponentialgesetz verteilt ist (mit einem Parameter, der im Allgemeinen von diesem Zustand abhängt). Angenommen, das System befindet sich im Moment in einem Zustand und war zuvor bereits einige Zeit darin. Gemäß der Definition eines Markov-Prozesses hängt die Wahrscheinlichkeit eines Ereignisses in der Zukunft nicht von der Vorgeschichte ab; insbesondere sollte die Wahrscheinlichkeit, dass das System den Zustand innerhalb der Zeit t verlässt, nicht davon abhängen, wie viel Zeit das System bereits in diesem Zustand verbracht hat. Daher muss die Zeit, die das System in einem Zustand verbringt, gemäß einem Exponentialgesetz verteilt werden.
Für den Fall, dass der Prozess, der in einem physikalischen System mit einer zählbaren Menge von Zuständen und kontinuierlicher Zeit auftritt, Markovsch ist, kann dieser Prozess unter Verwendung gewöhnlicher Differentialgleichungen beschrieben werden, in denen die unbekannten Funktionen die Zustandswahrscheinlichkeiten sind. Die Aufstellung und Lösung solcher Gleichungen demonstrieren wir im Folgenden am Beispiel des einfachsten Warteschlangensystems.
MARKOV-PROZESS
Ablauf ohne Nachwirkung, - Zufallsprozess, deren Entwicklung nach einem gegebenen Wert des Zeitparameters t nicht von der vorangegangenen Entwicklung abhängt t, vorausgesetzt, der Wert des Prozesses steht zu diesem Zeitpunkt fest (kurz: „Zukunft“ und „Vergangenheit“ des Prozesses hängen bei bekannter „Gegenwart“ nicht voneinander ab).
Die Eigenschaft, die den M. p. bestimmt, wird aufgerufen. Markovisch; es wurde zuerst von A. A. Markov formuliert. Allerdings ist bereits in den Arbeiten von L. Bachelier ein Versuch zu erkennen, den Brownian als M. p. zu interpretieren, ein Versuch, der durch die Untersuchungen von N. Wiener (N. Wiener, 1923) untermauert wurde. A. N. Kolmogorov legte den Grundstein für die allgemeine Theorie von M. p. mit kontinuierlicher Zeit.
Markov-Eigenschaft. Es gibt grundsätzlich verschiedene Definitionen von M. n. Eine der gebräuchlichsten ist die folgende. Gegeben sei ein Zufallsprozess auf einem Wahrscheinlichkeitsraum mit Werten aus einem messbaren Raum wo T - Teilmenge der reellen Achse Let N t(beziehungsweise N t).ist eine s-Algebra in
erzeugt durch X(s).
wo
Mit anderen Worten, N t(beziehungsweise N t) ist eine Reihe von Ereignissen, die mit der Entwicklung des Prozesses bis zum Zeitpunkt t verbunden sind (beginnend bei t) .
Verarbeite X(t). Markov-Prozess, wenn (fast sicher) die Markov-Eigenschaft für alle gilt:
oder, was das gleiche ist, wenn überhaupt
Ein m.p., für das T in der Menge der natürlichen Zahlen enthalten ist, genannt. Markov-Kette(allerdings wird der letzte Term am häufigsten mit dem Fall von höchstens abzählbarem E in Verbindung gebracht) .
Wenn T ein Intervall in ist und En mehr als abzählbar ist, ist M. p. Markov-Kette mit kontinuierlicher Zeit. Beispiele für zeitkontinuierliche MTs sind Diffusionsprozesse und Prozesse mit unabhängigen Inkrementen, einschließlich Poisson- und Wiener-Prozessen.
Im Folgenden betrachten wir der Deutlichkeit halber nur den Fall 
Die Formeln (1) und (2) geben eine klare Interpretation des Prinzips der Unabhängigkeit von "Vergangenheit" und "Zukunft" mit der bekannten "Gegenwart", aber die darauf basierende Definition von M.p. erwies sich in diesen zahlreichen als unzureichend flexibel Situationen, in denen nicht eine, sondern eine Reihe von Bedingungen des Typs (1) oder (2) zu berücksichtigen sind, die verschiedenen, wenn auch auf bestimmte Weise vereinbarten Maßnahmen entsprechen.Überlegungen dieser Art führten zur Annahme der folgenden Definition (vgl , ).
Gegeben sei:
a) wobei die s-Algebra alle Ein-Punkt-Mengen in E enthält;
b) messbar ausgestattet mit einer Familie von s-Algebren, so dass wenn
in) (" ") x t = xt(w) ,
Definition für jede messbare Zuordnung
d) für jede und ein Wahrscheinlichkeitsmaß auf der s-Algebra, so dass die Funktion 
messbar in Bezug auf ob und
Name gesetzt (nicht terminierender) Markov-Prozess gegeben in if -fast sicher
was auch immer sie sind Hier ist der Raum der Elementarereignisse, ist der Phasenraum oder der Zustandsraum, Р( s, x, t, v)- Übergangsfunktion oder die Übergangswahrscheinlichkeit des Prozesses X(t) .
Wenn sie mit einer Topologie ausgestattet ist, setzt eine Sammlung von Borel ein E, dann ist es üblich zu sagen, dass der M. p. angegeben ist E.Üblicherweise beinhaltet die Definition von M. p. die Anforderung, dass auch dann als Wahrscheinlichkeit interpretiert werden, sofern dies der Fall ist x s = x.
Es stellt sich die Frage, ob irgendeine Markov-Übergangsfunktion P( s, x;Fernseher),
gegeben in einem messbaren Raum, kann als Übergangsfunktion von einigen M. p angesehen werden. Die Antwort ist positiv, wenn zum Beispiel E ein separierbarer lokal kompakter Raum und eine Sammlung von Borel-Mengen ist E. Außerdem lassen E- volle Metrik Platz und lassen
für überall a ist die Ergänzung der E-Nachbarschaft des Punktes X. Dann kann der entsprechende M. p. als rechts stetig und links begrenzt betrachtet werden (d. h. seine Trajektorien können als solche gewählt werden). Die Existenz eines kontinuierlichen M. p. wird durch die Bedingung für (siehe , ) sichergestellt. In der Theorie von M. p. wird das Hauptaugenmerk auf (zeitlich) homogene Prozesse gelegt. Die entsprechende Definition geht von einem gegebenen System aus Objekte a) - d) mit dem Unterschied, dass für die in der Beschreibung vorkommenden Parameter s und u nur noch der Wert 0 erlaubt ist, außerdem ist die Notation vereinfacht:
Als nächstes wird die Homogenität des Raums W postuliert, d. h. es ist erforderlich, dass für alle 
es gab solche 
(w) für Aus diesem Grund auf der s-Algebra N, die kleinste s-Algebra in W, die irgendein Ereignis der Form enthält 
Zeitverschiebungsoperatoren q t, die die Operationen der Vereinigung, des Schnitts und der Subtraktion von Mengen beibehalten und für die
Name gesetzt (nicht terminierender) homogener Markov-Prozess gegeben in if -fast sicher
für die Übergangsfunktion des Prozesses X(t).P( t, x, v), darüber hinaus, wenn keine besonderen Vorbehalte vorliegen, verlangen sie dies zusätzlich 
und das in (4) immer Ft kann durch eine s-Algebra gleich dem Schnittpunkt der Vervollständigungen ersetzt werden Ftüber alle möglichen Maße Häufig beim Festlegen eines Wahrscheinlichkeitsmaßes m ("initial") und Berücksichtigung einer Markov-Zufallsfunktion 
wo ist das Maß, das durch die Gleichheit gegeben ist
M.p. progressiv messbar, wenn für jedes t>0 die Funktion ein messbares induziert, wobei eine s-Algebra ist
Borel-Teilmengen in . Rechts durchgehende M. p. sind progressiv messbar. Es gibt eine Möglichkeit, einen inhomogenen Fall auf einen homogenen zu reduzieren (siehe ), und wir werden uns im Folgenden mit homogenen M. p.
Streng. Lassen Sie in einem messbaren Raum einen M. p.
Namensfunktion Markov-Moment, wenn 
für alle
In diesem Fall beziehen sie sich auf die Familie F t if at (am häufigsten wird F t als eine Reihe von Ereignissen interpretiert, die mit der Entwicklung von X(t) bis zum Zeitpunkt t verbunden sind). Glauben
Progressiv messbar M. n. Xnaz. strenger Markov-Prozess (smp), wenn für jeden Markov-Moment m und alle 
und Verhältnis
(strenge Markov-Eigenschaft) gilt -fast sicher auf der Menge W t . Bei der Prüfung von (5) genügt es, nur Mengen der Form wo zu betrachten 
in diesem Fall ist ein S. m. s. beispielsweise ein beliebiges rechtsfortlaufendes Feller M. s. Platz E. M.p. Feller-Markov-Prozess, wenn die Funktion
ist stetig, wenn f stetig und beschränkt ist.
In der Klasse mit m. p. bestimmte Unterklassen werden unterschieden. Lassen Sie das Markov P( t, x, v),
in einem metrischen lokal kompakten Raum definiert E, stochastisch stetig:
für jede Umgebung U jedes Punktes Wenn die Operatoren stetige und im Unendlichen verschwindende Funktionen in sich aufnehmen, dann sind die Funktionen Р( t, x, v) entspricht dem Standard L. p. x, d.h. rechts durchgehend mit. m.p., wofür
- ziemlich sicher am Set 
a sind PMarkov-Momente, die mit dem Wachstum nicht abnehmen. Beenden des Markov-Prozesses. Oft körperlich. Es ist zweckmäßig, die Systeme mit Hilfe eines nicht terminierenden MT zu beschreiben, jedoch nur auf einem Zeitintervall beliebiger Länge. Außerdem können selbst einfache Transformationen von M. p. zu einem Prozess mit in zufälligen Intervallen gegebenen Trajektorien führen (vgl. Funktionell aus einem Markov-Prozess). Geleitet von diesen Überlegungen wurde das Konzept eines terminierenden M. p.
Sei ein homogener M. p. im Phasenraum mit einer Übergangsfunktion 
und es gebe einen Punkt und eine Funktion 
so dass mit und sonst (wenn es keine besonderen Vorbehalte gibt, beachten Sie ). Neue Flugbahn x t(w) ist nur für ) durch die Gleichheit gegeben 
a Ft wie im Satz definiert
Stellen Sie ein, wo 
genannt Beenden des Markov-Prozesses (c.m.p.), erhalten durch Beenden (oder Töten) zum Zeitpunkt z. Der Wert von z aufgerufen. Sollbruchstelle, oder Lebenszeit, o. m. p. Der Phasenraum des neuen Prozesses ist, wo die Spur der s-Algebra ist E.Übergangsfunktion o. m.p. ist die Beschränkung auf die Menge 
Verarbeite X(t). ein strikter Markov-Prozess oder ein Standard-Markov-Prozess, wenn die entsprechende Eigenschaft vorhanden ist. m.p. mit dem Moment des Bruchs mp wird auf ähnliche Weise definiert. M.
Markov-Prozesse und . M. p. vom Typ der Brownschen Bewegung sind eng verwandt mit den Differentialgleichungen der Parabel. Typ. Übergang p(s, x, t, y) des Diffusionsprozesses erfüllt unter bestimmten zusätzlichen Annahmen die inverse und direkte Kolmogorov-Differentialgleichung:
Funktion p( s, x, t, y) ist die Green'sche Funktion der Gleichungen (6)–(7), und die ersten bekannten Verfahren zum Konstruieren von Diffusionsprozessen basierten auf Existenztheoremen für diese Funktion für Differentialgleichungen (6)–(7). Für einen zeithomogenen Prozess L( s, x)= L(x) auf glatten Funktionen stimmt mit der Charakteristik überein. Betreiber von M. p. (vgl Halbgruppe transienter Operatoren).
Mathematisch die Erwartungen verschiedener Funktionale aus Diffusionsprozessen dienen als Lösungen der entsprechenden Randwertprobleme für die Differentialgleichung (1). Lassen Sie - mathematisch. Erwartung durch Maß Dann erfüllt die Funktion für s
Ebenso die Funktion
erfüllt wann s
und Zustand und 2 ( T, x) = 0.
Sei t der Moment des ersten Erreichens der Grenze dD Bereiche
Prozessverlauf
Dann, unter bestimmten Bedingungen, die Funktion
erfüllt die Gleichung
und nimmt die Werte cp auf den Satz
Lösung des 1. Randwertproblems für eine allgemeine lineare Parabel. Gleichungen 2. Ordnung
unter ziemlich allgemeinen Annahmen kann geschrieben werden als
In dem Fall, wenn L und funktioniert c, f nicht abhängen s, zur Lösung einer linearen Ellipse ist auch eine Darstellung ähnlich (9) möglich. Gleichungen. Genauer gesagt die Funktion
unter bestimmten Annahmen gibt es Probleme
Für den Fall, dass der Operator L entartet (del b( s, x) = 0
).oder dD ungenügend „gut“, können Grenzwerte von den Funktionen (9), (10) an einzelnen Punkten oder an ganzen Sätzen nicht akzeptiert werden. Das Konzept eines regulären Grenzpunkts für einen Operator L hat eine probabilistische Interpretation. An regelmäßigen Punkten der Grenze werden die Randwerte durch die Funktionen (9), (10) erreicht. Die Lösung der Probleme (8), (11) ermöglicht es, die Eigenschaften der entsprechenden Diffusionsprozesse und Funktionale daraus zu studieren.
Es gibt Verfahren zum Konstruieren von M. p., die beispielsweise nicht auf der Konstruktion von Lösungen der Gleichungen (6), (7) beruhen. Methode stochastische Differentialgleichungen, absolut kontinuierliche Maßänderung usw. Dieser Umstand zusammen mit den Formeln (9), (10) erlaubt es uns, die Eigenschaften von Randwertproblemen für Gleichung (8) auf probabilistische Weise zu konstruieren und zu untersuchen, sowie die Eigenschaften von die Lösung der entsprechenden Ellipse. Gleichungen.
Da die Lösung der stochastischen Differentialgleichung unempfindlich gegenüber der Entartung der Matrix b( s, x), dann Wahrscheinlichkeitsmethoden wurden verwendet, um Lösungen für entartete elliptische und parabolische Differentialgleichungen zu konstruieren. Die Erweiterung des Mittelungsprinzips von N. M. Krylov und N. N. Bogolyubov auf stochastische Differentialgleichungen ermöglichte es, mit (9) die entsprechenden Ergebnisse für elliptische und parabolische Differentialgleichungen zu erhalten. Einige schwierige Probleme bei der Untersuchung der Eigenschaften von Lösungen von Gleichungen dieses Typs mit einem kleinen Parameter bei der höchsten Ableitung erwiesen sich als möglich, mit Hilfe von Wahrscheinlichkeitsüberlegungen gelöst zu werden. Auch die Lösung des 2. Randwertproblems für Gleichung (6) hat probabilistische Bedeutung. Die Formulierung von Randwertproblemen für einen unbeschränkten Bereich hängt eng mit der Wiederholung des entsprechenden Diffusionsprozesses zusammen.
Bei einem zeithomogenen Prozess (L hängt nicht von s ab) fällt die positive Lösung der Gleichung bis auf eine multiplikative Konstante unter bestimmten Annahmen mit der stationären Verteilungsdichte des M.p. Gleichungen. R. 3. Khasminsky.
Zündete.: Markov A. A., "Izv. Phys.-Mat. Ob. Kazan. University", 1906, v. 15, No. 4, p. 135-56; B a mit h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; Kolmogorov A. N., "Math. Ann.", 1931, Bd 104, S. 415-458; Russisch Übers.-"Advances in Mathematical Sciences", 1938, c. 5, p. 5-41; Chzhu n Kai-lai, Homogene Markov-Ketten, übersetzt. aus Englisch, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, p. 417-36; Dynkin E. B., Yushkevitch A. A., "Wahrscheinlichkeitstheorie und ihre Anwendungen", 1956, Bd. 1, c. 1, p. 149-55; X und n t J.-A., Markov-Prozesse und -Potentiale, übers. aus dem Englischen, M., 1962; Dellasher und K., Kapazitäten und zufällige Prozesse, übers. aus dem Französischen, Moskau, 1975; D y n k und n E. V., Grundlagen der Theorie der Markov-Prozesse, M., 1959; seine eigenen, Markov-Prozesse, M., 1963; I. I. G und Khman, A. V. Sko r oh o d, Theory of Random Processes, Bd. 2, M., 1973; Freidlin M.I., in dem Buch: Results of Science. Wahrscheinlichkeitstheorie, . - Theoretisch. 1966, M., 1967, p. 7-58; Xa's'minskii R. 3., "Wahrscheinlichkeitstheorie und ihre Anwendungen", 1963, Bd. 8, in
Markov-Prozess- diskreter oder kontinuierlicher Zufallsprozess X(t) , der durch zwei Größen vollständig spezifiziert werden kann: die Wahrscheinlichkeit P(x,t), dass die Zufallsvariable x(t) zum Zeitpunkt t gleich x ist und die Wahrscheinlichkeit P(x2, t2½x1t1), dass … … Wirtschafts- und Mathematikwörterbuch
Markov-Prozess- Diskreter oder kontinuierlicher Zufallsprozess X(t) , der durch zwei Größen vollständig spezifiziert werden kann: die Wahrscheinlichkeit P(x,t), dass die Zufallsvariable x(t) zum Zeitpunkt t gleich x ist und die Wahrscheinlichkeit P(x2, t2? x1t1), dass wenn x bei t = t1… … Handbuch für technische Übersetzer
Eine wichtige spezielle Art von Zufallsprozessen. Ein Beispiel für einen Markov-Prozess ist der Zerfall einer radioaktiven Substanz, bei dem die Wahrscheinlichkeit des Zerfalls eines bestimmten Atoms in kurzer Zeit nicht vom Verlauf des Prozesses in der vorangegangenen Periode abhängt. ... ... Großes Lexikon - Markovo procesas statusas T sritis automatika atitikmenys: angl. Markovprozess vok. Markovprozess, m rus. Markov-Prozess, m; Markov-Prozess, m pranc. processus markovien, m … Automatikos terminų žodynas
Markov-Prozess- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. Markov-Prozess; Markovscher Prozess vok. Markow-Prozess, m; Markowscher Prozess, m rus. Markov-Prozess, m; Markov-Prozess, m pranc. Processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas
Eine wichtige spezielle Art von Zufallsprozessen. Ein Beispiel für den Markov-Prozess ist der Zerfall einer radioaktiven Substanz, bei dem die Wahrscheinlichkeit des Zerfalls eines bestimmten Atoms in kurzer Zeit nicht vom Verlauf des Prozesses in der vorangegangenen Periode abhängt. ... ... Enzyklopädisches Wörterbuch
Eine wichtige Sonderform stochastischer Prozesse, die für Anwendungen der Wahrscheinlichkeitstheorie in verschiedenen Bereichen der Naturwissenschaft und Technik von großer Bedeutung sind. Ein Beispiel für M. p. ist der Zerfall einer radioaktiven Substanz. ... ... Große sowjetische Enzyklopädie
Eine herausragende Entdeckung auf dem Gebiet der Mathematik, die 1906 von dem russischen Wissenschaftler A.A. Markov.
Struktur und Klassifizierung von Warteschlangensystemen
Warteschlangensysteme
Häufig müssen probabilistische Probleme im Zusammenhang mit Warteschlangensystemen (QS) gelöst werden. Beispiele hierfür können sein:
Ticketschalter;
Reparaturwerkstätten;
Handel, Verkehr, Energiesysteme;
Kommunikationssysteme;
Die Gemeinsamkeit solcher Systeme zeigt sich in der Einheit der mathematischen Methoden und Modelle, die bei der Untersuchung ihrer Aktivitäten verwendet werden.
Reis. 4.1. Die Haupteinsatzgebiete von TMT
Die Eingabe in den QS empfängt einen Strom von Dienstanfragen. Zum Beispiel Kunden oder Patienten, Geräteausfälle, Telefonate. Anfragen kommen unregelmäßig, zu zufälligen Zeiten. Die Dauer des Dienstes ist ebenfalls zufällig. Das schafft Unregelmäßigkeiten in der Arbeit des QS, verursacht seine Über- und Unterbelastung.
Warteschlangensysteme haben eine andere Struktur, aber normalerweise können sie unterschieden werden vier Hauptelemente:
1. Eingehender Bedarfsfluss.
2. Akkumulator (Warteschlange).
3. Geräte (Dienstkanäle).
4. Ausgangsfluss.
Reis. 4.2. Allgemeines Schema von Warteschlangensystemen
Reis. 4.3. Systembetriebsmodell
(Pfeile zeigen die Zeitpunkte des Eintreffens der Anforderungen in
System, Rechtecke - Servicezeit)
Abbildung 4.3a zeigt ein Modell des Systems mit einem regelmäßigen Fluss von Anforderungen. Da das Intervall zwischen dem Eintreffen von Ansprüchen bekannt ist, wird die Servicezeit so gewählt, dass das System vollständig belastet wird. Bei einem System mit stochastischem Anforderungsfluss ist die Situation völlig anders – die Anforderungen kommen zu unterschiedlichen Zeitpunkten und auch die Servicezeit ist eine Zufallsgröße, die durch ein bestimmtes Verteilungsgesetz beschrieben werden kann (Abb. 4.3 b).
Abhängig von den Regeln für die Bildung der Warteschlange werden folgende QS unterschieden:
1) Systeme mit Störungen , bei dem, wenn alle Dienstkanäle belegt sind, die Anforderung das System unversorgt verlässt;
2) Systeme mit unbegrenzter Warteschlange , in der die Anfrage in die Warteschlange eintritt, wenn zum Zeitpunkt ihres Eintreffens alle Dienstkanäle belegt waren;
3) Systeme mit Warte- und begrenzter Warteschlange , bei denen die Wartezeit durch bestimmte Bedingungen begrenzt ist oder die Anzahl der in der Warteschlange stehenden Bewerbungen begrenzt ist.
Berücksichtigen Sie die Merkmale des eingehenden Anforderungsflusses.
Der Anforderungsfluss wird aufgerufen stationär , wenn die Wahrscheinlichkeit, dass das eine oder andere Ereignis in einen Zeitabschnitt einer bestimmten Länge fällt, nur von der Länge dieses Abschnitts abhängt.
Der Ereignisstrom wird aufgerufen fließen ohne Folgen , wenn die Anzahl der Ereignisse, die auf ein bestimmtes Zeitintervall fallen, nicht von der Anzahl der Ereignisse abhängt, die auf andere fallen.
Der Ereignisstrom wird aufgerufen gewöhnliche wenn zwei oder mehr Ereignisse nicht gleichzeitig eintreten können.
Der Anforderungsfluss wird aufgerufen Poisson (oder am einfachsten), wenn es drei Eigenschaften hat: stationär, gewöhnlich und ohne Konsequenzen. Der Name ist darauf zurückzuführen, dass unter den angegebenen Bedingungen die Anzahl der Ereignisse, die auf ein beliebiges festes Zeitintervall fallen, gemäß dem Poisson-Gesetz verteilt wird.
Intensität Bewerbungsfluss λ ist die durchschnittliche Anzahl von Bewerbungen, die pro Zeiteinheit aus dem Fluss kommen.
Bei stationärer Strömung ist die Intensität konstant. Wenn τ der Mittelwert des Zeitintervalls zwischen zwei benachbarten Anforderungen ist, dann im Fall eines Poisson-Flusses die Wahrscheinlichkeit, in den Dienst einzutreten m Anfragen für einen bestimmten Zeitraum t wird durch das Poissonsche Gesetz bestimmt:
Die Zeit zwischen benachbarten Anfragen wird exponentiell mit einer Wahrscheinlichkeitsdichte verteilt
Die Servicezeit ist eine Zufallsvariable und gehorcht einem Exponentialverteilungsgesetz mit einer Wahrscheinlichkeitsdichte 
wobei μ die Intensität des Serviceflusses ist, d.h. die durchschnittliche Anzahl der Anfragen, die pro Zeiteinheit bearbeitet wurden,
Das Verhältnis der Intensität des ankommenden Flusses zur Intensität des Serviceflusses wird genannt Systemstart
Ein Warteschlangensystem ist ein diskretes System mit einem endlichen oder zählbaren Satz von Zuständen, und der Übergang des Systems von einem Zustand in einen anderen erfolgt abrupt, wenn ein Ereignis eintritt.
Der Prozess wird aufgerufen diskreter Zustandsprozess , wenn seine möglichen Zustände im Voraus neu nummeriert werden können und der Übergang des Systems von Zustand zu Zustand fast sofort erfolgt.
Es gibt zwei Arten solcher Prozesse: mit diskreter oder kontinuierlicher Zeit.
Bei diskreter Zeit können Übergänge von Zustand zu Zustand zu fest definierten Zeitpunkten erfolgen. Prozesse mit kontinuierlicher Zeit unterscheiden sich dadurch, dass der Übergang des Systems in einen neuen Zustand jederzeit möglich ist.
Ein Zufallsprozess ist eine Entsprechung, bei der jedem Wert des Arguments (in diesem Fall ein Moment aus dem Zeitintervall des Experiments) eine Zufallsvariable (in diesem Fall der QS-Zustand) zugewiesen wird. Zufällige Variable heißt eine Größe, die erfahrungsgemäß einen, aber vorher unbekannten, Zahlenwert aus einer gegebenen Zahlenmenge annehmen kann.
Um die Probleme der Warteschlangentheorie zu lösen, ist es daher notwendig, diesen Zufallsprozess zu untersuchen, d.h. sein mathematisches Modell erstellen und analysieren.
zufälliger Prozess genannt Markovisch , wenn die probabilistischen Eigenschaften des Prozesses in der Zukunft zu irgendeinem Zeitpunkt nur von seinem momentanen Zustand abhängen und nicht davon, wann und wie das System in diesen Zustand gekommen ist.
Die Übergänge des Systems von Zustand zu Zustand erfolgen unter dem Einfluss einiger Flüsse (Fluss von Anwendungen, Fluss von Fehlern). Wenn alle Ereignisflüsse, die das System in einen neuen Zustand bringen, die einfachsten Poisson-Prozesse sind, dann ist der im System ablaufende Prozess Markovsch, da der einfachste Fluss keine Konsequenz hat: In ihm hängt die Zukunft nicht von der Vergangenheit ab.
Die Entwicklung davon nach jedem gegebenen Wert des Zeitparameters t (\displaystyle t) hängt nicht ab aus der vorangegangenen Entwicklung t (\displaystyle t), sofern der Wert des Prozesses in diesem Moment festgelegt ist („die Zukunft“ des Prozesses hängt nicht von der „Vergangenheit“ mit der bekannten „Gegenwart“ ab); eine andere Deutung (Wentzel): die „Zukunft“ des Prozesses hängt ab auf die „Vergangenheit“ nur durch die „Gegenwart“).
Enzyklopädisches YouTube
1 / 3
✪ Vorlesung 15: Markov Stochastische Prozesse
✪ Ursprung der Markov-Ketten
✪ Verallgemeinertes Markov-Prozessmodell
Untertitel
Geschichte
Die Eigenschaft, die einen Markov-Prozess definiert, wird normalerweise als Markov-Eigenschaft bezeichnet; Zum ersten Mal wurde es von A. A. Markov formuliert, der in den Arbeiten von 1907 den Grundstein für die Untersuchung von Folgen abhängiger Versuche und der damit verbundenen Summen von Zufallsvariablen legte. Diese Forschungsrichtung ist als Theorie der Markov-Ketten bekannt.
Die Grundlagen der allgemeinen Theorie der Markov-Prozesse mit kontinuierlicher Zeit wurden von Kolmogorov gelegt.
Markov-Eigenschaft
Allgemeiner Fall
Lassen (Ω , F , P) (\displaystyle (\Omega ,(\mathcal (F)),\mathbb (P)))- Wahrscheinlichkeitsraum mit Filterung (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T))über einige (teilweise geordnete) Menge T (\displaystyle T); Loslassen (S , S) (\displaystyle (S,(\mathcal (S))))- messbarer Raum. zufälliger Prozess X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), definiert auf dem gefilterten Wahrscheinlichkeitsraum, wird als erfüllt angesehen Markov-Eigenschaft wenn für jeden A ∈ S (\displaystyle A\in (\mathcal (S))) und s , t ∈ T: s<
t
{\displaystyle s,t\in T:s
Markov-Prozess ist ein zufälliger Prozess, der erfüllt Markov-Eigenschaft mit natürlicher Filterung.
Für Markov-Ketten mit diskreter Zeit
Wenn S (\displaystyle S) ist eine diskrete Menge und T = N (\displaystyle T=\mathbb (N)), kann die Definition umformuliert werden:
P (X n = x n | X n - 1 = x n - 1 , X n - 2 = x n - 2 , ... , X 0 = x 0) = P (X n = x n | X n - 1 = x n - 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\ Punkte , X_(0)=x_(0))=\mathbb(P) (X_(n)=x_(n)|X_(n-1)=x_(n-1))).Ein Beispiel für einen Markov-Prozess
Betrachten Sie ein einfaches Beispiel eines stochastischen Markov-Prozesses. Ein Punkt bewegt sich zufällig entlang der x-Achse. Zum Zeitpunkt Null befindet sich der Punkt im Ursprung und verbleibt dort für eine Sekunde. Eine Sekunde später wird eine Münze geworfen - wenn das Wappen herausgefallen ist, bewegt sich der Punkt X um eine Längeneinheit nach rechts, wenn die Zahl - nach links. Eine Sekunde später wird die Münze erneut geworfen und die gleiche zufällige Bewegung wird ausgeführt, und so weiter. Der Vorgang der Positionsänderung eines Punktes ("Wandern") ist ein zufälliger Vorgang mit diskreter Zeit (t=0, 1, 2, ...) und einer zählbaren Menge von Zuständen. Ein solcher zufälliger Prozess wird Markovsch genannt, da der nächste Zustand des Punktes nur vom gegenwärtigen (aktuellen) Zustand abhängt und nicht von vergangenen Zuständen (es spielt keine Rolle, auf welchem Weg und für welche Zeit der Punkt zur aktuellen Koordinate gelangt ist). .
Unter zufälliger Prozess die zeitliche Änderung der Zustände eines physikalischen Systems auf bisher unbekannte, zufällige Weise verstehen. Dabei mit einem physikalischen System meinen wir jedes technische Gerät, jede Gerätegruppe, jedes Unternehmen, jede Industrie, jedes biologische System usw.
zufälliger Prozess Fließen im System heißt Markowski – zu irgendeinem Zeitpunkt die probabilistischen Eigenschaften des Prozesses in der Zukunft (t > ) hängen nur von ihrem Zustand zu einem bestimmten Zeitpunkt ab ( gegenwärtig ) und hängen nicht davon ab, wann und wie das System in diesen Zustand gekommen ist in der Vergangenheit .(Zum Beispiel ein Geigerzähler, der die Anzahl der kosmischen Teilchen registriert).
Markov-Prozesse werden normalerweise in 3 Typen unterteilt:
1. Markov-Kette – ein Prozess, dessen Zustände diskret sind (d. h. sie können neu nummeriert werden), und der Zeitpunkt, zu dem er betrachtet wird, ist ebenfalls diskret (d. h. der Prozess kann seine Zustände nur zu bestimmten Zeitpunkten ändern). Ein solcher Prozess verläuft (verändert) sich in Schritten (also in Zyklen).
2. Diskreter Markov-Prozess - Die Menge der Zustände ist diskret (kann aufgezählt werden) und die Zeit ist kontinuierlich (Übergang von einem Zustand in einen anderen - zu jeder Zeit).
3. Kontinuierlicher Markov-Prozess – Zustandsmenge und Zeit sind stetig.
In der Praxis sind Markov-Prozesse in ihrer reinen Form nicht oft anzutreffen. Allerdings hat man es oft mit Prozessen zu tun, bei denen der Einfluss der Vorgeschichte vernachlässigt werden kann. Wenn außerdem alle Parameter aus der "Vergangenheit", von denen die "Zukunft" abhängt, in den Zustand des Systems in der "Gegenwart" einbezogen werden, dann kann es auch als Markovian betrachtet werden. Dies führt jedoch häufig zu einer erheblichen Erhöhung der Anzahl der berücksichtigten Variablen und zur Unmöglichkeit, eine Lösung des Problems zu erhalten.
Im Operations Research werden die sog Markov-stochastische Prozesse mit diskreten Zuständen und kontinuierlicher Zeit.
Der Prozess wird aufgerufen diskreter Zustandsprozess, wenn alle möglichen Zustände , ,... im Voraus aufgezählt (umnummeriert) werden können. Der Übergang des Systems von Zustand zu Zustand verläuft fast augenblicklich - Sprung.
Der Prozess wird aufgerufen kontinuierlicher Zeitprozess, wenn die Übergangsmomente von Zustand zu Zustand beliebige zufällige Werte auf der Zeitachse annehmen können.
Zum Beispiel : Technisches Gerät S besteht aus zwei Knoten , von denen jeder zu einem zufälligen Zeitpunkt ausfallen kann ( sich weigern). Danach beginnt die Knotenreparatur sofort ( Wiederherstellung), die für eine zufällige Zeit andauert.
Folgende Systemzustände sind möglich:
Beide Knoten sind in Ordnung;
Der erste Knoten wird repariert, der zweite funktioniert.
- Der zweite Knoten wird repariert, der erste funktioniert
Beide Knoten werden repariert.
Der Übergang des Systems von Zustand zu Zustand erfolgt fast augenblicklich zu zufälligen Zeiten. Es ist bequem, die Systemzustände und die Beziehung zwischen ihnen mit anzuzeigen Zustandsgraph .
Zustände
Übergänge
Übergänge und fehlen, weil Ausfälle und Wiederherstellung von Elementen treten unabhängig voneinander und zufällig auf, und die Wahrscheinlichkeit eines gleichzeitigen Ausfalls (Wiederherstellung) von zwei Elementen ist infinitesimal und kann vernachlässigt werden.
Wenn alle Ereignisströme das System übersetzen S von Staat zu Staat Protozoen, dann Prozess, in einem solchen System fließen wird Markowski sein. Dies liegt daran, dass die einfachste Strömung nicht nachwirkt, d.h. Darin hängt die "Zukunft" nicht von der "Vergangenheit" ab und hat außerdem die Eigenschaft der Gewöhnlichkeit - die Wahrscheinlichkeit des gleichzeitigen Auftretens von zwei oder mehr Ereignissen ist unendlich gering, d. H. Es ist unmöglich, sich vom Zustand zu entfernen zu erklären, ohne mehrere Zwischenzustände zu durchlaufen.
Aus Gründen der Übersichtlichkeit ist es zweckmäßig, auf dem Zustandsgraphen die Intensität des Ereignisflusses, der das System von Zustand zu Zustand überführt, entlang des angegebenen Pfeils bei jedem Übergangspfeil anzugeben ( - die Intensität des Ereignisflusses, der das System überträgt vom Staat in. Ein solcher Graph heißt markiert.
Unter Verwendung des gekennzeichneten Graphen der Systemzustände ist es möglich, ein mathematisches Modell dieses Prozesses zu erstellen.
Betrachten Sie die Übergänge des Systems von einem Zustand zum vorherigen oder nächsten. Ein Fragment des Zustandsgraphen sieht in diesem Fall so aus:
Lassen Sie das System an der Zeit t befindet sich in einem Zustand von .
Bezeichne (t)- Wahrscheinlichkeit des i-ten Zustands des Systems ist die Wahrscheinlichkeit, dass das System zum Zeitpunkt t befindet sich in einem Zustand von . Für jeden Zeitpunkt gilt t = 1.
Lassen Sie uns die Wahrscheinlichkeit bestimmen, dass im Moment der Zeit t+∆t Das System befindet sich im Zustand. Dies kann in folgenden Fällen der Fall sein:
1) und hat es während der Zeit ∆ t nicht verlassen. Das bedeutet, dass während der Zeit ∆t ist nicht entstanden ein Ereignis, das das System in einen Zustand versetzt (Flow mit Intensität ) oder ein Ereignis, das es in einen Zustand versetzt (Flow mit Intensität ). Bestimmen wir die Wahrscheinlichkeit dafür für kleine ∆t.
Unter dem Exponentialgesetz der zeitlichen Verteilung zwischen zwei benachbarten Anforderungen entspricht dem einfachsten Ereignisfluss die Wahrscheinlichkeit, dass im Zeitintervall ∆t keine Anforderungen im Fluss mit Intensität auftreten λ1 wird gleich sein
Entfalten wir die Funktion f(t) in eine Taylorreihe (t>0) erhalten wir (für t=∆t)
f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=
= +(-l) *∆t+ (∆ + *(∆ +…” 1-l*∆t für ∆t®0
Analog erhalten wir für eine Strömung mit Intensität λ 2 
.
Die Wahrscheinlichkeit, dass im Zeitintervall ∆t (für ∆t®0) keine Anforderung wird gleich sein
(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =
1 - - *∆t + 
1 - (
+
)*∆t + b.m.
Somit wird die Wahrscheinlichkeit, dass das System den Zustand während der Zeit ∆t für kleines ∆t nicht verlassen hat, gleich sein
P( / )=1 – ( + )* ∆t
2) Das System war in einem Zustand S i -1 und für die Zeit in den Zustand S i übergegangen . Das heißt, im Flow ist mindestens ein Ereignis mit Intensität aufgetreten. Die Wahrscheinlichkeit dafür ist gleich der einfachsten Strömung mit Intensität λ wird sein
Für unseren Fall ist die Wahrscheinlichkeit eines solchen Übergangs gleich
3)Das System war in einem Zustand und während der Zeit, in der ∆t in den Zustand überging . Die Wahrscheinlichkeit dafür wird sein
Dann ist die Wahrscheinlichkeit, dass sich das System zur Zeit (t+∆t) im Zustand S i befindet, gleich
P i (t) von beiden Teilen subtrahieren, durch ∆t dividieren und bis zum Limit mit ∆t→0 erhalten wir
Durch Ersetzen der entsprechenden Werte der Intensitäten der Übergänge von Zuständen zu Zuständen erhalten wir ein System von Differentialgleichungen, das die Änderung der Wahrscheinlichkeiten der Systemzustände als Funktionen der Zeit beschreibt.
Diese Gleichungen werden Gleichungen genannt Kolmogorov-Chapman für einen diskreten Markov-Prozess.
Nachdem wir die Anfangsbedingungen (z. B. P 0 (t=0)=1, P i (t=0)=0 i≠0) gesetzt und gelöst haben, erhalten wir Ausdrücke für die Wahrscheinlichkeiten des Systemzustands als Funktion der Zeit . Analytische Lösungen sind ziemlich einfach zu erhalten, wenn die Anzahl der Gleichungen ≤ 2,3 ist. Wenn es mehr davon gibt, werden die Gleichungen normalerweise numerisch auf einem Computer gelöst (z. B. nach dem Runge-Kutta-Verfahren).
In der Theorie der Zufallsprozesse bewährt , was wenn Zahl n Systemzustände sicherlich und von jedem von ihnen ist es möglich (in einer endlichen Anzahl von Schritten), zu jedem anderen zu gehen, dann gibt es eine Grenze , zu der die Wahrscheinlichkeiten tendieren, wenn t→ . Solche Wahrscheinlichkeiten nennt man endgültige Wahrscheinlichkeiten Zustände und der stationäre Zustand - stationärer Modus Funktionsweise des Systems.
Da im Standbetrieb alles 
, also alle =0. Wenn wir die linken Teile des Gleichungssystems mit 0 gleichsetzen und sie mit der Gleichung =1 ergänzen, erhalten wir ein System linearer algebraischer Gleichungen, durch deren Lösung wir die Werte der endgültigen Wahrscheinlichkeiten finden.
Beispiel. Lassen Sie in unserem System die Ausfall- und Wiederherstellungsraten der Elemente wie folgt sein
Ausfälle 1el: 
2el: 
Reparatur 1el: 
2el: 
P 0 + P 1 + P 2 + P 3 \u003d 1
0=-(1+2)P0+2P1+3P2
0=-(2+2)P1+1P0+3P3
0=-(1+3)P2+2P0+2P3
0=-(2+3)P3+2P1+1P2
Wenn wir dieses System lösen, bekommen wir
P 0 = 6/15 = 0,4; P1 = 3/15 = 0,2; P2 = 4/15 = 0,27; P3=2/15≈0,13.
Diese. im stationären Zustand das System im Mittel
40 % befinden sich im Zustand S 0 (beide Knoten sind gesund),
20% - im Zustand S 1 (das 1. Element wird repariert, das 2. ist in gutem Zustand),
27% - in Zustand S 2 (2. Elektrik wird repariert, 1 ist in gutem Zustand),
13% - im Zustand S 3 - beide Elemente sind in Reparatur.
Die Kenntnis der endgültigen Wahrscheinlichkeiten ermöglicht Bewerten Sie die durchschnittliche Systemleistung und die Auslastung des Reparaturdienstes.
Das System im Zustand S 0 soll ein Einkommen von 8 Einheiten bringen. pro Zeiteinheit; im Staat S 1 - Einkommen 3 sr.u.; im Zustand S 2 - Einkommen 5; im Zustand S 3 - Einkommen \u003d 0
Preis Reparatur pro Zeiteinheit für el-ta 1- 1 (S 1, S 3) arb. Einheiten, el-ta 2- (S 2, S 3) 2 arb. Dann im stationären Modus:
Systemeinkommen pro Zeiteinheit sind:
W max =8P 0 +3P 1 +5P 2 +0P 3 =8 0,4+3 0,2+5 0,27+0 0,13=5,15 c.u.
Reparaturkosten in Einheiten Zeit:
W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0 0,4+1 0,2+2 0,27+3 0,13=1,39 c.u.
Profitieren pro Zeiteinheit
W \u003d W doh -W rem \u003d 5,15-1,39 \u003d 3,76 Einheiten
Nachdem bestimmte Ausgaben getätigt wurden, ist es möglich, die Intensität λ und μ und dementsprechend die Effizienz des Systems zu ändern. Die Durchführbarkeit solcher Ausgaben kann durch Neuberechnung von Pi bewertet werden. und Systemleistungsindikatoren.
