Теория марковских случайных процессов. Основные понятия марковских процессов Для марковских цепей с дискретным временем

Марковские случайные процессы.

Предположим, что нам необходимо изучить некоторую «физическая систему» S (процесс функционирования которой можно описать явным образом), которая может с течением времени изменять свое состояние (переходит из одного состояния в другое) заранее неизвестным, случайным образом. Под «физической системой» можно понимать что угодно: техническое устройство, группу таких устройств, предприятие, отрасль промышленности, живой организм, популяцию и так далее.

Полагаем, что исследуемая система S может быть описана некоторым множеством возможных, заранее известных состояний системы S i , которые можно определить исходя из «физической природы» исследуемого процесса функционирования системы, т.е. .

- i -тое состояние системы зависит от k параметров.

В реальной ситуации состояние системы может зависеть от причинно-следственных связей между состояниями и процессами, протекающими в системе. То есть на характер поведения системы накладывается отпечаток «предыстории» характера поведения системы и набор некоторых случайных факторов (внешних или внутренних процессов-возмущений). Мы сталкиваемся с множеством «предполагаемых сценариев» протекания процесса функционирования системы. И сам «выбор» доминирующего «сценария поведения» (как поведет себя исследуемая система) носит случайный характер.

Следует учесть, что переход из состояния S i в состояние S j носит стохастический характер. Функционирование системы начинаем рассматривать с начального состояния S 0 , которому соответствует момент времени t 0 . То есть, то, что было с системой до момента времени t 0 , относится к «прошлому оной», к предыстории.

Определение: Случайный процесс, протекающий в системе, называется марковским, если для любого момента времени t 0 вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t 0 и не зависят от того, когда и как система пришла в это состояние.

Полагаем, что состояние системы описывается функцией S (t ), аргумент этой функции, - время t непрерывно, известны моменты времени перехода системы из одного состояния в другое t : t 1 <t 2 < … <t n . Причем переход из одного состояния в другое происходит «скачком», практически мгновенно.

Пришли к тому, что процессу функционирования системы ставится в соответствие цепь дискретных состояний: S 1 ®S 2 ® … ®S n-1 ®S n (последовательный переход из одного состояния в другое, без «перескакивания» через какое-либо состояние). То есть, рассматриваемая система описывается марковским случайным процессом с дискретными состояниями и непрерывным временем.

Из теории вероятности мы знаем, что функция плотности вероятности для n -го состояния ищется как совместная функция плотности для всей «предыстории» процесса прихода системы в это состояние: .

На практике марковские процессы в чистом виде не встречаются, но нередко приходится иметь дело с процессами, для которых влияние предыстории можно пренебречь. При изучении таких процессов можно применять марковские модели.

При переходе рассмотрения процесса как марковского аналитическое описание модели упрощается, так как полагаем, что состояние системы зависит только от одного предыдущего состояния: .

Цепи Маркова задаются набором четко определенных состояний: . По тому, когда и каким образом происходят «переходы», цепи Маркова делятся на дискретные, для которых время перехода из одного состояния в другое фиксировано, и определяется вероятностью этого перехода, и непрерывные, для которых состояния дискретны, время непрерывно и переходы из одного состояния в другое происходят в случайные, заранее не известные, моменты времени.

При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – так называемым графом состояний.

Определение. Граф – это совокупность множества вершин V и множество упорядоченных пар вершин A ={(a 1 a i) (a 2 a j) … }, элементы которого называются ребрами G (V ,A ).

Состояниям системы ставятся в соответствие вершины графа, а переходам из одного состояния в другое – верви с указанием «направления протекания» процесса.

На следующем примере рассмотрим методику исследования цепей Маркова с помощью размеченного графа состояний.

Пример №1. ТЭА техническая эксплуатация автомобиля.

Упрощенная модель ТЭА подразумевает наличие хотя бы четырех следующих состояний: S 1 – диагностика состояния автомобиля, S 2 – работа на линии (автомобиль исправен), S 3 – техническое обслуживание, S 4 – устранение неисправности (ремонт).

Соответствующий данной системе размеченный граф

m ij плотность вероятности перехода из состояния S i в состояние S j (S i ®S j ), где P ij (Dt ) – вероятность того, что за промежуток времени Dt произойдет данный переход.

Для малых значений Dt справедливо следующее приближенное равенство .

Значения вероятностей переходов определяются из системы дифференциальных уравнений (Колмогорова) по следующим правилам:

1) каждой вершине ставится в соответствие соответствующее состояние, описываемое вероятностью нахождения системы в оном, поэтому количество состояний определяет количество уравнений в системе;

2) в левой части уравнения – производная вероятности соответствующего состояния;

3) в правой части столько слагаемых, сколько переходов (ветвей) в размеченном графе связано с данным состоянием;

4) каждый элемент правой части равен произведению плотности вероятности перехода на плотность вероятности того состояния, из которого осуществлялся переход;

5) в правой части со знаком «+» идут (складываются) элементы, описывающие попадание системы в данное состояние, и со знаком «-» (вычитаются) элементы, описывающие «выход» системы из данного состояния;

6) для упрощения «решаемости» в систему вводится нормирующее уравнение, описывающее полную группу событий: , где N-количество вершин в размеченном графе состояний.

Для рассматриваемого графа состояний получаем следующую систему уравнения:

Данная система уравнений будет легче решаема в случае, когда она описывает стационарный процесс работы исследуемой технической системы (обычно вхождение системы в стационарный режим функционирования занимает от 2-х до 4-х тактов).

На практике считаем, что предположение о стационарности функционирования системы правомерно, если время функционирования системы в целом на порядок выше, чем (20¸40)×тактов работы системы («последовательное» одинарное прохождение по ветвям графа).

Стационарность режима работы предполагает равенство нулю от производных по времени от вероятностей состояния, т.е. .

Система уравнений приводится к следующему виду:

и его решение уже не представляет особой сложности.

Система уравнений по Колмогорову позволяет решить задачу нахождения значений вероятностей для стационарного режима (финальных вероятностей) по известным плотностям вероятностей переходов по ветвям графа, равно как и обратную ей, т.е. нахождение плотностей вероятностей при заданных финальных вероятностях.

Пример №2.

Рассмотрим техническую систему S , состоящую из двух параллельно работающих узлов (два поста на СТО, два заправочных автомата на АЗС). Будем полагать, что переходы системы из одного состояния в другое происходят мгновенно, в случайные моменты времени. Как только узел выходит из строя, он «мгновенно» поступает на ремонт и после приведения его в рабочее состояние он также «мгновенно» начинает эксплуатироваться.

Полагаем, что данная система полностью описывается всего четырьмя состояниями: S 0 – оба узла исправны; S 1 – первый узел ремонтируется, второй исправен; S 2 – второй узел ремонтируется, первый исправен; S 3 – ремонтируются оба узла.

l 1 , l 2 – плотность вероятности выхода из строя первого и второго поста, m 1 , m 2 – плотность вероятности восстановления первого и второго узла соответственно.

Составим систему дифференциальных уравнений по Колмогорову для вероятностей состояний данной системы.

Чтобы решить уравнения Колмогорова и найти численные значения для вероятностей соответствующих состояний, необходимо задаться начальными условиями.

Будем полагать, что в начальный момент времени оба узла исследуемой системы исправны, система находится в состоянии S 0 , т.е. P 0 (t =0)=1, а все остальные начальные вероятности равны нулю: P 1 (0)=P 2 (0)=P 3 (0)=0.

Данная система уравнений легко решается в случае, если система функционирует в установившемся режиме и все процессы, протекающие в ней, стационарные.

Стационарность режима работы предполагает равенство нулю от производных по времени от вероятностей состояния, т.е., i =1, 2, … , n , , где n – количество возможных состояний. А с учётом полной группы событий добавляется уравнение

Последнее, так называемое нормировочное условие, позволяет исключить из системы одно из уравнений…

Решим данную систему при следующих данных: l 1 =1, l 2 =2, m 1 =2, m 2 =3. Запишем систему без четвертого уравнения.

Решая их, получим: P 0 =0,4; P 1 =0,2; P 2 @0,27; P 3 @0,13.

Т.е. в стационарном режиме работы наша система в среднем 40% времени будет находиться в состоянии S 0 – оба узла исправны, и т.д..

Значения этих финальных вероятностей могут помочь оценить среднюю эффективность работы системы и загрузку ремонтных органов. Предположим, что система S в состоянии S 0 приносит доход 8 условных единиц (у.е.) в единицу времени, в состоянии S 1 3у.е., в S 2 5у.е., а в состоянии S 3 не приносит дохода.

Структура и классификация систем массового обслуживания

Системы массового обслуживания

Нередко возникает необходимость в решении вероятностных задач, связанных с системами массового обслуживания (СМО), примерами которых могут быть:

Билетные кассы;

Ремонтные мастерские;

Торговые, транспортные, энергетические системы;

Системы связи;

Общность таких систем выявляется в единстве математических методов и моделей, применяемых при исследовании их деятельности.

Рис. 4.1. Основные сферы применения ТМО

На вход в СМО поступает поток требований на обслуживание. Например, клиенты или пациенты, поломки в оборудовании, телефонные вызовы. Требования поступают нерегулярно, в случайные моменты времени. Случайный характер носит и продолжительность обслуживания. Это создает нерегулярность в работе СМО, служит причиной ее перегрузок и недогрузок.

Системы массового обслуживания обладают различной структурой, но обычно в них можно выделить четыре основных элемента :

1. Входящий поток требований.

2. Накопитель (очередь).

3. Приборы (каналы обслуживания).

4. Выходящий поток.

Рис. 4.2. Общая схема систем массового обслуживания

Рис. 4.3. Модель работы системы

(стрелками показаны моменты поступления требований в

систему, прямоугольниками – время обслуживания)

На рис.4.3 а представлена модель работы системы с регулярным потоком требований. Поскольку известен промежуток между поступлениями требований, то время обслуживания выбрано так, чтобы полностью загрузить систему. Для системы со стохастическим потоком требований ситуация совершенно иная – требования приходят в различные моменты времени и время обслуживания тоже является случайной величиной, которое может быть описано неким законом распределения (рис.4.3 б).

В зависимости от правил образования очереди различают следующие СМО:

1) системы с отказами , в которых при занятости всех каналов обслуживания заявка покидает систему необслуженной;

2) системы с неограниченной очередью , в которых заявка встает в очередь, если в момент ее поступления все каналы обслуживания были заняты;

3) системы с ожиданием и ограниченной очередью , в которых время ожидания ограниченно какими-либо условиями или существуют ограничения на число заявок, стоящих в очереди.

Рассмотрим характеристики входящего потока требований.

Поток требований называется стационарным , если вероятность попадания того или иного числа событий на участок времени определенной длины зависит только от длины этого участка.

Поток событий называется потоком без последствий , если число событий, попадающих на некоторый участок времени, не зависит от числа событий, попадающих на другие.

Поток событий называется ординарным , если невозможно одновременное поступление двух или более событий.

Поток требований называется пуассоновским (или простейшим), если он обладает тремя свойствами: стационарен, ординарен и не имеет последствий. Название связано с тем, что при выполнении указанных условий число событий, попадающих на любой фиксированный интервал времени, будет распределен по закону Пуассона.

Интенсивностью потока заявок λ называется среднее число заявок, поступающих из потока за единицу времени.

Для стационарного потока интенсивность постоянна. Если τ – среднее значение интервала времени между двумя соседними заявками, то В случае пуассоновского потока вероятность поступления на обслуживание m заявок за промежуток времени t определяется по закону Пуассона:

Время между соседними заявками распределено по экспоненциальному закону с плотностью вероятности

Время обслуживания является случайной величиной и подчиняется показательному закону распределения с плотностью вероятности где μ – интенсивность потока обслуживания, т.е. среднее число заявок, обслуживаемых в единицу времени,

Отношение интенсивности входящего потока к интенсивности потока обслуживания называется загрузкой системы

Система массового обслуживания представляет собой систему дискретного типа с конечным или счетным множеством состояний, а переход системы из одного состояния в другое происходит скачком, когда осуществляется какое-нибудь событие.

Процесс называется процессом с дискретными состояниями , если его возможные состояния можно заранее перенумеровать, и переход системы из состояния в состояние происходит практически мгновенно.

Такие процессы бывают двух типов: с дискретным или непрерывным временем.

В случае дискретного времени переходы из состояния в состояние могут происходить в строго определенные моменты времени. Процессы с непрерывным временем отличаются тем, что переход системы в новое состояние возможен в любой момент времени.

Случайным процессом называется соответствие, при котором каждому значению аргумента (в данном случае – моменту из промежутка времени проводимого опыта) ставится в соответствие случайная величина (в данном случае – состояние СМО). Случайной величиной называется величина, которая в результате опыта может принять одно, но неизвестное заранее, какое именно, числовое значение из данного числового множества.

Поэтому для решения задач теории массового обслуживания необходимо этот случайный процесс изучить, т.е. построить и проанализировать его математическую модель.

Случайный процесс называется марковским , если для любого момента времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система пришла в это состояние.

Переходы системы из состояния в состояние происходит под действием каких-то потоков (поток заявок, поток отказов). Если все потоки событий, приводящие систему в новое состояние, – простейшие пуассоновские, то процесс, протекающий в системе, будет марковским, так как простейший поток не обладает последствием: в нем будущее не зависит от прошлого. – группа шахматных фигур. Состояние системы характеризуется числом фигур противника, сохранившихся на доске в момент . Вероятность того, что в момент материальный перевес будет на стороне одного из противников, зависит в первую очередь от того, в каком состоянии находится система в данный момент , а не от того, когда и в какой последовательности исчезли фигуры с доски до момента .

Многие операции, которые приходится анализировать при выборе оптимального решения, развиваются как случайные процессы, зависящие от ряда случайных факторов.

Для математического описания многих операций, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов.

Поясним понятие марковского случайного процесса.

Пусть имеется некоторая система S, состояние которой меняется с течением времени (под системой S может пониматься все что угодно: промышленное предприятие, техническое устройство, ремонтная мастерская и т. д.). Если состояние системы S меняется во времени случайным, заранее непредсказуемым образом, говорят, что в системе S протекает случайный процесс.

Примеры случайных процессов:

флуктуации цен на фондовом рынке;

обслуживание клиентов в парикмахерской или ремонтной мастерской;

выполнение плана снабжения группы предприятий и т. д.

Конкретное протекание каждого из этих процессов зависит от ряда случайных, заранее непредсказуемых факторов, таких как:

поступление на фондовый рынок непредсказуемых известий о политических изменениях;

случайный характер потока заявок (требований), поступающих со стороны клиентов;

случайные перебои в выполнении плана снабжения и т. д.

ОПРЕДЕЛЕНИЕ. Случайный процесс, протекающий в системе, называется марковским (или процессом без последствия ), если он обладает следующим свойством: для каждого момента времени t 0 вероятность любого состояния системы в будущем (при t > t 0) зависит только от ее состояния в настоящем (при t = t 0) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом).

Другими словами, в марковском случайном процессе будущее развитие его зависит только от настоящего состояния и не зависит от “предыстории” процесса.

Рассмотрим пример. Пусть система S представляет собой фондовый рынок, который уже существует какое-то время. Нас интересует, как будет работать система в будущем. Ясно, по крайней мере в первом приближении, что характеристики работы в будущем (вероятности падения цен конкретных акций через неделю) зависят от состояния системы в настоящий момент (здесь могут вмешаться самые различные факторы типа решений правительства или результатов выборов) и не зависят от того, когда и как система достигла своего настоящего состояния (не зависят от характера движения цен на эти акции в прошлом).

На практике часто встречаются случайные процессы, которые, с той или другой степенью приближения можно считать марковскими.

Теория марковских случайных процессов имеет широкий спектр различных приложений. Нас будет интересовать главным образом применение теории марковских случайных процессов к построению математических моделей операций, ход и исход которых существенно зависит от случайных факторов.

Марковские случайные процессы подразделяются на классы в зависимости от того, как и в какие моменты времени система S" может менять свои состояния.

ОПРЕДЕЛЕНИЕ. Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы s x , s 2 , s v ... можно перечислить (пронумеровать) одно за другим, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.

Например, разработку проекта S осуществляют совместно два отдела, каждый из которых может совершить ошибку. Возможны следующие состояния системы:

5, - оба отдела работают нормально;

s 2 - первый отдел совершил ошибку, второй работает нормально;

s 3 - второй отдел совершил ошибку, первый работает нормально;

s 4 - оба отдела совершили ошибку.

Процесс, протекающий в системе, состоит в том, что она случайным образом в какие-то моменты времени переходит («перескакивает») из состояния в состояние. Всего у системы четыре возможных состояния. Перед нами - процесс с дискретными состояниями.

Кроме процессов с дискретными состояниями существуют случайные процессы с непрерывными состояниями : для этих процессов характерен постепенный, плавный переход из состояния в состояние. Например, процесс изменения напряжения в осветительной сети представляет собой случайный процесс с непрерывными состояниями.

Мы будем рассматривать только случайные процессы с дискретными состояниями.

При анализе случайных процессов с дискретными состояниями очень удобно пользоваться геометрической схемой - так называемым графом состояний. Граф состояний геометрически изображает возможные состояния системы и ее возможные переходы из состояния в состояние.

Пусть имеется система S с дискретными состояниями:

Каждое состояние будем изображать прямоугольником, а возможные переходы (“перескоки”) из состояния в состояние - стрелками, соединяющими эти прямоугольники. Пример графа состояния приведен на рис. 4.1.

Заметим, что стрелками отмечаются только непосредственные переходы из состояния в состояние; если система может перейти из состояния s 2 в 5 3 только через s y то стрелками отмечаются только переходы s 2 -> и л, 1 -> 5 3 , но не s 2 -» s y Рассмотрим несколько примеров:

1. Система S - фирма, которая может находиться в одном из пяти возможных состояний: s ] - работает с прибылью;

s 2 - утратила перспективу развития и перестала приносить прибыль;

5 3 - стала объектом для потенциального поглощения;

s 4 - находится под внешним управлением;

s 5 - имущество ликвидируемой фирмы продается на торгах.

Граф состояний фирмы показан на рис. 4.2.

Рис. 4.2

• 2. Система S - банк, имеющий два отделения. Возможны следующие состояния системы:
• 5, - оба отделения работают с прибылью;

s 2 - первое отделение работает без прибыли, второе работает с прибылью;

5 3 - второе отделение работает без прибыли, первое работает с прибылью;

s 4 - оба отделения работают без прибыли.

Предполагается, что улучшение состояния не происходит.

Граф состояний представлен на рис. 4.3. Отметим, что на графе не показан возможный переход из состояния s ] непосредственно в s 4 , который осуществится, если банк сразу будет работать в убыток. Возможностью такого события можно пренебречь, что и подтверждает практика.

Рис. 4.3

3. Система S - инвестиционная компания, состоящая из двух трейдеров (отделов): I и II; каждый из них может в какой-то момент времени начать работать в убыток. Если это происходит, то руководство компании немедленно принимает меры для восстановления прибыльной работы отдела.

Возможные состояния системы: s - деятельность обоих отделов прибыльна; s 2 - первый отдел восстанавливается, второй работает с прибылью;

s 3 - первый отдел работает с прибылью, второй восстанавливается;

s 4 - оба отдела восстанавливаются.

Граф состояний системы показан на рис. 4.4.

4. В условиях предыдущего примера деятельность каждого трейдера перед тем, как он начнет восстанавливать прибыльную работу отдела, подвергается изучению руководством фирмы в целях принятия мер по ее улучшению.

Состояния системы будем для удобства нумеровать не одним, а двумя индексами; первый будет означать состояния первого трейдера (1 - работает с прибылью, 2 - его деятельность изучается руководством, 3 - восстанавливает прибыльную деятельность отдела); второй - те же состояния для второго трейдера. Например, s 23 будет означать: деятельность первого трейдера изучается, второй - восстанавливает прибыльную работу.

Возможные состояния системы S:

s u - деятельность обоих трейдеров приносит прибыль;

s l2 - первый трейдер работает с прибылью, деятельность второго изучается руководством компании;

5 13 - первый трейдер работает с прибылью, второй восстанавливает прибыльную деятельность отдела;

s 2l - деятельность первого трейдера изучается руководством, второй работает с прибылью;

s 22 - деятельность обоих трейдеров изучается руководством;

• 5 23 - работа первого трейдера изучается, второй трейдер восстанавливает прибыльную деятельность отдела;
• 5 31 - первый трейдер восстанавливает прибыльную деятельность отдела, второй работает с прибылью;
• 5 32 - прибыльная деятельность отдела восстанавливается первым трейдером, работа второго трейдера изучается;
• 5 33 - оба трейдера восстанавливают прибыльную работу своего отдела.

Всего девять состояний. Граф состояний показан на рис. 4.5.

Марковские случайные процессы названы по имени выдающегося русского математика А.А. Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать “динамикой вероятностей”. В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория Марковских процессов и ее приложения широко применяются в самых различных областях таких наук, как механика, физика, химия и др.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений особое внимание Марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Несмотря на указанную выше простоту и наглядность, практическое применение теории Марковских цепей требует знания некоторых терминов и основных положений, на которых следует остановиться перед изложением примеров.

Как указывалось, Марковские случайные процессы относятся к частным случаям случайных процессов (СП). В свою очередь, случайные процессы основаны на понятии случайной функции (СФ).

Случайной функцией называется функция, значение которой при любом значении аргумента является случайной величиной (СВ). По- иному, СФ можно назвать функцию, которая при каждом испытании принимает какой-либо заранее неизвестный вид.

Такими примерами СФ являются: колебания напряжения в электрической цепи, скорость движения автомобиля на участке дороги с ограничением скорости, шероховатость поверхности детали на определенном участке и т.д.

Как правило, считают, что если аргументом СФ является время, то такой процесс называют случайным. Существует и другое, более близкое к теории принятия решений, определение случайных процессов. При этом под случайным процессом понимают процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.

Нетрудно заметить, что если обозначить состояние и изобразить зависимость, то такая зависимость и будет случайной функцией.

Случайные процессы классифицируются по видам состояний и аргументу t. При этом случайные процессы могут быть с дискретными или непрерывными состояниями или временем.

Кроме указанных выше примеров классификации случайных процессов существует еще одно важное свойство. Это свойство описывает вероятностную связь между состояниями случайных процессов. Так, например, если в случайном процессе вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последействия.

Отметим, во-первых, что случайный процесс с дискретными состояниями и временем называется случайной последовательностью.

Если случайная последовательность обладает Марковским свойством, то она называется цепью Маркова.

С другой стороны, если в случайном процессе состояния дискретны, время непрерывно и свойство последействия сохраняется, то такой случайный процесс называется Марковским процессом с непрерывным временем.

Марковский случайный процесс называется однородным, если переходные вероятности остаются постоянными в ходе процесса.

Цепь Маркова считается заданной, если заданы два условия.

1. Имеется совокупность переходных вероятностей в виде матрицы:

2. Имеется вектор начальных вероятностей

описывающий начальное состояние системы.

Кроме матричной формы модель Марковской цепи может быть представлена в виде ориентированного взвешенного графа (рис. 1).

Рис. 1

Множество состояний системы Марковской цепи, определенным образом классифицируется с учетом дальнейшего поведения системы.

1. Невозвратное множество (рис. 2).

Рис.2.

В случае невозвратного множества возможны любые переходы внутри этого множества. Система может покинуть это множество, но не может вернуться в него.

2. Возвратное множество (рис. 3).

Рис. 3.

В этом случае также возможны любые переходы внутри множества. Система может войти в это множество, но не может покинуть его.

3. Эргодическое множество (рис. 4).

Рис. 4.

В случае эргодического множества возможны любые переходы внутри множества, но исключены переходы из множества и в него.

4. Поглощающее множество (рис. 5)

Рис. 5.

При попадании системы в это множество процесс заканчивается.

В некоторых случаях, несмотря на случайность процесса, имеется возможность до определенной степени управлять законами распределения или параметрами переходных вероятностей. Такие Марковские цепи называются управляемыми. Очевидно, что с помощью управляемых цепей Маркова (УЦМ) особенно эффективным становится процесс принятия решений, о чем будет сказано впоследствии.

Основным признаком дискретной Марковской цепи (ДМЦ) является детерминированность временных интервалов между отдельными шагами (этапами) процесса. Однако часто в реальных процессах это свойство не соблюдается и интервалы оказываются случайными с каким-либо законом распределения, хотя марковость процесса сохраняется. Такие случайные последовательности называются полумарковскими.

Кроме того, с учетом наличия и отсутствия тех или иных, упомянутых выше, множеств состояний Марковские цепи могут быть поглощающими, если имеется хотя бы одно поглощающее состояние, или эргодическими, если переходные вероятности образуют эргодическое множество. В свою очередь, эргодические цепи могут быть регулярными или циклическими. Циклические цепи отличаются от регулярных тем, что в процессе переходов через определенное количество шагов (циклов) происходит возврат в какое-либо состояние. Регулярные цепи этим свойством не обладают.

В последние годы широкое распространение получили ме­тоды статистического анализа, оценивания и оптимального управ­ления стохастическими системами, основанные на использовании результатов теории марковских процессов. В данном разделе рас­сматривается применение методов теории марковских процессов для статистического анализа линейных и нелинейных стохастиче­ских систем.

Уравнение Фоккера - Планка - Колмогорова. В теории мар­ковских процессов получены дифференциальные уравнения в част­ных производных параболического типа для условной (переходной) и безусловной плотностей распределения ве­роятностей непрерывного марковского процесса x(t). Применитель­но к скалярному марковскому процессу x(t) уравнение для плот­ности , называемое уравнением Фоккера - Планка - Кол­могорова (ФПК), имеет вид

Функции а(х, t) и b(x, t) называют соответственно коэффициен­тами сноса и диффузии марковского процесса x(t).

В многомерном случае уравнение ФПК для векторного марковского процесса x(t), состоящего из п компонент , записывается следующим образом:

где - вектор коэффициентов сноса; -матрица коэффициентов диффузии векторного процесса x(t).

Интегрируя уравнение ФПК при заданном начальном условии , можно определить плотность распределения вероят­ностей рассматриваемого марковского процесса в последую­щие моменты времени.

Стохастические дифференциальные уравнения. Среди различных непрерывных марковских процессов в практических задачах осо­бенно большое значение имеют так называемые диффузионные марковские процессы, изменение которых во времени описывается дифференциальными уравнениями вида

где -стандартный белый шум.

Такие уравнения называют стохастическими дифференциальны­ми уравнениями.

Уравнение вида (2.53) можно записать непосредственно для изу­чаемой динамической системы, если случайное входное воздействие этой системы действительно может быть аппроксимировано стан­дартным белым шумом. Например, одномерной системе, состоящей из интегрирующего звена 1/p, охваченного нелинейной обратной связью f(x), подверженной воздействию белого шума на вхо­де, соответствует стохастическое дифференциальное уравнение пер­вого порядка

Используя метод формирующих фильтров, к виду (2.53) можно привести уравнения, описывающие поведение систем, подвержен­ных воздействию окрашенных шумов.

Пример. Пусть исследуемая динамическая система описывается передаточ­ной функцией апериодического звена

Внешнее воздействие -случайный процесс со спектральной плотностью

Коэффициент усиления К является гауссовской случайной величиной, харак­теризуемой параметрами m k и D k .

Чтобы описать эту систему стохастическим дифференциальным уравнением, перепишем соотношение (2.54) в виде дифференциального уравнения в нормаль­ной форме:

Последнее уравнение объединим с уравнением формирующего фильтра для , полученные ранее [см. формулу (2.30")].

и уравнением формирующего фильтра для случайного параметра

В результате получим стохастическое дифференциальное уравнение вида (2.53), описывающее рассматриваемую динамическую систему, в котором векторный случайный процесс x(t), объединяющий в качестве составляющих переменные у, x 1 и К, есть диффузионный марковский процесс. Компоненты вектор-функции f T (x, t) - n в данном случае равны

Белый шум является скалярным случайным процессом, поскольку в; правые части уравнений (2.56) и (2.57) входит одно и то же внешнее случай­ное воздействие, а

Возникает вопрос, как выражаются коэффициенты сноса а(х, t) и диффузии b(x, t), входящие в уравнение ФПК (2.51) или (2.52),. описывающие изменение плотности р(х, t) распределения вероят­ностей диффузионного марковского процесса x(t), через f(x, t) и ? В зависимости от ответа на этот вопрос различают сто­хастические дифференциальные уравнения Ито и Стратоновича_ В уравнении Ито в скалярном случае коэффициенты сноса и диф­фузии соответственно равны f(x, t) и . Для стохастического дифференциального уравнения Стратоновича эти коэффициенты определяются соотношениями *(* Диментберг М. Ф. Нелинейные стохастические задачи механических коле­баний. М.: Наука, 1980. 368 с.)

Конкретный вариант используемой интерпретации стохастиче­ского дифференциального уравнения зависит от особенностей ана­лизируемой физической системы.

В рассматриваемом далее в данной главе наиболее широко рас­пространенном случае, когда не зависит от х, флуктуационная поправка к коэффициенту сноса, возникающая при рассмотре­нии стохастического дифференциального уравнения Стратоновича, обращается в нуль и обе интерпретации приводят к одним и тем же результатам.

Интегрировать аналитически и даже численно уравнение в част­ных производных параболического типа, каким является уравнение ФПК трудно, особенно в тех случаях, когда размерность вектора х велика. Только в одномерном и в отдельных двумерных случаях удается найти аналитическое решение этого уравнения, соответст­вующего стохастическому дифференциальному уравнению нелиней­ной системы. Однако каждое такое решение представляет большой интерес, поскольку оно является наиболее полной характеристикой точности системы, позволяющей оце­нить точность решений, полученных с помощью приближенных методов - расчета, например, с помощью ме­тода статистической линеаризации.

Рис. 2.1. Нелинейная система первого порядка.

Так, стационарным решением уравнения ФПК, соответствующего нелинейной системе первого порядка, показанной на рис. 2.4, для р(х, ∞)=р ст (х) является выражение

в котором постоянная интегрирования С выбирается из условия нормировки . В случае стационарной линейной системы при f(x). = - х из (2.60) получаем гауссовскую плотность . Если в обратной связи стоит реле с уровнем насыщения А, то

Плотности (2.61) соответствуют и .

Уравнения для моментов диффузионного процесса. Основным применением уравнения ФПК при априорном анализе точности си­стем является получение с его помощью обыкновенных дифферен­циальных уравнений для вектора математических ожиданий m x (t) и корреляционной матрицы K x (t) фазового вектора диффузионной марковской системы. Эти уравнения оказываются точными, если стохастическое дифференциальное уравнение (2.53) - линейное, и приближенными в случае нелинейного уравнения (2.53).

Чтобы получить из уравнения ФПК уравнения для и в случае, когда x(t) -скалярный процесс, умножим (2.51) на х и про­интегрируем обе части по этой переменной в бесконечных пределах. Тогда получим

Слева в уравнении (2.62) имеем

а интеграл справа вычисляем, применяя метод интегрирования по частям и учитывая граничные условия . Окончательный результат оказывается следующим:

Уравнение для дисперсии D x получают, умножив левую и пра­вую части (2.51) на и проинтегрировав их по перемен­ной х в бесконечных пределах. В итоге имеем

Соотношениями (2.64) - (2.65) устанавливается связь между производными по времени от m x и D x диффузионного процесса x(t) и его плотностью распределения р(х, t). Из них нельзя найти m x (t) и D x (t), если плотность р(х, t) неизвестна.

Уравнения для моментов в линейной системе. Если коэффициент сноса f(x, t) в правой части стохастического дифференциального уравнения (2.57) - линейный относительно х, т. е. f(x,t)=a(t)x + b(t), то соотношения (2.64) и (2.65) превращаются в уравнения относительно m x и D x , т. е. становятся замкнутыми. Действительно, в этом случае

поэтому для линейной марковской системы первого порядка

Интегрирование уравнений (2.66) и (2.67) при заданных на­чальных условиях m x (t 0) и D x (t 0) позволяет определить m x (t) и D x (t).

Если рассматриваемая система - стационарная и устойчивая, а искомыми являются m x и D x в установившемся режиме, то эти величины можно найти из алгебраических уравнений

поскольку в установившемся режиме для такой системы и

В многомерном случае уравнения для т х и К х оказываются сле­дующими:

Векторное уравнение (2.69) размерности п совместно с матрич­ным уравнением (2.70) размерности п×п называют корреляцион­ной системой уравнений. Системы (2.69) и (2.70) не зависят друг от друга, поэтому их можно интегрировать раздельно. Учитывая симметричность матрицы К х, Для ее определения достаточно про-янтегрировать п(п+1)/2 уравнений относительно различных кова­риационных моментов К х. Начальными условиями для (2.69) и (2.70) являются вектор математических ожиданий m x (t 0) и корре­ляционная матрица К х (t 0) фазового вектора x(t 0) в начальный мо­мент времени.

Если исследуемая линейная марковская система - стационар­ная и устойчивая, а искомыми являются т х и К х в установившемся режиме, то их можно найти из систем алгебраических уравнений

Одним из способов решения может служить интегрирование соответствующих им систем дифференциальных уравнений (2.69) и (2.70) при произвольно заданных начальных условиях. Сходи­мость решения обеспечивается устойчивостью исследуемой динами­ческой системы.

Приближенные уравнения для определения моментов диффузи­онного процесса в нелинейной системе. Для получения приближен­ной замкнутой системы уравнений из (2.64) и (2.65) в общем слу­чае нелинейного коэффициента сноса f(x, t) предположим, что плотность р(х, t) распределения вероятностей фазового вектора гауссовская. При р(х, t) =p Г (x, t) интегралы в правых частях соот­ношений (2.64) и (2.65) можно вычислить. Результирующие функции зависят от m x (t) и D x (t), описывающих p Г (x, t):

Подставив (2.73) и (2.74) в (2.64) и (2.65), получим систему из двух нелинейных обыкновенных дифференциальных уравнений:

Интегрирование этой системы при заданных m x (t 0) и D x (t 0) позво­ляет найти m x (t) и D x (t), т. е. решить приближенно задачу стати­стического анализа рассматриваемой нелинейной системы. Для «типовых» нелинейностей f(x) формулы для f 0 (m x , D x) и K(m x , D x) могут быть взяты из таблиц выражений коэффициентов статисти­ческой линеаризации.

Пример. Пусть f(x) в (2.53)-релейная характеристика f(x)= -A sign (x).

Для этой нелинейности f (см. пример в разд. 1.1) и

Уравнеиия для m x и D x в такой системе имеют вид

Установившиеся значения и получаем, положив и .

Имеем . Сравнивая приближенное значение с точным, полученным ранее путем решения уравнения ФПК значением, видим, что предположение о гауссовском распределении р(х) в рассматриваемой нелиней­ной системе с реле в обратной связи приводит к ошибке в дисперсии, рав­ной 22%.

В многомерном случае вектор m x (t) и корреляционную матрицу K x (t) можно найти в результате совместного интегрирования двух систем обыкновенных дифференциальных уравнений

Матричная функция, элементами которой являются частные производные от составляющих вектор-функции по компонентам вектора т х.

Если в состав исследуемой системы входят только линейные звенья и типовые одномерные существенные нелинейности, то кор­реляционную систему вида (2.76) удобно составить, применяя со­вместно статистическую линеаризацию нелинейных звеньев и кор­реляционную систему уравнений (2.69) - (2.70) для статистически линеаризованной системы.

Когда управляемое движение летательного аппарата описыва­ется нелинейными стохастическими дифференциальными уравне­ниями, правые части которых содержат гладкие многомерные не­линейности, приближенный анализ точности такого движения значительно упрощается по сравнению с непосредственным исполь­зованием уравнений (2.76), если пользоваться так называемой ква­зилинейной корреляционной системой уравнений. При составлении такой системы полное движение исследуемой системы разбивается на два движения: среднее и возмущенное. Для описания среднего движения, характеризующего изменение математических ожиданий составляющих фазового вектора, используются нелинейные урав­нения системы при математических ожиданиях (средних значениях) начальных условий и внешних воздействий. Для описания возму­щенного движения, характеризующего случайные отклонения со­ставляющих фазового вектора от их средних значений, применяют­ся линеаризованные уравнения, причем в качестве опорных значе­ний при линеаризации берутся математические ожидания фазовых координат в соответствующие моменты времени.

Пример. Рассмотрим задачу баллистического спуска летательного аппарата, т. е. спуска с нулевой подъемной силой, в атмосфере Земли. Продольное дви­жение аппарата описывается нелинейными дифференциальными уравнениями

Требуется оценить рассеивание траекторий аппарата, предполагая случайными переменные V, θ, Н и L в момент t 0 начала спуска; постоянными величины R, С х, S, т и g, а зависимость -показательной вида , где .

Перепишем уравнения движения аппарата в виде векторного уравнения

Представим фазовый вектор х в виде х=т х +Δх, а нелинейную вектор-функ­цию f(x, t) линеаризуем в окрестности х=т х:

где -матрица 4×4 частных производных вектор-функции f(x, t) по составляющим вектора х, вычисленная при х=т х. Получаем уравнение

из которого в результате усреднения непосредственно находим уравнение для вектора математических ожиданий

по виду совпадающие с (2.77). Вычтя (2.79) из (2.78), получаем линеаризован­ное уравнение возмущенного движения

на основе которого составляем уравнение для корреляционной матрицы фазо­вого вектора

Совместное интегрирование уравнений (2.80) и (2.81), в совокупности образу­ющих квазилинейную корреляционную систему уравнений, при заданных на­чальных условиях т х (t 0) и K x (t 0) позволяет определить т х (t) и Kx(t) в по­следующие моменты времени. Точность решения определяется точностью аппрок­симации вектор-функции линеаризованной зависимостью при тех значениях слу­чайных отклонений Δx (t) фазового вектора x(t), которые имеют место в рас­сматриваемой задаче при заданных статистических характеристиках случайных, начальных условий.

2.6. МЕТОД СТАТИСТИЧЕСКОГО МОДЕЛИРОВАНИЯ (МОНТЕ-КАРЛО)

Метод статистического моделирования - универсальный метод статистического анализа стохастических систем (линейных и нелинейных, стационарных и нестационарных), подверженных воз­действию случайных факторов различных типов с произвольными их статистическими свойствами. В литературе данный метод также называют методом статистических испытаний или методом Монте-Карло.

Основу метода статистического моделирования составляет закон больших чисел, заключающийся в том, что результат усреднения, относящийся к случайному фактору (событию, величине, процессу или полю), вычисленный по п его реализациям, при перестает быть случайным и может рассматриваться в качестве оценки соответствующей характеристики рассматриваемого фактора. В част­ности, в соответствии с теоремой. Бернулли при большом числе опытов (реализаций) частота случайного события приближается к вероятности этого события. Аналогичные теоремы существуют и для статистических характеристик случайных величин, процессов, полей.

Применительно к априорному анализу точности стохастических систем метод статистического моделирования заключается в про­ведении на ЭВМ статистических экспериментов, имитирующих функционирование исследуемой системы при действии случайных факторов, и в последующей обработке полученных в этих экспери­ментах результатов с помощью методов математической статистики для определения соответствующих статистических характеристик.

Методика статистического моделирования. Первым этапом под­готовки к статистическому моделированию стохастической системы является выбор типа ЭВМ (ЦВМ, АВМ или аналого-цифрового комплекса), на которой целесообразно проводить моделирование. При этом учитываются сложность исследуемой системы, характер и число нелинейностей в ней, скорость протекания процессов в раз­личных частях (звеньях) системы, тип и характеристики действую­щих на систему случайных возмущений и другие факторы.

Выясняется возможность использования канонических разложе­ний случайных процессов, действующих на исследуемую систему. Если такие разложения известны для всех случайных функций, рас­сматриваемых в системе, моделирование системы можно заметно упростить, поскольку в этом случае при моделировании требуется получать реализации только случайных величин (начальных ус­ловий, параметров системы и коэффициентов канонических разло­жений).

Более общей и сложной является ситуация, когда в число воз­мущений системы входят случайные процессы, для которых канони­ческие разложения не известны. В этом случае описывающие ис­следуемую динамическую систему уравнения сводятся к системе стохастических дифференциальных уравнений в нормальной форме вида

где λ - вектор случайных параметров системы; - векторный белый шум. Вектор начальных условий x(t 0) также может быть случайным.

Некоторые из действующих на систему случайных возмущений могут оказаться не белым шумом. Для таких процессов требуется составить дифференциальные уравнения формирующих фильтров. Эти уравнения при моделировании следует интегрировать совмест­но с уравнениями системы (2.82).

Далее составляется программа интегрирования на ЦВМ систе­мы (2.82) совместно с уравнениями формирующих фильтров или схема моделирования для АВМ. Характерными элементами про­граммы являются блоки, обеспечивающие получение реализаций случайных факторов, рассматриваемых в системе.

Получение на ЭВМ реализаций случайных величин. При моде­лировании задачи на АВМ, а иногда и на ЦВМ реализации случай­ных величин задают с помощью таблиц случайных чисел. Наиболь­шее распространение получили таблицы случайных чисел, подчи­няющихся нормальному (гауссовскому) и равномерному распре­делениям. Таблица нормально распределенных случайных чисел содержит реализации гауссовской случайной величины соответствующие и .Беря числа из этой табли­цы, реализации гауссовской случайной величины с характери­стиками и вычисляют по формуле

Таблица равномерно распределенных чисел содержит реализа­ции подчиняющиеся равномерному на интервале распределению вероятностей. Для получения реализаций величи­ны х, распределенной равномерно на интервале числа , взятые из таблицы, преобразуют с помощью соотношения

Основным способом получения реализаций случайных величин на ЦВМ является использование специальных стандартных подпро­грамм, называемых датчиками псевдослучайных чисел. При каж­дом обращении к датчику в нем вычисляется новое случайное чис­ло. Расчет проводится с помощью рекуррентной формулы, аргумен­тами которой являются несколько случайных чисел, вычисленных при предыдущих обращениях к данной подпрограмме. При фикси­рованной начальной (стартовой) совокупности случайных чисел все рекуррентно вычисляемые датчиком последующие числа будут определенными, зависящими от стартовой совокупности, поэтому числа, получаемые с помощью датчика, называют псевдослучайны­ми. Рекуррентная формула, реализованная в датчике, подбирается так, чтобы псевдослучайные числа, получаемые с помощью датчика, обладали требуемыми статистическими свойствами - соответство­вали определенной плотности распределения вероятностей р(х), а коэффициент корреляции был равен нулю.

Как правило, в библиотеке стандартных подпрограмм ЦВМ при­сутствуют два датчика псевдослучайных чисел: равномерно распре­деленных на интервале и гауссовских с и .

Получение реализаций векторной гауссовской случайной вели­чины затруднений не вызывает, если этот вектор некоррелирован. Реализации отдельных компонент такого вектора можно рассчиты­вать с помощью датчика гауссовских чисел независимо друг от друга. Если же гауссовский вектор х коррелирован, его реализации получают путем линейного преобразования реализаций некоррели­рованного гауссовского вектора U той же размерности, формируе­мого с помощью датчика гауссовских псевдослучайных чисел. У вектора U математическое ожидание - нулевой вектор, а корре­ляционная матрица - единичная. Матрица линейного преобразова­ния А подбирается так, чтобы результирующая ковариационная матрица К х была равна заданной. При ее определении использу­ется соотношение (1.26).

При из (1.26) получаем следующее уравнение относи­тельно А:

Это уравнение имеет бесчисленное множество решений. Если искать А в виде треугольной матрицы вида

то из (2.83)получим n(n+1)/2 уравнений для элементов этой мат­рицы, которые можно решить рекуррентно. Результатом являются следующие выражения для элементов матрицы А:

где - элементы заданной корреляционной матрицы .

Пример. Пусть х - двумерный вектор с корреляционной матрицей

Найдем матрицу А, такую, что

где -некоррелированный вектор с .

С помощью соотношений (2.84) находим ац т. е.

В ряде случаев требуется получать реализации случайной вели­чины, распределение которой не является ни равномерным, ни га-уссовским. Наиболее распространенным способом моделирования в данном случае является нелинейное преобразование реализаций, получаемых с помощью датчика равномерно распределенных чисел.

Задача определения нелинейного преобразования y=f(x), свя­зывающего случайные величины х и у с заданными плотностями распределения р(х) и р(у) (плотность р(х) -равномерная), яв­ляется обратной по отношению к задаче определения распределе­ния нелинейной функции случайной величины, рассмотренной в разд. 1.1. Если распределение р(х) - равномерное, то из соотно­шения (1.32) имеем , откуда при монотонно возрастаю­щей функции получаем

где F (у) - интегральная функция распределения вероятностей ве­личины у.

Функция является обратной по отношению к искомой функции f(x). Таким образом, определение искомого нелинейного преобразования y = f(x) сводится к нахождению по заданной плот­ности р(у) интегральной функции F(y) и последующему решению уравнения F (у) =х относительно у.

Пример. Пусть

Тогда в интервале (0, 1) имеем xF(y)=y 2 , откуда ,т. е. .

Иной подход может быть применен в тех случаях, когда тре­буется получать реализации случайной величины у по имеющейся ее гистограмме или когда распределение р(у) имеет сложную фор­му, которую целесообразно аппроксимировать ступенчатой зависи­мостью.

Пусть интервал [у 0 , у п ] практически возможных значений слу­чайной величины у, имеющей распределение р(у), разбит на п уча­стков , в пределах каждого из которых плотность р(у) можно полагать равномерной. Вероятность попадания в каждый интервал

причем . При использовании такой аппроксимации р(у)

реализацию можно определить в результате двукратного обращения к датчику равномерно распределенных псевдослучай­ных чисел. При первом обращении разыгрывается исход попадания реализации y i в один из интервалов . Для этого вероятностям P l попадания y i в интервалы ставятся в соответствие интервалы значений равномерно распределенных псевдослучайных чи­сел из общего диапазона . Попаданию случайного числа х i р.р, получаемого в результате обращения к датчику, в интервал ставится в соответствие попадание реализации y i в интервал . При втором обращении к датчику разыгрывается значение реали­зации y i как случайной величины, распределенной равномерно в интервале .

Моделирование на ЭВМ реализаций случайных процессов. На АВМ реализации случайных процессов получают с помощью гене­раторов шума. Так называют электронный прибор, электрическое напряжение на выходе которого является случайным процессом с заданными статистическими характеристиками. Генераторы, ис­пользуемые при статистическом моделировании управляемого дви­жения летательных аппаратов, генерируют шум с равномерной спектральной плотностью в диапазоне инфранизких частот (от до Гц) и с гауссовским одномерным распределением вероятностей. При статистическом моделировании систем, по­лоса пропускания которых уже, чем , а именно такими, как правило, являются системы управления летательными аппаратами, шум генераторов можно считать белым. Окрашенные шумы, дей­ствующие на изучаемую систему, моделируют на АВМ путем про­пускания белого шума через соответствующим образом подобран­ный формирующий фильтр.

На ЦВМ белый шум моделируют, аппроксимируя его прибли­женно ступенчатым абсолютно случайным процессом x(t). Реали­зации последнего вычисляются по следующему правилу. Аргумент процесса - время t -изменяется дискретно с шагом Δt. В пределах каждого шага значение реализации задается заново с помощью датчика гауссовских псевдослучайных чисел

где В - постоянный множитель.

На всем интервале значение остается постоянным. Псевдо­случайные числа, получаемые при помощи датчика, попарно некоррелированы друг с другом. Следовательно, корреляция между зна­чениями ступенчатого процесса x(t) в различных интервалах и , отсутствует. Поэтому корреляционная функция данного процесса равна

При отношение . Следовательно, при достаточна малой величине интервала процесс x(t) с корреляционной функ­цией R x (t), определяемой соотношением (2.85), можно рассматри­вать в качестве приближенной аппроксимации белого шума с интенсивностью . Точность аппроксимации оказывается тем выше, чем меньше интервал .

При численном интегрировании стохастических дифференци­альных уравнений (2.82) на ЦВМ величина интервала , исполь­зуемого при моделировании белого шума , действующего на систему, не может быть задана меньше шага интегрирования . Следовательно, шаг численного интегрирования должен опре­деляться из условия

где - интервал, при котором ступенчатый абсолютно случайный процесс достаточно точно аппроксимирует белый шум; - шаг численного интегрирования, обеспечивающий приемлемую точность вычислений при избранном методе численного интегрирования си­стемы (2.82).

Эксперименты на ЦВМ показывают, что при всех методах чис­ленного интегрирования , поэтому для обеспечения аппрок­симации белого шума ступенчатым процессом интегрирование си­стемы (2.82) должно вестись с шагом

Среди всех методов численного интегрирования затраты машин­ного времени на один шаг интегрирования являются наименьшими при интегрировании по методу Эйлера:

Вследствие этого данный метод и следует использовать при ста­тистическом моделировании систем, беря , а коэффициент В рассчитывать по формуле

где - интенсивность белого шума, действующего на систему.

Проведение статистического моделирования и обработка его ре­зультатов. Составив программу моделирования исследуемой дина­мической системы на ЦВМ или набрав схему моделирования на АВМ, с их помощью получают необходимое число реализаций вы­ходных координат исследуемой системы. Обработка результатов^ моделирования может проводиться или при моделировании, или после его завершения с использованием методов математической: статистики . В зависимости от конкретной цели статистиче­ского моделирования результатами обработки могут быть оценки математических ожиданий, дисперсий, взаимных корреляционных моментов, корреляционных функций и других статистических ха­рактеристик выходных координат системы. Точность оценок будет тем выше, чем большее число реализаций будет статистически об­работано. Соотношения для расчета доверительных интервалов и доверительных вероятностей оценок различных параметров в зави­симости от числа реализаций, используемых для их получения, при­водятся в книгах .

Если исследуемая система и действующие на нее возмущения таковы, что рассматриваемая выходная переменная является эргодическим стационарным процессом, то при моделировании доста­точно ограничиться получением одной длинной реализации это» переменной. В иных случаях требуется получать и обрабатывать множество реализаций выходных координат.

МЕТОДЫ ОПРЕДЕЛЕНИЯ ОЦЕНОК СОСТОЯНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

3.1. ЗАДАЧА ОЦЕНИВАНИЯ КАК ЧАСТНЫЙ СЛУЧАЙ СТАТИСТИЧЕСКОГО РЕШЕНИЯ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

Сформулируем задачу построения оценок. Рассмотрим случайный вектор X, плотность распределения которого имеет из­вестную математическую форму, но содержит некоторое число не­известных параметров. Задана выборка измеренных значений компонент этого вектора, в дальнейшем называемая вектором измере­ний У.

Если, например, измерены N раз т компонент n-мерного векто­ра X, то вектор Y будет включать N×m компонент. Вектор Y также является случайным, так как содержит так называемые ошибки из­мерения , плотность распределения которых считается известной. Требуется, используя вектор измерения У, получить оценки неиз­вестных параметров плотности распределения X и определить точ­ность этих оценок.

Важно уметь сравнивать свойства различных оценок одного и того же параметра и, в частности, находить оценки максимальной точности. Точность оценок определяем на основе статистических характеристик отклонений оценок от неизвестных «истинных значе­ний» оцениваемых параметров. Плотность распределения X, харак­теризуемую истинными значениями оцениваемых параметров, на­зываем «истинной».

Данная постановка задачи определения оценок называется ста­тистической и является в настоящее время наиболее широко рас­пространенной в технических задачах. В то же время существуют и другие постановки задач оценивания, когда нельзя сделать ника­ких предположений о распределении оцениваемой величины. По­добная ситуация рассматривается отдельно.

Вернемся к статистической задаче оценивания. Введем некото­рые определения.

Функцию значений оцениваемой величины, т. е. функцию изме­рений, в дальнейшем будем называть статистикой. Простейшей статистикой является, таким образом, сам вектор измерений У. Оценка случайного вектора X, полученная на основе измерений У, т. е. (Y), также является статистикой. Если статистика содержит.всю необходимую эмпирическую информацию для построения рас­пределения X, то она называется достаточной.

Если оценка сходится по вероятности к оцениваемой величи­не X при неограниченном возрастании объема выборки, т. е. раз­мерности вектора У, то она называется состоятельной.

Оценка вектора X -функция случай­ных аргументов. Поэтому для сравнения оценок между собой и вы­бора наилучшей необходимо рассматривать статистические харак­теристики функции потерь, так называемые функции риска.

Таких функций можно построить несколько. Наиболее употреби­тельные функции риска следующие.

1. Средний или априорный риск:

где р(х, у) -плотность совместного распределения вероятностей векторов X и У.

Интегрирование в (3.3) ведется по области всех возможных значе­ний X и У. В дальнейшем в подобных случаях не будем указывать пределов интегрирования; х я у - значения случайных векторов X и У. Записью (у) в (3.3) подчеркивает то обстоятельство, что оценка рассматривается как функция у. Если оценка (у) минимизирует функцию риска (3.3), то она называется оптимальной в смысле среднего риска. Средний риск (3.3) R( ) может быть представлен в виде

, максимизи­рующая или, что то же самое, , называется оцен­кой максимума апостериорной вероятности, а сам метод оценива­ния"- методом максимума апостеориорной вероятности.

2. Байесовский риск:

где p(x/Y) -апостериорная плотность вероятностей значений X . при заданном (фиксированном) Y, р(х) -априорная плотность ве­роятностей вектора X, т. е. существующая до опыта, в котором реа­лизовался какой-то вектор у. Таким образом, байесовский риск в силу структуры формулы Байеса (1.9) зависит не только от оцен­ки, но и от априорной плотности вероятностей р(х), что и отражено в записи . Оценка , минимизирующая функцию риска (3.4), называется оптимальной в байесовском смысле или просто ^байесовской. Доказано , что для функции потерь вида (3.1) бай­есовская оценка минимизирует одновременно функции риска (3.3) и (3.4). Алгоритмы оценивания, обеспечивающие получение байесовских оценок, принято называть байесовскими.

3. Условный риск:

Эта функция риска характеризует ошибки оценки при заданном (фиксированном) значении оцениваемого вектора X. Между услов­ным и средним риском существует связь:

В (3.5) и (3.6) р(у/Х) и р(х) - соответственно условная плот­ность вероятностей вектора Y и априорная плотность вероятностей вектора X. На основе плотности вероятностей p(y/X) может быть построена оценка максимума правдоподобия. Это оценка, которая максимизирует так называемую функцию правдоподобия. В каче­стве функции правдоподобия в простейшем случае может быть вы­брана функция р(у/Х), в которую подставлены фактические значе­ния измерений у. Для построения р(у/Х) не обязательно знать вид плотности распределения р(х), т. е. вид априорной плотности веро­ятностей вектора X. X, X на множестве .

Можно также сказать, что минимаксная оценка является бай­есовской при априорном распределении X, являющемся наименее благоприятным для задачи оценивания. Поясним последнюю мысль-подробнее.

Байесовский риск может быть определен в том слу­чае, если известен вид априорной плотности вероятностей р(х) век­тора X, так как в силу (1.9) условная плотность вероятностей

где р(у) -плотность вероятностей вектора Y.

В том случае, когда плотность вероятностей р(х) не сущест­вует, можно условно поставить в соответствие каждому X из некоторое априорное распределение , принадлежащее некото­рому классу распределений .

Оказывается, для функции потерь вида (3.1) справедливо ра­венство :

т. е. минимаксная оценка тождественна байесовской оценке вычисленной для априорного распределения, максимизирующего байесовский риск на . Таким образом устанавливается связь меж­ду байесовской и минимаксной оценками.

3.2. БАЙЕСОВСКИЕ АЛГОРИТМЫ ОЦЕНИВАНИЯ

Как показывает практика, сложность реализации алго­ритмов оценивания зависит, во-первых, от вида математической модели движения оцениваемой динамической системы и измерений и, во-вторых, от способа проведения измерений, т. е. от того, как поступают измерения, непрерывно или дискретно. Рассмотрим ли­нейные (для линейных моделей), квазилинейные (для линеаризо­ванных моделей) и нелинейные (для нелинейных моделей) байесовские алгоритмы. Как правило, будем полагать, что измери­тельная информация поступает дискретно и соответствующие алго­ритмы имеют рекуррентную форму. Эта форма алгоритма наиболее удобна для реализации на ЭВМ, когда поступающие векторы из­мерений обрабатываются поочередно. В некоторых случаях удобно обобщить полученные результаты на случай непрерывных изме­рений.