Интеллектуальная система диспетчерского управления пропускной способностью и перевозочным процессом CTMS (Capacity and Traffic Management System) должна стать ключевым элементом комплекса средств, которые обеспечат цифровизацию и автоматизацию железных дорог Германии (DB). В системе CTMS предусмотрено использовать искусственный интеллект, для которого разработан метод мультиагентного обучения с подкреплением (MARL), позволяющий формировать детальные графики движения поездов значительно быстрее по сравнению с классическими методами оптимизации.
Содержание
Система CTMS разрабатывается в рамках инициативы Digitale Schiene Deutschland (DSD) железных дорог Германии, преследующей цель повысить пропускную способность, качество и эффективность работы сети за счет развертывания цифровых технологий. За реализацию инициативы DSD отвечает одноименная компания, созданная холдингом DB. В число задач CTMS входит автоматизация разработки графиков движения и диспетчерского управления движением поездов.
В настоящее время для формирования графиков движения примерно 40 тыс. поездов, которые ежесуточно обращаются на сети DB, необходима многомесячная подготовительная работа с участием экспертов, использующих специализированное ПО. В обеспечении бесперебойного перевозочного процесса и устранении сбоев задействованы тысячи диспетчеров и дежурных по станциям. Каждый из них отвечает за определенную локальную зону и координирует свои действия путем переговоров не только с другими диспетчерами и дежурными по станциям, но и с локомотивными диспетчерами разных операторов перевозок. Возможности такой традиционной технологии исчерпываются по мере увеличения загруженности сети и в случае необходимости обеспечить высокую гибкость перевозочного процесса. Система CTMS с высоким уровнем автоматизации призвана выполнять целостное диспетчерское регулирование в масштабе всей сети.
Система CTMS рассматривается как универсальный инструмент, способный строить графики движения на всем горизонте планирования работы железнодорожной системы — от долгосрочного (включая планирование путевых работ) до оперативного с целью регулирования текущего перевозочного процесса. На всех этапах формируются графики, которые достаточно детализированы для автоматизированного или полностью автоматического вождения поездов и автоматизированного управления системами централизации. При этом CTMS поддерживает как традиционные системы интервального регулирования на основе фиксированных блок-участков, так и перспективную поездоцентричную логику обеспечения безопасности (см. «ЖДМ», 2024, № 10, с. 43 – 47), предусмотренную целевой моделью инициативы DSD.
Для такой комплексной системы принятия решений, как CTMS, компания DSD создает технологию составления графиков движения при помощи искусственного интеллекта, основанного на методе MARL. Ее применение должно обеспечить требуемые уровни универсальности и масштабируемости системы CTMS. В разработке технологии участвует французская компания InstaDeep, которая специализируется на внедрении средств ИИ в разных отраслях промышленности и на транспорте.
Мультиагентное обучение с подкреплением
При глубоком обучении с подкреплением (Deep Reinforcement Learning, DRL) нейронные сети обучаются решать комплексные задачи путем взаимодействия с динамической имитационной моделью. Метод DRL хорошо зарекомендовал себя в сферах стратегического планирования и непрерывного управления процессами в реальном времени. Для системы CTMS компания DSD разработала высокоточную имитационную модель железной дороги, воспроизводящую все релевантные аспекты ее эксплуатации, включая подробное описание реальной железнодорожной сети, физических свойств подвижного состава и системы обеспечения безопасности и управления движением поездов разных типов, а также технологических процессов, таких как прием поезда на станции. В этих условиях система управления способна в принципе обеспечить координацию движения поездов без применения ИИ, устанавливая стрелочные маршруты, задавая разрешенную скорость движения и время остановки на станциях.
Следует учитывать, что CTMS не отвечает за безопасность движения, ответственные функции выполняют системы централизации, точнее — система APS, реализующая логику безопасности в целевой модели DSD. Вместе с тем CTMS должна все же учитывать условия безопасности, выдвигаемые системами ЖАТ, чтобы генерировать графики, допускающие реализацию на практике. В данном случае ИИ получает запрос на поездные передвижения, включающий ограниченное количество важных с точки зрения эксплуатации данных о въезде в определенный сегмент сети и выезде из него, а также о последовательности коммерческих остановок с их временны́ми параметрами.
Задача ИИ состоит в поиске приемлемых решений, при которых реализуются запросы на движение для всех поездов в имитационной модели с достижением всех критериев оптимизации. Если этот процесс завершается успешно, генерируется план-график работы полигона, содержащий всю информацию, требуемую для управления системами централизации и поездами, что в перспективе позволяет полностью автоматизировать работу стационарных средств ЖАТ и обеспечить автоведение поездов.
Решение подобной задачи для одного поезда достижимо с использованием стандартных алгоритмов. По мере увеличения числа поездов число последовательностей их пропуска и возможных вариантов маршрутов растет экспоненциально при одновременном сокращении числа приемлемых решений на сильно загруженном полигоне. Повышению пропускной способности сети может способствовать регулирование движения с минимальными интервалами попутного следования посредством подвижных блок-участков.
В отличие от классических методов искусственный интеллект ищет приемлемое, но необязательно оптимальное решение. Сильной стороной ИИ является интеллектуальное сокращение объема информации и параллельные вычисления, что позволяет найти решение за короткий срок. Это имеет ключевое значение для системы диспетчерского регулирования движения поездов в реальном времени. Метод, разрабатываемый для CTMS, основан на DRL, но предназначен не для оптимизации существующих графиков движения, а для их разработки с нуля с формированием плана-графика работы полигона. Соответственно, сфера его применения не ограничивается диспетчерским регулированием, а охватывает также планирование эксплуатационного процесса. Акцент на управлении каждым отдельным поездом с учетом общей эксплуатационной ситуации позволяет распараллелить вычисления и масштабировать их на крупные полигоны с большим числом одновременно курсирующих поездов.
Модели DLR воздействуют на имитируемую среду и обучаются посредством наблюдений и поощрений:
- воздействия. На каждом этапе имитационного моделирования ИИ принимает решения о воздействиях на эксплуатационный процесс, которые включают два компонента — скорость движения поезда и перевод в нужное положение следующей стрелки на его маршруте;
- наблюдение. На каждом этапе имитационного моделирования ИИ получает информацию о каждом поезде, позволяющую определить возможности для его движения, и об общей эксплуатационной обстановке на сети;
- поощрения. Эта функция обратной связи на современном этапе разработки упрощенно награждает модель за прибытие поезда в пункты остановки и надлежащий выезд за пределы полигона. Успешность имитируемых рейсов оценивается числом полностью выполненных рейсов.
В начале обучения модель ИИ пытается пропустить поезда по полигону при помощи случайных воздействий. За счет обратной связи ИИ обучается управлять поездами и инфраструктурой таким образом, чтобы формировался график движения, позволяющий реализовать все запросы на движение. Для выхода на этот уровень ИИ должен выполнить тысячи циклов имитационного моделирования с широким спектром разнообразных эксплуатационных ситуаций.
Для возможности масштабирования на крупные полигоны и сеть в целом в модели DRL применяется метод мультиагентного обучения с подкреплением MARL. При одноагентной модели на каждом этапе одним комплексным воздействием приходится управлять всеми имитируемыми поездами. Сама по себе эта задача сравнительно проста, но с увеличением числа поездов воздействие необходимо менять, что приводит к быстрому исчерпанию имеющихся вычислительных ресурсов. При методе MARL по‑прежнему используется единственная модель ИИ, но решения принимаются раздельно для каждого поезда с учетом текущей ситуации и на основе сформированной на этапе обучения общей стратегии, охватывающей все поезда. Этот процесс допускает распараллеливание, что позволяет масштабировать модель в расчете на большее число поездов. Кроме того, стратегия принятия решений может применяться в отношении разного числа поездов.
Основной идеей данного подхода является такое формирование графика, при котором на основе запросов на движение с минимальными требованиями генерируется детальный план-график работы полигона. В процессе диспетчерского регулирования перевозочного процесса система управления также генерирует оперативный график движения, однако при этом отличаются граничные условия и цели оптимизации. При возникновении сбоя запускается имитационное моделирование на основе информации о текущей эксплуатационной ситуации с данными о местоположении и скорости движения поездов в условиях определенного (возможно, нарушенного) состояния инфраструктуры и системы ЖАТ. Запросы на движение при диспетчерском регулировании представлены в последней актуальной версии нормативного графика движения, т. е. для каждого поезда должны быть по возможности выполнены заложенные в график условия в отношении графиковых остановок и выхода за пределы полигона.
Опробование технологии
Метод MARL опробовали на имитируемом реальном полигоне — Магдебургском железнодорожном узле с развернутой длиной путей 343 км и 29 станциями (рис. 1).
Рис. 1. Магдебургский железнодорожный узел
В варианте 1 ставилась задача координации интенсивного движения поездов на станции Бидериц. Были сгенерированы 100 сценариев с запросами на движение, в которых по 10 поездов в разных сочетаниях проследовали через станцию, в том числе с остановкой на ней. Система CTMS должна была регулировать сквозное движение через станцию и распределение перронных путей между поездами, совершающими остановку.
В варианте 2 исследовалось составление планов-графиков работы для всего выбранного полигона с генерацией 72 сценариев, при этом число поездов разных категорий и с разными характеристиками варьировалось от 17 до 41. Оценивались возможности CTMS по принятию значительного числа решений по планированию и регулировочным воздействиям на полигоне с большим числом путей и стрелок, а также по протяженности координируемых маршрутов и величине временно́го горизонта. Для оценки качества диспетчерского регулирования был закрыт один из интенсивно используемых путей в центральной части полигона. Кроме того, имитировались нарушения и на других путях, причем эти нарушения отсутствовали при предварительном обучении ИИ. Важно было подтвердить способность ИИ реагировать на возникновение неизвестных ситуаций.
В качестве эталона служила простая эвристическая система Greedy Agent, которая для каждого поезда составляла график по следующим правилам:
- возможные маршруты определяются процедурой поиска;
- при наличии нескольких маршрутов до пункта назначения действует принцип случайного выбора;
- каждый поезд движется с максимально возможной скоростью.
Таким образом, для каждого поезда гарантируется максимально быстрое прибытие в пункт назначения, но без какой‑либо координации между поездами.
Результаты тестирования
Для варианта 1 ИИ с применением метода MARL нашел решения для всех сценариев, система Greedy Agent — для 69 % сценариев, в остальных случаях из‑за отсутствия координации происходило взаимное блокирование поездов.
Для варианта 2 применение метода MARL позволило организовать бесконфликтное движение 94 % всех поездов в 72 сценариях, причем это касалось как планирования, так и диспетчерского регулирования движения поездов (таблица). Модель ИИ смогла справиться с неожиданными изменениями в железнодорожной инфраструктуре. Результаты Greedy Agent (14 % при планировании перевозок и 16 % при диспетчерском регулировании) подтверждают необходимость пространственной и временной координации движения поездов на сравнительно крупном полигоне. Следует также отметить, что модель ИИ обеспечила 100 %-ный показатель в сценарии с 19 поездами, но в сценарии с 41 поездом проявила себя несколько хуже (99 %).
На рис. 2 приведены данные о среднем времени, затраченном ИИ с применением MARL на вычисления полного плана-графика работы для всего Магдебургского железнодорожного узла.
Рис. 2. Среднее время, которое затратил ИИ на основе MARL при вычислении полного плана-графика работы для Магдебургского узла
В среднем для генерации прогнозного графика движения поездов на горизонте 42 мин для каждого из сценариев потребовалось менее 30 с. Несмотря на некоторый разброс значений, обусловленный разной сложностью сценариев и флуктуациями нагрузки на аппаратное обеспечение, можно видеть линейный рост времени вычислений по мере увеличения числа поездов на полигоне вместо экспоненциального роста, характерного для традиционных технологий. Такое сокращение времени вычислений при сопоставимом качестве их результатов делает возможным применение метода MARL для диспетчерского регулирования движения поездов в реальном времени.
Перспективы
Метод MARL подтвердил свой потенциал в качестве быстрого, гибкого и универсального инструмента автоматического построения долгосрочных и оперативных графиков движения поездов для будущей цифровой железнодорожной системы, однако он требует дальнейшего развития для улучшения масштабируемости и качества результатов. Кроме того, необходима доработка этого ИИ, чтобы он мог учитывать все граничные условия, другие критерии оптимизации и дополнительные операции диспетчерского регулирования движения поездов.
Эффективное применение ИИ в системе CTMS возможно только при внедрении других компонентов комплексной цифровизации железных дорог Германии, созданием и развертыванием которых занимается компания DSD. В их числе система автоведения ATO, интегрированная система управления на основе поездоцентричной логики обеспечения безопасности.
Создавая технологии ИИ для системы CTMS, компания DSD использует результаты НИОКР в рамках проекта AI4REALNET, который реализуется при поддержке Евросоюза и направлен на разработку приложений ИИ для критически важной инфраструктуры (железных дорог, электроэнергетики и воздушного транспорта). Кроме того, разработки по применению метода MARL в системе CTMS ведутся в рамках германо-французского проекта с участием национальных операторов железнодорожной инфраструктуры и университетов обеих стран.
Приступить к развертыванию CTMS железные дороги Германии планируют в 2030 г.
Материалы компаний Digitale Schiene Deutschland (www.digitale-schiene-deutschland.de) и InstaDeep (www.instadeep.com); Signal und Draht, 2025, № 1 – 2, S. 43 – 50.
Эта статья опубликована в журнале «Железные дороги мира», 2025, № 5.
