ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
Этапы создания эффективной системы автоматизации подстанции Это третья часть в серии статей, посвящённых интеллектуальным энергосистемам. В ней рассматриваются различные сетевые топологии, протоколы и схемы резервирования, а также возможности их применения для автоматизации электрических подстанций. Проводится сравнение топологий и протоколов, анализируется эффективность применения тех или иных протоколов резервирования на разных уровнях сети подстанции.
Ч АСТЬ 3. С ЕТЕВЫЕ ТОПОЛОГИИ НА СОВРЕМЕННЫХ ПОДСТАНЦИЯХ Современные системы автоматизации подстанций постоянно разрастаются и усложняются. Внутренние соединения различных устройств и узлов в таких системах построены по определённой сетевой топологии. На её однородность может влиять наличие двух разделённых сетей подстанции: сети станции и сети процессов. При этом ключевым элементом топологии в подавляющем большинстве случаев остаётся коммутатор Ethernet. На практике топология в основном зависит от стоящих задач, условий, специфических особенностей и требований конкретного применения. На каждой конкретной подстанции может быть выбрана своя топология сети, например раздельные кольцевые топологии для сети станции и сети процессов – топология звезды для первой и HSR-кольцо для второй. Такого рода решения при всех своих различиях базируются на одних и тех же стандартных топологиях: шина, дерево, звезда, кольцо, смешанный тип (mesh). В зависимости от размеров, сложности сети и других критериев выбираются комбинации данных топологий.
18
Т ОПОЛОГИЯ ОДИНОЧНОЙ ЗВЕЗДЫ
В соответствии с данной топологией каждый участник сети (станция) напрямую соединён с центральным узлом (коммутатором) сети (рис. 4). Передача данных между компонентами производится через коммутаторы. Данная топология – единственный вариант для применения неуправляемых коммутаторов Ethernet. Топология одиночной звезды распространена благодаря следующим преимуществам соответствующих сетевых структур: ● простая диагностика и локализация проблем и возможность их быстрого устранения; ● слабое электромагнитное взаимовлияние; ● простой алгоритм устранения неполадок; ● лёгкость понимания и реализации; ● сохранение работоспособности всей сети при отказе любого конечного устройства; ● высокая пропускная способность; ● высокая ремонтопригодность; ● оптимизация с учётом широковещательного трафика, низкая латентность;
*Первая и вторая части статьи опубликованы в «СТА» 1/2013. www.cta.ru
простой запуск и подключение силового оборудования. В то же время топология звезды не отличается высокой надёжностью, так как все устройства соединены с центральным коммутатором, который подвержен влиянию агрессивной внешней среды подстанции, а между прочим отказ именно центрального узла вызывает остановку всей сети. Кроме того, изза распределённого характера узлов сети, каждый из которых несёт множество подключений, количество соединительных проводов в такой сети резко возрастает. ●
Т ОПОЛОГИЯ ДВОЙНОЙ ЗВЕЗДЫ Для увеличения надёжности и доступности сети применяется топология двойной (или резервированной) звезды. Реализуется она двумя способами: либо конечные устройства имеют двойное подключение к сети, либо используется двойной набор коммутаторов Ethernet. Для логического построения двойной звезды каждый узел должен иметь два сетевых интерфейса, такие узлы называют DAN (Double Access Node). В сети из DAN-узлов для обеспечения резервирования могут применяться протоколы RSTP (Rapid Spanning Tree Protocol) или PRP (Parallel Redundancy СТА 2/2013
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
Cерверы
ходящего трафика. Для снижения латентности можно применить протокол HSR (High-availability Seamless Redundancy). В данном случае отказ одного узла влияет на всю сеть. Резервирование по протоколам RSTP и HSR эффективно против отказа линии связи, но не спасает конечные устройства, подключённые к узлу, в случае отказа последнего. Данную ситуацию частично может исправить кабельный концентратор, способный обеспечить сквозное подключение через отказавший узел. Упростить архитектуру резервированной сети можно путём применения встраиваемых коммутаторов с поддержкой протоколов MRP (Media Redundancy Protocol) и HSR (рис. 6).
GPS-cервер времени
Hirschmann MACH 1030
Ячейка с устройствами измерения и защиты
Рис. 4. Топология одиночной звезды Cерверы
GPS-cерверы времени
Т ОПОЛОГИЯ МНОЖЕСТВЕННЫХ КОЛЕЦ Для обеспечения высокой доступности коммуникационной системы подстанции применяют топологию множественных колец, реализуемую с помощью многопортовых коммутаторов Ethernet. Рис. 7–10 отображают несколько вариантов кольцевых топологий, включая параллельное кольцо, кольцо с субкольцами, кольцо в кольце.
Сеть А Сеть Б Сеть уровня станции
Hirschmann MACH 1030
(протокол RSTP, независимо в каждой из двух шин)
С РАВНЕНИЕ ТОПОЛОГИИ
Ячейка с устройствами измерения и защиты
ЗВЕЗДЫ С КОЛЬЦЕВОЙ ТОПОЛОГИЕЙ
Рис. 5. Топология двойной звезды с двумя шинами станции, организованными с использованием протокола RSTP
Protocol). Топология двойной звезды с двумя шинами станции, организованными с использованием протокола RSTP, показана на рис. 5.
Т ОПОЛОГИЯ ОДИНОЧНОГО КОЛЬЦА
Кольцевые топологии используют соединения типа точка–точка. Коммутаторы Ethernet соединяются петлёй, коСерверы
нечные устройства подсоединяются к ним. Данные от источника к приёмнику передаются через узлы кольца в одном или двух направлениях. Каждый узел может одновременно посылать данные соседям. Кольцевые топологии традиционно применяются в более крупных сетях. Латентность в таких сетях выше из-за увеличенного количества узлов и про-
Для того чтобы выбрать оптимальную топологию, нужно учитывать множество факторов, например пропускную способность, возможность наращивания, латентность, надёжность и пр. Таблица 1 позволяет сравнить две указанные топологии по главным факторам, по каждому из которых далее приведён краткий комментарий. ● Резервирование повышает надёжность сети путём добавления дополнительных маршрутов доставки данных.
GPS-cервер времени
SAN-устройства
Hirschmann MACH 1030
x
RS20
FAULT +24V(P1)
0V
0V
+24V(P2)
F AU LT RM
P Stand by LS
DA RM Stand by
ON
USB 1
RedBox
DA 2 LS
00:63:80:xx:yy:zz
IP A D D R E S S
V.24
3
4
5
6
7
8
Hirschmann RSP35
Протокол HSR
DAN
У з ел
У з ел
У з ел
Узел
У з ел
Ячейка с устройствами измерения и защиты
19
Рис. 6. Сеть процессов с одиночной кольцевой топологией по протоколу MRP и станционная сеть с протоколом HSR СТА 2/2013
www.cta.ru
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
Серверы
Hirschmann MACH 1030
0V
x
RS20
FAULT +24V(P1)
0V
P Stand by
+24V(P2)
RM Stand by
LS
4
5
6
7
8
0V
x
RS20
FAULT
+24V(P1)
0V
+24V(P2)
LS
2 LS
RS20
FAULT +24V(P1)
0V
0V
x
+24V(P2)
x
6
7
8
2 LS
0V
x
RS20
FAULT +24V(P1)
0V
+24V(P2)
RM Stand by
Ячейка
LS
4
5
6
7
8
2 LS
RS20
FAULT
+24V(P1)
0V
0V
x
+24V(P2)
4
5
6
7
8
IP ADDR E S S
2 LS
8
0V
+24V(P2)
F AU L T RM ON
USB
3
DA
6
7
1
Ячейка
V.24
00:63:80:xx:yy:zz
IP ADDR E S S
00:63:80:xx:yy:zz
3
0V
4
5
DA RM Stand by
1
Ячейка
3
RS20
FAULT
P Stand by LS
ON
USB
USB
V.24
+24V(P2)
V.24
+24V(P1)
F AU L T RM
DA RM Stand by
ON
3
DA
P Stand by
F AU L T RM
P Stand by DA
0V
ON
USB
IP ADDR E S S
IP ADDR E S S
DA
1
8
F AU L T RM
RM Stand by
V.24
00:63:80:xx:yy:zz
4
5
6
7
1
Ячейка 3
4
5
DA
ON
USB
00:63:80:xx:yy:zz
IP ADDR E S S
2 LS
0V
P Stand by LS
3
RS20
FAULT +24V(P1)
F AU L T RM
RM Stand by
V.24
00:63:80:xx:yy:zz
DA
2
6
8
1
Ячейка
LS
5
7
DA
ON
USB
V.24
4
DA
P Stand by
F AU L T RM
P Stand by RM Stand by
+24V(P2)
ON
USB
IP ADDR E S S
IP ADDR E S S
2 LS
DA
0V
F AU L T RM
RM Stand by
3
DA
1
0V
DA
00:63:80:xx:yy:zz
3
RS20
FAULT
+24V(P1)
P Stand by LS
1
Ячейка
V.24
00:63:80:xx:yy:zz
IP ADDR E S S
x
DA
x
+24V(P2)
ON
USB
Ячейка
V.24
00:63:80:xx:yy:zz
2 LS
Ячейка
0V
F AU L T RM
RM Stand by
1
DA
LS
0V
DA
ON
USB
LS
RS20
FAULT
+24V(P1)
P Stand by
F AU L T RM
DA
1
Ячейка
V.24
IP ADDR E S S
LS
Параллельные кольца (протокол MRP)
4
DA 5
6
7
8
2 LS
00:63:80:xx:yy:zz
x
GPS-cервер времени
3
4
5
6
7
8
Рис. 7. Топология параллельных колец с протоколом MRP Серверы
GPS-cервер времени
Защита
Главное резервированное кольцо (протокол MRP)
Hirschmann MACH 1030
Дополнительное кольцо Уровень напряжения 2
Дополнительное кольцо Уровень напряжения 1
Ячейка с устройствами измерения и защиты
Рис. 8. Топология кольца с субкольцами с протоколом MRP
Серверы Защита
x
RS20
FAULT +24V(P1)
0V
P Stand by LS
0V
+24V(P2)
F AU L T RM
DA RM Stand by
ON
USB 1
DA 2 LS
00 63 80 xx yy zz
IP ADDR E S S
V.24
3
4
5
6
7
8
Hirschmann RSP35
Главное резервированное кольцо LS
x
+24V(P2)
0V
RM Stand by
0V
x
+24V(P2)
LS
2 LS
x
0V
6
7
8
3
2
Дополнительное кольцо Уровень напряжения 1
LS
x
+24V(P2)
LS
2 LS
0V
+24V(P2)
F AU L T RM
RM Stand by
ON
USB
3
DA 6
8
0V
DA
1
4
5
7
RS20
FAULT +24V(P1)
P Stand by
F AU L T RM
V.24
IP ADDR E S S
IP ADDR E S S
4
5
DA
V.24
4
DA 5
6
7
8
2 LS
Hirschmann MACH 1030
Дополнительное кольцо Уровень напряжения 2
3
4
5
6
7
8
RS20
FAULT +24V(P1)
3
0V
ON
USB 1
V.24
00 63 80 xx yy zz
IP ADDR E S S
00 63 80 xx yy zz
DA
0V
DA RM Stand by
ON
USB 1
V.24
RS20
FAULT +24V(P1)
P Stand by
F AU L T RM
DA RM Stand by
ON
USB 1
0V
+24V(P2)
F AU L T RM
P Stand by LS
0V
P Stand by LS
DA
RS20
FAULT
+24V(P1)
F AU L T RM
IP ADDR E S S
0V
P Stand by
00 63 80 xx yy zz
RS20
FAULT
+24V(P1)
00 63 80 xx yy zz
x
Кольцевая топология – простейший способ резервирования. ● Пропуская способность – комплексная величина, определяемая скоростью передачи, доступной полосой пропускания (способностью большего количества «хостов» одновременно передавать сообщения), внутренней связностью сети (сколько линий связи надо разорвать, чтобы сеть разделилась на 2 части). ● Диагностика включает в себя определение отказавшего устройства, устранение неисправности, решение сопутствующих проблем. ● Расширяемость подразумевает уровень сложности наращивания сети. ● Кабельное хозяйство характеризуется сложностью кабельной разводки, надёжностью доставки сигналов, простотой доступа к узлу. ● Латентность определяет производительность коммуникационной сети на основе общей задержки в доставке критически важного сообщения от источника к получателю. Требования ко времени доставки данных у шины станции и шины процесса сильно разнятся, поэтому и методы резервирования у них разные. ● Применение в больших сетях становится возможным благодаря тому, что резервированные кольца на каждом уровне шины процессов могут быть объединены в станционную шину по топологии дерева или смешанной кольцевой топологии. ● Применение в малых сетях обычно подразумевает внедрение на небольших высоковольтных подстанциях, где линий передачи со средствами релейной защиты меньше. Часто на отсек приходится только одно интеллектуальное сетевое устройство, и эти устройства логично объединить цепочкой в резервированное кольцо. В идеале на подстанции все цепи и оборудование должны дублироваться из соображений надёжности. Технологии резервирования каналов связи используются для достижения максимальной надёжности с относительно небольшими инвестициями.
DA RM Stand by
ON
USB 1
IP ADDR E S S
V.24
2 LS
00 63 80 xx yy zz
3
DA
4
5
6
7
8
П ОТРЕБНОСТЬ В РЕЗЕРВИРОВАНИИ КАНАЛОВ СВЯЗИ
Кольцо HSR
20
Рис. 9. Топология кольца с субкольцами с протоколом HSR www.cta.ru
Коммуникационная сеть подстанции относится к критически важным системам. Система в целом должна быть устойчива к единичным сбоям. Смысл резервирования каналов как раз и состоит в СТА 2/2013
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
предотвращении появления каналов или узлов, единичный отказ которых приведёт к остановке системы. При отказе узла или канала связи система должна автоматически восстанавливаться в установленное (обычно очень короткое) время. При этом должен задействоваться один из резервных маршрутов доставки данных от отправителя к получателю. На практике шины процессов и шина станции могут быть разделены. Каждая из них должна быть резервирована. Каналы и узлы связи между шинами станции и процессов тоже должны быть дублированы. Это может быть реализовано с помощью технологий дублирования каналов ring coupling на базе коммутаторов Ethernet или путём использования нескольких сетевых интерфейсов одного конечного устройства. Резервирование каналов связи позволяет свести к минимуму задержки в передаче данных и потерю кадров, одновременно серьёзно увеличивая значение параметра наработки системы на отказ (MTBF).
Шина станции обычно используется для передачи событийного трафика для SCADA-системы. Она охватывает всю подстанцию и соединяет центральные станции управления со всеми уровнями автоматики. Шина станции обычно передаёт GOOSE-сообщения (GOOSE – Generic Object Oriented Substation Event) и TCP/UDP-трафик. GOOSE-сообщения являются широковещательным трафиком второго уровня, TCP/UDP – это кадры, включающие сообщения MMS (Manufacturing Messaging Specification), SNTP (Simple Network Time Protocol) и SNMP (Simple Network Mana-
gement Protocol). Сеть уровня станции допускает потерю отдельных кадров Ethernet благодаря использованию протокола TCP/IP, его механизмы позволяют выявлять потерянные кадры и пересылать их ещё раз. Шина процессов используется для передачи измерительных данных в так называемой SV-форме (SV – Sampled Values). Данные передаются в маленьких Ethernet-кадрах, генерируемых, например, защитной автоматикой. Так как для расчёта необходимы все данные, потери SV-трафика недопустимы. При нормальной частоте тока 50 Гц и
П РИНЦИП РЕАЛИЗАЦИИ ТЕХНОЛОГИЙ РЕЗЕРВИРОВАНИЯ
Кольцевые топологии в сравнении с топологией звезды используют разные механизмы резервирования. Отказ в кольце может быть исправлен без остановки сети, поэтому его часто называют самовосстанавливающимся. При отказе в кольце одного канала кольцо превращается в цепочку, но все узлы по-прежнему остаются связанными друг с другом. Так как Ethernet – широковещательный протокол, организация кольца без дополнительных протоколов связи невозможна. В зависимости от различных требований к шинам процессов и станции могут применяться разные протоколы кольцевого резервирования, отличающиеся по своим основным характеристикам.
Т РЕБОВАНИЯ К ШИНАМ ПРОЦЕССОВ И СТАНЦИИ
Большинство протоколов резервирования регламентируют заранее определённое время восстановления системы после сбоя. Этот параметр называется временем восстановления. Так как он напрямую влияет на время передачи информации от отправителя получателю, время восстановления, регламентированное конкретным протоколом резервирования, всегда должно быть меньше максимально допустимой задержки в сети. СТА 2/2013
21 www.cta.ru
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
Серверы
критичного трафика, например GOOSEсообщений.
GPS-cервер времени
Протокол MRP Топология кольца в кольце (протокол RSTP)
LS
0V
x
+24V(P2)
7
8
Ячейка
DA 2 LS
7
8
Ячейка
IP A D D R S S
00:63:80:xx:yy:zz
IP A D D R S S
00:63:80:xx:yy:zz IP A D D R S S
IP A D D R S S 2 LS
x
+24V(P2)
0V
0V
x
+24V(P2)
IP A D D R S S 0V
8
7
Ячейка
8
2 LS
F AULT RM
3
Ячейка
DA 2 LS
RS20 0V
00:63:80:xx:yy:zz
6
7
x
+24V(P2)
0V
4
5
6
7
8
RS20
FAULT +24V(P1)
0V
+24V(P2)
F AULT RM
P Stand by
F A U LT RM
DA
LS
RM Stand by
ON
ON
USB
USB
DA
+24V(P2)
ON
V.24
4
5
DA RM Stand by
4
6
0V
DA
LS
RM Stand by
FAULT
P Stand by LS
3
5
6
8
USB
+24V(P1)
F AULT RM ON
V.24
0V
4
5
7
RS20
FAULT +24V(P1)
P Stand by
F A U LT RM ON
1
1
2 LS
00:63:80:xx:yy:zz
DA
1
2 LS
USB
DA
+24V(P2)
ON
V.24
3
Ячейка
V.24
3
RS20
FAULT
P Stand by RM Stand by
4
6
8
USB
DA
DA
LS
3
0V
P Stand by
Ячейка
1
V.24
5
4
6
7
RS20
FAULT 0V
3
5
DA RM Stand by
6
8
0V
F AULT RM
RM Stand by
4
5
8
USB
+24V(P1)
F AULT RM
7
0V
4
6
7
DA
LS
ON
V.24
00:63:80:xx:yy:zz
x
+24V(P2)
ON
V.24
+24V(P1)
F AULT RM ON
USB
IP A D D R S S
IP A D D R S S
Ячейка
8
0V
DA RM Stand by
4
6
0V
2 LS
LS
2 LS
+24V(P1)
P Stand by
F AULT RM
3
5
RS20
FAULT
1
DA
1
DA
1
3
5
Ячейка
DA
3
Ячейка
RS20
FAULT +24V(P1)
P Stand by
F AULT RM
8
RS20
FAULT 0V
4
6
7
USB
8
+24V(P2)
DA RM Stand by
P Stand by
4
6
7
0V
x
USB
RM Stand by
3
5
0V
Ячейка
2 LS
RS20
P Stand by
3
5
V.24
DA
V.24
V.24
IP A D D R S S
x
+24V(P2)
V.24
00:63:80:xx:yy:zz
IP A D D R S S
00:63:80:xx:yy:zz
7
2 LS
IP A D D R S S
IP A D D R S S 0V
ON
USB
DA
+24V(P1)
F AULT RM ON
+24V(P1)
F AULT RM LS
2 LS
DA RM Stand by
4
6
+24V(P2)
ON
USB
FAULT
V.24
1
DA
1
3
5
x
+24V(P2)
V.24
IP A D D R S S 0V
Ячейка
RS20
FAULT +24V(P1)
P Stand by LS
ON
USB
V.24
0V
ON
USB
6
8
0V
x
LS
2 LS
+24V(P2)
F AULT RM
RM Stand by
6
8
1
DA
0V
0V
DA
4
5
7
3
4
5
6
7
8
3
Ячейка
00:63:80:xx:yy:zz
x
+24V(P2)
F A U LT RM
RM Stand by
Ячейка
DA
4
5
7
00:63:80:xx:yy:zz
IP A D D R S S 0V
2 LS
DA
0V
8
RS20
FAULT +24V(P1)
P Stand by LS
4
6
7
LS
1
2 LS
USB
RM Stand by
00:63:80:xx:yy:zz
IP A D D R S S
00:63:80:xx:yy:zz
0V
DA
0V
Ячейка
RS20
FAULT +24V(P1)
P Stand by
F AULT RM
V.24
3
DA
DA RM Stand by
3
5
1
V.24
3
Ячейка
RS20
FAULT +24V(P1)
8
+24V(P1)
6
8
RS20
P Stand by
F AULT RM ON
V.24
IP A D D R S S
x
+24V(P2)
ON
USB
4
6
1
Ячейка
0V
F AULT RM
RM Stand by
3
7
+24V(P2)
LS
2 LS
x
+24V(P2)
ON
USB
4
5
7
1
DA
DA
V.24
P Stand by LS
Ячейка
1
x
2
0V
8
RS20
FAULT +24V(P1)
4
6
7
0V
DA RM Stand by
FAULT
USB
P Stand by LS
ON
USB
5
0V
x
DA RM Stand by
3
5
0V
P Stand by LS
1
2 LS
IP A D D R S S
x
+24V(P2)
F A U LT RM
P Stand by RM Stand by
0V
Ячейка
RS20
FAULT +24V(P1)
F AULT RM
3
DA
00:63:80:xx:yy:zz
0V
2 LS
DA
2 LS
+24V(P1)
6
8
1
DA
x
+24V(P2)
V.24
4
5
7
RS20
00:63:80:xx:yy:zz
Ячейка
0V
ON
USB
P Stand by LS
ON
V.24
IP A D D R S S 8
00:63:80:xx:yy:zz
IP A D D R S S
00:63:80:xx:yy:zz
0V
4
6
7
RS20
FAULT +24V(P1)
3
5
0V
DA RM Stand by
FAULT
USB
V.24
1
DA
LS
+24V(P2)
F AULT RM
RM Stand by
1
x
DA
0V
x
DA
ON
USB
LS
0V
2 LS
IP A D D R S S
+24V(P1)
Ячейка
RS20
FAULT +24V(P1)
P Stand by LS
1
V.24
3
DA
RS20
FAULT
P Stand by LS
8
IP A D D R S S
+24V(P2)
x
+24V(P2)
ON
USB
4
6
7
00:63:80:xx:yy:zz
x
F AULT RM
RM Stand by
0V
F AULT RM
RM Stand by
3
5
00:63:80:xx:yy:zz
IP A D D R S S 0V
2 LS
DA
2 LS
0V
DA
LS
1
DA
IP A D D R S S
0V
Ячейка
RS20
FAULT +24V(P1)
P Stand by
F AULT RM
00:63:80:xx:yy:zz
IP A D D R S S +24V(P1)
6
8
1
DA
Ячейка
x
+24V(P2)
V.24
4
5
7
RS20
FAULT
P Stand by LS
0V
ON
USB
00:63:80:xx:yy:zz
x
Ячейка
0V
DA RM Stand by
3
Ячейка
RS20
FAULT +24V(P1)
P Stand by LS
1
V.24
00:63:80:xx:yy:zz
x
+24V(P2)
ON
USB
00:63:80:xx:yy:zz
0V
F AULT RM
RM Stand by
IP A D D R S S
0V
DA
2 LS
00:63:80:xx:yy:zz
RS20
FAULT +24V(P1)
P Stand by LS
1
DA
00:63:80:xx:yy:zz
x
00:63:80:xx:yy:zz
Hirschmann MACH 1030
DA 2 LS
4
5
6
7
8
Рис. 10. Топология кольца в кольце с протоколом RSTP Таблица 1 Сравнение топологий Топология
Фактор
Звезда
Кольцо
+ +++ +++ +++ +++ +++ ++ ++
+++ ++ ++ ++ ++ + ++ +++
Резервирование Пропускная способность Диагностика Расширяемость Кабельное хозяйство Латентность Применение в больших сетях Применение в малых сетях
частоте дискретизации 80 Гц необходимая частота передачи данных получается 50 × 80 = 4000 Гц. Это означает, что каждые 250 мкс кадр с измеренной величиной, например, фазы тока должен быть передан по сети. Таким образом, канал передачи SV-данных должен быть фактически беспрерывным, иначе данные сразу потеряются.
П РОТОКОЛЫ РЕЗЕРВИРОВАНИЯ
Протокол RSTP Протокол RSTP – очень гибкий, позволяет резервировать сети с произволь-
ной топологией. Однако для топологий, отличных от топологии одиночного кольца, вычисление времени сходимости становится непростым. В сети с топологией одиночное кольцо RSTP ведёт себя очень предсказуемо. Во время перестроения топологии пакеты с данными теряются, поэтому этот протокол можно применять только в шине на уровне станции. В шине процессов потеря пакетов не допускается, соответственно, протокол RSTP тут противопоказан. При проектировании сети рассчитывают и тестируют максимальное время восстановления – оно должно быть меньше допустимых задержек для
Серверы SCADA Hirschmann MACH 1040 Шина станции с кольцевой топологией (протокол MRP)
x
0V
0V
LS
+24V(P2)
x
LS RM Stand by
2 LS
3
4
5
6
7
8
IP ADDR E S S
Hirschmann RSP35
DA 2 LS
3
4
6
7
8
0V
+24V(P2)
x
3
DA 2 LS
LS
0V
+24V(P2)
x
5
6
7
8
6
7
8
DA 2 LS
RS20
FAULT 0V
0V
+24V(P2)
x
3
4
5
6
7
8
6
7
8
DA 2 LS
+24V(P2)
F AU L T RM ON
USB 1
V.24
IP ADDR E S S
4
5
0V
DA RM Stand by
ON
USB
3
0V
P Stand by LS
RM Stand by
RS20
FAULT +24V(P1)
F AU L T RM
DA
1
V.24
IP ADDR E S S
4
5
2 LS
P Stand by LS
ON
USB
3
V.24
4
DA
+24V(P1)
F AU L T RM
RM Stand by
00 63 80 xx yy zz
IP ADDR E S S
22
0V
DA
1
V.24
00 63 80 xx yy zz
2 LS
RS20
FAULT +24V(P1)
P Stand by
F AU L T RM ON
USB 1
DA
+24V(P2)
ON
USB
V.24
IP ADDR E S S
0V
0V
F AU L T RM
RM Stand by
1
V.24
Резервированное кольцо 2 (протокол HSR или MRP)
DA RM Stand by
0V
DA
ON
USB
5
RS20
FAULT +24V(P1)
P Stand by LS
RM Stand by
00 63 80 xx yy zz
RS20
FAULT +24V(P1)
P Stand by LS
x
F AU L T RM
Резервированное кольцо 1 (протокол HSR или MRP) x
Дублированное соединение ring coupling
+24V(P2)
1
V.24
00 63 80 xx yy zz
IP ADDR E S S
00 63 80 xx yy zz
DA
0V
DA
ON
USB 1
V.24
0V
P Stand by
DA
ON
USB 1
RS20
FAULT +24V(P1)
F AU L T RM
P Stand by
DA RM Stand by
RS20
FAULT +24V(P1)
F AU L T RM
IP ADDR E S S
LS
Дублированное соединение ring coupling
+24V(P2)
IP ADDR E S S
0V
00 63 80 xx yy zz
0V
P Stand by
3
4
5
6
7
8
3
DA 2 LS
00 63 80 xx yy zz
RS20
FAULT +24V(P1)
00 63 80 xx yy zz
x
4
5
6
7
8
Рис. 11. Дублированное соединение резервированных колец по технологии ring coupling www.cta.ru
Протокол MRP в сравнении с RSTP применим только к топологии одиночного кольца. Его нельзя применять для топологий с множественными кольцами и смешанных сетей без дополнительных протоколов. Так как протокол разработан специально для кольца, его производительность несравнимо выше, чем у RSTP. MRP определяет жёсткий набор параметров для коммутаторовучастников, благодаря чему максимальное время восстановления кольца определено заранее. Рекомендованное значение этого параметра может быть установлено на уровне 10, 30, 200, 500 мс. Указанные значения гарантируются при любых наихудших условиях работы сети, а типовые значения времени восстановления, как правило, намного меньше. Для реализации сложных топологий MRP-кольца можно прикреплять к коммутаторам Hirschmann, выполняющим роль менеджеров резервированных колец (рис. 11). Резервирование в дополнительных кольцах осуществляется независимо от главного кольца. Соответственно, время восстановления может быть задано в каждом кольце индивидуально, и процесс восстановления при сбое в пределах каждого кольца происходит независимо. Дополнительные кольца могут быть присоединены непосредственно к базовому кольцу для большей гибкости. Согласно схеме на рис. 12 кольца можно соединять с помощью технологии ring coupling, реализованной на коммутаторах Hirschmann. Для этого используются два соседних коммутатора в режимах мастера соединения (ring coupling master). Один коммутатор поддерживает соединение со вторым кольцом в активном состоянии, дублирующее соединение (показано на рис. 12 пунктиром) держится вторым мастером в логически разомкнутом состоянии для предотвращения формирования циклических маршрутов в сети. Таким образом, данные идут только по основной линии. При возникновении сбоев в основном маршруте происходит переключение на запасную линию до восстановления основной. Использование технологии ring coupling позволяет строить резервированное соединение между различными тоСТА 2/2013
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
пологиями и оборудованием разных производителей.
Hirschmann MACH 1040
Протокол PRP
Резервированное кольцо 1
Протокол PRP – наиболее подходящий для шины процессов. Вместо дополнительных каналов связи в сети он использует полностью дублированную сетевую инфраструктуру (рис. 13). Все конечные устройства, которые планируется подключать к PRP-сети, подключаются через так называемые DAN-шлюзы или сами имеют двойной сетевой интерфейс с аппаратной поддержкой PRP. Данные через дублированный интерфейс посылаются в сеть A и сеть Б синхронно. Пакеты дублируются DAN-устройствами, копии пакетов данных направляются по двум сетям независимо. При возникновении сбоя в одной из сетей данные без задержек доставляются по второй. При исправной работе обеих сетей конечное DAN-устройство получает два дубля каждого пакета данных и фильтрует вторые копии. Таким образом, PRP-протокол может использоваться в шине процессов, он устойчив к сбоям и обладает нулевым временем восстановления.
Мастер-коммутатор
Дублированное соединение колец ring coupling
Резервированное кольцо 2
Мастер-коммутатор
Рис. 12. Дублированное соединение ring coupling резервированных колец
по таким показателям, как детерминизм/ скорость восстановления, гибкость топологии, стоимость реализации. Далее приведены краткие комментарии оценок, выставленных каж-
дому рассматриваемому протоколу по перечисленным показателям. ● RSTP. В плане предсказуемости скорости восстановления RSTP удовлетворяет требованиям стан-
Протокол HSR Протокол HSR целиком построен на концепции PRP. В отличие от последнего HSR не требует двойной сетевой структуры, а использует имеющуюся кольцевую топологию. Рис. 14 иллюстрирует принцип, реализованный в PRP: копии каждого кадра Ethernet посылаются по двум направлениям для независимой доставки получателю. Вместо двойной сетевой топологии используются оба направления движения трафика по замкнутому кольцу. При разрыве кольца в любом месте данные без задержки поступают к получателю по целой «дуге». Во избежание получения дублей кадров и образования петли в сети в каждом HSR-устройстве на аппаратном уровне реализован механизм фильтрации дублей полученных кадров, что предотвращает также их зацикливание и связанную с ними перегрузку сети. Протокол HSR обеспечивает резервирование с нулевым временем восстановления и пригоден для применения в шине процессов (рис. 15).
С РАВНЕНИЕ ПРОТОКОЛОВ РЕЗЕРВИРОВАНИЯ Таблица 2 позволяет сравнить представленные протоколы резервирования СТА 2/2013
23 www.cta.ru
ОБЗОР/ПРОМЫШЛЕННЫЕ СЕТИ
DAN
DAN
DAN DAN
RS20
FAULT +24V(P1)
0V
x
+24V(P2)
0V
0V
0V
P Stand by
DA RM Stand by
LS
ON
x
RS20
FAULT +24V(P1)
F A U LT RM
P Stand by
LS
6
7
8
13 14
15 16
11 12
3
0V
0V
+24V(P2)
F AU LT RM
DA RM Stand by
ON
USB 1
V.24
IP A D D R E S S
IP A D D R E S S
IP A D D R E S S
5
RS20
FAULT +24V(P1)
P Stand by LS
ON
USB
3
9 10
x
+24V(P2)
0V
F A U LT RM
RM Stand by
1
V.24
V.24
4
4
5
6
7
8
13 14
9 10
15 16
11 12
3
4
+24V(P1)
0V
x
+24V(P2)
0V
P Stand by RM Stand by
LS
+24V(P1)
0V
x
+24V(P2)
3
4
5
6
7
8
DA 2 LS
0V
0V
x
+24V(P2)
+24V(P1)
LS
DA RM Stand by
6
7
8
2 LS
x
0V
0V
IP A D D R E S S
x
4
5
6
7
8
●
4
0V
5
6
7
8
RedBox
RS20
FAULT +24V(P1)
P Stand by LS
3
DAN
DAN
00 63 80 xx yy zz
2
2 LS
V.24
3
LS
6
8
F AU LT RM ON
USB 1
DA
DA 5
7
+24V(P2)
DA RM Stand by
V.24
4
RS20
FAULT +24V(P1)
P Stand by LS
+24V(P2)
ON
USB
3
DA
0V
F AU LT RM
RM Stand by
1
V.24
IP A D D R E S S 5
0V
6
8
DA
ON
USB
4
5
7
RS20
FAULT
P Stand by
F AU LT RM
P Stand by LS
1
3
DAN Hirschmann RSP35
DAN
Сеть А Сеть В Обычная сеть
+24V(P1)
F AU LT RM ON
V.24
IP A D D R E S S
IP A D D R E S S 2 LS
00 63 80 xx yy zz
DA
0V
1
V.24
RS20
FAULT
USB
USB 1
2 LS
DA RM Stand by
ON
DA
RS20
FAULT
P Stand by
F AU LT RM
DA
2
LS
00 63 80 xx yy zz
LS
SAN
6
8
IP A D D R E S S
x
RS20
FAULT
5
7
00 63 80 xx yy zz
2 LS
00 63 80 xx yy zz
DA
00:63:80:xx:yy:zz
00 63 80 xx yy zz
DA
00:63:80:xx:yy:zz
LS
0V
DA
ON
USB 1
V.24
4
DA
2
RS20
FAULT
P Stand by
F AU LT RM
RM Stand by
+24V(P1)
+24V(P2)
DA
USB
3
00 63 80 xx yy zz
LS
1
IP A D D R E S S
x
0V
+24V(P2)
F AU LT RM
DA RM Stand by
ON
USB 1
IP A D D R E S S
V.24
2 LS
00 63 80 xx yy zz
3
DA
SAN
4
5
6
7
8
SAN
Рис. 13. Пример сети с протоколом PRP
ционной шины. Он поддерживается самым разным сетевым оборудованием, может быть реализован в любой топологии, однако вести себя быстро и предсказуемо может только в простых сетях. MRP. Этот протокол отличается хорошей предсказуемостью и малым временем восстановления, практически идеален для шины станции. Его единственное значимое ограничение заключается в том, что допускается только одиночная кольцевая топология. Для дополни-
●
SAN-устройства
●
Hirschmann MACH 1040
Источник Обычная сеть Узел
x
Узел
RS20
FAULT +24V(P1)
0V
0V
+24V(P2)
F AU LT RM
P Stand by LS
DA RM Stand by
ON
USB 1
00:63:80:xx:yy:zz
IP A D D R E S S
RedBox
Ethernet-кадр
V.24
DA 2 LS
3
4
5
6
7
8
Hirschmann RSP35
В-кадр (HSR)
А-кадр (HSR)
Резервированное кольцо с протоколом HSR
B
A Узел
Узел
Узел
Узел
Узел
В ЫВОДЫ ПО ЧАСТИ 3
Рис. 14. Пример сети с протоколом HSR Серверы
x
RS20
FAULT +24V(P1)
0V
x
+24V(P2)
0V
+24V(P2)
IP ADDR E S S
x
3
DA 6
8
2 LS
Шина процессов
2 LS
3
4
5
6
7
8
x
+24V(P2)
2 LS
0V
x
+24V(P2)
2 LS
ON
USB
3
DA 6
8
+24V(P2)
F AU L T RM
RM Stand by
1
V.24
4
5
0V
DA
USB
7
0V
P Stand by LS
ON
RS20
FAULT +24V(P1)
F AU L T RM
RM Stand by
3
DA 6
8
0V
DA
1
V.24
4
5
RS20
FAULT
P Stand by LS
ON
USB
7
HSR RedBox B
+24V(P1)
F AU L T RM
RM Stand by
3
DA 6
8
0V
DA
1
4
5
7
0V
P Stand by LS
RS20
FAULT +24V(P1)
F AU L T RM
V.24
IP ADDR E S S
IP ADDR E S S
4
5
7
x
+24V(P2)
ON
USB 1
V.24
00:63:80:xx:yy:zz
IP ADDR E S S
00:63:80:xx:yy:zz
2 LS
0V
DA RM Stand by
ON
USB
3
DA
0V
P Stand by LS
RM Stand by
RS20
FAULT +24V(P1)
F AU L T RM
DA
1
V.24
00:63:80:xx:yy:zz
2 LS
V.24
IP ADDR E S S
0V
DA
3
4
DA 5
6
7
8
2 LS
00:63:80:xx:yy:zz
0V
P Stand by LS
RS20
FAULT +24V(P1)
F AU L T RM
Hirschmann RSP35
IP ADDR E S S
x
+24V(P2)
USB 1
V.24
00:63:80:xx:yy:zz
0V
ON
8
IP ADDR E S S
0V
4
6
7
00:63:80:xx:yy:zz
RS20
FAULT +24V(P1)
DA
3
5
00:63:80:xx:yy:zz
IP ADDR E S S
2 LS
P Stand by
V.24
00:63:80:xx:yy:zz
DA
RM Stand by
ON
USB 1
HSR RedBox A
LS
F AU L T RM
DA RM Stand by
ON
USB
x
+24V(P2)
0V
0V
P Stand by LS
DA RM Stand by
RS20
FAULT +24V(P1)
F AU L T RM
P Stand by LS
GPS-cервер времени
1
4
5
6
7
8
Шина процессов
Шина процессов
Рис. 15. HSR-кольцо для шины станции и шин процессов Таблица 2
24
Сравнение топологий RSTP Детерминизм/ скорость восстановления + Гибкость топологии +++ Стоимость реализации ++ www.cta.ru
MRP ++ ++ ++
PRP +++ ++ +
тельной гибкости в топологии построении сети MRP можно комбинировать с другими протоколами, а также соединять одинарные MRP-кольца с помощью технологии ring coupling. PRP. По сравнению с RSTP и MRP параллельное резервирование находится на качественно более высоком уровне по времени восстановления и предсказуемости поведения. В плане топологии PRP также серьёзно обгоняет протоколы RSTP и MRP: две сети, дублирующие друг друга, могут быть любой формы и топологии. Конечно, для этого требуется увеличенный в 2 раза набор аппаратных средств и устройства типа RedBox для дублированного подключения к сети, поэтому в плане стоимости реализации PRP проигрывает остальным протоколам. HSR. По детерминизму и скорости восстановления HSR идентичен протоколу PRP. Он ограничен в плане гибкости применением только в кольцевой топологии и так же как и PRP требует специальных устройств типа RedBox для подключения к HSR-сети устройств, не поддерживающих этот протокол на аппаратном уровне. Однако HSR более эффективен, чем PRP, в силу меньшей стоимости реализации, так как не требует двойного набора сетевого оборудования.
HSR +++ + ++
Выбор оптимальной сетевой топологии и протокола для конкретного случая – задача сложная, особенно для больших и разветвлённых сетей. Тем не менее, правильная комбинация технологий резервирования способна удовлетворить все требования современной системы автоматизации подстанции к сети. Данная часть знакомит только с общими положениями современных технологий построения сетей для автоматизации электрических подстанций. В последующих частях будут рассмотрены задача обеспечения условий реального времени для сети Ethernet на подстанции и вопросы кибербезопасности объектов энергетики. ● Перевод Ивана Лопухова, сотрудника фирмы ПРОСОФТ Телефон: (495) 234-0636 E-mail: info@prosoft.ru СТА 2/2013