Сравнительный пример интеграции: шина передачи данных против интеграции «точка-точка»

Безопасность и ролевая модель

Обеспечение безопасности при передаче данных традиционно недооценивается, а ведь в большинстве случаев утечки конфиденциальных данных происходят именно при их передаче.

Для обеспечения безопасности данных в DATAREON ESB поддерживается шифрование передаваемых данных с помощью алгоритмов шифрования AES, RC2 или TripleDES. Также поддерживается установка безопасного сетевого соединения по протоколу SSL или TLS.

Несмотря на то, что управление и настройка передачи данных для всей сети выполняется из единого инструмента управления, ответственность за работоспособность различных компонент может разделяться между пользователями. Разграничение прав доступа выполняется посредством ролевой модели. Уровень доступа пользователей может быть настроен в разрезе каждого объекта DATAREON ESB. Это позволяет разделять группы пользователей по зонам ответственности и ограничивать доступ к объектам DATAREON ESB согласно полномочиям.

Пример интеграции с помощью шины передачи данных DATAREON ESB

Сценарий 1

Интеграция через шину передачи данных 2-ух программных продуктов: «1С:MDM Управление нормативно-справочной информацией (НСИ)» и «1С:Бухгалтерия предприятия 2.0» с периодичностью один раз в 4 часа. Суммарные трудозатраты составляют 4,5 часа.

• Создание плана обмена в MDM для БП — 2 ч.
• Создание плана обмена в БП — 2 ч.
• Указание в списке получателей данных БП и периодичности получения — 0,5 часа.

Сценарий 2

Добавляется интеграция «1С:MDM Управление нормативно-справочной информацией (НСИ)» и «1С:Управление торговлей 11» по событию возникновения данных (при условии не полной структурной идентичности объектов). Суммарные трудозатраты составляют 2,5 часа.

• Создание плана обмена в УТ — 2 ч.
• Указание в списке получателей данных УТ и периодичности получения — 0,5 ч.

Из данного примера видно, что при использовании шины передачи данных DATAREON ESB интеграция последующих систем сводится к настройке адресов принимающих систем и графиков получения данных, а накладные расходы по доработке систем получателей и отправителей на взаимодействие с другими точками отсутствуют. Нет необходимости и в разработке механизмов квитирования (гарантированности доставки), так как данная функция выполняется шиной передачи данных.

В результате снижения дополнительной нагрузки по обслуживанию системы обмена данными оперативными конфигурациями возрастает общая производительность, а трудозатраты на поддержание обмена сводятся к контролю одной точки — сервера передачи данных ESB.

Продукт «Интеграционная шина»

• Обмен сообщениями. «Интеграционная шина» может подключаться к приложениям 1С начиная с версии платформы 1С:Предприятие 8.3.17. Также поддерживается обмен по протоколу AMQP и возможно подключение к внешним брокерам сообщений.
• Удаленный вызов API. Есть возможность выполнять HTTP запросы к внешним системам для получения или отправки данных, вызовов REST API или WEB-сервисов.
• Обмен файлами. Сообщения могут быть сохранены в файловой системе или на FTP-сервере. Также сообщения могут порождаться при изменении файлов в файловой системе или на FTP-ресурсах.

Для организации взаимодействия систем предлагается следующая последовательность:

1. Разработчик описывает интеграцию систем в специализированном редакторе, используя простую графическую нотацию.
   1. Маршрут движения сообщений представляется направленным графом, который показывает, как сообщения передаются от источников к назначениям.
   2. При необходимости можно определить сложный алгоритм маршрутизации сообщений или трансформировать сообщение при помощи процедуры на встроенном языке.
   3. Источником сообщения может быть файл, результат HTTP запроса, внешний брокер сообщений или подключенная к «Интеграционной шине» внешняя система (такие системы называются участниками взаимодействия).
   4. Полученное описание сохраняется в специальном объекте Процесс интеграции.
   5. Определяются параметры Процесса интеграции, значения которых будут определены во время исполнения (пути, адреса сервисов и пр.).
2. Созданные разработчиком Процессы интеграции разворачиваются на сервере «Интеграционной шины».
3. Администратору сервера доступен графический интерфейс управления «Интеграционной шиной», в котором:
   1. Задаются значения дополнительным параметрам Процесса интеграции
   2. Определяются правила подключения Участников взаимодействия к серверу «Интеграционной шины» и способ их участия в процессах интеграции
   3. Запускаются Процессы интеграции и начинают доставлять сообщения
   4. Останавливаются Процессы интеграции
   5. Доступны данные мониторинга работы Процессов интеграции: количество обработанных сообщений, ошибок и пр.

При создании Процесса интеграции разработчик не должен знать точное число систем-участников интеграции. Вместо этого он оперирует понятием группа участников, которое объединяет произвольное количество участников, взаимодействующих с «Интеграционной шиной» единообразно. Во время исполнения администратор определяет, к каким группам относится конкретная система-участник, и для этого участника динамически выделяются необходимые ресурсы.

Масштабируемость интеграционной шины

С помощью интеграционной шины DATAREON ESB можно организовать передачу данных любого размера. Поддерживаются возможности вертикального и горизонтального масштабирования. Развитые механизмы диагностирования состояния оборудования и балансировки нагрузки позволяют получить максимальную отдачу от имеющегося серверного и сетевого оборудования. Использование DATAREON ESB дает возможность плавно наращивать мощности в соответствии с планами развития ИТ-ландшафта компании. При этом архитектура сети может строиться из решений различного типа под управлением различных операционных систем (построение гетерогенного ландшафта). На уровне серверов передачи данных DATAREON ESB возможно реализовать секционирование информационных доменов с выделением изолированных кустов.

При передаче данных большого объема данные разбиваются на небольшие части и дальнейшая обработка данных выполняется не с целым объектом, а с его частями. Это позволяет в случае сбоя при передаче данных или разрыва соединения не выполнять повторную обработку или передачу уже переданных частей сообщения, сократить общее время передачи всего объема и использовать слабые каналы связи для передачи данных.

Также в DATAREON ESB используется технология разделения хранилища данных на хранилище заголовков сообщения и хранилище тела сообщения, которая позволяет выполнять обработку больших сообщений без дополнительных расходов на обработку тела сообщения. 

Единое хранилище данных для всех компонентов DATAREON ESB позволяет снизить издержки на передачу сообщений между узлами сети, находящимися на одном сервере.

Архитектура DATAREON ESB построена на компонентной модели со слабыми связями, что позволяет легко выполнять горизонтальное масштабирование сети передачи данных. Все компоненты работают в среде с активным мониторингом их состояния и отдельным механизмом, реализующим управление в сценариях отказа или потери управляемости любым компонентом системы. Реализована реактивная модель управления в рамках физического узла сети.

Использование DATAREON ESB позволяет выйти на новый уровень интеграции и получить высокую скорость обмена информацией. В отличие от традиционных схем интеграции, когда производится накопление информации, DATAREON ESB позволяет построить интеграцию на базе событийной модели с передачей небольших информационных пакетов. Такой подход резко снижает требования к пропускной способности каналов связи, повышает скорость доставки и последующей обработки информации. Использование событийной модели позволяет строить композитные приложения с высокой доступностью и оперативной реакцией внутри распределенных бизнес-процессов. При этом DATAREON ESB позволяет централизовать разработку и управление потоками данных в рамках различных процессов, предоставляет единую точку администрирования потоков данных.

Трансформация данных

Одной из проблем построения композитных приложений является различие интеграционных форматов и протоколов приложений, входящих в периметр интеграции. При этом довольно часты случаи, когда изменение форматов и протоколов невозможно из-за закрытости системы или отсутствия поддержки со стороны компании-разработчика. DATAREON ESB имеет в своем составе инструменты, позволяющие эффективно решать данную проблему. Эти инструменты предоставляют возможность настраивать правила трансформации в различные форматы с различными алгоритмами преобразования данных. Механизмы трансформации позволяют строить многошаговые алгоритмы преобразования данных с контролем различных условий, вплоть до написания кода на языках высокого уровня. Визуальные средства разработки снижают требования к специалистам, отвечающим за создание схем трансформации. Самые «ходовые» форматы – XML, JSON, DBF, CSV, Base64 – представлены в виде «мастеров» настройки. Возможно построение алгоритмов с обогащением данных (когда для определенных потребителей исходный пакет расширяется другими данными). 

Взаимодействие с продуктами на платформе «1С:Предприятие 8»

Особое внимание DATAREON ESB уделяет программным продуктам, реализованным на платформе «1С:Предприятие 8». В поставку включена специальная подсистема, написанная на языке V8, которая встраивается в любую систему на платформе «1С:Предприятие» и обеспечивает все необходимые механизмы для интеграции решения с DATAREON ESB

DATAREON ESB предоставляет возможность централизованного автоматического встраивания и обновления данной подсистемы в конфигурации 1С без необходимости снятия их с поддержки.

Правила обработки данных для конфигураций на платформе «1С:Предприятие 8» создаются и хранятся централизовано в DATAREON ESB. Распространение и обновление обработчиков в системах на платформе «1С:Предприятие 8» также выполняется централизованно в автоматическом режиме без необходимости модификации самой конечной системы. Отсутствие необходимости модификации конечной системы при изменении схемы обмена является особенно важным, если таких систем много или если предъявляются высокие требования к времени доступности системы, которые значительно ограничивают временной промежуток, в который изменения могут быть внесены.

Реализованы удобные мастера, которые позволяют создавать обработчики для 1С:

В DATAREON ESB реализованы механизмы отладки обработчиков 1С без использования конфигуратора 1С. Отладка кода 1С выполняется непосредственно из центра управления DATAREON ESB.

Данный механизм позволяет проверить, каким образом будут выгружены или загружены данные в 1С без их сохранения в 1С и без прямого доступа к системе.

Все реализованные интеграционные сценарии учитывают особенности лицензионной политики фирмы «1С», в частности те, которые запрещают прямой доступ к данным системы на платформе 1С через СУБД.

Процессорная шина

Любой процессор архитектуры x86CPU обязательно оснащён процессорной шиной. Эта шина служит каналом связи между процессором и всеми остальными устройствами в компьютере: памятью, видеокартой, жёстким диском и так далее. Так, классическая схема организации внешнего интерфейса процессора (используемая, к примеру, компанией Intel в своих процессорах архитектуры х86) предполагает, что параллельная мультиплексированная процессорная шина, которую принято называть FSB (Front Side Bus), соединяет процессор (иногда два процессора или даже больше) и контроллер, обеспечивающий доступ к оперативной памяти и внешним устройствам. Этот контроллер обычно называют северным мостом , он входит в состав набора системной логики ( чипсета ).

Используемая Intel в настоящее время эволюция FSB – QPB , или Quad-Pumped Bus, способна передавать четыре блока данных за такт и два адреса за такт! То есть за каждый такт синхронизации шины по ней может быть передана команда либо четыре порции данных (напомним, что шина FSB–QPB имеет ширину 64 бит, то есть за такт может быть передано до 4х64=256 бит, или 32 байт данных). Итого, скажем, для частоты FSB, равной 200 МГц, эффективная частота передачи адреса для выборки данных будет эквивалентна 400 МГц (2х200 МГц), а самих данных – 800 МГц (4х200 МГц)3.

3Кстати, именно результирующей «учетверённой» частотой передачи данных (как и в случае с «удвоенной» передачей DDR-шины, где данные передаются дважды за такт) хвастаются производители и продавцы, умалчивая тот факт, что для многочисленных мелких запросов, где данные в большинстве своём умещаются в одну 64-байтную порцию (и, соответственно, не используются возможности DDR или QDR/QPB), на чтение/запись важнее именно частота тактирования.

Пример сценария интеграции

Офис отправляет в магазины и на сайт изменения в прайс-листе.

Схема содержит три группы участников: «Офисы», «МагазиныСоСтарымПО» и «МагазиныНа1С». В группе «МагазиныНа1С» объединены участники, которые используют для автоматизации системы на платформе 1С:Предприятие. В группе «МагазиныСоСтарымПО» собраны участники, которые используют ПО других производителей.

В момент изменения прайс-листа в офисе формируется сообщение, содержащее актуальный прайс-лист в формате EnterpriseData. Это сообщение отправляется в канал «ИзОфисов».

В узле «ДляВсех» все сообщения из канала «ИзОфисов» маршрутизируются по трем направлениям:

1. Для передачи магазинам, использующим старое ПО, в формате JSON. Преобразование из исходного XML происходит в узле вида «Транслятор» с именем «JsonДляМагазинов». Полученный JSON отправляется в канал «ДляМагазиновСоСтарымПО».
2. Для передачи магазинам, использующим ПО 1С, сообщение в исходном виде отправляется в канал «ДляМагазиновНа1С».
3. Для публикации на сайте. Преобразование из исходного XML происходит в узле вида «Транслятор» с именем «JsonДляСайта». Полученный JSON отправляется на сайт HTTP запросом в узле «НаСайт».

При настройке такого процесса интеграции разработчику совершенно не важно, сколько магазинов каждого вида будет участвовать в интеграции.

Поддержка различных стандартов и сценариев интеграции с помощью интеграционной шины данных

Довольно часто при построении композитных приложений приходится сталкиваться с ситуацией, когда различные типы приложений рассчитаны на различные стандарты и схемы интеграции. Также не редка ситуация, когда изменение интеграционных механизмов существующих приложений невозможно или трудоемко по ряду причин: отсутствие разработчика, отсутствие исходного кода и т.д. Интеграционная шина DATAREON ESB позволяет объединять такие приложения в единое целое, скрывая различия в интеграции на уровне механизмов и настроек типовых коннекторов, что приводит взаимодействие приложений к единой управляемой схеме интеграции.

В DATAREON ESB существуют следующие типы коннекторов:

1. Коннектор SOAP-сервисов
2. Коннектор REST-сервисов
3. Коннектор MS SQL
4. Коннектор IBM DB2
5. Коннектор Oracle
6. Коннектор PostgreSQL
7. Коннектор SharePoint
8. Коннектор OData 1C
9. Коннектор TCP
10. Коннектор Siemens Teamcenter
11. Коннектор SAP
12. Коннектор File
13. Коннектор Pick to Light
14. Коннектор SFTP
15. Коннектор Biometry
16. Коннектор Kardex
17. Коннектор 1С 7.7
18. Коннектор 1С 8.х
19. Коннектор Active Directory
20. Коннектор ADO.NET
21. Коннектор RabbitMQ
22. Коннектор Apache ActiveMQ
23. Коннектор IBM MQ
24. Коннектор SMTP
25. Коннектор IMAP
26. Коннектор ЛОЦМАН PLM

Все коннекторы имеют возможности параметрической настройки подключения к системе-источнику и взаимодействию с ней.

Список доступных коннекторов постоянно расширяется, полный перечень необходимо уточнять в компании DATAREON.

В составе DATAREON ESB присутствует механизм, позволяющий самостоятельно разрабатывать различные коннекторы на языке Java или языках платформы .Net. Таким образом может быть реализован любой пользовательский сценарий подключения к системам-источникам. 

Преимущества нашей «Интеграционной шины»

После знакомства с «Интеграционной шиной» может возникнуть естественный вопрос: рынок ПО класса ESB достаточно обширен, на нем представлено немало достойных продуктов, в том числе и бесплатных; зачем же фирме «1С» делать ещё один продукт, не изобретаем ли мы велосипед?

Конечно, перед тем, как принять решение разрабатывать «Интеграционную шину», мы задались тем же вопросом. И ответили себе на него так — да, делать продукт сто́ит, потому что:

1. Мы постарались сделать наш продукт максимально простым и удобным в использовании.
2. Мы сделали интеграцию нашего продукта с приложениями 1С максимально гладкой.
3. «Интеграционная шина» от 1С легка в освоении для разработчиков 1С и позволит клиентам во многих случаях для настройки процессов интеграции обходиться усилиями существующих ИТ-специалистов (партнера 1С и/или своего ИТ-отдела, обслуживающего клиента).
4. Наш продукт будет органично вписываться в экосистему 1С и позволит решить нашим клиентам задачи своего бизнеса наиболее эффективным способом.

Мы планируем развивать продукт, в частности, увеличивать количество способов взаимодействия с внешними системами, улучшать средства мониторинга, ввести возможность добавлять сервисы интеграции через расширения, устанавливать связь сервисов интеграции и планов обмена.

Мы планируем этап бета-тестирования «Интеграционной шины» и будем рады помощи партнеров и клиентов. Чтобы участвовать в бета-тестировании продукта нажмите зелёную кнопку «Пробовать» в начале статьи.

Централизованное управление

Для выполнения задач централизованного управления интеграционным ландшафтом DATAREON ESB использует экосистему Eclipse. Использование Eclipse предоставляет пользователю широчайшие возможности по расширению доступного функционала DATAREON ESB. Центр Управления предоставляет мощные и удобные инструменты проектирования потоков данных, разработки алгоритмов трансформации, развитые средства администрирования и контроля. 

Центр управления DATAREON ESB может быть интегрирован со средой разработки «1С:Enterprise Development Tools», также построенной на платформе Eclipse, что делает работу в DATAREON ESB еще более удобной для разработчиков на платформе «1С:Предприятие 8».

В DATAREON ESB присутствует множество визуальных инструментов настройки. Например, мастер настройки и управления информационными потоками:

Современные системные шины

Шина VESA стала новым словом в области компьютерной техники. Разработанная специально для непосредственного подключения внешних устройств к самому процессору, она и по сей день обладает высокими показателями скорости передачи информации и обеспечивает высокую производительность процессора.

Вот и вся краткая справочная информация, которая должна пролить свет на один из важнейших компонентов современных компьютеров. Следует сказать, что здесь представлена лишь малейшая частичка информации о компьютерных шинах. Полным их изучением занимаются в специальных заведениях на протяжении нескольких лет. Подобная детальная информация необходима непосредственно для разработки новых моделей микропроцессоров или для модернизации уже существующих. Шина PCI является ближайшим конкурентом предыдущего представителя каналов передачи данных. Эта системная шина была разработана компанией Intel специально для производства процессоров собственной торговой марки. Данное устройство способно обеспечить еще большую скорость передачи данных и при этом не нуждается в дополнительных элементах, как в предыдущем примере.

Пример интеграции «точка-точка» без использования шины передачи данных

Сценарий 1

Интеграция «1С:MDM Управление нормативно-справочной информацией (НСИ)» и «1С:Бухгалтерия предприятия 2.0» с периодичностью один раз в 4 часа. Суммарные трудозатраты составляют 37 часов.

• Создание плана обмена в MDM для БП — 2 ч.
• Создание плана обмена в БП — 2 ч.
• Создание структуры папок для передачи данных в формате xml — 1ч.
• Разработка механизма периодической выгрузки данных — 8 ч.
• Разработка механизма периодического опроса папок и загрузки новых данных — 8 ч.
• Разработка механизма квитирования — 16 ч.

Сценарий 2

Добавляется интеграция «1С:MDM Управление нормативно-справочной информацией (НСИ)» и «1С:Управление торговлей 11» по событию возникновения данных (при условии не полной структурной идентичности объектов). Суммарные трудозатраты составляют 37 часов.

• Создание плана обмена в MDM для БП — 2 ч.
• Создание плана обмена в УТ11 — 2 ч.
• Создание структуры папок для передачи данных в формате xml — 1 ч.
• Разработка механизма выгрузки данных по событию — 8 ч.
• Разработка механизма периодического опроса папок и загрузки новых данных — 8 ч.
• Разработка механизма квитирования — 16 ч.

Данный пример демонстрирует, что при интеграции «точка-точка» рост количества соединений (не получателей данных) приводит к практически линейному росту трудозатрат. Увеличиваются и трудозатраты на администрирование — они возрастают линейно с количеством узлов приема/передачи. Также удваивается объем передаваемых данных.

Проактивная диагностика и мониторинг

DATAREON ESB обладает широкими возможностями для диагностики и мониторинга состояния как всей сети передачи данных, так и каждого компонента DATAREON ESB в отдельности. 

В центре диагностики представлена полная схема компонентов DATAREON ESB, их взаимосвязи, текущий статус и детальная информация по каждому компоненту (состояние точек подключения, статистика и состояние очередей передачи данных, журнал трассировки информационных пакетов, журнал работы узла).

Центр диагностики сигнализирует не только об ошибках, но и потенциальных проблемах в схеме сети до появления самих ошибок, а также дает рекомендации по их устранению.

Для более глубокого анализа в центре диагностики доступна работа со счетчиками производительности системы за определенный период времени. Данные могут быть экспортированы в MS Excel.

Предусмотрены механизмы рассылки уведомлений для оповещения системных администраторов об ошибках системы.

В DATAREON ESB также имеются мощные инструменты для отладки сценариев передачи данных, включающие:

• процедуры трансформации сообщений;
• логические правила маршрутов доставки;
• статистику прохождения информационных пакетов и их состояние на каждом узле.

Диагностическая информация представляется в виде следующей диаграммы:

Для детального разбора инцидентов, возникающих в процессе передачи данных, в DATAREON ESB предусмотрены механизмы трассировки. Специальный трассировочный журнал можно включить в том или ином компоненте DATAREON ESB; в журнале собирается большое количество данных, в том числе содержимое информационного пакета. 

Еще один компонент — сервер хранения сообщений. Он предназначен для хранения всей информации, прошедшей через DATAREON ESB, а также позволяет выполнять сквозной анализ передачи данных между системами: от события возникновения данных до конечных точек получения данных с анализом маршрута прохождения.

Пример построения сети объектов ESB:

Цены и лицензионная политика Техническая поддержка и сопровождение Сравнительный пример интеграции

Менеджеры DATAREON будут рады ответить на все вопросы по тел. +7(495)280-08-01. Также вы можете написать нам через форму

Подведем итог

При интеграции «точка-точка» в рассмотренных выше случаях интеграция занимает 37 часов на каждую устанавливаемую связь. С ростом количества систем количество связей растет практически экспоненциально. При использовании шины передачи данных DATAREON ESB первичные затраты оцениваются в 4,5 часа, при этом затраты на подключение последующих систем сводятся не к установке множества связей, а к установке одной связи с шиной передачи данных и оцениваются в 2,5 часа.

Прим.: цифры являются условными.

Функциональные возможностиЦены и лицензионная политика Техническая поддержка и сопровождение

Менеджеры DATAREON будут рады ответить на все вопросы по тел. +7(495)280-08-01. Также вы можете написать нам через форму

Итоги

Как мы видим, последовательные интерфейсы пришли в компьютерную индустрию всерьёз и надолго. Не за горами времена, когда такие почётные долгожители, как PCI, IDE(PATA), SCSI, совсем уйдут со сцены, ибо преемники – PCI Express, Serial ATA, Serial Attached SCSI – уже агрессивно отвоёвывают позиции у «старичков». В стане процессорных шин пока паритет – архитектура K8 компании AMD c организацией процессорной шины на основе HyperTransport уже зарекомендовала себя как удачное решение, но и компания Intel с «последней редакцией» параллельной шины FSB (QPB) чувствует себя довольно уверенно и не собирается от неё отказываться.

Что касается возможной войны технологий PCI Express и HyperTransport, то здесь не тот случай – уж слишком разные сферы применения уготованы разработчиками этим решениям. Для вторжения в сферу сверхбыстрых передач у PCI Express недостаточно пропускной способности (максимум 8 ГБ/с для х16 против 41 ГБ/с у HyperTransport). Что касается работы HyperTransport с периферийными контроллерами, то данная шина не обладает для этого достаточными возможностями протоколов в силу своего изначального предназначения – замены процессорной шины, первое упоминание о «горячем» подключении появилось лишь в спецификации HyperTransport 3.0, да и стандартом пока что не предусмотрено внешних разъёмов.

Похожие записи:

Северск Образовательная платформа исо профтех Рейтинг 5 подержанных китайских кроссоверов, которые можно смело брать Chery arrizo 7 (чери arizo) Как называется дорога между горами Lifan x50 (лифан х50)