Анализ сетевых пакетов. Анализ сетевого трафика в управлении производительностью приложений. Мониторинг сетевой активности с помощью TCPView

Необходимость анализа сетевого трафика может возникнуть по нескольким причинам. Контроль безопасности компьютера, отладка работы локальной сети, контроль исходящего трафика для оптимизации работы разделяемого подключения к Интернету - все эти задачи часто стоят на повестке дня системных администраторов, и простых пользователей. Для их решения существует множество утилит, называемых снифферами, как специализированных, направленных на решение узкой области задач, так и многофункциональных «комбайнов», предоставляющих пользователю широкий выбор инструментов. С одним из представителей последней группы, а именно утилитой CommView производства компании , и знакомит эта статья. Программа позволяет наглядно видеть полную картину трафика, проходящего через компьютер или сегмент локальной сети; настраиваемая система сигнализации позволяет предупреждать о наличии в трафике подозрительных пакетов, появлении в сети узлов с нештатными адресами или повышении сетевой нагрузки.

CommView предоставляет возможность вести статистику по всем IP-соединениям, декодировать IP-пакеты до низкого уровня и анализировать их. Встроенная система фильтров по нескольким параметрам позволяет настроить слежение исключительно за необходимыми пакетами, что позволяет сделать их анализ более эффективным. Программа может распознавать пакеты более чем семи десятков самых распространенных протоколов (в том числе DDNS, DHCP, DIAG, DNS, FTP, HTTP, HTTPS, ICMP, ICQ, IMAP, IPsec, IPv4, IPv6, IPX, LDAP, MS SQL, NCP, NetBIOS, NFS, NLSP, POP3, PPP, PPPoE, SMB, SMTP, SOCKS, SPX, SSH, TCP, TELNET, UDP, WAP и др.), а также сохранять их в файлы для последующего анализа. Множество других инструментов, таких как определение изготовителя сетевого адаптера по MAC-адресу, реконструкция HTML и удаленный перехват пакетов с помощью дополнительной утилиты CommView Remote Agent также могут быть полезны в определенных случаях.

Работа с программой

Для начала нужно выбрать сетевой интерфейс, на котором будет отслеживаться трафик.

CommView поддерживает практически любой тип адаптеров Ethernet - 10, 100 и 1000 Мбит/с, а также аналоговые модемы, xDSL, Wi-Fi и др. Анализируя трафик адаптера Ethernet, CommView может перехватывать не только входящие и исходящие, но и транзитные пакеты, адресованные любому из компьютеров локального сегмента сети. Стоит отметить, что если стоит задача мониторинга всего трафика сегмента локальной сети, то требуется, чтобы компьютеры в ней были подключены через хаб, а не через свитч. Некоторые современные модели свитчей имеют функцию port mirroring, что позволяет их также сконфигурировать для мониторинга сети с помощью CommView. Подробнее об этом можно прочитать . Выбрав нужное соединение, можно приступать к захвату пакетов. Кнопки запуска и остановки захвата находятся около строки выбора интерфейса. Для работы с контроллером удаленного доступа, VPN и PPPoE при инсталляции программы необходимо установить соответствующий драйвер.

Главное окно программы разделено на несколько вкладок, отвечающих за тот или иной участок работы. Первая из них, «Текущие IP-соединения» , отображает подробную информацию о действующих IP-соединениях компьютера. Здесь можно увидеть локальный и удаленный IP-адрес, количество переданных и принятых пакетов, направление передачи, число установленных IP-сессий, порты, имя хоста (если в настройках программы не отключена функция распознавания DNS), и имя процесса, принимающего или передающего пакета данной сессии. Последняя информация недоступна для транзитных пакетов, а также на компьютерах, работающих под управлением Windows 9x/ME.

Вкладка «Текущие IP-соединения»

Если по какому-либо соединению щелкнуть правой кнопкой мыши, то откроется контекстное меню, в котором можно найти инструменты, облегчающие анализ соединений. Здесь можно посмотреть объем данных, переданных в рамках соединения, полный список используемых портов, подробную информацию о процессе, принимающем или передающем пакеты данной сессии. CommView позволяет создавать псевдонимы для MAC- и IP-адресов. Например, задав вместо громоздких цифровых адресов машин локальной сети их псевдонимы, можно получить легко читаемые и запоминаемые имена компьютеров и таким образом облегчить анализ соединений.

Чтобы создать псевдоним для IP-адреса, нужно выбрать в контекстном меню последовательно пункты «Создать псевдоним» и «используя локальный IP» или «используя удаленный IP». В появившемся окне поле IP-адреса будет уже заполнено, и останется только ввести подходящее имя. Если новая запись IP-имени создается щелчком правой кнопки мыши по пакету, поле имени автоматически заполняется именем хоста (если оно доступно) и его можно редактировать. Точно так же происходит работа с MAC-псевдонимами.

Из этого же меню, выбрав пункт SmartWhois, можно отправить выбранный IP-адрес источника или получателя в программу SmartWhois - автономное приложение компании Tamosoft, которое собирает информацию о любом IP-адресе или имени хоста, например, сетевое имя, домен, страну, штат или провинцию, город, и предоставляет ее пользователю.

Вторая вкладка, «Пакеты» , отображает все перехваченные на выбранном сетевом интерфейсе пакеты и подробную информацию о них.

Вкладка «Пакеты»

Окно разделено на три области. В первой из них отображается список всех перехваченных пакетов. Если в нем выбрать один из пакетов, щелкнув по нему указателем мыши, то остальные окна покажут информацию о нем. Здесь отображается номер пакета, протокол, Mac- и IP-адреса передающего и принимающего хоста, используемые порты и время появления пакета.

В средней области отображается содержимое пакета - в шестнадцатиричном или текстовом виде. В последнем случае непечатаемые символы заменяются точками. Если в верхней области выбрано одновременно несколько пакетов, то в среднем окне будет показано общее количество выбранных пакетов, их суммарный размер, а также временной интервал между первым и последним пакетом.

В нижнем окне отображается декодированная детальная информация о выбранном пакете.

Нажав на одну из трех кнопок в правой нижней части окна, можно выбрать расположение окна декодирования: в нижней части, или выровнять по левому или правому краю. Две другие кнопки позволяют автоматически переходить к последнему принятому пакету и сохранить выбранный пакет в видимой области списка.

Контекстное меню позволяет скопировать в буфер обмена MAC-, IP-адреса и целые пакеты, присваивать псевдонимы, применять быстрый фильтр для выбора требуемых пакетов, а также воспользоваться инструментами «Реконструкция TCP-сессии» и «Генератор пакетов».

Инструмент «Реконструкция TCP-сессии» позволяет просмотреть процесс обмена между двумя хостами по TCP. Для того чтобы содержимое сессии выглядело более понятно, нужно выбрать соответствующую «логику отображения». Эта функция наиболее полезна для восстановления текстовой информации, например, HTML или ASCII.

Полученные данные можно экспортировать в виде текстового, RTF- или двоичного файла.

Вкладка «Log-файлы» . Здесь можно настроить параметры сохранения перехваченных пакетов в файл. CommView сохраняет log-файлы в собственном формате NCF; для их просмотра используется встроенная утилита, запустить которую можно из меню «Файл».

Имеется возможность включения автосохранения перехваченных пакетов по мере их поступления, ведения протоколов сессий HTTP в форматах TXT и HTML, сохранения, удаления, объединения и разделения log-файлов. Следует помнить, что пакет не сохраняется сразу по его прибытии, поэтому при просмотре log-файла в реальном времени в нем, скорее всего, не будет самых последних пакетов. Для того чтобы программа немедленно переслала буфер в файл, нужно нажать кнопку «Закончить захват».

Во вкладке «Правила» можно задать условия перехвата или игнорирования пакетов.

Для облегчения выбора и анализа требуемых пакетов, можно использовать правила фильтрации. Это также поможет значительно сократить количество системных ресурсов, используемых CommView.

Для того чтобы включить какое-нибудь правило, нужно выбрать соответствующий раздел с левой стороны окна. Всего доступно семь типов правил: простые - «Протоколы и направление», «Mac-адреса», «IP-адреса», «Порты», «Текст», «TCP-флаги», «Процесс», а также универсальное правило «Формулы». Для каждого из простых правил предусмотрена возможность выбора индивидуальных параметров, таких как выбор направления или протокола. Универсальное правило «Формула» является мощным и гибким механизмом создания фильтров с помощью булевой логики. Подробный справочник по его синтаксису можно найти .

Вкладка «Предупреждения» поможет настроить параметры извещений о различных событиях, происходящих в исследуемом сегменте сети.

Вкладка «Предупреждения» позволяет создавать, изменять, удалять правила предупреждений, а также просматривать текущие события, соответствующие этим правилам

Для того чтобы задать правило предупреждения, нужно, нажав кнопку «Добавить...», в открывшемся окне выбрать необходимые условия, при появлении которых сработает извещение, а также способ уведомления пользователя об этом.

CommView позволяет задать следующие типы отслеживаемых событий:

• «Обнаружение пакета», соответствующего указанной формуле. Синтаксис формул подробно описан в руководстве пользователя;
• «Байты в секунду». Это предупреждение сработает при превышении указанного уровня загрузки сети;
• «Пакеты в секунду». Срабатывает при превышении заданного уровня частоты передачи пакетов;
• «Бродкасты в секунду». То же, только для широковещательных пакетов;
• «Мультикасты в секунду» - то же для многоадресных пакетов.
• «Неизвестный MAC-адрес». Это предупреждение можно использовать для обнаружения подключений нового или несанкционированного оборудования в сеть, задав предварительно список известных адресов с помощью опции «Настройка»;
• предупреждение «Неизвестный IP-адрес» сработает при перехвате пакетов с неизвестными IP-адресами отправителя либо получателя. Если предварительно задать список известных адресов, то это предупреждение можно использовать для обнаружения несанкционированных подключений через корпоративный брандмауэр.

CommView обладает мощным средством визуализации статистики исследуемого трафика. Для того чтобы открыть окно статистики, нужно выбрать одноименный пункт из меню «Вид».

Окно статистики в режиме «Общее»

В этом окне можно ознакомиться со статистикой трафика сети: здесь можно увидеть количество пакетов в секунду, байтов в секунду, распределение протоколов Ethernet, IP и подпротоколов. Диаграммы можно скопировать в буфер обмена, что поможет в случае необходимости составления отчетов.

Доступность, стоимость, системные требования

Текущая версия программы - CommView 5.1. С web-сайта Tamosoft можно , которая будет функционировать в течение 30 дней.

Разработчик предлагает покупателям два варианта лицензий:

• Home License (домашняя лицензия), стоимостью 2000 рублей, дает право пользоваться программой дома на некоммерческой основе, при этом количество хостов, доступных для наблюдения в вашей домашней сети, ограничивается пятью. В рамках данного типа лицензии не позволяется работать удаленно с помощью Remote Agent.
• Enterprise License (корпоративная, стоимость - 10000 рублей) предоставляет право на коммерческое и некоммерческое использование программы одним лицом, которое лично пользуется программой на одной или на нескольких машинах. Программа также может быть установлена на одной рабочей станции и использоваться несколькими людьми, но не одновременно.

Приложение работает в операционных системах Windows 98/Me/NT/2000/XP/2003. Для работы необходим сетевой адаптер Ethernet, Wireless Ethernet, Token Ring с поддержкой стандарта NDIS 3.0 или стандартный контроллер удаленного доступа.

Плюсы:

• локализованный интерфейс;
• прекрасная справочная система;
• поддержка разных типов сетевых адаптеров;
• развитые средства анализа пакетов и определения протоколов;
• визуализация статистики;
• функциональная система предупреждений.

Минусы:

• слишком высокая стоимость;
• отсутствие пресетов для правил перехвата и предупреждений;
• не очень удобный механизм выбора пакета во вкладке «Пакеты».

Заключение

Благодаря отличной функциональности и удобному интерфейсу CommView может стать незаменимым инструментом администраторов локальных сетей, Интернет-провайдеров и домашних пользователей. Порадовал тщательный подход разработчика к русской локализации пакета: и интерфейс, и справочное руководство выполнены на очень высоком уровне. Несколько омрачает картину высокая стоимость программы, однако тридцатидневная пробная версия поможет потенциальному покупателю определиться с целесообразностью покупки этой утилиты.

Компьютеры связаны между собой с помощью внешних или внутренних сетей. Благодаря этому пользователи могут делиться друг с другом информацией, даже находясь на разных континентах.

Программа для контроля трафика в офисе

С помощью ИКС вы легко контролируете учет трафика и его распределение между пользователями, влияете на возможность подключения к Интернет-ресурсам по своему усмотрению, обеспечиваете безопасность вашей внутренней сети.

Программа для контроля трафика в школе

ИКС – это универсальный Интернет-шлюз с инструментами для защиты образовательной сети, учета трафика, управления доступом и развертывания почтового, прокси и файлового сервера.

Программа для контроля трафика дома

ИКС Lite - это бесплатный Интернет шлюз, который обеспечивает все потребности работы с Интернет дома. ИКС Lite является полнофункциональной версией Интернет Контроль Сервера, включающей в себя лицензию на 8 пользователей.

Виды сетей

• Домашние — объединяют компьютеры в одной квартире или доме.
• Корпоративные — связывают рабочие машины предприятия.
• Локальные сети — часто имеют замкнутую инфраструктуру.
• Глобальные — связывают целые регионы и могут включать в себя локальные сети.

Польза от такой связи огромная: экономится время специалистов, снижаются счета за телефонные звонки. И все эти выгоды могут быть сведены к нулю, если вовремя не позаботиться о безопасности.

Фирмы, которые не знакомы с понятием «трафик контроль», несут колоссальные убытки или полностью ограничивают доступ к информации. Есть более простой способ экономить безопасно — программа по контролю трафика в локальной сети.

Отслеживание трафика

Руководителю важно знать, на что расходуются средства компании. Поэтому системный администратор занимается, в том числе, и контролем сетевого трафика в офисе. Статистика собирается не только по объёму, но и по содержанию переданной информации.

Зачем нужен контроль за локальной сетью? Хотя ответ на этот вопрос очевиден, многие системные администраторы не могут аргументировано обосновать необходимость контроля расхода интернет-трафика.

Выгоды для руководителя

Программа контроля трафика:

• оптимизирует работу сети — за счёт экономии рабочего времени специалистов повышается производительность труда;
• показывает распределение трафика по пользователям — даёт возможность выяснить, кому нужны интернет-ресурсы;
• показывает, на какие цели расходовался трафик — исключает нецелевого доступа.

Выгоды для системного администратора

Мониторинг трафика в локальной сети позволяет:

• ограничить доступ пользователей к нежелательной информации;
• оперативно получать данные об объёме трафика — исключение перегрузки сети;
• предотвратить проникновение в сеть вирусов и выявить нарушителей режима безопасности.

Варианты реализации контроля

Контроль интернет-трафика в корпоративной сети можно организовать несколькими способами:

1. Купить межсетевой экран с возможностью разграничения трафика.
2. Настроить прокси-сервера с NAT-драйверами с функциями по учёту трафика.
3. Использовать различные виды надстроек.

Обеспечить же максимальную защиту может только комплексное решение. Интернет Контроль Сервер осуществляет полный контроль трафика и предлагает весь необходимый функционал. ИКС представляет собой маршрутизатор со встроенным прокси-сервером, работающим на базе FreeBSD.

Преимущества ИКС

1. Статистические исследования выявили, что сотрудники 1/3 рабочего времени тратят на выход в интернет в личных целях. Специальный интернет-шлюз ИКС поможет предотвратить нецелевой доступ.
2. Система контроля расхода трафика ведёт учёт на любых операционных системах пользователей.
3. ИКС предлагает гибкие настройки.
4. Составляет подробные отчёты в удобной форме.

Скачать бесплатно!

Начните прямо сейчас — скачать демо-версию программы для контроля интернет-трафика с нашего сайта. Вы сможете использовать все функции нашего решения без ограничений в течение 35 дней! После окончания тестового периода нужно просто приобрести полную версию, оформив заказ или связавшись с нашими менеджерами.

Тип организации

Выберите тип организации Образовательное учреждение Бюджетное учреждение Коммерческая организация

Цены НЕ РАСПРОСТРАНЯЮТСЯ на частные негосударственные учреждения и учреждения послевузовского профессионального образования

Лицензия ИКС

Редакция

Не требуется ИКС Стандарт ИКС ФСТЭК

Для расчета стоимости ФСТЭК обратитесь в отдел продаж

Тип поставки

ИКС ИКС + SkyDNS ИКС + Kaspersky Web Filtering

Тип лицензии

Новая лицензия Расширение лицензии Техподдержка

Количество пользователей

Расширение лицензии

Утилита CommView служит для сбора и анализа трафика локальной сети и интернета . Программа захватывает и декодирует до самого низкого уровня проходящие по сети данные включая список сетевых соединений и IP пакеты более 70 наиболее распространенных сетевых протоколов. CommView ведет IP статистику, перехваченные пакеты можно сохранить в файл для последующего анализа. Используя в программе гибкую систему фильтров можно отбрасывать ненужные для захвата пакеты или перехватывать исключительно необходимые. Модуль VoIP, входящий в состав программы позволяет производить глубокий анализ, запись и воспроизведение голосовых сообщений стандартов SIP и H.323. CommView позволяет увидеть подробную картину проходящего через сетевую карту или отдельный сегмент сети информационного трафика.

Сканер интернета и локальной сети

В качестве сетевого сканера программа CommView пригодится системным администраторам, людям работающим в области сетевой безопасности, программистам разрабатывающим программное обеспечение использующее сетевые соединения. Утилита поддерживает русский язык, обладает дружественным интерфейсом, включает в себя подробную и понятную справочную систему по всем реализованным в программе функциям и возможностям.

Основные возможности CommView

• Перехват интернет или локального трафика проходящего через сетевой адаптер или dial-up контроллер
• Подробная статистика IP соединений (адреса, порты, сессии, имя хоста, процессы и т.д.)
• Воссоздание TCP сессии
• Настройка предупреждений о событиях
• Диаграммы IP протоколов и протоколов верхнего уровня
• Просмотр захваченных и декодированных пакетов в режиме реального времени
• Поиск в содержимом перехваченных пакетов по строкам или HEX данным
• Сохранение пакетов в архивы
• Загрузка и просмотр ранее сохраненных пакетов при отключенном соединении
• Экспорт и импорт архивов с пакетами в (из) форматов NI Observer или NAI Sniffer
• Получение информации о IP адресе
• Поддержка и декодирование протоколов: ARP, BCAST, RTSP, SAP, SER, SIP, SMB, SMTP, SNA, SNMP, SNTP, BGP, BMP, CDP, DAYTIME, DDNS, DHCP, DIAG, DNS, EIGRP, FTP, G.723, GRE, H.225, H.261, H.263, H.323, HTTP, HTTPS, 802.1Q, 802.1X, ICMP, ICQ, IGMP, IGRP, IMAP, IPsec, IPv4, IPv6, IPX, HSRP, LDAP, MS SQL, NCP, NDS, NetBIOS, NFS, NLSP, NNTP, NTP, OSPF, POP3, PPP, PPPoE, RARP, RADIUS, LDAP, MS SQL, NCP, NDS, NetBIOS, RDP, RIP, RIPX, RMCP, RPC, RSVP, RTP, RTCP, SOCKS, SPX, SSH, TCP, TELNET, TFTP, TIME, TLS, UDP, VTP, WDOG, YMSG .

Любой администратор рано или поздно получает инструкцию от руководства: «посчитать, кто ходит в сеть, и сколько качает». Для провайдеров она дополняется задачами «пустить кого надо, взять оплату, ограничить доступ». Что считать? Как? Где? Отрывочных сведений много, они не структурированы. Избавим начинающего админа от утомительных поисков, снабдив его общими знаниями, и полезными ссылками на матчасть.
В данной статье я постараюсь описать принципы организации сбора, учёта и контроля трафика в сети. Мы рассмотрим проблематику вопроса, и перечислим возможные способы съема информации с сетевых устройств.

Это первая теоретическая статья из цикла статей, посвящённого сбору, учёту, управлению и биллингу трафика и IT-ресурсов.

Структура доступа в сеть Интернет

В общем случае, структура доступа в сеть выглядит следующим образом:

• Внешние ресурсы – сеть Интернет, со всеми сайтами, серверами, адресами и прочим, что не принадлежит сети, которую вы контролируете.
• Устройство доступа – маршрутизатор (аппаратный, или на базе PC), коммутатор, VPN-сервер или концентратор.
• Внутренние ресурсы – набор компьютеров, подсетей, абонентов, работу которых в сети необходимо учитывать или контролировать.
• Сервер управления или учёта – устройство, на котором работает специализированное программное обеспечение. Может быть функционально совмещён с программным маршрутизатором.

В данной структуре, сетевой трафик проходит от внешних ресурсов к внутренним, и обратно, через устройство доступа. Оно передает на сервер управления информацию о трафике. Сервер управления обрабатывает эту информацию, хранит в базе, отображает, выдает команды на блокировку. Однако, не все комбинации устройств (методов) доступа, и методов сбора и управления, совместимы. О различных вариантах и пойдет речь ниже.

Сетевой трафик

Для начала необходимо определить, а что же подразумевается под «сетевым трафиком», и какую полезную статистическую информацию можно извлечь из потока пользовательских данных.
Доминирующим протоколом межсетевого взаимодействия пока остается IP версии 4 . Протокол IP соответствует 3му уровню модели OSI (L3). Информация (данные) между отправителем и получателем упаковывается в пакеты – имеющие заголовок, и «полезную нагрузку». Заголовок определяет, откуда и куда идет пакет (IP-адреса отправителя и получателя), размер пакета, тип полезной нагрузки. Основную часть сетевого трафика составляют пакеты с полезной нагрузкой UDP и TCP – это протоколы 4-го уровня (L4). Помимо адресов, заголовок этих двух протоколов содержит номера портов, которые определяют тип службы (приложения), передающего данные.

Для передачи IP-пакета по проводам (или радио) сетевые устройства вынуждены «оборачивать» (инкапсулировать) его в пакет протокола 2го уровня (L2). Самым распространенным протоколом такого типа является Ethernet . Фактическая передача «в провод» идет на 1м уровне. Обычно, устройство доступа (маршрутизатор) не занимается анализом заголовков пакетов на уровне, выше 4го (исключение – интеллектуальные межсетевые экраны).
Информация из полей адресов, портов, протоколов и счетчики длин из L3 и L4 заголовков пакетов данных и составляет тот «исходный материал», который используется при учёте и управлении трафиком. Собственно объем передаваемой информации находится в поле Length («Длина пакета») заголовка IP (включая длину самого заголовка). Кстати, из-за фрагментации пакетов вследствие механизма MTU общий объем передаваемых данных всегда больше размера полезной нагрузки.

Суммарная длина интересных нам в данном контексте IP- и TCP/UDP- полей пакета составляет 2...10% общей длины пакета. Если обрабатывать и хранить всю эту информацию попакетно, не хватит никаких ресурсов. К счастью, подавляющий объем трафика структурирован так, что состоит из набора «диалогов» между внешними и внутренними сетевыми устройствами, так называемых «потоков». Например, в рамках одной операции пересылки электронного письма (протокол SMTP) открывается TCP-сессия между клиентом и сервером. Она характеризуется постоянным набором параметров {IP-адрес источника, TCP-порт источника, IP-адрес получателя TCP-порт получателя} . Вместо того, чтобы обрабатывать и хранить информацию попакетно, гораздо удобнее хранить параметры потока (адреса и порты), а также дополнительную информацию – число и сумму длин переданных пакетов в каждую сторону, опционально длительность сессии, индексы интерфейсов маршрутизатора, значение поля ToS и прочее. Такой подход выгоден для ориентированных на соединение протоколов (TCP), где можно явно перехватить момент завершения сессии. Однако и для не ориентированных на сессии протоколов можно проводить агрегацию и логическое завершение записи о потоке по, например, таймауту. Ниже приведена выдержка из SQL-базы собственной системы биллинга , осуществляющей протоколирование информации о потоках трафика:

Необходимо отметить случай, когда устройство доступа осуществляет трансляцию адресов (NAT , маскарадинг) для организации доступа в Интернет компьютеров локальной сети, используя один, внешний, публичный IP-адрес. В этом случае специальный механизм осуществляет подмену IP-адресов и TCP/UDP портов пакетов трафика, заменяя внутренние (не маршрутизируемые в Интернете) адреса согласно своей динамической таблице трансляции. В такой конфигурации необходимо помнить, что для корректного учета данных по внутренним хостам сети съём статистики должен производиться способом и в том месте, где результат трансляции ещё не «обезличивает» внутренние адреса.

Методы сбора информации о трафике/статистике

Снимать и обрабатывать информацию о проходящем трафике можно непосредственно на самом устройстве доступа (ПК-маршрутизатор, VPN-сервер), с этого устройства передавая ее на отдельный сервер (NetFlow, SNMP), или «с провода» (tap, SPAN). Разберем все варианты по-порядку.

ПК-маршрутизатор

Рассмотрим простейший случай – устройство доступа (маршрутизатор) на базе ПК c ОС Linux.

О том, как настроить такой сервер, трансляцию адресов и маршрутизацию, написано много . Нас же интересует следующий логический шаг – сведения о том, как получить информацию о проходящем через такой сервер трафике. Существует три распространенных способа:

• перехват (копирование) пакетов, проходящих через сетевую карту сервера, при помощи библиотеки libpcap
• перехват пакетов, проходящих через встроенный межсетевой экран
• использование сторонних средств преобразования попакетной статистики (полученной одним из двух предыдущих методов) в поток агрегированной информации netflow

Libpcap

В первом случае копия пакета, проходящего через интерфейс, после прохождения фильтра (man pcap-filter) может быть запрошена клиентской программой на сервере, написанной с использованием данной библиотеки. Пакет поступает вместе с заголовком 2го уровня (Ethernet). Можно ограничить длину захватываемой информации (если нас интересует только информация из его заголовка). Примерами таких программ могут быть tcpdump и Wireshark . Существует реализация libpcap под Windows . В случае применения трансляции адресов на ПК-маршрутизаторе такой перехват можно осуществлять только на его внутреннем интерфейсе, подключенном к локальным пользователям. На внешнем интерфейсе, после трансляции, IP-пакеты не содержат информации о внутренних хостах сети. Однако при таком способе невозможно учесть трафик, создаваемый самим сервером в сети Интернет (что важно, если на нем работают веб– или почтовый сервис).

Работа libpcap требует поддержки со стороны операционной системы, что в настоящее время сводится к установке единственной бибилиотеки. При этом прикладная (пользовательская) программа, осуществляющая сбор пакетов, должна:

• открыть необходимый интерфейс
• указать фильтр, через который пропускать принятые пакеты, размер захватываемой части (snaplen), размер буфера,
• задать параметр promisc, который переводит сетевой интерфейс в режим захвата вообще всех проходящих мимо пакетов, а не только адресованных MAC-адресу этого интерфейса
• установить функцию (callback), вызываемую на каждый принятый пакет.

При передаче пакета через выбранный интерфейс, после прохождения фильтра эта функция получает буфер, содержащий Ethernet, (VLAN), IP и т.д. заголовки, общим размером до snaplen. Поскольку библиотека libcap копирует пакеты, заблокировать их прохождение при ее помощи невозможно. В таком случае программе сбора и обработки трафика придется использовать альтернативные методы, например вызов скрипта для помещения заданного IP-адреса в правило блокировки трафика.

Межсетевой экран

Захват данных, проходящих через межсетевой экран, позволяет учесть и трафик самого сервера, и трафик пользователей сети, даже при работе трансляции адресов. Главное в этом случае – правильно сформулировать правило захвата, и поставить его в нужное место. Данным правилом активируется передача пакета в сторону системной библиотеки, откуда приложение учета и управления трафиком может его получить. Для ОС Линукс в качестве межсетевого экрана применяют iptables, а средства перехвата – ipq, netfliter_queue или ulog . Для OC FreeBSD – ipfw с правилами типа tee или divert . В любом случае механизм межсетевого экрана дополняется возможностью работы с пользовательской программой следующим способом:

• Пользовательская программа - обработчик трафика регистрирует себя в системе, используя системный вызов, или библиотеку.
• Пользовательская программа или внешний скрипт устанавливает правило в межсетевой экран, “заворачивающее” выбранный трафик (согласно правилу) вовнутрь обработчика.
• На каждый проходящий пакет обработчик получает его содержимое в виде буфера памяти (с заголовками IP и т.д. После обработки (учёта) программе необходимо также сообщить ядру операционной системы, что делать далее с таким пакетом - отбросить или передать далее. Как вариант, возможно передать ядру видоизмененный пакет.

Поскольку IP-пакет не копируется, а пересылается в программное обеспечение для анализа, становится возможным его «выброс», а следовательно, полное или частичное ограничение трафика определенного типа (например, до выбранного абонента локальной сети). Однако в случае, если прикладная программа перестала отвечать ядру о своем решении (зависла, к примеру), трафик через сервер просто блокируется.
Необходимо отметить, что описанные механизмы при существенных объемах передаваемого трафика создают избыточную нагрузку на сервер, что связано с постоянным копированием данных из ядра в пользовательскую программу. Этого недостатка лишен метод сбора статистики на уровне ядра ОС, с выдачей в прикладную программу агрегированной статистики по протоколу NetFlow .

Netflow

Этот протокол был разработан фирмой Cisco Systems для экспорта информации о трафике с маршрутизаторов с целью учета и анализа трафика. Наиболее популярная сейчас версия 5 предоставляет получателю поток структурированных данных в виде UDP-пакетов, содержащих информацию о прошедшем трафике в виде так называемых flow records:

Объем информации о трафике меньше самого трафика на несколько порядков, что особенно актуально в больших и распределенных сетях. Конечно же, блокировать передачу информации при сборе статистики по netflow невозможно (если не использовать дополнительные механизмы).
В настоящее время становится популярным дальнейшее развитие этого протокола – версия 9, основанная на шаблонной структуре flow record, реализации для устройств других производителей (sFlow). Недавно был принят стандарт IPFIX, который позволяет передавать статистику и по протоколам более глубоких уровней (например, по типу приложения).
Реализация netflow-источников (агентов, probe) доступна для ПК-маршрутизаторов, как в виде работающих по описанных выше механизмам утилит (flowprobe, softflowd), так и непосредственно встроенных в ядро ОС (FreeBSD: ng_netgraph , Linux: ). Для программных маршрутизаторов поток статистики netflow можно принимать и обрабатывать локально на самом маршрутизаторе, или отправлять по сети (протокол передачи – поверх UDP) на принимающее устройство (коллектор).


Программа - коллектор может собирать сведения от многих источников сразу, имея возможность различать их трафик даже при пересекающихся адресных пространствах. При помощи дополнительных средств, таких как nprobe возможно также проводить дополнительную агрегацию данных, раздвоение потоков или конвертацию протоколов, что актуально при управлении большой и распределенной сетью с десятками маршрутизаторов.

Функции экспорта netflow поддерживают маршрутизаторы Cisco Systems, Mikrotik, и некоторые другие. Аналогичный функционал (с другими протоколами экспорта) поддерживается всеми крупными производителями сетевого оборудования.

Libpcap “снаружи”

Немного усложним задачу. Что, если ваше устройство доступа – аппаратный маршрутизатор другого производителя? Например, D-Link, ASUS, Trendnet и т.д. На нем, скорее всего, невозможно поставить дополнительное программное средство съема данных. Как вариант – интеллектуальное устройство доступа у вас есть, но настроить его не представляется возможным (нет прав, или оно управляется вашим провайдером). В таком случае можно собирать информацию о трафике непосредственно в точке стыка устройства доступа с внутренней сетью, пользуясь «аппаратными» средствами копирования пакетов. В таком случае непременно потребуется отдельно стоящий сервер с выделенной сетевой картой для приема копий Ethernet-пакетов.
Сервер должен использовать механизм сбора пакетов по методу libpcap, описанному выше, и наша задача - на вход выделенной для этого сетевой карты подать поток данных, идентичный выходящему из сервера доступа. Для этого можно использовать:

• Ethernet – хаб (hub): устройство, просто пересылающее пакеты между всеми своими портами без разбора. В современных реалиях его можно найти где-нибудь на пыльном складе, и применять такой метод не рекомендуется: ненадежно, низкая скорость (хабов на скорости 1 Гбит/с не бывает)
• Ethernet – коммутатор с возможностью зеркалирования (мирроринга, SPAN портов . Современные интеллектуальные (и дорогие) коммутаторы позволяют копировать на указанный порт весь трафик (входящий, выходящий, оба) другого физического интерфейса, VLANа, в том числе удаленного (RSPAN)
• Аппаратный раздвоитель , который может потребовать установки для сбора двух сетевых карт вместо одной – и это помимо основной, системной.

Естественно, вы можете настроить SPAN-порт и на самом устройстве доступа (маршрутизаторе), если оно это позволяет – Cisco Catalyst 6500, Cisco ASA. Вот пример такой конфигурации для коммутатора Cisco:
monitor session 1 source vlan 100 ! откуда берем пакеты
monitor session 1 destination interface Gi6/3! куда выдаем пакеты

SNMP

Что, если маршрутизатора под нашим контролем нет, с netflow связываться нет желания, нас не интересуют детали трафика наших пользователей. Они просто подключены в сеть через управляемый коммутатор, и нам надо просто грубо оценить объем трафика, приходящегося на каждый из его портов. Как вы знаете, сетевые устройства с возможностью удаленного управления поддерживают, и могут отобразить счетчики пакетов (байт), проходящих через сетевые интерфейсы. Для их опроса правильно будет использовать стандартизованный протокол удаленного управления SNMP . При помощи его можно достаточно просто получить не только значения указанных счетчиков, но также другие параметры, такие как имя и описание интерфейса, видимые через него MAC-адреса, и другую полезную информацию. Это делается как утилитами командной строки (snmpwalk), графическими SNMP-браузерами, так и более сложными программами мониторинга сети (rrdtools , cacti , zabbix , whats up gold и т.д.). Однако, данный метод имеет два существенных недостатка:

• блокировка трафика может производиться только путем полного отключения интерфейса, при помощи того же SNMP
• счетчики трафика, снимаемые по SNMP, относятся к сумме длин Ethernet-пакетов (причем unicast, broadcast и multicast по-отдельности), в то время как остальные описанные ранее средства дают величины относительно IP-пакетов. Это создает заметное расхождение (особенно на коротких пакетах) из-за оверхеда, вызванного длиной Ethernet-заголовка (впрочем, с этим можно приближенно бороться: L3_байт = L2_байт - L2_пакетов*38).

VPN

Отдельно стоит рассмотреть случай доступа пользователей к сети путем явного установления соединения к серверу доступа. Классическим примером может служить старый добрый dial-up, аналогом которого в современном мире являются VPN-службы удаленного доступа (PPTP, PPPoE, L2TP, OpenVPN, IPSEC)


Устройство доступа не только маршрутизирует IP-трафик пользователей, но также представляет из себя специализированный VPN-сервер, и терминирует логические туннели (часто зашифрованные), внутри которых передается пользовательский трафик.
Для учета такого трафика можно пользоваться как всеми средствами, описанными выше (и для глубокого анализа по портам/протоколам они хорошо подходят), так и дополнительными механизмами, которые предоставляют средства управления VPN-доступом. В первую очередь речь пойдет о протоколе RADIUS . Его работа – достаточно сложная тема. Мы же кратко упомянем, что контролем (авторизацией) доступа к VPN-серверу (RADIUS-клиенту) управляет специальное приложение (RADIUS-сервер), имеющее за собой базу (текстовый файл, SQL, Active Directory) допустимых пользователей с их атрибутами (ограничения по скорости подключения, назначенные IP-адреса). Помимо процесса авторизации, клиент периодически передает серверу сообщения аккаунтинга, информацию о состоянии каждой текущей работающей VPN-сессии, в том числе счетчики переданных байт и пакетов.

Заключение

Сведем все описанные выше методы сбора информации о трафике воедино:

Подведем небольшой итог. На практике существует большое количество методов присоединения управляемой вами сети (с клиентами или офисными абонентами) к внешней сетевой инфраструктуре, с использованием ряда средств доступа – программных и аппаратных маршрутизаторов, коммутаторов, VPN-серверов. Однако практически в любом случае можно придумать схему, когда информация о переданном по сети трафике может быть направлена на программное или аппаратное средство его анализа и управления. Возможно также, что это средство позволит осуществлять обратную связь с устройством доступа, применяя интеллектуальные алгоритмы ограничения доступа для отдельных клиентов, протоколов и прочего.
На этом закончу разбор матчасти. Из неразобранных тем остались:

• как и куда попадают собранные данные о трафике
• программное обеспечение для учета трафика
• чем отличается биллинг от простой “считалки”
• как можно накладывать ограничение на трафик
• учёт и ограничение посещенных веб-сайтов

Теги: Добавить метки