Jump to content
  • 0
KorDen

NetFlow

Question

В 18.10.2017 в 11:09, Le ecureuil сказал:

netflow

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

Share this post


Link to post
Share on other sites

30 answers to this question

  • 0

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

Share this post


Link to post
Share on other sites
  • 0
57 минут назад, balookrd сказал:

flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные

Netflow v5, по 30 штук на пакет

1 час назад, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк :)

Share this post


Link to post
Share on other sites
  • 0
15 часов назад, KorDen сказал:

Netflow v5, по 30 штук на пакет

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк :)

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

Share this post


Link to post
Share on other sites
  • 0
В 11/9/2017 в 20:58, KorDen сказал:

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

Share this post


Link to post
Share on other sites
  • 0
21 час назад, balookrd сказал:

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

Размер таблицы индивидуален для каждого устройства, то есть зависит от объема ОЗУ.

На самых слабых устройствах - 32 тысячи записей, на самых мощных - 128K. Аналогично и с хэш-таблицей.

Share this post


Link to post
Share on other sites
  • 0
В 11/9/2017 в 21:26, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

Используется вот этот компонент (правда, слегка адаптированный к нашим реалиям):
https://github.com/aabc/ipt-netflow

Потому все настройки, актуальные для него, работают и у нас. Аналогично и с описанием шаблонов - лучше смотреть туда.

По умолчанию используется v5, а v9 и IPFIX можно настроить через system set.

Для получения информации можно глянуть в
(config)> more proc:/net/stat/ipt_netflow

(config)> more proc:/net/stat/ipt_netflow_flows

Если нужно подтюнить какие-то параметры, то через system set net.netflow.* можно выставить как вам надо.

  • Thanks 3

Share this post


Link to post
Share on other sites
  • 0
В 11/11/2017 в 11:30, Le ecureuil сказал:

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

Не воспроизвелось, вроде все нормально. Возможно временный глюк с переполнением jiffies был.

Share this post


Link to post
Share on other sites
  • 0

Подскажите, а возможно ли, что бы netflow скидывал инфу на сервер syslog...вместо коллектора?

Share this post


Link to post
Share on other sites
  • 0
В 11/14/2017 в 19:30, MDP сказал:

Подскажите, а возможно ли, что бы netflow скидывал инфу на сервер syslog...вместо коллектора?

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

Share this post


Link to post
Share on other sites
  • 0
10 минут назад, Le ecureuil сказал:

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

Share this post


Link to post
Share on other sites
  • 0
3 минуты назад, MDP сказал:

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

Share this post


Link to post
Share on other sites
  • 0
6 минут назад, Le ecureuil сказал:

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

Я про сторонний продукт и не хотел спрашивать)))) ...так мимолётом ...а вдруг. 

...извиняюсь.

Edited by MDP

Share this post


Link to post
Share on other sites
  • 0

Подскажите, что делаю не так:

(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

Share this post


Link to post
Share on other sites
  • 0

Вы все активировали как в посте ndm?

  • interface {name} ip flow (ingress | egress | both) — включить сенсор NetFlow на заданном интерфейсе
  • ip flow-export destination {address} {port} — адрес и порт коллектора

И (config)> system set net.netflow.protocol 10 не нужно.

Share this post


Link to post
Share on other sites
  • 0
В 11/20/2017 в 19:34, nogood сказал:

Подскажите, что делаю не так:


(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

Сперва нужно активировать модуль, и только потом можно будет менять протокол и версию.

Share this post


Link to post
Share on other sites
  • 0

Может мне кто подскажет, что я делаю не так или делаю не до конца?

Установил netflow

В инет выход через usb модем

Далее ввел команды:

interface UsbLte0 ip flow both  //Трафик хочу мониторить с USB модема

ip flow-export destination 192.168.10.202 2055  //На этом адресе слушает сервер PRTG

system configuration save  // Сохраняю конфигурацию

Всё прекрасно работает до момента ребута роутера но после ребута netflow не передает информацию на коллектора

после ввода interface UsbLte0 ip flow both  информация опять начинает передаваться до следующей перезагрузки роутера.

P.S. Предыдущий эксперимент делал на Ultre

Попробовал сделать на GigeII у которой подключение по ISP, соответственно вводил:

interface ISP ip flow both

IP и порт коллектора тут уже другой, ситуация повторилась, т.е. куда и порт сохраняется, а вот netflow не запускается при старте.

И да не подскажите какой командой можно удалить вот эту добавленную и сохранённую ошибочно строку

ip flow-export destination 192.168.10.202 2056  Выяснил, последняя команда заменяет предыдущую.

ЗЫЫ Глянул стартап конфиг

ip flow-export destination 192.168.11.201 2056 // Это сохранился маршрут назначения

Нашел также это

interface UsbLte0
    .......
    ip flow both
    .......
    up

Но почему то не запускается в автомате.

Прикрепил self-test

Запустил его перед ребутом, после ребута он оказался выключенным, запустил его снова, информация в этот момент не поступала, затем зашел и ввел interface UsbLte0 ip flow both - информация пошла, после этого завершил и сохранил и прикрепил.

 

 

self-test.txt

Edited by feoser
Добавил информации после P.S.
  • Thanks 1
  • Need more info 1

Share this post


Link to post
Share on other sites
  • 0

Спасибо за репорт, будем разбираться.

Проявляется только на модеме, или на ISP тоже?

Share this post


Link to post
Share on other sites
  • 0

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0
В 1/21/2018 в 15:59, feoser сказал:

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

Спасибо, все поправлено. Появится фикс в новых релизах.

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

Share this post


Link to post
Share on other sites
  • 0
В 1/27/2018 в 08:45, feoser сказал:

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0
В 29.01.2018 в 00:12, Le ecureuil сказал:

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Edited by Amigokot

Share this post


Link to post
Share on other sites
  • 0
5 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

На счет Keenetic II не скажу, на гиге 2 и ультре без особых проблем, если тариф не больше 190 на isp - это для гиги2, у меня выше резалась скорость, с prtg работает без проблем, добавляете нетфлов датчик, настраиваете его, хотя там особо и нечего настраивать, открываете нужные порты и всё начинает работать.

Share this post


Link to post
Share on other sites
  • 0
7 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Да хоть на Start II можно использовать, или на Omni. Вопрос только в нагрузке на процессор.

Share this post


Link to post
Share on other sites
  • 0

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

Share this post


Link to post
Share on other sites
  • 0
1 час назад, Straycat сказал:

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

 Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

Попробуем посмотреть.

Share this post


Link to post
Share on other sites
  • 0

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

Share this post


Link to post
Share on other sites
  • 0
13 минуты назад, Artyom сказал:

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

Share this post


Link to post
Share on other sites
  • 0
Только что, Le ecureuil сказал:

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

По ошибке не для того включил.

Я собственно и не мог понять, какую команду нужно выполнить, чтобы убрать эту строку. Методом тыка уже понял, что interface {name} no ip flow

  • Upvote 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

×