NetFlow

[KorDen 812]

В 18.10.2017 в 11:09, Le ecureuil сказал:

netflow

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

[balookrd 4]

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

[KorDen 812]

57 минут назад, balookrd сказал:

flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные

Netflow v5, по 30 штук на пакет

1 час назад, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк

[balookrd 4]

15 часов назад, KorDen сказал:

Netflow v5, по 30 штук на пакет

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

[Le ecureuil 4,572]

В 11/9/2017 в 20:58, KorDen сказал:

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

[Le ecureuil 4,572]

21 час назад, balookrd сказал:

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

Размер таблицы индивидуален для каждого устройства, то есть зависит от объема ОЗУ.

На самых слабых устройствах - 32 тысячи записей, на самых мощных - 128K. Аналогично и с хэш-таблицей.

[Le ecureuil 4,572]

В 11/9/2017 в 21:26, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

Используется вот этот компонент (правда, слегка адаптированный к нашим реалиям):
https://github.com/aabc/ipt-netflow

Потому все настройки, актуальные для него, работают и у нас. Аналогично и с описанием шаблонов - лучше смотреть туда.

По умолчанию используется v5, а v9 и IPFIX можно настроить через system set.

Для получения информации можно глянуть в
(config)> more proc:/net/stat/ipt_netflow

(config)> more proc:/net/stat/ipt_netflow_flows

Если нужно подтюнить какие-то параметры, то через system set net.netflow.* можно выставить как вам надо.

[balookrd 4]

спасибо

[Le ecureuil 4,572]

В 11/11/2017 в 11:30, Le ecureuil сказал:

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

Не воспроизвелось, вроде все нормально. Возможно временный глюк с переполнением jiffies был.

[MDP 271]

Подскажите, а возможно ли, что бы netflow скидывал инфу на сервер syslog...вместо коллектора?

[Le ecureuil 4,572]

В 11/14/2017 в 19:30, MDP сказал:

Подскажите, а возможно ли, что бы netflow скидывал инфу на сервер syslog...вместо коллектора?

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

[MDP 271]

10 минут назад, Le ecureuil сказал:

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

[Le ecureuil 4,572]

3 минуты назад, MDP сказал:

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

[MDP 271]

6 минут назад, Le ecureuil сказал:

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

Я про сторонний продукт и не хотел спрашивать)))) ...так мимолётом ...а вдруг. 

...извиняюсь.

Edited November 17, 2017 by MDP

[nogood 2]

Подскажите, что делаю не так:

(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

[dexter 173]

Вы все активировали как в посте ndm?

• interface {name} ip flow (ingress | egress | both) — включить сенсор NetFlow на заданном интерфейсе
• ip flow-export destination {address} {port} — адрес и порт коллектора

И (config)> system set net.netflow.protocol 10 не нужно.

[Le ecureuil 4,572]

В 11/20/2017 в 19:34, nogood сказал:

Подскажите, что делаю не так:

(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

Сперва нужно активировать модуль, и только потом можно будет менять протокол и версию.

[feoser 10]

Может мне кто подскажет, что я делаю не так или делаю не до конца?

Установил netflow

В инет выход через usb модем

Далее ввел команды:

interface UsbLte0 ip flow both  //Трафик хочу мониторить с USB модема

ip flow-export destination 192.168.10.202 2055  //На этом адресе слушает сервер PRTG

system configuration save  // Сохраняю конфигурацию

Всё прекрасно работает до момента ребута роутера но после ребута netflow не передает информацию на коллектора

после ввода interface UsbLte0 ip flow both  информация опять начинает передаваться до следующей перезагрузки роутера.

P.S. Предыдущий эксперимент делал на Ultre

Попробовал сделать на GigeII у которой подключение по ISP, соответственно вводил:

interface ISP ip flow both

IP и порт коллектора тут уже другой, ситуация повторилась, т.е. куда и порт сохраняется, а вот netflow не запускается при старте.

И да не подскажите какой командой можно удалить вот эту добавленную и сохранённую ошибочно строку

ip flow-export destination 192.168.10.202 2056  Выяснил, последняя команда заменяет предыдущую.

ЗЫЫ Глянул стартап конфиг

ip flow-export destination 192.168.11.201 2056 // Это сохранился маршрут назначения

Нашел также это

interface UsbLte0
    .......
    ip flow both
    .......
    up

Но почему то не запускается в автомате.

Прикрепил self-test

Запустил его перед ребутом, после ребута он оказался выключенным, запустил его снова, информация в этот момент не поступала, затем зашел и ввел interface UsbLte0 ip flow both - информация пошла, после этого завершил и сохранил и прикрепил.

 

 

self-test.txt

Edited January 21, 2018 by feoser
Добавил информации после P.S.

[Le ecureuil 4,572]

Спасибо за репорт, будем разбираться.

Проявляется только на модеме, или на ISP тоже?

[feoser 10]

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

[Le ecureuil 4,572]

В 1/21/2018 в 15:59, feoser сказал:

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

Спасибо, все поправлено. Появится фикс в новых релизах.

[feoser 10]

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

[Le ecureuil 4,572]

В 1/27/2018 в 08:45, feoser сказал:

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

[Amigokot 57]

В 29.01.2018 в 00:12, Le ecureuil сказал:

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Edited March 12, 2018 by Amigokot

[feoser 10]

5 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

На счет Keenetic II не скажу, на гиге 2 и ультре без особых проблем, если тариф не больше 190 на isp - это для гиги2, у меня выше резалась скорость, с prtg работает без проблем, добавляете нетфлов датчик, настраиваете его, хотя там особо и нечего настраивать, открываете нужные порты и всё начинает работать.

[Le ecureuil 4,572]

7 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Да хоть на Start II можно использовать, или на Omni. Вопрос только в нагрузке на процессор.

[Straycat 0]

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

[Le ecureuil 4,572]

1 час назад, Straycat сказал:

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

 Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

Попробуем посмотреть.

[Artyom 1]

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

[Le ecureuil 4,572]

13 минуты назад, Artyom сказал:

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

[Artyom 1]

Только что, Le ecureuil сказал:

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

По ошибке не для того включил.

Я собственно и не мог понять, какую команду нужно выполнить, чтобы убрать эту строку. Методом тыка уже понял, что interface {name} no ip flow