Лаги TCP на третий день аптайма

[KorDen 691]

В продолжение темы в 3.1, резюмирую:

Рвутся TCP-соединения (как минимум на 7621, у меня Ultra KN-1810) спустя несколько десятков-сотен переданных Мб, когда аптайм приблизительно в районе 3-4 дня.

Очень похоже на jfifies (TCP Timestamps), потому что

0x04 00 00 00 = 67108864 /250=268435 = 3d 02:33:55
0x05 00 00 00 = 83886080 /250=335544 = 3d 21:12:24

Лаги начинаются где-то с 3d 02:44 и продолжаются до 3d 21:16, дальше всё работает без глюков. На практике у меня были аптаймы до 15 дней, в другое время, кроме 3 дня, подобного не замечал (хотя захожу не каждый день, мог и пропустить).

Отключение TCP Timestamps посредством "echo 0 > /proc/sys/net/ipv4/tcp_timestamps" не решает проблему

У меня рвется с самых первых драфтов 3.x SSH/HTTP/HTTPS снаружи, но есть исключения в определенных вариантах сети за WAN. Локально проблемы не наблюдаю. Просто воткнуться снаружи в WAN похоже недостаточно.

У @Space Alex и @Supermaks глючит DLNA c аналогичными симптомами, я DLNA не пользуюсь.

[Le ecureuil 3,364]

Всем спасибо, найдено и починено.

Если кратко, то причина была в росте размера структуры tcp_skb_cb, которая начала конфликтовать с флагами ppe software, из-за чего когда байт в skb->cb[46] становился равен 0x4 происходил отброс пакетов.

Вообще нужно отметить странную политику расположения полей с tcp_skb_cb в ядре 4.9. Если поменять поля в union tx : оба skb_mstamp поставить в начале (они требуют выравнивания по 8), а u32 в конце, то структура будет занимать не 48, а 44 байта. И такой проблемы никогда бы ни было. Ну да ладно. И проявляется это кстати везде, а не только на 7621 - но на нем локальный трафик заметнее и чаще используем.

Хочется сердечно поблагодарить всех за упорные репорты этой проблемы - без них мы бы не поняли реальную важность, и сочли бы ее возможным аппаратным багом или глюками ПО на клиентах - что, на нашей практике, бывает все же чаще.

Но отдельная благодарность объявляется господину @KorDen за настойчивость, исследование и выделение минимального сетапа для воспроизведения ситуации. Также он был первым, кто обратил внимание на связь jiffies с потерями (мы и сами до самого конца не верили, что дело в этом) и выявил конкретный диапазон. И его догадка в итоге привела нас к разрешению ситуации. Еще раз хочется отметить, что это был не просто наброс в стиле "не работает, быстро чините, б...дь" или "после обновления не стоит, жена ушла к другому, сын гей"; а технически выверенный репорт с указанием как воспроизводить (и даже скриптом).

За этот образцовый багрепорт @KorDen отблагодарим самым новым и крутым устройством, которое появится уже скоро.

Еще раз всем спасибо.

[r777ay 72]

1 час назад, KorDen сказал:

У @Space Alex и @Supermaks глючит DLNA c аналогичными симптомами,

Так-же глючит DLNA на Ultra KN-1810

[KorDen 691]

3 селфтеста: первый за несколько минут до начала лагов, дальше два уже когда лагает.

Первый отвал в Uptime: 3 days, 02:41:57 (Time: 16:29:57)

[KorDen 691]

// 6 days,  9:40 - лагов нет. Дождаться чтоль 0x14000000 - 15 days 12:49:37, до 2 декабря...

[Space Alex 14]

10 часов назад, Igor79 сказал:

Мне тоже интересно. Перезапускать роутер каждые три дня конечно не трагедия, но всё же порядком надоело когда начинаешь смотреть киноху и вдруг бац - зависло.

Не перезагружаейте) дождитесь 4-ого дня! Начиная с 4-ого дня и далее все становится нормально) на данный момент у меня  аптайм 16 дней и пока все норм. Проблема именно 3-его дня, до и после все ок.

[KorDen 691]

22 часа назад, Space Alex сказал:

аптайм 16 дней и пока все норм

А вот чисто ради интереса, в интервале 15 days 12:49:37 - 16 days 07:28:06 не замечали глюков? Чтобы исключить одну из теорий, до которых надо ждать..

[Space Alex 14]

1 час назад, KorDen сказал:

А вот чисто ради интереса, в интервале 15 days 12:49:37 - 16 days 07:28:06 не замечали глюков?

К сожалению как раз в этом интервале мог и не заметить так как смотрел DLNA на ТВ с WebOS, а на нем даже на 3-й день глюки не видны почему-то.

[KorDen 691]

УПРЛС... Воспроизвел на Viva KN-1910 в минимальной конфигурации: требуется всего-лишь гигабитный свич (как показала практика, сгодятся хоть 25-26 порт у DES-3526 на дефолтных настройках). С промежуточным свичем воспроизводится и в LAN и в WAN.

На кинетике в Entware "iperf3 -s", на ПК "iperf3 -R -i 2 -t 300 -b 400m -c 192.168.1.1"

[valeramalko 65]

на kn-1010 также появляются проблемы через 3 дня с работой с диском по сети и dlna, в поддержке предположили, что

Цитата

TSMB занял весь диапазон динамических портов или в переполнении буфера TCP.

передали разработчикам

 

[KorDen 691]

В 22.11.2019 в 23:44, KorDen сказал:

Дождаться чтоль 0x14000000 - 15 days 12:49:37, до 2 декабря...

Uptime: 15 days, 18:57:32 (1364302.39 5281978.24) - не воспроизводится

[valeramalko 65]

6 минут назад, KorDen сказал:

Uptime: 15 days, 18:57:32 (1364302.39 5281978.24) - не воспроизводится

такое наблюдение: у меня проблемы пропали при проверке в точке 3дн.22ч, после этого работал более 5 дн. без проблем, сейчас перезагрузился в связи с обновлением прошивки, пока жду

[kir202 17]

Giga KN-1010 (3.3 Beta 4)/ Ситуация с 3 днями всплывает постоянно, проблема отображается в виде зависания, отваливания DLNA, переключения на другой файл. Приходится жить с перезагрузками каждые 3 дня

[Space Alex 14]

38 минут назад, kir202 сказал:

Giga KN-1010 (3.3 Beta 4)/ Ситуация с 3 днями всплывает постоянно

KN-1810 подтверждаю что на Beta 4 пока без изменений, проблемным остается весь третий день.

[ankar84 116]

Кажется пришло и мое время вступить в клуб "Лаги на 3 день". Столкнулся уже 2 раза. DLNA нет. Смотрю фильмы через WiFi по SMB на MiBox S через Solid Explorer + Vimu Player. Проявляется в остановке воспроизведения файла, где не помогает перезагрузка приставки. Перезагрузка роутера сразу решила проблему. Giga KN-1010, 3.3 Beta 5

[ankar84 116]

А обращения в техподдержку по этой проблеме уже кто-то делал? Давайте тут укажем их, хочу сегодня тоже создать такое обращение. Указать номера подобных обращений, на мой взгляд, было бы полезным.

Вчера в момент проблемы включил на роутере режим отладки и пытался безуспешно запускать фильм на приставке по SMB (CIFS). Надеюсь, в полученном файле будет что-то, что поможет решить проблему.

Кстати, DLNA не пользуюсь (даже компонент не установлен). Transmission все три дня стоял с раздачами на паузе, то есть сетевой активности от него не было.

[valeramalko 65]

5 минут назад, ankar84 сказал:

обращения в техподдержку по этой проблеме уже кто-то делал?

делал, уже более месяца прошло с момента обращения, информация передана разработчикам, вчера уточнял, сказали еще "в работе, новой информации не поступало" (если нужно запрос #465802)

но в данной теме комментариев от разработчиков по этой проблеме не видел

 

 

[ankar84 116]

Сделал свой Запрос #470280

[KorDen 691]

В 17.12.2019 в 08:57, ankar84 сказал:

А обращения в техподдержку по этой проблеме уже кто-то делал

Мой вариант они не смогли воспроизвести. Хотя мне казалось, что воспроизводится уж совсем на любом железе, лишь бы между ПК и кинетиком на 7621 был гиговый свич - ан нет.

[KorDen 691]

С другим кинетиком в качестве промежуточного свича не воспроизводится.. С DGS-1008D тоже.. Гррр.

[KorDen 691]

26 минут назад, KorDen сказал:

С другим кинетиком в качестве промежуточного свича не воспроизводится.. С DGS-1008D тоже.. Гррр.

Или воспроизводится, но истинные условия не соблюдены и не определены 😩

[ankar84 116]

У меня воспроизводится очень стабильно на 3 сутки данная проблема. Притом, что у меня нет свича за роутером, да и вообще проводной клиент только один, все остальные по воздуху. И DLNA у меня нет. Так что условий, на мой взгляд не очень много.

1. Прошивка 3 версии

2. Установленный и интенсивно используемый компонент tsmb (в моём случае с контролем доступа, может это важно)

3. Работа 3 суток

Вот вроде все необходимые условия данного бага.

[Space Alex 14]

8 часов назад, ankar84 сказал:

У меня воспроизводится очень стабильно на 3 сутки данная проблема.

Аналогично, у меня тоже очень легко воспроизводится на 3-и сутки. Из компонентов не стоит практически ничего, только самое необходимое (первый блок компонентов) + DLNA + CIFS + NTFS. И каждый раз на 3-и сутки глюки с просмотром фильмов с диска. Контроля доступа нет. Свичей и прочего тоже нет. Один тв по кабелю, остальные тв и приставки во wifi.

 

Edited December 24, 2019 by Space Alex

[kir202 17]

Проблема повторяется стабильно на 3-и сутки, DLNA начинает подвисать, переключать на следующий файл, либо вообще отлетает. 1 телевизор воткнут напрямую в роутер (kn-giga kn-1010), 2 других телевизора воткнуты через роутер в режиме точки доступа (kn-omni KN-1410) по проводам. Проблема повторяется на всех устройствах. После перезагрузки основного роутера, проблема с DLNA проходит, пока опять не дойдёт до 3 дней.

Edited December 24, 2019 by kir202
дополнено

[ankar84 116]

Сегодня лаги начались после 3 дней 2 часов и 40 минут прямо в момент просмотра фильма. Картинка просто зависла.

[Mikesk 101]

3 часа назад, ankar84 сказал:

Сегодня лаги начались после 3 дней 2 часов и 40 минут прямо в момент просмотра фильма. Картинка просто зависла.

а в логах-то что? У меня регулярно хаотически, вне зависимости ни от чего, подвисает на секунду-две картинка на ТВ самсунг, но кинетик тут точно не при делах, ибо DLNA-сервер c этим видео не на нем крутится. А вот на DLNA с кинетика такое ни разу не видел.

[KorDen 691]

Не знаю зачем, но...

                                               0000 010Y  xxxx xxxx  .... ....  .... ....
3d02:40:03 = 268803s = 67200750j = 0x40166EE = 0000 0100  0000 0001  0110 0110  1110 1110
3d02:41:57 = 268917s = 67229250j = 0x401D642 = 0000 0100  0000 0001  1101 0110  0100 0010
3d02:44:58 = 269098s = 67274500j = 0x4028704 = 0000 0100  0000 0010  1000 0111  0000 0100
3d03:18:06 = 271086s = 67771500j = 0x40A1C6C = 0000 0100  0000 1010  0001 1100  0110 1100
                 TSval 68284553j = 0x411F089 = 0000 0100  0001 0001  1111 0000  1000 1001
                 TSval 68311805j = 0x4125AFD = 0000 0100  0001 0010  0101 1010  1111 1101
                 TSval 68416833j = 0x413F541 = 0000 0100  0001 0011  1111 0101  0100 0001
                 TSval 80923156j = 0x4D2CA14 = 0000 0100  1101 0010  1100 1010  0001 0100
3d21:16:39 = 335799s = 83949750j = 0x500F8B6 = 0000 0101  0000 0000  1111 1000  1011 0110

Пока 4 байт = 0000010{0} но есть единицы в 3 байте, либо0000010{1} и нет единиц в 3 байте...

[vasek00 407]

Получилось дождаться uptime 3дня 3часа 11мин, KN10 релиз 3.3.2 .

1. Клиент ТВ по wi-fi 5GHz - DLNA просмотр фильма - вылет клиента, из просмотра но разрыва по Wi-fi нет, опять просмотр и опять вылет

2. Данный клиент п.1 - youtube - ОК

3. Копирование Клиентом2 по LAN сети с данного роутера винта - ОК

4. Клиент ТВ (п.1) по LAN - DLNA - ОК

5. Клиент2 смартфон копирование на телефон с данного роутера винта - как бы все ОК но был затык и продолжение копирования

Дек 30 14:48:49 ndm Io::UdpSocket: unable to write data: operation not permitted.

Выключение сервиса DLNA и его включение результат не меняет.

[vasek00 407]

1 час назад, Dale сказал:

Такие сообщения я вижу в логе и до 3х и после 4х суток аптайма, причем никаких операций с FTP, SMB или DLNA серверами в этот момент точно не производится, работает только Transmission. С сабжем, IMHO, никак не связано.

Повторюсь клиент данная ошибка появилась когда клиент wi-fi смартфон качал к себе с HDD роутера, но и не бывает.

Клиент ТВ был выпленен из потока при просмотре DLNA но не разрывал Wi-fi соединения - лог чистый.

ndm Io::UdpSocket: unable to write data: operation not permitted.

ndm - основной сервис; Io - Input/Output; UdpSocket - Udp Socket (приложение для работы имеет сокет); unable to write data - не удается записать данные; operation not permitted - операция не разрешена

Скрытый текст

COMMAND    PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ndm        251   root    9u  IPv4   1257      0t0  UDP localhost:4ххх
....
ndm        251   root   23u  IPv4 181757      0t0  UDP .......:51ххх
ndm        251   root   26u  IPv4 182328      0t0  UDP .......:40ххх
dhcp6c     594   root    4u  IPv6    351      0t0  UDP *:dhcpv6-client
mtkiappd   614   root    4u  IPv4   8706      0t0  UDP *:3ххх
miniupnpd  626   root    6u  IPv4   8742      0t0  UDP *:1900
miniupnpd  626   root    7u  IPv4   8743      0t0  UDP ...:5ххх
miniupnpd  626   root    8u  IPv4   8744      0t0  UDP ...:5ххх
avahi-dae  631 nobody   10u  IPv4   8754      0t0  UDP *:5ххх
...
tsmb-serv  632   root   23u  IPv4   5271      0t0  UDP *:netbios-ns
....
ndnproxy   769   root    6u  IPv4  10110      0t0  UDP localhost:5ххх
ndhcps    1127   root    4u  IPv4 524048      0t0  UDP *:хххх
coalagent 1259   root    6u  IPv4 526882      0t0  UDP *:5ххх
ndhcps    1401   root    4u  IPv4  11397      0t0  UDP *:ххххх
minidlna  5446   root    7u  IPv4 547780      0t0  UDP 239.255.255.250:1900
minidlna  5446   root    9u  IPv4 545600      0t0  UDP ....:4ххх

 

Edited December 30, 2019 by vasek00

[KorDen 691]

3 часа назад, vasek00 сказал:

Клиент ТВ по wi-fi 5GHz - DLNA просмотр фильма - вылет клиента

Надо сфокусироваться на этом. Настройки 5Ghz дефолтные? (80mhz и тыды и тыпы)? Впрочем, наверное, единственный правильный вопрос - какой ТВ?

 

[ankar84 116]

Сегодня собрал следующие диагностические данные по тикету:
Включил режим отладки в момент аптайма 3 дня 3 часа 35 минут
Включил запись дампа на интерфейсе Домашняя сеть в это же время
Около аптайма 3 дня 3 часа 40 минут запустил фильм по SMB на ноутбуке,который подключен по LAN, на Андроид приставке по WiFi и на Андроид смартфоне по WiFi.
Везде фильмы зависли при воспроизведении. На смартфоне даже не запускался (сразу вылет).

На Андроид для доступа по SMB использую Solid Explorer, на Windows 10 использую Total Commander.

Кстати, на этот раз в логе было очень много разных ошибок, чуть позже напишу.