Jump to content
  • 26
KorDen

Лаги TCP на третий день аптайма

Question

В продолжение темы в 3.1, резюмирую:

Рвутся TCP-соединения (как минимум на 7621, у меня Ultra KN-1810) спустя несколько десятков-сотен переданных Мб, когда аптайм приблизительно в районе 3-4 дня.

Очень похоже на jfifies (TCP Timestamps), потому что

0x04 00 00 00 = 67108864 /250=268435 = 3d 02:33:55
0x05 00 00 00 = 83886080 /250=335544 = 3d 21:12:24

Лаги начинаются где-то с 3d 02:44 и продолжаются до 3d 21:16, дальше всё работает без глюков. На практике у меня были аптаймы до 15 дней, в другое время, кроме 3 дня, подобного не замечал (хотя захожу не каждый день, мог и пропустить).

Отключение TCP Timestamps посредством "echo 0 > /proc/sys/net/ipv4/tcp_timestamps" не решает проблему

У меня рвется с самых первых драфтов 3.x SSH/HTTP/HTTPS снаружи, но есть исключения в определенных вариантах сети за WAN. Локально проблемы не наблюдаю. Просто воткнуться снаружи в WAN похоже недостаточно.

У @Space Alex и @Supermaks глючит DLNA c аналогичными симптомами, я DLNA не пользуюсь.

  • Thanks 10
  • Upvote 2

Share this post


Link to post
Share on other sites

Recommended Posts

  • 15

Всем спасибо, найдено и починено.

Если кратко, то причина была в росте размера структуры tcp_skb_cb, которая начала конфликтовать с флагами ppe software, из-за чего когда байт в skb->cb[46] становился равен 0x4 происходил отброс пакетов.

Вообще нужно отметить странную политику расположения полей с tcp_skb_cb в ядре 4.9. Если поменять поля в union tx : оба skb_mstamp поставить в начале (они требуют выравнивания по 8), а u32 в конце, то структура будет занимать не 48, а 44 байта. И такой проблемы никогда бы ни было. Ну да ладно. И проявляется это кстати везде, а не только на 7621 - но на нем локальный трафик заметнее и чаще используем.

Хочется сердечно поблагодарить всех за упорные репорты этой проблемы - без них мы бы не поняли реальную важность, и сочли бы ее возможным аппаратным багом или глюками ПО на клиентах - что, на нашей практике, бывает все же чаще.

Но отдельная благодарность объявляется господину @KorDen за настойчивость, исследование и выделение минимального сетапа для воспроизведения ситуации. Также он был первым, кто обратил внимание на связь jiffies с потерями (мы и сами до самого конца не верили, что дело в этом) и выявил конкретный диапазон. И его догадка в итоге привела нас к разрешению ситуации. Еще раз хочется отметить, что это был не просто наброс в стиле "не работает, быстро чините, б...дь" или "после обновления не стоит, жена ушла к другому, сын гей"; а технически выверенный репорт с указанием как воспроизводить (и даже скриптом).

За этот образцовый багрепорт @KorDen отблагодарим самым новым и крутым устройством, которое появится уже скоро.

Еще раз всем спасибо.

  • Thanks 27
  • Upvote 9

Share this post


Link to post
Share on other sites
  • 0

3 селфтеста: первый за несколько минут до начала лагов, дальше два уже когда лагает.

Первый отвал в Uptime: 3 days, 02:41:57 (Time: 16:29:57)

Share this post


Link to post
Share on other sites
  • 0

// 6 days,  9:40 - лагов нет. Дождаться чтоль 0x14000000 - 15 days 12:49:37, до 2 декабря...

Share this post


Link to post
Share on other sites
  • 0
10 часов назад, Igor79 сказал:

Мне тоже интересно. Перезапускать роутер каждые три дня конечно не трагедия, но всё же порядком надоело когда начинаешь смотреть киноху и вдруг бац - зависло.

Не перезагружаейте) дождитесь 4-ого дня! Начиная с 4-ого дня и далее все становится нормально) на данный момент у меня  аптайм 16 дней и пока все норм. Проблема именно 3-его дня, до и после все ок.

Share this post


Link to post
Share on other sites
  • 0
22 часа назад, Space Alex сказал:

аптайм 16 дней и пока все норм

А вот чисто ради интереса, в интервале 15 days 12:49:37 - 16 days 07:28:06 не замечали глюков? Чтобы исключить одну из теорий, до которых надо ждать..

Share this post


Link to post
Share on other sites
  • 0
1 час назад, KorDen сказал:

А вот чисто ради интереса, в интервале 15 days 12:49:37 - 16 days 07:28:06 не замечали глюков?

К сожалению как раз в этом интервале мог и не заметить так как смотрел DLNA на ТВ с WebOS, а на нем даже на 3-й день глюки не видны почему-то.

Share this post


Link to post
Share on other sites
  • 0

УПРЛС... Воспроизвел на Viva KN-1910 в минимальной конфигурации: требуется всего-лишь гигабитный свич (как показала практика, сгодятся хоть 25-26 порт у DES-3526 на дефолтных настройках). С промежуточным свичем воспроизводится и в LAN и в WAN.

На кинетике в Entware "iperf3 -s", на ПК "iperf3 -R -i 2 -t 300 -b 400m -c 192.168.1.1"

  • Thanks 3

Share this post


Link to post
Share on other sites
  • 0

на kn-1010 также появляются проблемы через 3 дня с работой с диском по сети и dlna, в поддержке предположили, что

Цитата

TSMB занял весь диапазон динамических портов или в переполнении буфера TCP.

передали разработчикам

 

  • Thanks 1
  • Upvote 2

Share this post


Link to post
Share on other sites
  • 0
В 22.11.2019 в 23:44, KorDen сказал:

Дождаться чтоль 0x14000000 - 15 days 12:49:37, до 2 декабря...

Uptime: 15 days, 18:57:32 (1364302.39 5281978.24) - не воспроизводится

Share this post


Link to post
Share on other sites
  • 0
6 минут назад, KorDen сказал:

Uptime: 15 days, 18:57:32 (1364302.39 5281978.24) - не воспроизводится

такое наблюдение: у меня проблемы пропали при проверке в точке 3дн.22ч, после этого работал более 5 дн. без проблем, сейчас перезагрузился в связи с обновлением прошивки, пока жду

Share this post


Link to post
Share on other sites
  • 0

Giga KN-1010 (3.3 Beta 4)/ Ситуация с 3 днями всплывает постоянно, проблема отображается в виде зависания, отваливания DLNA, переключения на другой файл. Приходится жить с перезагрузками каждые 3 дня :(

Share this post


Link to post
Share on other sites
  • 0
38 минут назад, kir202 сказал:

Giga KN-1010 (3.3 Beta 4)/ Ситуация с 3 днями всплывает постоянно

KN-1810 подтверждаю что на Beta 4 пока без изменений, проблемным остается весь третий день.

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0

Кажется пришло и мое время вступить в клуб "Лаги на 3 день". Столкнулся уже 2 раза. DLNA нет. Смотрю фильмы через WiFi по SMB на MiBox S через Solid Explorer + Vimu Player. Проявляется в остановке воспроизведения файла, где не помогает перезагрузка приставки. Перезагрузка роутера сразу решила проблему. Giga KN-1010, 3.3 Beta 5

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0

А обращения в техподдержку по этой проблеме уже кто-то делал? Давайте тут укажем их, хочу сегодня тоже создать такое обращение. Указать номера подобных обращений, на мой взгляд, было бы полезным.

Вчера в момент проблемы включил на роутере режим отладки и пытался безуспешно запускать фильм на приставке по SMB (CIFS). Надеюсь, в полученном файле будет что-то, что поможет решить проблему.

Кстати, DLNA не пользуюсь (даже компонент не установлен). Transmission все три дня стоял с раздачами на паузе, то есть сетевой активности от него не было.

Share this post


Link to post
Share on other sites
  • 0
5 минут назад, ankar84 сказал:

обращения в техподдержку по этой проблеме уже кто-то делал?

делал, уже более месяца прошло с момента обращения, информация передана разработчикам, вчера уточнял, сказали еще "в работе, новой информации не поступало" (если нужно запрос #465802)

но в данной теме комментариев от разработчиков по этой проблеме не видел

 

 

  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0
В 17.12.2019 в 08:57, ankar84 сказал:

А обращения в техподдержку по этой проблеме уже кто-то делал

Мой вариант они не смогли воспроизвести. Хотя мне казалось, что воспроизводится уж совсем на любом железе, лишь бы между ПК и кинетиком на 7621 был гиговый свич - ан нет.

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0

С другим кинетиком в качестве промежуточного свича не воспроизводится.. С DGS-1008D тоже.. Гррр.

  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0
26 минут назад, KorDen сказал:

С другим кинетиком в качестве промежуточного свича не воспроизводится.. С DGS-1008D тоже.. Гррр.

Или воспроизводится, но истинные условия не соблюдены и не определены 😩

  • Thanks 1

Share this post


Link to post
Share on other sites
  • 0

У меня воспроизводится очень стабильно на 3 сутки данная проблема. Притом, что у меня нет свича за роутером, да и вообще проводной клиент только один, все остальные по воздуху. И DLNA у меня нет. Так что условий, на мой взгляд не очень много.

1. Прошивка 3 версии

2. Установленный и интенсивно используемый компонент tsmb (в моём случае с контролем доступа, может это важно)

3. Работа 3 суток

Вот вроде все необходимые условия данного бага.

  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0
8 часов назад, ankar84 сказал:

У меня воспроизводится очень стабильно на 3 сутки данная проблема.

Аналогично, у меня тоже очень легко воспроизводится на 3-и сутки. Из компонентов не стоит практически ничего, только самое необходимое (первый блок компонентов) + DLNA + CIFS + NTFS. И каждый раз на 3-и сутки глюки с просмотром фильмов с диска. Контроля доступа нет. Свичей и прочего тоже нет. Один тв по кабелю, остальные тв и приставки во wifi.

 

2019-12-24_173624.jpg

2019-12-24_173639.jpg

Edited by Space Alex
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0

Проблема повторяется стабильно на 3-и сутки, DLNA начинает подвисать, переключать на следующий файл, либо вообще отлетает. 1 телевизор воткнут напрямую в роутер (kn-giga kn-1010), 2 других телевизора воткнуты через роутер в режиме точки доступа (kn-omni KN-1410) по проводам. Проблема повторяется на всех устройствах. После перезагрузки основного роутера, проблема с DLNA проходит, пока опять не дойдёт до 3 дней.

Edited by kir202
дополнено
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0

Сегодня лаги начались после 3 дней 2 часов и 40 минут прямо в момент просмотра фильма. Картинка просто зависла.

Share this post


Link to post
Share on other sites
  • 0
3 часа назад, ankar84 сказал:

Сегодня лаги начались после 3 дней 2 часов и 40 минут прямо в момент просмотра фильма. Картинка просто зависла.

а в логах-то что? У меня регулярно хаотически, вне зависимости ни от чего, подвисает на секунду-две картинка на ТВ самсунг, но кинетик тут точно не при делах, ибо DLNA-сервер c этим видео не на нем крутится. А вот на DLNA с кинетика такое ни разу не видел.

Share this post


Link to post
Share on other sites
  • 0

Не знаю зачем, но...

                                               0000 010Y  xxxx xxxx  .... ....  .... ....
3d02:40:03 = 268803s = 67200750j = 0x40166EE = 0000 0100  0000 0001  0110 0110  1110 1110
3d02:41:57 = 268917s = 67229250j = 0x401D642 = 0000 0100  0000 0001  1101 0110  0100 0010
3d02:44:58 = 269098s = 67274500j = 0x4028704 = 0000 0100  0000 0010  1000 0111  0000 0100
3d03:18:06 = 271086s = 67771500j = 0x40A1C6C = 0000 0100  0000 1010  0001 1100  0110 1100
                 TSval 68284553j = 0x411F089 = 0000 0100  0001 0001  1111 0000  1000 1001
                 TSval 68311805j = 0x4125AFD = 0000 0100  0001 0010  0101 1010  1111 1101
                 TSval 68416833j = 0x413F541 = 0000 0100  0001 0011  1111 0101  0100 0001
                 TSval 80923156j = 0x4D2CA14 = 0000 0100  1101 0010  1100 1010  0001 0100
3d21:16:39 = 335799s = 83949750j = 0x500F8B6 = 0000 0101  0000 0000  1111 1000  1011 0110

Пока 4 байт = 0000010{0} но есть единицы в 3 байте, либо0000010{1} и нет единиц в 3 байте...

  • Thanks 2

Share this post


Link to post
Share on other sites
  • 0

Получилось дождаться uptime 3дня 3часа 11мин, KN10 релиз 3.3.2 .

1. Клиент ТВ по wi-fi 5GHz - DLNA просмотр фильма - вылет клиента, из просмотра но разрыва по Wi-fi нет, опять просмотр и опять вылет

2. Данный клиент п.1 - youtube - ОК

3. Копирование Клиентом2 по LAN сети с данного роутера винта - ОК

4. Клиент ТВ (п.1) по LAN - DLNA - ОК

5. Клиент2 смартфон копирование на телефон с данного роутера винта - как бы все ОК но был затык и продолжение копирования

Дек 30 14:48:49 ndm Io::UdpSocket: unable to write data: operation not permitted.

Выключение сервиса DLNA и его включение результат не меняет.

  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites
  • 0
1 час назад, Dale сказал:

Такие сообщения я вижу в логе и до 3х и после 4х суток аптайма, причем никаких операций с FTP, SMB или DLNA серверами в этот момент точно не производится, работает только Transmission. С сабжем, IMHO, никак не связано.

Повторюсь клиент данная ошибка появилась когда клиент wi-fi смартфон качал к себе с HDD роутера, но и не бывает.

Клиент ТВ был выпленен из потока при просмотре DLNA но не разрывал Wi-fi соединения - лог чистый.

ndm Io::UdpSocket: unable to write data: operation not permitted.

ndm - основной сервис; Io - Input/Output; UdpSocket - Udp Socket (приложение для работы имеет сокет); unable to write data - не удается записать данные; operation not permitted - операция не разрешена

Скрытый текст

814651490_-1.thumb.jpg.d66030df0f1443b3073a76a641f4c329.jpg


COMMAND    PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ndm        251   root    9u  IPv4   1257      0t0  UDP localhost:4ххх
....
ndm        251   root   23u  IPv4 181757      0t0  UDP .......:51ххх
ndm        251   root   26u  IPv4 182328      0t0  UDP .......:40ххх
dhcp6c     594   root    4u  IPv6    351      0t0  UDP *:dhcpv6-client
mtkiappd   614   root    4u  IPv4   8706      0t0  UDP *:3ххх
miniupnpd  626   root    6u  IPv4   8742      0t0  UDP *:1900
miniupnpd  626   root    7u  IPv4   8743      0t0  UDP ...:5ххх
miniupnpd  626   root    8u  IPv4   8744      0t0  UDP ...:5ххх
avahi-dae  631 nobody   10u  IPv4   8754      0t0  UDP *:5ххх
...
tsmb-serv  632   root   23u  IPv4   5271      0t0  UDP *:netbios-ns
....
ndnproxy   769   root    6u  IPv4  10110      0t0  UDP localhost:5ххх
ndhcps    1127   root    4u  IPv4 524048      0t0  UDP *:хххх
coalagent 1259   root    6u  IPv4 526882      0t0  UDP *:5ххх
ndhcps    1401   root    4u  IPv4  11397      0t0  UDP *:ххххх
minidlna  5446   root    7u  IPv4 547780      0t0  UDP 239.255.255.250:1900
minidlna  5446   root    9u  IPv4 545600      0t0  UDP ....:4ххх

 

Edited by vasek00

Share this post


Link to post
Share on other sites
  • 0
3 часа назад, vasek00 сказал:

Клиент ТВ по wi-fi 5GHz - DLNA просмотр фильма - вылет клиента

Надо сфокусироваться на этом. Настройки 5Ghz дефолтные? (80mhz и тыды и тыпы)? Впрочем, наверное, единственный правильный вопрос - какой ТВ?

 

Share this post


Link to post
Share on other sites
  • 0

Сегодня собрал следующие диагностические данные по тикету:
Включил режим отладки в момент аптайма 3 дня 3 часа 35 минут
Включил запись дампа на интерфейсе Домашняя сеть в это же время
Около аптайма 3 дня 3 часа 40 минут запустил фильм по SMB на ноутбуке,который подключен по LAN, на Андроид приставке по WiFi и на Андроид смартфоне по WiFi.
Везде фильмы зависли при воспроизведении. На смартфоне даже не запускался (сразу вылет).

На Андроид для доступа по SMB использую Solid Explorer, на Windows 10 использую Total Commander.

Кстати, на этот раз в логе было очень много разных ошибок, чуть позже напишу.

  • Upvote 1

Share this post


Link to post
Share on other sites
Guest
This topic is now closed to further replies.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...