Transmission. Низкая скорость скачки.

[bator]

Ultra II. Последняя прошивка. Качаю встроенным трансмишеном на прицепленный к роутеру USB-диск Seagate freeagent goflex 500gb.

В трансмишене ограничение на скорость не менял, там по умолчанию 15Мб/с. Качаю популярную раздачу с кучей сидов. Загрузка процессора роутера при этом не превышает четверти. Скорость скачки не превышает 5 Мб/с (проверял и на других раздачах). Это всё, на что способен самый дорогой из Кинетиков???

[dignus]

Это специально сделано, как я читал.
Чтобы сделать скорость максимальной, надо перейти на draft-версии ПО (и стать бета-тестером, да)

[bator]

В 01.06.2019 в 20:46, dignus сказал:

Чтобы сделать скорость максимальной, надо перейти на draft-версии ПО (и стать бета-тестером, да)

Найти бы подтверждение этому...

[Sergey Zozulya]

9 hours ago, bator said:

Найти бы подтверждение этому...

Сохраните вашу текущую прошивку и конфиг. Поставьте драфт, найдите подтверждение. В случае чего вернетесь назад за 5 минут. Кроме того здесь на форуме было масса упоминаний об этом, в том числе от официальных лиц.

[Mamay]

10 часов назад, bator сказал:

Найти бы подтверждение этому...

Ограничение по скорости скачивания отсутствует лишь в draft. Stable ограничено вышеназванными 5 Мб/с...

[bator]

В 03.06.2019 в 09:58, Mamay сказал:

Ограничение по скорости скачивания отсутствует лишь в draft. Stable ограничено вышеназванными 5 Мб/с...

В стабильной у меня сейчас 6 МБ/с, Так что ограничение никак не 5 МБ/с.

Поставил бету 3.0. Действительно, скорость временами поднимается аж до 9 МБ/с. Но лишь временами. И проседает постоянно до 3,5-4. И так скачками туда-сюда. Трнасмишен же на компе качает ту же раздачу с постоянной скоростью около 10 МБ/с...

[bator]

Ну что, всё? На БОльшее не рассчитывать?

[Mikesk]

17 часов назад, bator сказал:

Ну что, всё? На БОльшее не рассчитывать?

На большее не рассчитывать. Остальное зависит от многих нюансов. Сходите к официалам, они расскажут.

[hellonow]

@bator что нужно для максимальной скорости загрузки - здесь.

[bator]

В 17.06.2019 в 15:28, Mikesk сказал:

Сходите к официалам, они расскажут.

Вот спасибо, не догадался я... Зачем-то пошел окольным путем - зарегился тут на форуме и пристаю ко всем...

В 18.06.2019 в 23:13, enpa сказал:

@bator что нужно для максимальной скорости загрузки - здесь. 

Всё имеется, кроме SSD-диска. Неужели кто-то по USB подключает к роутеру SSD-диск? Если есть такие, то это как минимум странно...

Edited June 19, 2019 by bator

[Le ecureuil]

Это не странно, это покажет правду.

Вот возьмите свой диск внешний, даже по USB3 - это все равно максимум 50-70 iops. А теперь качайте торрент размером в десяток гигов с сотней пиров, раздающих чанки по 4 Мбайт.

Внимание, вопрос!

Сколько недокачанных чанков уместится в ОЗУ и как часто нужно будет их класть на диск и поднимать оттуда для дописывания и проверки хэша?

Даже для топовых устройств это в районе 100 штук, а то и меньше - а значит большее число пиров абсолютно бесполезно и только ухудшит скорость. И это больше числа iops для диска, так что реально работает не больше 50 пиров.

В то время как комп может спокойно кэшировать по 500+ чанков и потихоньку тянуть данные с 500+ пиров.

SSD здесь за счет кратного роста в IOPS показывает это самое узкое место, снижая его влияние на порядки.

[r13]

8 часов назад, bator сказал:

Всё имеется, кроме SSD-диска. Неужели кто-то по USB подключает к роутеру SSD-диск? Если есть такие, то это как минимум странно...

Ну у меня подключен 🙄

Только я торренты на роутере не качаю 😋

Edited June 20, 2019 by r13

[Mikesk]

11 час назад, bator сказал:

Вот спасибо, не догадался я... Зачем-то пошел окольным путем - зарегился тут на форуме и пристаю ко всем...

Если это сарказм, то поделитесь, что вам ответили?

[bator]

В 20.06.2019 в 00:26, Le ecureuil сказал:

Это не странно, это покажет правду.

Ну нет у меня лишнего SSD, чтоб проверить. Не вытаскивать же из компов, где SSD под систему установлены... Ну даже если вытащу - нужно еще где-то переходник SATA-USB надыбать...

В 20.06.2019 в 11:34, Mikesk сказал:

поделитесь, что вам ответили?

Переписывались дней 10. Они предлагали разные варианты проверять - галки ставить/убирать, скорость интернета с роутером и без тестировать, скорость диска и т.п. В итоге  вот окончательный ответ:

Цитата Указанное ограничение Transmission программное, относится к официальным версиям ПО KeeneticOS - и релизам и бета версиям. Этот параметр не является аппаратным ограничением. Гарантировать скорость загрузки в 9 и более МБ/с возможности нет слишком от многих факторов зависит.  По какой причине torrent-клиенту в Вашей схеме не удаётся загружать упершись в программное ограничение в данном случае выявить довольно затруднительно, рекомендации по теме я привёл - пробовать их использовать или нет - выбор за Вами. Обратите внимание на скорость отображаемую в момент загрузки torrent в табл. "Интернет" на вкладке "Системный монитор", пробуйте по максимуму ограничить количество подключённых к Keenetic устройств-клиентов в момент теста. Очень часто производительность torrent-клиента как и всего функционала связанного с USB устройством хранения данных подключённого к Keenetic... Вы сообщаете что наблюдали пиковую скорость близкую к программному ограничению Transmission - все проблемы рекомендуется решать используя наиболее актуальную версию KeeneticOS - предлагаю либо использовать в настоящее время бета версию либо дождаться релиза версии 3.00.

 

 

[V.M.]

 

Такая-же проблема с Ultra (KN-1810) - встроенный Transmission медленно качает со скоростью в среднем порядка ~8Мб/с.

Раньше была Giga II и скорость не сильно отличалась.

Рекомендации по выключению uTP и советы из постов выше выполнил, крутил настройки (settings.json), игрался с кэшем (8,16,32,64Мб) - ничего из этого к существенному увеличению скорости не приводит. Ставил альфа-версию со снятыми ограничениями скорости, но только даже до 10Мб/c скорость поднимается редко и ненадолго, не говоря о 15.

 

Если загружать не из встроенного Transmission, а из установленного на ПК, но сохранять по сети (SMB) и на подключенный к Keenetic USB диск, скорость стабильно в несколько раз выше - порядка ~25-35Мб/c. Из чего вероятно можно сделать вывод, что и диск, и USB подсистема Keenetic Ultra явно способны работать значительно быстрее чем ~8Мб/с.

В аттаче два файла с загрузкой одного и того-же торрента: первый из встроенного клиента, второй удалённо с сохранением на USB диск, подключенный к Ultra.
 

 

 

 

 

 

Edited June 30, 2019 by V.M.

[Le ecureuil]

Торрент как программа требует больше ресурсов чем сочетание nat + usb storage. Собственно вы это и наблюдаете.

[V.M.]

2 hours ago, Le ecureuil said:

Торрент как программа требует больше ресурсов чем сочетание nat + usb storage. Собственно вы это и наблюдаете.

Трудно не согласиться, но всё-таки интересно возможно-ли ускорить/оптимизировать встроенный Transmission (или возможно какой-то другой клиент), чтобы поднять скорость хотя-бы до озвученного ограничения в 15Мб/c вместо текущих ~8Мб/c (причём 8 это в "идеальных" условиях, реально скорее 5-6Мб/с в среднем).

[vasek00]

Чуток про IOPs для USB диска HDD подключенного к ПК по USB3:

- чтение с него "G" на лок.диск ПК "D"

- запись на него "G" с лок.диск ПК "D"

- запущен торрент на ПК и запись его на "D" без отдач, загрузка на 7,5МВ

Диск SSD на ПК

 

 

 

[V.M.]

On 7/6/2019 at 9:51 AM, vasek00 said:

Чуток про IOPs для USB диска HDD подключенного к ПК по USB3:

У меня тот-же самый USB диск, подключенный к относительно слабому ПК (выполняющему роль основного NAS), с лёгкостью выжимает >50-60Мб/с при загрузке торрента (вероятно могло быть и выше, но скорее всего уже в канал упирается). И при сохранении торрента с ПК на USB диск роутера по сети скорости порядка 30-35Мб/c.

Понятно, что ПК с лёгкостью держит десятки пиров и кэширование работает, но я и на роутере для эксперимента повышал размер кэша и снижал количество пиров до 5-10 и искал торренты которые даже 2-3 пира раздают с высокой скоростью, но скорость по прежнему была ниже 10Мб/c.

Можно было-бы списать просадку скорости на менее производительный процессор Ультры, но только по системному монитору загрузка CPU колеблется в районе 20-30%.

 

[sergeyk]

10 минут назад, V.M. сказал:

... но только по системному монитору загрузка CPU колеблется в районе 20-30%.

Всё верно, transmission работает только на одном ядре. Такова его архитектура.

[vasek00]

6 часов назад, V.M. сказал:

У меня тот-же самый USB диск, подключенный к относительно слабому ПК (выполняющему роль основного NAS), с лёгкостью выжимает >50-60Мб/с при загрузке торрента (вероятно могло быть и выше, но скорее всего уже в канал упирается). И при сохранении торрента с ПК на USB диск роутера по сети скорости порядка 30-35Мб/c.

Понятно, что ПК с лёгкостью держит десятки пиров и кэширование работает, но я и на роутере для эксперимента повышал размер кэша и снижал количество пиров до 5-10 и искал торренты которые даже 2-3 пира раздают с высокой скоростью, но скорость по прежнему была ниже 10Мб/c.

Можно было-бы списать просадку скорости на менее производительный процессор Ультры, но только по системному монитору загрузка CPU колеблется в районе 20-30%. 

Опять же КОЛ_ВО ПАМЯТИ РОУТЕРА в 256МБ и необходимость скидывать полученные данные (части/блоки) из памяти, а те которые еще не до кочались держать в памяти.

Скрытый текст

В процессе работы торрента на роутере, монитор показал 50% (128/256 Мбайт) в реале ниже

/ # cat /proc/meminfo
MemTotal:         254696 kB
MemFree:           26024 kB
MemAvailable:      87348 kB
Buffers:             892 kB
Cached:            81252 kB
SwapCached:            0 kB
Active:           108708 kB
Inactive:          44124 kB
Active(anon):      70884 kB
Inactive(anon):       96 kB
Active(file):      37824 kB
Inactive(file):    44028 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:              6440 kB
Writeback:             0 kB
AnonPages:         70708 kB
Mapped:            27096 kB
Shmem:               288 kB
Slab:              23784 kB
SReclaimable:       3996 kB
SUnreclaim:        19788 kB
KernelStack:        1960 kB
PageTables:          956 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:      127348 kB
Committed_AS:     314352 kB
VmallocTotal:    1048372 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB
/ #

/proc/10349 # cat status
Name:   transmissiond
Umask:  0022
State:  S (sleeping)
Tgid:   10349
Ngid:   0
Pid:    10349
PPid:   253
TracerPid:      0
Uid:    0       0       0       0
Gid:    0       0       0       0
FDSize: 256
Groups:  
VmPeak:    43024 kB
VmSize:    41568 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:     23892 kB
VmRSS:     22152 kB
RssAnon:           20192 kB
RssFile:            1960 kB
RssShmem:              0 kB
VmData:    36476 kB
VmStk:       132 kB
VmExe:       488 kB
VmLib:      3884 kB
VmPTE:        56 kB
VmPMD:         0 kB
VmSwap:        0 kB
Threads:        4
...
Speculation_Store_Bypass:       unknown
Cpus_allowed:   f
Cpus_allowed_list:      0-3
voluntary_ctxt_switches:        1277
nonvoluntary_ctxt_switches:     3
/proc/10349 #

 

На скрине выше при работе торрента на ПК и его лок.диск для потока 7,5МB кол-во операций IO=260/s на по стоянке при том что только прием, раздач = 0

При работе торрента на роутере и после остановки торрента простое копирование с HDD роутера

Не много про кол-во памяти

Кол-во free/used/cache памяти при входном канале из интернета при работе торрента (60-80Мбит) и после остановки торрента

При входном потоке 60-80 Мбит (<10МБ) торрент еще читает с диска да еще и с потоком до 19МБ (повторюсь раздача не более 100КБ)

 

 

[V.M.]

15 hours ago, vasek00 said:

На скрине выше при работе торрента на ПК и его лок.диск для потока 7,5МB кол-во операций IO=260/s на по стоянке при том что только прием, раздач = 0

Думаю если зарезать количество пиров до 3-5, поменять размер кэша и другие настройки - картина с IO существенно поменяется. В общем-то в этом и вопрос - как оптимизировать, обойти самые узкие и сдерживающие скорость места.

Пока я вижу, что увеличение кэша до 32-64Мб наоборот только ухудшает скорость, даже при 3-5 быстрых пирах (отдающих по 5-6-8Мб/с).

22 hours ago, sergeyk said:

Всё верно, transmission работает только на одном ядре. Такова его архитектура.

Так он и одно ядро не загружает полностью, судя по выводу htop.

Поставил rtorrent - пободрее конечно, держит порядка ~10-12Мб/с, что где-то в полтора-два раза быстрее чем тот-же самый торрент качает встроенный трансмишн, но возможно есть ещё просто для настройки-оптимизации опциями.

[vasek00]

13 минуты назад, V.M. сказал:

Думаю если зарезать количество пиров до 3-5, поменять размер кэша и другие настройки - картина с IO существенно поменяется. В общем-то в этом и вопрос - как оптимизировать, обойти самые узкие и сдерживающие скорость места.

Пока я вижу, что увеличение кэша до 32-64Мб наоборот только ухудшает скорость, даже при 3-5 быстрых пирах (отдающих по 5-6-8Мб/с).

НЕТ все свои наблюдения на анализе обычного HDD 5400об с размером кеша 8МБ и 128МБ на самих винтах, так же менял размер кеша в торренте до 32МБ для винта с 128MБ было чуток лучше.

Опять же повторюсь при получении только данных (раздача практически 100КБ) помимо самой записи (красный цвет на графике) было еще чтение (зеленый цвет на графике) с диска и скорость чтения была в два раза выше скорости записи.

Возможно гибридный винт SSDH в одном флаконе улучшит, по крайней мере тут и емкость и цена не такая как на SSD.