Монтируем (подключаем) Yandex диск в локальную папку

[vasek00 506]

https://webdav.yandex.ru on /tmp/mnt/01D4A5C538532360/Yandex type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other,max_read=16384)

1. Клиент Windows 10, имеет сетевую папку "Сеть>192.168.130.100>d3-1>Yandex>Proba" которая указывает на

/tmp/mnt/01........60/Yandex/Proba # df
Filesystem           1K-blocks      Used Available Use% Mounted on
....
/dev/sda2              4679210    173689   4255870   4% /opt
https://webdav.yandex.ru
                      10485756     70992  10414764   1% /tmp/mnt/01.....60/Yandex
/tmp/mnt/01......60/Yandex/Proba # 

2. На момент пробы данная папка/каталог был пустой

3. На ПК из D:\.....WLAN_Broadcom....... ---------> "Сеть>192.168.1.1>d3-1>Yandex>Proba" копируется файл

4. Данный файл появился как на роутере так и в браузере

5. Повторение процедуры с другим именем файла п.3-4

Раздел на роутере под NTFS

Edited January 24, 2019 by vasek00

[ankar84 125]

7 часов назад, vasek00 сказал:

Раздел на роутере под NTFS

Имеете ввиду подмонтировать Яндекс не на флешку с Entware, а на NTFS диск?

Сегодня обязательно попробую, большое спасибо!

[vasek00 506]

2 часа назад, ankar84 сказал:

Имеете ввиду подмонтировать Яндекс не на флешку с Entware, а на NTFS диск? 

Я просто показал что у меня, у меня два раздела и Yandex диск на втором NTFS (в ней создана папака Proba), к ПК примонтирован сетевой диск с роутера Yandex. При копировании с ПК на Yandex/Proba виден результат как на роутере, так и в браузере со страницей yandex и в самой сетевой папке Yandex/Proba. Файл был 34МБ и канал 100Мбит.

[ankar84 125]

2 часа назад, vasek00 сказал:

При копировании с ПК на Yandex/Proba виден результат как на роутере, так и в браузере со страницей yandex и в самой сетевой папке Yandex/Proba. Файл был 34МБ и канал 100Мбит.

Я вот как раз примерно так и планирую использовать.

Цель:

1. К компьютеру подключена как сетевой диск CIFS шара роутера (подключенный внешний USB диск с NTFS)

2. Монтируем Yandex в папку на подключенный к роутеру внешний USB диск.

3. Работаем на компьютере на сетевом диске.

4. Получаем при этом копию на роутере и копию в Яндекс.Диск

[vasek00 506]

19 минут назад, ankar84 сказал:

Я вот как раз примерно так и планирую использовать.

4. Получаем при этом копию на роутере и копию в Яндекс.Диск

Прогнал сегодня файл по такой схеме размером 1,3GB вся процедура затронула время с 11:36 по 11:45 (где канал с интернетом в данный период был загружен от 20-40Мбит) в итоге файл на сервере Yandex.

по п.4 это все виртуально, так как физически это находиться на сервере Yandex, любое открытие будет связано с Использованием канала Интернет. Если вам нужна именно синхронизация то есть сервисы именно для синхронизации.

Так же клиенты Windows, смартфоны/планшеты можно напрямую настроить на работу с Webdav.

[Александр Рыжов 406]

17 минут назад, ankar84 сказал:

Я вот как раз примерно так и планирую использовать.

Отважно:) davfs2 кэширует файлы локально перед заливкой на ресурс.

Достаточно ли места в папке кэша? Сколько будет крупный файл уходить в облако, учитывая что Я.Диск по WebDAV еле тошнит?

[vasek00 506]

16 минут назад, Александр Рыжов сказал:

Отважно:) davfs2 кэширует файлы локально перед заливкой на ресурс.

Достаточно ли места в папке кэша? Сколько будет крупный файл уходить в облако, учитывая что Я.Диск по WebDAV еле тошнит? 

Именно в такой роли и проверил на файле 1,3GB с конф ниже, время на все про все получилось с 11:36 по 11:45, так же учтем что файл на Yandex размером до 2GB. Не загружая на 100% канал и не мешая ни кому.

# backup_dir      lost+found
cache_dir       /opt/var/cache/davfs2 # system wide cache
#                 ~/.davfs2/cache   # per user cache
# cache_size      50                # MiByte
# table_size      1024
# dir_refresh     60                # seconds
# file_refresh    1                 # second
# delay_upload    10
# gui_optimize    0
# minimize_mem    0

Где кеш - находиться на диске с размер 4GB раздела, сам виртуал на другом разделе.

После того как файл улетел на yandex

/opt/var/cache/davfs2/webdav.yandex.ru+tmp-mnt-01...60-Yandex+root # ls -l
/opt/var/cache/davfs2/webdav.yandex.ru+tmp-mnt-01...60-Yandex+root #

 

Edited January 25, 2019 by vasek00

[el matador 3]

Друзья! Подскажите пожалуйста, что нового появилось по поводу подключения Webdav (Яндекс диск) в автоматическом режиме, чтобы прописать автомонтирование?
В "ручном" режиме все прописывается, но ведь это до первой перезагрузки и потом все снова монтировать.😕
Очень надеюсь на помощь наших Гуру))) Ведь данный вопрос возможно интересен многим.

[vasek00 506]

3 часа назад, el matador сказал:

В "ручном" режиме все прописывается, но ведь это до первой перезагрузки и потом все снова монтировать.😕

Так тут выше с первых постов как бы все прописано и даже скрипты запуска есть, тем более у вас в ручную все получается. Разместите свой скрипт запуска в /opt/etc/init.d назвав его

S99ya_disk

и разместив в нем свои команды, потом права запуска на него

chmod +x S99ya_disk

 

 

[ankar84 125]

18 часов назад, Александр Рыжов сказал:

Достаточно ли места в папке кэша? Сколько будет крупный файл уходить в облако, учитывая что Я.Диск по WebDAV еле тошнит?

У меня Entware на флешке 16Gb, 14 из которых свободны, так что кэш могу сделать вполне большой.

К тому же файлы по такой схеме планирую заливать скорее маленькие (в основном графические файлы).

Кстати, есть у кого-то опыт по работе в такой схеме?

Например, открыть графический файл на редактирование в Photoshop с сетевой папки, которая примаплена в ЯД, вносить изменения, сохранять. Получится ли?

В итоге нужно чтобы после всей работы и на сетевой папке и на ЯД остались результаты работы - отредактированный графический файл в данном примере.

Кстати, спасибо большое за эту схему @zyxmon @Александр Рыжов и @vasek00 - при монтировании на NTFS диск все доступно по сети через CIFS.

Только при открытии пока очень все тормозит, попробую поиграться с кэшами и тайм-аутами.

И наиболее вероятно, имхо, что при монтировании на ext[2,3,4] диск работали unix permissions, а при монтировании на NTFS они уже не работали и ЯД стал виден всем.

[Александр Рыжов 406]

5 часов назад, ankar84 сказал:

К тому же файлы по такой схеме планирую заливать скорее маленькие (в основном графические файлы).

Кстати, есть у кого-то опыт по работе в такой схеме?

Например, открыть графический файл на редактирование в Photoshop с сетевой папки, которая примаплена в ЯД, вносить изменения, сохранять. Получится ли?

Повторюсь, «получится» не означает «надо использовать».

В цепочке между своей работой в Photoshop (я предполагаю, что она для вас сколь-нибудь значима) и местом хранения файлов возникают дополнительные звенья, снижающие надёжность хранения информации: роутер, локалка, флешка, интернет, davfs2, samba, NTFS-драйвера и пр.

@vasek00 показывает «всё получилось» на примере относительно большого файла, где процесс сохранения, скажем, вашей работы в Photoshop занимает десять минут, в течение которых очень желательно, чтобы не было сбоев работы ни в одном из введённых вами новых звеньев.

Что мешает использовать Яндекс.Диск на машине с Photoshop?

Если всё же решитесь на схему выше, хоть снабдите роутер бесперебойкой.

[vasek00 506]

4 часа назад, Александр Рыжов сказал:

.....показывает «всё получилось» на примере относительно большого файла, где процесс сохранения, скажем, вашей работы в Photoshop занимает десять минут, в течение которых очень желательно, чтобы не было сбоев работы ни в одном из введённых вами новых звеньев.

Что мешает использовать Яндекс.Диск на машине с Photoshop? 

Если всё же решитесь на схему выше, хоть снабдите роутер бесперебойкой.

Согласен с данным выражением, что лучше использовать на самом клиенте ПК сразу выход на Yandex диск.

Про то что получилось для файла 1,3GB и в данном конкретном случае :

а. файл был в кеше

б. копирование файла из кеша на Yandex диск шли в фоне

 

По поводу связки про которую пишут

где процесс сохранения, скажем, вашей работы в Photoshop занимает десять минут

проверил на файлах 2-4МB "jpg" - на слабом ноуте с 2GB памятью, после загрузки Win10 и браузера в сухом остатке 500МB свободной памяти.

1. Открытие файла редактором с сетевой папки Yandex диска и через некоторое время запись его обратно под новым именем, в 16:15 открытие (и сразу на диск в кеш) и запись его обратно после 16:19 (все в сетевую папку на ПК) минуя кеш (т.е. сразу на интернет канал).

2. Повторение пункта 1. в 16:23 открытие и после 16:26 обратно запись его.

 

Единственное были мелкие проблемы 2 года назад, когда через свои скрипты велось логирование некоторых действий с роутера, т.е. действие и запись результата, опять действие и запись результата. Некоторые результаты шли друг за другом сразу же, в итоге были "бзики", приходилось подчищать кеш от Yandex диска.

Edited January 26, 2019 by vasek00

[ankar84 125]

7 часов назад, Александр Рыжов сказал:

снижающие надёжность хранения информации: роутер, локалка, флешка, интернет, davfs2, samba, NTFS-драйвера и пр

как раз хочу (хотел) повысить надежность хранения увеличив количество копий в 2 раза. Задача возникла когда ноутбук супруги не включился и был оправлен в ремонт с чуть-чуть не доделанной работой. Винт из ремонта чуть позже забрал и работу жена доделала.

Возможно вы оба правы и максимальная надежность будет в клиенте ЯД на рабочем месте.

@vasek00 большое спасибо за такой подробный анализ происходящего! Приятно почитать.

[vasek00 506]

38 минут назад, ankar84 сказал:

как раз хочу (хотел) повысить надежность хранения увеличив количество копий в 2 раза.

Для таких целей удобно ПО - синхронизация файлов и папок, пробовал "syncthing"

то что нужно. На роутере винт на нем "syncthing" и папка для размещения информации/синхронизации, есть клиент без разнице где локальный или интернет на нем так же запущен "syncthing", основано на p2p т.е. файл разбит на части и изменение в одной из них произведет синхронизацию данной части. Настроек очень много и вариантов настройки.

В NAS на ARM идет данная плюшка и удобна в работе. 7621 в данном роутер не сказать что пыхтит, но работает, не помню по моему есть возможность в ограничении скорости для синхронизации.

http://forums.zyxmon.org/viewtopic.php?f=5&t=5376

Пробовал еще тогда на KII проце 6856 двух поточном.

Для ваших задач и такого размера файлов если роутер не сильно загружен то можете попробовать, для windows/android есть клиенты.

Тут как раз роутер/nas удобен, так как не надо держать одного из клиента включеным, роутер же включен.

 

[el matador 3]

В 24.01.2019 в 15:52, ankar84 сказал:

У меня все подмантировалось успешно, за исключением одного НО. Вот как я делал:

Сначала идет в настройки учетной записи в Яндексе и получаем там пароль приложения для WebDav, именно его и будет использовать

opkg install davfs2
touch S99ya_disk
chmod +x S99ya_disk
wget -O - http://certificate.fyicenter.com/Download-Certificate.php?ID=329 > /opt/etc/davfs2/certs/Certum_Trusted_Network_CA.crt
echo 'servercert /opt/etc/davfs2/certs/Certum_Trusted_Network_CA.crt' >> /opt/etc/davfs2/davfs2.conf
echo '/opt/home/yandex username password' >> /opt/etc/davfs2/secrets
chmod 0600 /opt/etc/davfs2/secrets
vi S99ya_disk

Тут опять же редактируем точку монтирования в /opt/home/yandex

Спасибо большое! Все получилось! Только не реализовал просмотр примонтированного раздела Яндекс диска в сети на других станциях. Буду пробовать раздел NTFS.

Ребят, извините за вопрос возможно не по теме (если есть мысли направьте в нужное русло), но может кто занимался вопросом: как сделать чтобы Keenetic информировал по средствам сообщений (СМС или по почте) на предмет различных событий - перезагрузка, мало места на примонтированном разделе и все такое?

[vasek00 506]

3 часа назад, el matador сказал:

Ребят, извините за вопрос возможно не по теме (если есть мысли направьте в нужное русло), но может кто занимался вопросом: как сделать чтобы Keenetic информировал по средствам сообщений (СМС или по почте) на предмет различных событий - перезагрузка, мало места на примонтированном разделе и все такое?

смотрите

 

[Le ecureuil 4,737]

Надежность - это rclone sync по cron. Все остальное только снижает ее.

[vasek00 506]

20 минут назад, Le ecureuil сказал:

Надежность - это rclone sync по cron. Все остальное только снижает ее.

Ее принцип

Цитата

При выполнении операций копирования и синхронизации rclone проверяет все файлы по дате и времени изменения или md5-сумме. Из директории-источника в директорию назначения передаются те файлы, которые были изменены.

...

Загрузка объектов большого размера

Проверим скорость работы rclone ещё на одном тесте: попытаемся загрузить в хранилище объект большого размера — более 20 ГБ. Файлы до 20 ГБ загружаются в хранилище при помощи стандартных команд. Процедура загрузки файлов большего размера проходит по-другому: файл делится на сегменты, которые загружаются в отдельный контейнер.

Rclone по умолчанию делит такие файлы на сегменты размером по 5ГБ каждый. В случае необходимости размер сегмента можно изменить с помощью опции -swift-chunk-size. Мы попробовали загрузить в хранилище файл размером 25 ГБ. Rclone справился с этой задачей за 11 минут 14 секунд. Результат, как видим, вполне неплохой.

это новая копия файла, при 100% использовании канала данным сервисом rclone в данный момент времени по cron.

[el matador 3]

Ребят, подскажите пожалуйста как можно синхронизировать символические ссылки на каталоги с каталогом?

К примеру: подключил я по WebDAV в папку Яндекс диск и эту папку хочу синхронизировать с папкой на файловом хранилище WD, шара которой подмонтирована на USB диск Keenetic. Возможен ли такой сценарий?