Можно ли средствами php на vds
ну или какими нибудь другими методами
организовать скачивание файлов с чужого сайта.
Например на чужом сайте имеются файлы c названием типо id_blablabla.png, где
меняется только цифры id, то есть адрес url-файлов шаблонен.
Нужно циклично проверить все адреса, перебирая id в названии файла, если существует файл - скачать.
Проблема в том что в id может принимать от 1 до 30 цифр (можно сказать бесконечность), а файлов на самом деле может быть там пару тысяч.

В internet download есть массовое скачивание, но там ограничение на перебор адресов 1000 . download master зависает и работает как то тормознуто. Uget работает нормально, но тоже есть ограничение 100000 файлов за раз.

Вот нужно один раз запустить и пусть себе перебирает.
________
посл. ред. 13.07.2018 в 03:47; всего 4 раз(а); by andpov

это разве что писать парсер папок

Можно , если руки есть

столько поток выполнять давно бы сервер упал =) лучше частями 1000 если скачал идет новый список чем миллиард получить список

Файлы каких форматов?

.m3u8