PHP/MySQL | Скрипт импортера
Ребята хотел спросить можно ли написать такой скрипт, который будет импортировать файлы с одного сайта на другой, по мере их появления? Тесть не парсер и не грабб а именно импорт без участия человека.
Hackpass (15.10.2015 в 19:26)
Да
Да
Но это будет нелегко?
Можно конечно, и это парсер будет +upload.
Заливать в двух стороннем порядке это лишний гемор.
Логичнее держать парсер, который будет парсить данные в нужную папку, а там дальнешие действия делать, в базу писать данные о файле и т.д.
Когда была соцка (очень давно, в 2010 году), писал такую штуку для java раздела rugame.mobi
"слил" несколько категорий всех игр, потом бросил "слишком большой расход диска" на 80 Gb получилась соцка с практически нулевой посещаемостью
Потом писал такую же шляпу для парсинга книг с какого-то сайта.
Принцип тот же, тырим данные, рапарсиваем страницу, где получаем автора, название и т.д. - данные в базу, книгу в архив, чтобы меньше места занимало.
Заливать в двух стороннем порядке это лишний гемор.
Логичнее держать парсер, который будет парсить данные в нужную папку, а там дальнешие действия делать, в базу писать данные о файле и т.д.
Когда была соцка (очень давно, в 2010 году), писал такую штуку для java раздела rugame.mobi
"слил" несколько категорий всех игр, потом бросил "слишком большой расход диска" на 80 Gb получилась соцка с практически нулевой посещаемостью
Потом писал такую же шляпу для парсинга книг с какого-то сайта.
Принцип тот же, тырим данные, рапарсиваем страницу, где получаем автора, название и т.д. - данные в базу, книгу в архив, чтобы меньше места занимало.
Veteran (15.10.2015 в 19:26)
Ребята хотел спросить можно ли написать такой скрипт, который будет импортировать файлы с одного сайта на другой, по мере их появления? Тесть не парсер и не грабб а именно импорт без участия человека.
Ребята хотел спросить можно ли написать такой скрипт, который будет импортировать файлы с одного сайта на другой, по мере их появления? Тесть не парсер и не грабб а именно импорт без участия человека.
Половина сайтов загрузок по такому принципу работают
Mobiaaa (15.10.2015 в 19:30)
Можно конечно, и это парсер будет +upload.
Заливать в двух стороннем порядке это лишний гемор.
Логичнее держать парсер, который будет парсить данные в нужную папку, а там дальнешие действия делать, в базу писать данные о файле и т.д.
Когда была соцка (очень давно, в 2010 году), писал такую штуку для java раздела rugame.mobi
"слил" несколько категорий всех игр, потом бросил "слишком большой расход диска" на 80 Gb получилась соцка с практически нулевой посещаемостью
Потом писал такую же шляпу для парсинга книг с какого-то сайта.
Принцип тот же, тырим данные, рапарсиваем страницу, где получаем автора, название и т.д. - данные в базу, книгу в архив, чтобы меньше места занимало.
Ну в принципе согласен на фига сколько файлов с нулевой посещаемостью.это если купить домен раскрученный то такая штука пригодится думаю?
Можно конечно, и это парсер будет +upload.
Заливать в двух стороннем порядке это лишний гемор.
Логичнее держать парсер, который будет парсить данные в нужную папку, а там дальнешие действия делать, в базу писать данные о файле и т.д.
Когда была соцка (очень давно, в 2010 году), писал такую штуку для java раздела rugame.mobi
"слил" несколько категорий всех игр, потом бросил "слишком большой расход диска" на 80 Gb получилась соцка с практически нулевой посещаемостью
Потом писал такую же шляпу для парсинга книг с какого-то сайта.
Принцип тот же, тырим данные, рапарсиваем страницу, где получаем автора, название и т.д. - данные в базу, книгу в архив, чтобы меньше места занимало.
Евгений (15.10.2015 в 19:31)
Veteran (15.10.2015 в 19:26)
Ребята хотел спросить можно ли написать такой скрипт, который будет импортировать файлы с одного сайта на другой, по мере их появления? Тесть не парсер и не грабб а именно импорт без участия человека.
Половина сайтов загрузок по такому принципу работают
Veteran (15.10.2015 в 19:26)
Ребята хотел спросить можно ли написать такой скрипт, который будет импортировать файлы с одного сайта на другой, по мере их появления? Тесть не парсер и не грабб а именно импорт без участия человека.
Половина сайтов загрузок по такому принципу работают
Да граббов куча согласен, но свой груз то куда лучше, а самому лить впадляк.
Veteran, в целом да.
Можно парсер настроить на cron,
чтобы он иногда (раз в час) заходил и парсил пару десятков файлов.
якобы админ постоянно льёт груз на сайт
а вообще для груза оптимально VDS а вообще идеально сервер с 2 видами дисков sata бекенд, ssd фронтенд.
итого и объём хранилища огромен (за счёт sata)
и скорость неплохая засчёт кеша на ssd
Можно парсер настроить на cron,
чтобы он иногда (раз в час) заходил и парсил пару десятков файлов.
якобы админ постоянно льёт груз на сайт
а вообще для груза оптимально VDS а вообще идеально сервер с 2 видами дисков sata бекенд, ssd фронтенд.
итого и объём хранилища огромен (за счёт sata)
и скорость неплохая засчёт кеша на ssd
Mobiaaa (15.10.2015 в 21:45)
Veteran, в целом да.
Можно парсер настроить на cron,
чтобы он иногда (раз в час) заходил и парсил пару десятков файлов.
якобы админ постоянно льёт груз на сайт
а вообще для груза оптимально VDS а вообще идеально сервер с 2 видами дисков sata бекенд, ssd фронтенд.
итого и объём хранилища огромен (за счёт sata)
и скорость неплохая засчёт кеша на ssd
Ну если делать что то стоящее то парсер нужно будет делать функциональным и качественным. Даже думаю админка там не помешает,настраивать время парсинга и т. Д
Veteran, в целом да.
Можно парсер настроить на cron,
чтобы он иногда (раз в час) заходил и парсил пару десятков файлов.
якобы админ постоянно льёт груз на сайт
а вообще для груза оптимально VDS а вообще идеально сервер с 2 видами дисков sata бекенд, ssd фронтенд.
итого и объём хранилища огромен (за счёт sata)
и скорость неплохая засчёт кеша на ssd
Veteran, настраивать время запуска в файле это бредово))
в cron демоне нужно это делать) а не в php
в cron демоне нужно это делать) а не в php
Стр.: 1, 2