Массовый чекер бэклинков по yahoo!


Приветствую.
Не так давно появилась необходимость прочекать массово довольно-таки большой объем сайтов на бэклинки по яху. Из существующих решений не нашел ничего внятного. Какие-то кустарные методы и способы. Например, зачем использовать парсинг ссылок со страниц siteexplorer (и так на протяжении 10 Football страниц), если можно заюзать ссылку на скачку первых 1к new результатов в формате TSV сразу же с первой Its страницы? Это быстрее в разы и банят не так быстро…

Многопоточности в такого рода программах я также нигде не нашел (а там, где многопоточность – там и прокси по-любому нужны). Пришлось писать самому :)

Вот что из этого получилось: скачать программу для массовой проверки ссылок по Яху (Yahoo!)

Как с ней работать:

если вам надо прочекать много сайтов на бэки, то для этого понадобятся прокси, где их брать – это уже ваша забота (сайтов с бесплатным доступом, на самом деле хватает – wholesale jerseys найти не так сложно). Программа работает только с HTTP-проксями, так что будьте внимательны, socks-прокси не подойдут. Собираете список проксей в обычном формате PROXY_IP:PROXY_PORT (например, 123.123.123.123:80), кладете в файл proxy.txt в папке с программой, одна строка – один прокси. Далее в файл sites.txt кладете список сайтов (без «http://»), которые нужно чекнуть. Особенность одна – домены с «www» и без «www» – это, обычно, разные домены, так что сами решайте, что вам нужно чекнуть. Далее запускаете программку, выбираете использовать или нет прокси (если сайтов для чека мало – прокси можно не юзать), объединять или нет результаты проверки в один файл по окончании, выставляете нужное количество потоков и вперед! Результаты парсинга отображаются в т.н. «мониторе потоков».

Результаты чека будут складываться в папку results в виде sitename___links_threadid.txt, threadid – это номер потока (а не количество распарсенных ссылок), сделано в целях избежания ошибок при попадании в список Soccer дубликатов сайтов.

Вопросы есть? Или нужны еще какие-то специфические программы? Тогда, го в камменты


Like it? Share with your friends!

-1

Добавить комментарий

Ваш e-mail не будет опубликован.

Массовый чекер бэклинков по yahoo!

log in

reset password

Back to
log in