Ограничения в сервисах
Блин, зла не хватает… В огромном количестве сервисов и сайтов ставят “защиту” от роботов. Мне интересно, владельцы этих сервисов сами понимают, что борются с мельницами? Во всех более-менее популярных сервисах ставятся ограничения по количеству запросов, частые запросы караются баном IP. Но так как информация с этих сервисов нужна некоторым личностям в большом количестве, им приходится парсить их (whois, Яндекс-директ, выдачу поисковиков, бид в партнерках и т.д.). Что мы получаем? С одной стороны – жаждущие тонны инфы люди, с другой стороны – сервисы, которые ставят палки в колеса этим людям. Но разве эти палки, ограничения что-то изменят? Да НИЧЕГО! Просто люди соберут несколько тысяч проксей и все равно получать желаемое, а от сервисов все равно ничего не убудет.
Обычным пользователям нафиг не нужно так много инфы, для низ и нет ограничения. Средние нуждающиеся будут постоянно обламываться, но все равно смогут достать нужное. А проффесионалов, которым нужно много инфы (к примеру, почекать весь миллион рушек на освобождение) – все равно не смогут остановить, именно они создают максимальную нагрузку. Так зачем же кому то мешать? Да, я понимаю, излишняя интенсивность запросов тормозит сервер, но парсят то не домашний сервер, они должны выдерживать нагрузку. И что лучше – много запросов с одного IP или по одному с нескольких тысяч разных IP – еще вопрос…
Вобщем, я разочаровался в головастых главах этих сервисов, чем страдать от парсинга лучше бы просто выкладывали нужную информацию сами.. И, видимо, придется фигачить мегасистему для поиска проксей, их чека, настройки парсинга через прокси и прочими полезными фишками… Кстати, как вариант для поиска большого количества проксей – почекать все 4 миллиарда IP адресов (ip4) на возможность их работы 
)) Трафика конечно уйдет немало, как и времени, зато получится нехилый полный список рабочих проксей в количестве нескольких миллионов штук) Тогда почекать будет можно все что угодно 
Кстати, если раньше прокси юзались всякими хакерами для скрытия реального IP, то сейчас наверное большинство используется именно сеошниками, которые просеивают терабайты трафика для поиска нужных данных, спама и прочего))) Владельцы проксей вешаются наверно от лавины трафика…
Фух, успокоился немного.. Пох на эти сервисы, мы их так отпарсим, что они в следующий раз сами дадут нужную инфы
PS. А чекер доменов мне нужен для накопления красивых доменов.. Все таки дорвеи – это не очень стабильно, тайп трафик держится гораздо дольше, хотя и трафика с него меньше… Так сказать, домены – это запасной стабильный вариант заработка, и хотя пока у меня нет капитала для его создания – все может быть Еще чекер может понадобится для реги освободившихся доменов с PR-ом (несклееным) и размещения на нем одностраничника + ссылки на другие дорвеи. Но опять нужен капитал небольшой
——————————-
Нашел неплохой список . Статья старовата, к тому же переводная, но я нашел для себя несколько полезных пунктов, которые не использовал в доргене. Статья большая, там 100 пунктов, аккуратней))
Dimax перевалил за .. Нехило У меня пока скромненькие 18 подписчиков…