Ограничения в сервисах
Блин, зла не хватает… В огромном количестве сервисов и сайтов ставят “защиту” от роботов. Мне интересно, владельцы этих сервисов сами понимают, что борются с мельницами? Во всех более-менее популярных сервисах ставятся ограничения по количеству запросов, частые запросы караются баном IP. Но так как информация с этих сервисов нужна некоторым личностям в большом количестве, им приходится парсить их (whois, Яндекс-директ, выдачу поисковиков, бид в партнерках и т.д.). Что мы получаем? С одной стороны – жаждущие тонны инфы люди, с другой стороны – сервисы, которые ставят палки в колеса этим людям. Но разве эти палки, ограничения что-то изменят? Да НИЧЕГО! Просто люди соберут несколько тысяч проксей и все равно получать желаемое, а от сервисов все равно ничего не убудет.
Обычным пользователям нафиг не нужно так много инфы, для низ и нет ограничения. Средние нуждающиеся будут постоянно обламываться, но все равно смогут достать нужное. А проффесионалов, которым нужно много инфы (к примеру, почекать весь миллион рушек на освобождение) – все равно не смогут остановить, именно они создают максимальную нагрузку. Так зачем же кому то мешать? Да, я понимаю, излишняя интенсивность запросов тормозит сервер, но парсят то не домашний сервер, они должны выдерживать нагрузку. И что лучше – много запросов с одного IP или по одному с нескольких тысяч разных IP – еще вопрос…
Вобщем, я разочаровался в головастых главах этих сервисов, чем страдать от парсинга лучше бы просто выкладывали нужную информацию сами.. И, видимо, придется фигачить мегасистему для поиска проксей, их чека, настройки парсинга через прокси и прочими полезными фишками… Кстати, как вариант для поиска большого количества проксей – почекать все 4 миллиарда IP адресов (ip4) на возможность их работы 
)) Трафика конечно уйдет немало, как и времени, зато получится нехилый полный список рабочих проксей в количестве нескольких миллионов штук) Тогда почекать будет можно все что угодно 
Кстати, если раньше прокси юзались всякими хакерами для скрытия реального IP, то сейчас наверное большинство используется именно сеошниками, которые просеивают терабайты трафика для поиска нужных данных, спама и прочего))) Владельцы проксей вешаются наверно от лавины трафика…
Фух, успокоился немного.. Пох на эти сервисы, мы их так отпарсим, что они в следующий раз сами дадут нужную инфы
PS. А чекер доменов мне нужен для накопления красивых доменов.. Все таки дорвеи – это не очень стабильно, тайп трафик держится гораздо дольше, хотя и трафика с него меньше… Так сказать, домены – это запасной стабильный вариант заработка, и хотя пока у меня нет капитала для его создания – все может быть Еще чекер может понадобится для реги освободившихся доменов с PR-ом (несклееным) и размещения на нем одностраничника + ссылки на другие дорвеи. Но опять нужен капитал небольшой
——————————-
Нашел неплохой список . Статья старовата, к тому же переводная, но я нашел для себя несколько полезных пунктов, которые не использовал в доргене. Статья большая, там 100 пунктов, аккуратней))
Dimax перевалил за .. Нехило У меня пока скромненькие 18 подписчиков…
21 Май 2008 at 4:47
Пиши равномерно (не сильно часто, но и не редко) и также интересно как счас (я, кстати, один из тех 18 человек, что сейчас есть), и главное, комментируй больше других блогов аналогичной тематики и сам увидишь, как значения на счетчике начнут быстро расти.
з.ы. надеюсь что у тебя не стоит акисмет, а то этот мой коммент счас уйдет в спам автоматом
22 Май 2008 at 15:35
> Просто люди соберут несколько тысяч проксей и все равно получать желаемое, а от сервисов все равно ничего не убудет.
А проксей на всех не хватит. Ты не поверишь, но в сервисах не дураки сидят, бан по ip – это правильно. Нужно сильно напрячься, что б распарсить чего-то. А это не каждый может. А не было бы бана – парсил бы каждый школьник (а так и было недавно совсем, пару лет всего).
> почекать все 4 миллиарда IP адресов (ip4) на возможность их работы
))
Ты знаешь, что такое прокси? Тем более на нестандартном порту? Это взломанный комп. Повесили тебе троян, он как прокси работает. Когда ты приходишь домой, включаешь комп – прокси работает. Ложишься спать и выключаешь – не работает. Ещё, конечно, кривой апач бывает, но он тоже может сегодня не работать, а завтра опять работать.
Не забудь это учесть, когда чекалку писать будешь.
А чекать все домены на освобождение глупо, вся инфа есть в паблике.
23 Май 2008 at 2:59
DimaX, спасибо за советы, попробую им следовать
Аксимета нет, связка черный список + ручная модерация новых комментаторов
Секрет, смысл банить по IP? Проксей может и не хватит, но способы все равно найдутся, как обойти такие ограничения.
хмм.. Иногда ломанный хост – то есть прокси будет работать достаточно долго – пока админ не заметит утечку трафика… И вообще, разве кто-то будет в паблик кидать свои установленные тяжким трудом прокси? Врятли, я бы так не делал (трудится, набирать прокси, а потом бац – всем спалить и лишиться через пару дней прокси..).
Вообще, можно пойти другим путем – купить IP у хостера.. Но выйдет это существенно дороже, зато отпадает проблема с поиском новых проксей.
А домены.. это для примера, я вообще хотел просто почекать все 4-символьники в зоне ru (так, чисто поржать/посмотреть красивые домены). Сейчас уже в принципе не хочу)
23 Май 2008 at 4:37
Прокси конечно вещь в дорах нужная, но она ничего не решает .(
p.s. лучше покупных все-равно нет.
24 Май 2008 at 5:09
> Секрет, смысл банить по IP?
А смысл банить IP при ддосе? Ддосеры всё равно найдут способ, верно?
> трудится, набирать прокси, а потом бац – всем спалить и лишиться через пару дней прокси..
) Постепенно часть ушла в паблик.
Кто-то из нас чего-то не понял. Затроянил пусть, тыщу компов. Продал прокси (вон, и Toxic_Cat говорит, что лучше покупных ничего нет). А покупатель поделился с соседом, например. Или через публичную чекалку прочекал. (через мою можно, никуда не утекают
К тому же весь инет всё-таки перечекивают. Я не сказал, что это невозможно, просто ресурсов нужно очень много (но см. freeproxy – это окупается). Очень – это десяток серверов, пожалуй, я как-то пробовал считать. Может кому-то это и будет дешевле, чем просто купить, но я таких людей не знаю.
> купить IP у хостера..
Можно. Нормально работает.
> зато получится нехилый полный список рабочих проксей в количестве нескольких миллионов штук
Опять же, про freeproxy – среди прочего они продают полный список проксей. Полляма. Не рабочих, а тех, что хоть раз работали. Не думаю, что они очень далеки от того, что вообще можно начекать в инете (вариант сделать бот-сеть самому не берём).