Miky. Дневник дорвейщика » Программирование http://miky.ru Путь программиста-самурая в нелегком черном деле.. Wed, 19 Nov 2008 11:08:56 +0000 http://wordpress.org/?v=2.9 en hourly 1 Ограничения в сервисах http://miky.ru/ogranicheniya-v-servisax/ http://miky.ru/ogranicheniya-v-servisax/#comments Wed, 21 May 2008 09:04:05 +0000 Miky http://miky.ru/ogranicheniya-v-servisax/ Блин, зла не хватает… В огромном количестве сервисов и сайтов ставят “защиту” от роботов. Мне интересно, владельцы этих сервисов сами понимают, что борются с мельницами? Во всех более-менее популярных сервисах ставятся ограничения по количеству запросов, частые запросы караются баном IP. Но так как информация с этих сервисов нужна некоторым личностям в большом количестве, им приходится парсить их (whois, Яндекс-директ, выдачу поисковиков, бид в партнерках и т.д.). Что мы получаем? С одной стороны – жаждущие тонны инфы люди, с другой стороны – сервисы, которые ставят палки в колеса этим людям. Но разве эти палки, ограничения что-то изменят? Да НИЧЕГО! Просто люди соберут несколько тысяч проксей и все равно получать желаемое, а от сервисов все равно ничего не убудет.

Обычным пользователям нафиг не нужно так много инфы, для низ и нет ограничения. Средние нуждающиеся будут постоянно обламываться, но все равно смогут достать нужное. А проффесионалов, которым нужно много инфы (к примеру, почекать весь миллион рушек на освобождение) – все равно не смогут остановить, именно они создают максимальную нагрузку. Так зачем же кому то мешать? Да, я понимаю, излишняя интенсивность запросов тормозит сервер, но парсят то не домашний сервер, они должны выдерживать нагрузку. И что лучше – много запросов с одного IP или по одному с нескольких тысяч разных IP – еще вопрос…

Вобщем, я разочаровался в головастых главах этих сервисов, чем страдать от парсинга лучше бы просто выкладывали нужную информацию сами.. И, видимо, придется фигачить мегасистему для поиска проксей, их чека, настройки парсинга через прокси и прочими полезными фишками… Кстати, как вариант для поиска большого количества проксей – почекать все 4 миллиарда IP адресов (ip4) на возможность их работы :) )) Трафика конечно уйдет немало, как и времени, зато получится нехилый полный список рабочих проксей в количестве нескольких миллионов штук) Тогда почекать будет можно все что угодно :-D

Кстати, если раньше прокси юзались всякими хакерами для скрытия реального IP, то сейчас наверное большинство используется именно сеошниками, которые просеивают терабайты трафика для поиска нужных данных, спама и прочего))) Владельцы проксей вешаются наверно от лавины трафика…

Фух, успокоился немного.. Пох на эти сервисы, мы их так отпарсим, что они в следующий раз сами дадут нужную инфы :-D

PS. А чекер доменов мне нужен для накопления красивых доменов.. Все таки дорвеи – это не очень стабильно, тайп трафик держится гораздо дольше, хотя и трафика с него меньше… Так сказать, домены – это запасной стабильный вариант заработка, и хотя пока у меня нет капитала для его создания – все может быть :) Еще чекер может понадобится для реги освободившихся доменов с PR-ом (несклееным) и размещения на нем одностраничника + ссылки на другие дорвеи. Но опять нужен капитал небольшой :)

——————————-
Нашел неплохой список факторов ранжирования google . Статья старовата, к тому же переводная, но я нашел для себя несколько полезных пунктов, которые не использовал в доргене. Статья большая, там 100 пунктов, аккуратней))

Dimax перевалил за 1000 подписчиков.. Нехило :) У меня пока скромненькие 18 подписчиков…

]]> http://miky.ru/ogranicheniya-v-servisax/feed/ 5