Miky. Дневник дорвейщика


Путь программиста-самурая в нелегком черном деле..

Может лучше качество?

Июль 29, 2008

А не количество? Я до этого делал доры достаточно размазано… По площадям бил. На каждом доре – не меньше тысячи страниц, из них в топе лишь малая часть, остальное – либо высокая конкуренция, либо нету трафика. Вот я и подумал – а с хрена ли такой низкий КПД? А что если взять всего 10-20 кеев, но с высокой ценой (обязательно), не очень сильной конкуренцией (в зависимости от скилла “дотащу в топ”), со средним количеством поисков в день. Сразу же снимается подозрения на дорвей от кол-ва страниц. Трафика возможно останется столько же, но гораздо более меньшими силами, но даже если его будет меньше в 10 раз – доход будет выше из-за цены кликов. К тому же, если сделать не похожим на дорвей – можно запросто вешать бегун (или адсенс) и получать бОльшее количество денег, чем с PPC.

Думаю, такое вполне можно провернуть. Движок – либо WP, либоо вообще вручную верстать дорвей (на первых порах). При уникальном (или почти уникальном) контенте такой “дорвей” будет жить очень долго, его даже в сапу можно загнать если понадобится)

Мой бурж-дорвей хилый какой то… Несколько беков уже есть, но их явно мало для обращания внимания на дор. Еще не прогнал по базам – наепнулся хард, в итоге слетели все базы и исходники ((( Хорошо хоть многое в инете есть, восстановил, но некоторое заново придется писать.

Почти нихрена не делаю, сегодня вот начал делать базу блогов для спама, русскую, из 700 блогов пока отфильтровал 60, надо еще базы поискать + как ни будь научиться проверять автоматически вид модерации на блоге (вручную заябывает). Самое простое – тупо проспамить по последним постам и проверить наличие коментов)))))

————————

DMaster вернулся из отпуска и продолжает постить полезные вещи)

Откопал сегодня блог некого Vitalino. Судя по постам, человек занимается сателлитами и постепенно переключается на доры… Ну во вяком случае не сидит на месте, посмотрим, что будет)

Собираю базу для спама

Июль 25, 2008

Все таки буржунет достаточно сложен.. Обычно боты приходили почти сразу после аддурла, причем иногда все разом (в рунете), тут же – хрен с маслом, уже второй день, а из ботов только MSN заглянул и сразу свалил. Что с этим делать? Правильно, спамить, чтобы пс увидели сайт (определить в нем дорвей даже без захода бота выше моего понимания).

Итак, спам. Первое, что пришло в голову – это блоги. Блогов много, они популярны. Все комментарии посылаются отдельной RSS лентой, которую может зохавать поисковик. Спамилка – простейшая, отправляем 4 поля POST запросом, если 302-ой редирект – значит все ОК.

Где взять базу? Конечно, напарсить с гугла, с блогосервисов и блогохостингов, топов, рейтингов и т.д. Но чуток поискав, нашел отличную базу блогов на wordpress.com с сортировкой по PR. Пока что этого достаточно, хоть она и старовато (но это только плюс, читайте ниже..).

Итак, зафигачиваем 7000 урлов в спамилку и погнали? Не-не-не-не, Девид Блейн, нет! Нафиг оно нам надо? Во первых, надо убрать все меньше двоечки PR. Я для теста убрал все что меньше 5-ки) 120 штук получилось. Затем, как добиться ссылок? Ведь автор спокойно может его удалить, и в итоге теряем кучу времени и ресурсов на ненужный спам (к тому же авторам мешаем, в конце концов они вводят капчу, регистрацию, нестандартные поля и т.д.). Поэтому ищем заброшенные блоги, которые долгое время не обновлялись. Можно ручками, я лично скрипт написал (заходит на блог, хватает RSS ленту, в ленте есть дата обновления..).

От 120 штук осталось 20 блогов, которые не обновлялись больше 3 месяцев (некоторые по полтора года). Далее.. Прошелся по всем, проверил наличие PR на страницах (если ноль – в топку), популярность (если к каждой записи 30-180 коментов – нафига нам такая ссылка?), возможность комментирования (один умник оставил её только для зареганных юзеров), и вообще на валидность блога. Осталось 10 :) Теперь самое простое – проверить наличие модерации. Делатся это обычной проспамкой (я делал все вручную). Если идет премодерация комментариев – либо автор забросил блог и коменты останутся в базе, либо не забросил и промодерирует (и удалит спам), но в любом случае комментарий наш не появятся, только засорим базу.

И вот, спустя несколько часов, ушедших на поиск блогов, написания парсера, чистилки, ручного спама я получил 6 блогов для спама. Зато каких! 1 PR7, 4 PR6, 1 PR5.. Страницы для спама – 1 PR6, 2 PR5. 3 PR4 (четверки можно заменить пятерками, надо поискать еще посты). Модерации нет, капчи нет, наличие авторов – выясняется) Яху эти ссылки видит (хоть там и стоит nofollow), гугля думаю тоже отлично их видит (разве что веса передается меньше, а в поиске он давно не показывает).

Еще можно получать спамить ссылки + текст по теме с помощью этого метода – если авторов нет, то можно как угодно ставить ссылки (я там видел даже арабские и конечно же русские имена комментаторов, ключи то бишь).

Для разнообразия остается выделить все записи с хорошим PR-ом и малым количеством коментов, и вперед! Правда, надо еще базу увеличить (те 7к отфильтровать), плюс пройтись по гуглу или рейтингам для сбора базы. Можно так же в рунете пройтись – заброшенные блоги без модерации комментариев. Думаю, это будет полезно для того же Яндекса.

———————-

Король умер – да здравствует король!
В моем трафике теперь доля Яндекса – 65%, Гугла – 20%. Это была бы достаточно радостная новость, если бы не тот факт, что общее количество трафика упало в 10 раз, а денег – в 30 раз (( Причем трафик с Я&G сильно замусоренный, с рамы идет 7-15% CTR (2-4$ за 1к ), с них же – кое-как дотягивает до 1-4%. В итоге – радостные 2 цента в день (UPD: набирается уже 20 центов.. прогресс!) (( Суммарно в индексе яши 12к страниц, почему так произошло – хрен его знает. В раме все побанено, хотя поиск не идентичен с гуглом (либо это просто улучшение поиска, либо гугл уже встроил механизм чистку выдачи, хотя не сделал её одинаковой с гуглом).

Вобщем, чем быстрее я смогу получать свои копейки в буржунете, тем лучше, ибо все, тема с Рамблером закрыта (хотя, может, и не закрыта.. но одновременный бан всех моих доров.. либо пропалился с одним IP-ом, либо действительно фильтры. Для проверки наверно зафигачу на другом хостинге дорвейчик).

Alexf запостил проэкспайренные домены с PR. Конечно, сейчас их всех зарегали, но мысль это хорошая, к примеру один из доров, что в индексе Яши – был с тицом 30 PR2, и проиндексировался гораздо быстрее остальных. Тут либо это поможет в индексации, либо окончательно прибьет все надежды на траф))

Буржунет, первые шаги

Июль 23, 2008

Даа, пришлось сегодня посидеть, пока все настроил ( Кучу всего пришлось переделывать, разрабатывать, искать..

Для начала – куда сливать трафик? Второстепенно конечно, но все же.. Остановился на PeakClick, во первых – объединяет несколько фид-провайдеров (если один рухнет – система останется), во вторых – отчего бы не поучаствовать в конкурсе Полубомжа?) Можно в принципе и на умакс сливать, а если трафик более-менее наберется – то и на нишевые партнерки.

Затем, где брать кеи? Больше часа потратил на выяснение, что это за чудо овертюра (так и не нашел).. Программы для её парсинга не работают. Покупать кейворды, даже по нишам, пока что тоже смысла нет – в нынешней ситауции это деньги на ветер. В итоге откопал WordTracker и написал простенький парсер. Пока что он хреново работает, прокси-сервис у меня забросился, а принцип бана по IP пока не понятен (задержка на 5 секунд не особо помогает). В итоге парсю со своего компа, постоянно проверяя, есть ли бан и вводя капчу соответсnвенно :-D Чуть позже выложу, когда доработаю. Как вариант – поднять опять прокси и нормально парсить.

С текстом особых проблем не возникло – википедия + выдача гугла отлично справляются. Пока что вручную, но написать парсер не так уж сложно.

Дорген.. Наконец то не надо мучиться с кодировками, урл кодированием, именами файлов.. Добрую треть доргена можно удалять)) Но все дополнительные сервисы, такие как выдача фида, собирание статистики – пришлось делать копии, так как рунетовские не подходят. Как минимум поисковики в буржунете другие) Кроме гугла разумеется.

Сегодня сделал первый дорвей под буржунет, под мою любимую тематику – cars (вечная тема). Пока что только аддурил в гуглю, MSN и яху. Почти на 100 процентов уверен, что этого мало)) Но пока что из мыслей – разве что добавить в закладки (это еще сколько акков создавать…). Возможно – немного поспамить по буржуйским блогам. Или своими сплогами вывести.. Но в любом случае надо разрабатывать – парсить базы, сортировать и аналиаровать, создавать и прокачивать сплоги… Вобщем, та еще задачка :) Яху кстати отлично ест линки с комментариев на wordpress.com (где то была база).

—————————

Рамблер офигел.. Буквально на неделю назад созданный дорвей (на новой модификации доргена) слил полтонны трафика (( Как так жить, блин.. Если будет солидный трафик с яндекса и гугла – будет хороший стимул продолжать разрабатывать рунет) Надеюсь, рамблер поживет еще несколько месяцев – как раз успею накопить денег на сервер, кейворды, прочие полезные вещи))

Секрет дал интервью. Достаточно интересное, хоть и немного короткое)

“Пиздец” is coming

Июль 20, 2008

Даа… Новость о покупке Бегуна достаточно быстро облетела рунет. К сожалению, я только сейчас заметил строку “и Google становится поиском на www.rambler.ru”.. То есть я теряю львиную долю трафика, и, следовательно, дохода.. По конкретным цифрам моего трафика:

Google: 4.6%
Яндекс: 3.8%
Рамблер: 91.7%

Соответственно, сразу после смены поиска я потеряю 90% трафика и 90% дохода.. И если я начал вплотную приближаться к десятке в день, то после часа Х я вернусь к суммам 20-80 центов в день. А ведь ничего не предвещало бури…

Исходя из этой информации, надо срочно менять направление. Сейчас уже бесполезно клепать банальные доры для рамблера – все равно рано или поздно этот трафик исчезнет. Предыдущая моя политика “В жопу G&Я, рамблер форева!” отправляется туда же… Пока будет идти трафик и деньги – надо будет подготовить новые ходы и новые пути заработка. Возможно, один из них – покупка доргена. В данный момент я вижу два пути:

1) Продолжить клепать доры в рунете под Яндекс. Трафика – море, ничто никуда не исчезнет. Сложность – высокая, бан на бан не приходится, у меня только три домена хоть как то имеются в индексе.. Так же чуток пробовать побороть гугл. Но даже если тут научиться получать трафик – под вопросом, куда его сливать (адалт конечно есть, но..) – бегун тоже накрывается медным тазом, ru PPC идут вместе с ними..

2) Начать копать буржунет. Я уже начинаю жалеть, что не сделал это раньше – был бы хоть какой то опыт.. Скорее под гугл, но можно и на альтернативных поисковиках погреть руки (MSN, яху, что там еще есть..). Сложность – высокая, в случае с гуглом – трафик возможно будет, но его мало по дефолту. Плюс надо заново разрабатывать весь фундамент доров – откуда брать кеи, где парсить текст, генерация доменов – гораздо сложнее. Придется читать десятки мануалов, архивы форумов, несколько месяцев эксперементировать, чтобы начать хоть что-то получать (замечу, что всего в дорвеях я три месяца, и только сейчас начал получать более-менее стабильную плюшку и вышел на окупаемость). Несмотря на все сложности, мне этот вариант кажется гораздо интересней, динамичней и перспективней.

Есть конечно третий вариант – забить на доры и заняться чем то другим, будь то сплоги, сателлиты или СДЛ.. Но я пока не разочарвался в дорах, даже наоборот, я уже начал ленится, а тут скитыщь! и кирдык стабильному заработку :)

————————

Тут некоторые интересовались, почему у меня во whois-е стоит имя Andrey I Giatsintov, он же Spryt. Открою вам страшную тайну, на самом деля я – исскуственный интеллект, который создан, чтобы заработать кучу бабла и поработить мир, согласно плану создателя спрута. Пока что правда не очень получается :( Но я cтараюсь.

Шучу конечно :-D На самом деле я просто обратился к нему с просьбой продать домен для блога. Он согласился отдать его так, но без переоформления (ибо нам обоим не нравятся эта бюрократия с документами). Меня это вполне устраивало, тем более что мое имя не светится :) Чем руководствовался сам спрут – не знаю, это у него спрашивайте.

Кстати, у маулнета во вхуизе стоит “Irina V Vohmyanina” :) Было бы глупо на основе этих данных утверждать, что дон Маул – женщина )

PS. Если у кого есть советы по буржунету и дорам – не стесняйтесь, мне пригодиться любая мелочь))

Думай, как машина

Июль 14, 2008

Хочешь обойти поисковую систему? Тогда думай так же, как она, чтобы понять, как она действует! Нужно развивать машинное мышление. Программистам немного проще, они могут создать модель поисковой системы, с помощью которой можно понять, как действует настоящая ПС. Есть и другой путь – делать так, как нормальные сайты, то есть максимально близкий к ним, но не имеющий ценности. Тоже хороший вариант. Но о нем как ни будь в другой раз…

Итак, поехали:
1. Ваш сайт глазами робота
Что видит робот? Только исходный код. Поэтому вешать на дорвей каждый раз уникальное лого – бессмысленно, он не оценит. Если хотите уникальные лого – просто с помощью php намешайте немного шума на картинку и все.

Но, следует заметить, что программисты пс не дураки, и робот так же подгружает все файлы, которые инклудятся в страницу – стили, картинки, явакод, флешки и т.д. И если в ссылке используется “class=links2″ – то роботу не составит труда проанализировать, какого цвета и размера будет эта ссылка, и соответственно дать ей некий вес.

Далее по ссылкам. Как определить ссылки на странице? Просто выделить в коде все теги A. Как определить их вес? Для каждой ссылки необходимо найти анкор, размер (вычисляется как напрямую в стилях, так и во вложеныых, типа “div id=content”, и в стиля “#content a {}”), цвет (не совпадает ли он с фоном. Кстати, про фон из картинок – достаточно просто вычислить, какого цвета изображение, и соотнести его с цветом текста), ближайшее окружение ссылки (тег жирности, или заголовок), окружающий текст, другие ссылки (если идут подряд – это либо меню, либо список, либо простыня продажных ссылок), и другие параметры, которые я не знаю.

Текст. Текст так же проверяется на невидимость, как и ссылки, хотя обычно он видим. 4-пунктовый текст, скорее всего робот заметит :) С текстом немного сложнее, так как я еще не промоделировал эту часть робота.. Но, к примеру, простое перечисление слов без знаков препинания успешно вычисляется. А вот марков.. По сути, это синтаксически правильный текст, и чтобы понять, что он сгенеририрован автомат, надо либо а) учесть морфологию языка – сложный вариант, так как летающие паровозы делает не только алгоритм маркова, но и всякие обкуренные писатели, либо б) понять, что все тексты на сайте состоят из одного и того же источника. Чтобы избежать второго варианта, нужно использовать большие массивы текста, десятки статей, а не одну-две. Так же логично предположить, что контент проверяется на копипаст, и при его обнаружении вес страницы снижается (или банится на русский яндекс-стиль).

2. Входящие ссылки

Как их находит поисковая система? Во первых, на новых сайтах при индексации. Во вторых, при постоянном обновлении содержания страницы (переиндексации). В третьих, из RSS источников, а такими сейчас обзавелось все – начиная от блогов и форумов и заканчивая контент сайтами. Этот способ сейчас наиболее актуален, так как ПС сразу видит, что добавилось на сайте. Достаточно перепроверять ленты с оптимальной периодичностью (от 2 минут до недели). Теперь понятно, почему всякие социальные закладки могут повлиять на ПС?)) Появление же внутренней ссылки в хиленьком сателлите может остаться незамеченным ооочень долго.

3. Манипуляция посетителями
Вы запомнили, что робот может читать Яваскрипт? Можно попытаться зашифровать его, но по большому счету это бесполезно, разве что какому ни будь провинциальному поисковику. Это как в редакторе карт у варкрафта (там тоже шифруют карты, чтобы не стырили данные) – если карта запускается в варике, значит вы сможете её открыть и в редакторе, надо только постараться)) Если яваскрипт запускается в браузере, то можно декодировать его и получить таки исходный код. В крайнем случае можно запустить сайт в виртуальном браузере и посмотреть, что произойдет)))

Поэтому ставить яваскрипт редирект на дорвеи я считаю полнейшей глупостью. Так же как и анализировать, бот перед тобой или посетитель на том же яваскрипте. После выхода в топ можно конечно поставить, но до первого прихода бота, потом – все. Лучше уж ставить редирект серверно, чтобы робот не видел. Точно так же и анализировать. Или анализировать, а потом вставлять явакод :)

Другие способы перенаправления, типа фреймов, так же можно вычислить. Хотя они и меньше влияют на карму сайта, но все равно сказывается.. К счастью, это не относится к поисковикам второй категории, которые не расшифровывают (или не полностью расшифровывают) яваскрипт и все связи в нем, и протащить сквозь них фрейм или редирект достаточно просто (вы поняли о ком я…).

Вывод:
Больше работы, меньше размышлений)) С помощью эксперементов и опытов можно добиться подтверждения или опровергания своих догадок. В буржуйских сео-блогах частенько описывают такие результаты и их выводы, надо будет поискать подборку. Лучше опытов ничего не даст, лучше один раз попробовать, чем десять раз прочитать.

PS. Теперь я знаю, к чему надо стремится :) Человек в 24 года зарабатывает по 25к$ в месяц честным дорвейным делом )