Miky. Дневник дорвейщика


Путь программиста-самурая в нелегком черном деле..

Хм.. Яндекс жив?

Ноябрь 19, 2008

Итак, в качестве очередного эксперемента был создан очередной дор. По систему, которую я называю “тупо мясо” – рандомно перелинкованные статьи, при каждой загрузке (!!!) генрирующиеся заново, вместе со всеми ссылками, менюшками и прочем. Если интересно – тематика хостинг, 250 страниц, ру домен, свежий хостинг. И спустя пару недель – дорвей целиком висит в индексе Яндекса и Рамблера, и даже получает какой то траф в районе 10-15 хостов в день (с Яндекса, с рамблера почти по нулям). Естественно, никакого спама – только аддурл.. Сейчас уже прошел месяц, какие то колебания есть, но трафа стабильно мало. Выводы:

1) Неет, нет у Яндекса способов автоматом выявлять хреновый контент (то бишь дорвеи), жрет он его с великой радостью, и в индекс добавляет
2) Но некоторые ограничения конечно же есть. Я предполагаю, что немаловажную роль играет количество страниц. Думаю, можно ограничиться 300 на один дор.
3) Гугл все палит безбожно, а без спама – даже начального трафика нет
4) Рама что-то нахимичил, и трафика – хрен, несмотря на наличие в индексе. Догадка о том, что забанили из-за ифрейма имеет место быть, но сейчас уже что-то другое.

Что далее? Буду продолжать эксперемент. Если дорвей будет жить дольше трех месяцев (сейчас месяц) – значит яндекс вполне можно окучить долгожителями и отнимать по чуть-чуть трафка долгое время и без затрат.

Если же нет, то можно повысить эффективность каждого кея, чтобы каждая страница генерировала трафик. А для этого нужно анализировать выдачу по каждому запросу, и если понадобится – анализиоровать весь серп… А это ну ооочень ресурсоемкая задача) Зато этот же дор в 300 страниц сможет генерировать 200-500 хостов трафика ежедневно, что хорошо отражается на балансе…

Может лучше качество?

Июль 29, 2008

А не количество? Я до этого делал доры достаточно размазано… По площадям бил. На каждом доре – не меньше тысячи страниц, из них в топе лишь малая часть, остальное – либо высокая конкуренция, либо нету трафика. Вот я и подумал – а с хрена ли такой низкий КПД? А что если взять всего 10-20 кеев, но с высокой ценой (обязательно), не очень сильной конкуренцией (в зависимости от скилла “дотащу в топ”), со средним количеством поисков в день. Сразу же снимается подозрения на дорвей от кол-ва страниц. Трафика возможно останется столько же, но гораздо более меньшими силами, но даже если его будет меньше в 10 раз – доход будет выше из-за цены кликов. К тому же, если сделать не похожим на дорвей – можно запросто вешать бегун (или адсенс) и получать бОльшее количество денег, чем с PPC.

Думаю, такое вполне можно провернуть. Движок – либо WP, либоо вообще вручную верстать дорвей (на первых порах). При уникальном (или почти уникальном) контенте такой “дорвей” будет жить очень долго, его даже в сапу можно загнать если понадобится)

Мой бурж-дорвей хилый какой то… Несколько беков уже есть, но их явно мало для обращания внимания на дор. Еще не прогнал по базам – наепнулся хард, в итоге слетели все базы и исходники ((( Хорошо хоть многое в инете есть, восстановил, но некоторое заново придется писать.

Почти нихрена не делаю, сегодня вот начал делать базу блогов для спама, русскую, из 700 блогов пока отфильтровал 60, надо еще базы поискать + как ни будь научиться проверять автоматически вид модерации на блоге (вручную заябывает). Самое простое – тупо проспамить по последним постам и проверить наличие коментов)))))

————————

DMaster вернулся из отпуска и продолжает постить полезные вещи)

Откопал сегодня блог некого Vitalino. Судя по постам, человек занимается сателлитами и постепенно переключается на доры… Ну во вяком случае не сидит на месте, посмотрим, что будет)

Буржунет, первые шаги

Июль 23, 2008

Даа, пришлось сегодня посидеть, пока все настроил ( Кучу всего пришлось переделывать, разрабатывать, искать..

Для начала – куда сливать трафик? Второстепенно конечно, но все же.. Остановился на PeakClick, во первых – объединяет несколько фид-провайдеров (если один рухнет – система останется), во вторых – отчего бы не поучаствовать в конкурсе Полубомжа?) Можно в принципе и на умакс сливать, а если трафик более-менее наберется – то и на нишевые партнерки.

Затем, где брать кеи? Больше часа потратил на выяснение, что это за чудо овертюра (так и не нашел).. Программы для её парсинга не работают. Покупать кейворды, даже по нишам, пока что тоже смысла нет – в нынешней ситауции это деньги на ветер. В итоге откопал WordTracker и написал простенький парсер. Пока что он хреново работает, прокси-сервис у меня забросился, а принцип бана по IP пока не понятен (задержка на 5 секунд не особо помогает). В итоге парсю со своего компа, постоянно проверяя, есть ли бан и вводя капчу соответсnвенно :-D Чуть позже выложу, когда доработаю. Как вариант – поднять опять прокси и нормально парсить.

С текстом особых проблем не возникло – википедия + выдача гугла отлично справляются. Пока что вручную, но написать парсер не так уж сложно.

Дорген.. Наконец то не надо мучиться с кодировками, урл кодированием, именами файлов.. Добрую треть доргена можно удалять)) Но все дополнительные сервисы, такие как выдача фида, собирание статистики – пришлось делать копии, так как рунетовские не подходят. Как минимум поисковики в буржунете другие) Кроме гугла разумеется.

Сегодня сделал первый дорвей под буржунет, под мою любимую тематику – cars (вечная тема). Пока что только аддурил в гуглю, MSN и яху. Почти на 100 процентов уверен, что этого мало)) Но пока что из мыслей – разве что добавить в закладки (это еще сколько акков создавать…). Возможно – немного поспамить по буржуйским блогам. Или своими сплогами вывести.. Но в любом случае надо разрабатывать – парсить базы, сортировать и аналиаровать, создавать и прокачивать сплоги… Вобщем, та еще задачка :) Яху кстати отлично ест линки с комментариев на wordpress.com (где то была база).

—————————

Рамблер офигел.. Буквально на неделю назад созданный дорвей (на новой модификации доргена) слил полтонны трафика (( Как так жить, блин.. Если будет солидный трафик с яндекса и гугла – будет хороший стимул продолжать разрабатывать рунет) Надеюсь, рамблер поживет еще несколько месяцев – как раз успею накопить денег на сервер, кейворды, прочие полезные вещи))

Секрет дал интервью. Достаточно интересное, хоть и немного короткое)

“Пиздец” is coming

Июль 20, 2008

Даа… Новость о покупке Бегуна достаточно быстро облетела рунет. К сожалению, я только сейчас заметил строку “и Google становится поиском на www.rambler.ru”.. То есть я теряю львиную долю трафика, и, следовательно, дохода.. По конкретным цифрам моего трафика:

Google: 4.6%
Яндекс: 3.8%
Рамблер: 91.7%

Соответственно, сразу после смены поиска я потеряю 90% трафика и 90% дохода.. И если я начал вплотную приближаться к десятке в день, то после часа Х я вернусь к суммам 20-80 центов в день. А ведь ничего не предвещало бури…

Исходя из этой информации, надо срочно менять направление. Сейчас уже бесполезно клепать банальные доры для рамблера – все равно рано или поздно этот трафик исчезнет. Предыдущая моя политика “В жопу G&Я, рамблер форева!” отправляется туда же… Пока будет идти трафик и деньги – надо будет подготовить новые ходы и новые пути заработка. Возможно, один из них – покупка доргена. В данный момент я вижу два пути:

1) Продолжить клепать доры в рунете под Яндекс. Трафика – море, ничто никуда не исчезнет. Сложность – высокая, бан на бан не приходится, у меня только три домена хоть как то имеются в индексе.. Так же чуток пробовать побороть гугл. Но даже если тут научиться получать трафик – под вопросом, куда его сливать (адалт конечно есть, но..) – бегун тоже накрывается медным тазом, ru PPC идут вместе с ними..

2) Начать копать буржунет. Я уже начинаю жалеть, что не сделал это раньше – был бы хоть какой то опыт.. Скорее под гугл, но можно и на альтернативных поисковиках погреть руки (MSN, яху, что там еще есть..). Сложность – высокая, в случае с гуглом – трафик возможно будет, но его мало по дефолту. Плюс надо заново разрабатывать весь фундамент доров – откуда брать кеи, где парсить текст, генерация доменов – гораздо сложнее. Придется читать десятки мануалов, архивы форумов, несколько месяцев эксперементировать, чтобы начать хоть что-то получать (замечу, что всего в дорвеях я три месяца, и только сейчас начал получать более-менее стабильную плюшку и вышел на окупаемость). Несмотря на все сложности, мне этот вариант кажется гораздо интересней, динамичней и перспективней.

Есть конечно третий вариант – забить на доры и заняться чем то другим, будь то сплоги, сателлиты или СДЛ.. Но я пока не разочарвался в дорах, даже наоборот, я уже начал ленится, а тут скитыщь! и кирдык стабильному заработку :)

————————

Тут некоторые интересовались, почему у меня во whois-е стоит имя Andrey I Giatsintov, он же Spryt. Открою вам страшную тайну, на самом деля я – исскуственный интеллект, который создан, чтобы заработать кучу бабла и поработить мир, согласно плану создателя спрута. Пока что правда не очень получается :( Но я cтараюсь.

Шучу конечно :-D На самом деле я просто обратился к нему с просьбой продать домен для блога. Он согласился отдать его так, но без переоформления (ибо нам обоим не нравятся эта бюрократия с документами). Меня это вполне устраивало, тем более что мое имя не светится :) Чем руководствовался сам спрут – не знаю, это у него спрашивайте.

Кстати, у маулнета во вхуизе стоит “Irina V Vohmyanina” :) Было бы глупо на основе этих данных утверждать, что дон Маул – женщина )

PS. Если у кого есть советы по буржунету и дорам – не стесняйтесь, мне пригодиться любая мелочь))

Думай, как машина

Июль 14, 2008

Хочешь обойти поисковую систему? Тогда думай так же, как она, чтобы понять, как она действует! Нужно развивать машинное мышление. Программистам немного проще, они могут создать модель поисковой системы, с помощью которой можно понять, как действует настоящая ПС. Есть и другой путь – делать так, как нормальные сайты, то есть максимально близкий к ним, но не имеющий ценности. Тоже хороший вариант. Но о нем как ни будь в другой раз…

Итак, поехали:
1. Ваш сайт глазами робота
Что видит робот? Только исходный код. Поэтому вешать на дорвей каждый раз уникальное лого – бессмысленно, он не оценит. Если хотите уникальные лого – просто с помощью php намешайте немного шума на картинку и все.

Но, следует заметить, что программисты пс не дураки, и робот так же подгружает все файлы, которые инклудятся в страницу – стили, картинки, явакод, флешки и т.д. И если в ссылке используется “class=links2″ – то роботу не составит труда проанализировать, какого цвета и размера будет эта ссылка, и соответственно дать ей некий вес.

Далее по ссылкам. Как определить ссылки на странице? Просто выделить в коде все теги A. Как определить их вес? Для каждой ссылки необходимо найти анкор, размер (вычисляется как напрямую в стилях, так и во вложеныых, типа “div id=content”, и в стиля “#content a {}”), цвет (не совпадает ли он с фоном. Кстати, про фон из картинок – достаточно просто вычислить, какого цвета изображение, и соотнести его с цветом текста), ближайшее окружение ссылки (тег жирности, или заголовок), окружающий текст, другие ссылки (если идут подряд – это либо меню, либо список, либо простыня продажных ссылок), и другие параметры, которые я не знаю.

Текст. Текст так же проверяется на невидимость, как и ссылки, хотя обычно он видим. 4-пунктовый текст, скорее всего робот заметит :) С текстом немного сложнее, так как я еще не промоделировал эту часть робота.. Но, к примеру, простое перечисление слов без знаков препинания успешно вычисляется. А вот марков.. По сути, это синтаксически правильный текст, и чтобы понять, что он сгенеририрован автомат, надо либо а) учесть морфологию языка – сложный вариант, так как летающие паровозы делает не только алгоритм маркова, но и всякие обкуренные писатели, либо б) понять, что все тексты на сайте состоят из одного и того же источника. Чтобы избежать второго варианта, нужно использовать большие массивы текста, десятки статей, а не одну-две. Так же логично предположить, что контент проверяется на копипаст, и при его обнаружении вес страницы снижается (или банится на русский яндекс-стиль).

2. Входящие ссылки

Как их находит поисковая система? Во первых, на новых сайтах при индексации. Во вторых, при постоянном обновлении содержания страницы (переиндексации). В третьих, из RSS источников, а такими сейчас обзавелось все – начиная от блогов и форумов и заканчивая контент сайтами. Этот способ сейчас наиболее актуален, так как ПС сразу видит, что добавилось на сайте. Достаточно перепроверять ленты с оптимальной периодичностью (от 2 минут до недели). Теперь понятно, почему всякие социальные закладки могут повлиять на ПС?)) Появление же внутренней ссылки в хиленьком сателлите может остаться незамеченным ооочень долго.

3. Манипуляция посетителями
Вы запомнили, что робот может читать Яваскрипт? Можно попытаться зашифровать его, но по большому счету это бесполезно, разве что какому ни будь провинциальному поисковику. Это как в редакторе карт у варкрафта (там тоже шифруют карты, чтобы не стырили данные) – если карта запускается в варике, значит вы сможете её открыть и в редакторе, надо только постараться)) Если яваскрипт запускается в браузере, то можно декодировать его и получить таки исходный код. В крайнем случае можно запустить сайт в виртуальном браузере и посмотреть, что произойдет)))

Поэтому ставить яваскрипт редирект на дорвеи я считаю полнейшей глупостью. Так же как и анализировать, бот перед тобой или посетитель на том же яваскрипте. После выхода в топ можно конечно поставить, но до первого прихода бота, потом – все. Лучше уж ставить редирект серверно, чтобы робот не видел. Точно так же и анализировать. Или анализировать, а потом вставлять явакод :)

Другие способы перенаправления, типа фреймов, так же можно вычислить. Хотя они и меньше влияют на карму сайта, но все равно сказывается.. К счастью, это не относится к поисковикам второй категории, которые не расшифровывают (или не полностью расшифровывают) яваскрипт и все связи в нем, и протащить сквозь них фрейм или редирект достаточно просто (вы поняли о ком я…).

Вывод:
Больше работы, меньше размышлений)) С помощью эксперементов и опытов можно добиться подтверждения или опровергания своих догадок. В буржуйских сео-блогах частенько описывают такие результаты и их выводы, надо будет поискать подборку. Лучше опытов ничего не даст, лучше один раз попробовать, чем десять раз прочитать.

PS. Теперь я знаю, к чему надо стремится :) Человек в 24 года зарабатывает по 25к$ в месяц честным дорвейным делом )