Miky. Дневник дорвейщика


Путь программиста-самурая в нелегком черном деле..

Рубрика ‘Дорвеи’


Парсинг ру кейвордов

Думаю логично, что для создания дорвея нужны ключевые слова. Для любого – что ориентированного на большое количество НЧ, так и заточенного под один СЧ – все равно нужны кейворды. Их можно либо купить, либо напарсить. Купить – это слишком просто, хотя если есть деньги или нужны резко 140 лямов кеев – то этот способ для вас. У меня же несколько другая цель, да и возможности, поэтому мы будем парсить.

С чего парсить? Если цель собрать ВСЕ ключи – то можно эфир яндекса. Если по определенной тематике – то идеальный вариант Яндекс.Директ. Можно использовать аналогичный сервис у рамблера, но у яндекса гораздо большее кеев.

Следующий вопрос – чем парсить? Сначала я хотел серверным скриптом, но пожадничал с таймаутом (надо ставить около 10 секунд, чтобы яндекс не заподозрил в нас бота и не забанил айпишник). В результате вдоволь намучившись с покорением автобана, решил временно забить на серверные реализации (которые потом придется вспоминать, для автоматизации), а скачал Магадан.

Пользоваться им – сама простота. Вбил кей, чуток подкрутил настройки, врубил – и минут через пять кеи напарсились. Но есть несколько минусов. Во первых, он долго работает (в один поток), поэтому много собрать не удастся (около 20к в час). Во вторых, парсит он не до конца, то есть по вч напарсивает всего 2-3 тысячи кеев, хотя их больше 10к. Из-за этого приходится сужать поиск. И в третьих, он не позволяет сортировать результаты и делать выборку нужных кеев, что сильно затрудняет работу.

Так-как третье было для меня критичным (мне нужны кеи с определенной частотой запросов в месяц, чтобы собрать малоконкурентные запросы), я недолго думая написал скрипт:

sort.php.txt

Как всегда, все пока вручную. Скармливаете скрипту текстовик с кеями (в формате ключ:число запросов), ставите настройки (к примеру, от 20 до 100 запросов в месяц), запускаете – и получаете список нужных ключевых слов, который скармливается доргену).

Вот и все. О том, как автоматизировать работу, а так же как работать с буржуйскими кеями – в следующих постах (когда мне самому понадобится).

————————————
Сегодня наконец то дописал свой дорген, версия 1.0. Пока что он достаточно сырой, некоторые баги я так и не понял как исправить (к примеру, иногда он недогенерирует текст, заместо 600 слов – всего 100, отчего это зависит я так и не понял. Думаю, стоит поставить проверку – если текст недостаточно хороший – генерировать заново). Перелинковку на этот раз я реализовал гораздо лучше – на главной ссылки на разделы, в разделах – ссылки на статьи, сами статьи перелинкованы между собой (по типу википедии), со всех страниц – ссылки на разделы. Но все равно не до конца – нужно еще додумать постраничное разбиение разделов при большом количестве ключей. Никакой рекламы и редиректов, только собираю статистику (хотя оставил для себя возможность быстро поставить линк).

Сегодня же запустил часть второго дорвея. Тематика – ноутбуки, 8 поддоменов – на каждом по фирме изготовителю. Вот я один такой поддомен сегодня и сделал.Если хватит времени, сделаю стальные 7 и основной домен доделаю.

Первый дорвей пока неплохо поживает – вчера Яндекса заглотнул 90 страниц, у гугля все так же 8, в Yahoo 221 (правда какая мне от этого польза). Трафик очень скромный, 2-3 хоста в день, щас посмотрим, что пришлет Яндекс. Как ни странно, несколько хостов с майла.

—————–
постовой
—————–
Нузамутненный оптимизатор открыл конкурс на самый лучшие комментарий. Неплохой конкурс)) Стимулирует написание хороших комментариев.

Маулнет открвает SEO конкурс на выход в топ по запросу Антимаулнетизм с призовым фондом в 5000$! Думаю стоит поучаствовать, результаты первого июля.. Как вариант забить весь топ дорами)) Конечно, первое место врятли будет доступно, но постараюсь дотянуть хотя бы до 5 :-D

Санчез написал про один из способов получения уникального контента – синонимайзинге. Такой способ можно использовать и для доров (а не только сателлитов), хотя не очень целесообразно. Зато можно скрестить эти два метода – напарсить несколько тысяч статей, отсинонимайзить их немного, поработать над внутренней оптимизацией и автоматом генерировать эдакие сателлиты, они же долгоиграющие дорвеи (то есть чтобы нормальный пользователь увидел не психоз от маркова, а более-менее нормальную статью, из которой даже можно что-то полезное выяснить).

На сегодня всё, не забывайте подписываться на RSS

Контент ничто, перелинковка – ВСЕ!)

Итак, первый эксперимент с дором почти закончен. Какие выводы я для себя сделал?

1. Доры живы, тема вполне работоспособная (в рунете). До этого я сомневался, что доры вообще существуют :-D
2. Как следствие – на доры можно получать трафик -> можно заработать (правда, у меня трафика целых 6 хостов, но это не важно)
3. И гугль, и яндекс терпимо относятся к морковному контенту – на доре был топорно генерированный контент (ровно 550 слов, каждые 50 слов – ключевик, выделенный жирным, каждые 150 символов – картинка с alt от ключевика). Оба поисковика отлично схавали, гугль 8 страниц, яндекс – 4 страницы.
4. Перелинковка нужна для того, чтобы поисковик нашел другие страницы. У меня перелинковка был реализована очень тупо – 10 рандомных ссылок на другие статьи. Именно поэтому проиндексировано так мало, и еще неизвестно, будет ли больше.
5. Пригнать бота так же достаточно просто – во первых, добавить в аддурилку, во вторых – прикупить ссылок пиаристых. 5-10 штук вполне достаточно.
6. Свой дорген лучше всего, другие не дадут такой свободы

Пока что все выводы. Для своего доргена (я пока так и не придумал названия) я уже почти закончил модуль генерации текста , думаю гуглю понравится – все параметры вычисляются рандомом – начинаю от длины текста и количества ключевых слов и заканчивая размером и количеством абзацев, наличием картинок, сносок и пояснений. Осталось только немного отшлифовать, к примеру, если ключевик – первое слово в предложении, то писать его с большой буквы, и нормально разделять предложения между абзацами.

Насчет перелинковки я тоже продумал. Во первых, со всех страниц будут ссылки на разделы (первые n ключевиков, самые популярные), в которых будет постраничное разбиение на страницы с анонсами статей. Были бы еще связи между ключами, можно было еще правдоподобнее разбить (в том числе облаком тегов), но пока что я не знаю как реализовать (облако то знаю, я не знаю как связи сделать). Во вторых, в самих статьях – рандомное количество ссылок на другие статьи, то есть по типу википедии. Это должно еще сильнее усилить скорость индексации.

Насчет слива трафика… Думаю, пока трафика не станет достаточно, ставить редирект/ссылки как то нерентабельно – вдруг гугл забанит… Поэтому пусть дорвеи живут без начального редиректа, только после накопления некоторого количества трафика (>20 в день например) ставится ссылка на выдачу фида по конкретному ключевому слову.

Как я думаю, следующий шаг после создания этих модулей (если постараюсь, то сегодня закончу скелет) – это автоматизация. Тут я тоже более-менее продумал все операции и способы их автоматизации – от покупки домена и размещении на сервере до мониторинга статистики дорвея, не говоря уже о парсинге текста и кейвордов. Хотя это достаточно непросто релизовать…

———————-

Anatol22 написал пост об использования дорегна DPW. Я очень давно тоже на нем игрался, но у меня как то особо ничего не получилось…

Дорген

Итак, дорген. В одной из прошлых записей я писал, что дорвей – это автоматически или полуавтоматически генерируемый сайт. Собственно, дорген – это скрипт (или программа) для генерации дорвеев. Доргены можно разделить на две большие группы – серверные и десктопные. Серверные запускаются на сервере (то бишь хостинге), или на локальном компе (через денвер). Десктопные – на домашнем компьютере, это win-программы. Конечно, их можно разместить и на windows-хостинге, как это делают со спамилками, но это не рационально… Еще доргены можно разделить по степени автоматизации – некоторым нужно терпеливо скармливать все данные, домены, шаблоны, кейворды, а другие могут сами парсить нужные данные.

Вообще, что должен уметь типичный дорген? Во первых, генерировать текст с ключевыми словами, обычно цепями маркова. Туда же можно кидать картинки. Во вторых, линковать страницы между собой и между другими дорами для лучшей индексации. Карту сайта делать до кучи. В третьих, размещать все это добро в шаблонах (тимплейтах). Все, типичный дорген готов – осталось накормить его текстом, кейвордами и шаблонами с дизайном, подкрутить несколько настроек, и дор готов – можно размещать на хостинге, спамить, и ждать посетителей..

К подобным доргенам относятся бесплатные Doorway.SU (десктопный, правда у меня под вистой не запахал), или rus-affiliate.ru (серверный). Есть доргены более высокого уровня, с разной степенью автоматизации процесса (от кнопки бабло до нескольких десятков настроек ), но они обычно платные или кастрированные.

Вообще, мне кажется, лучше делать дорген самому – максимально отвечающий своим же требованиям.. Благо типичный дорген можно слепить из готовых функций и кусков бесплатных доргенов. Кажется, я где то на серче встречал цитату, что то вроде “Неважно, каким доргеном пользоваться, главное прямые руки у того, то создает дорвей“. Я думаю идти этим путем и постепенно создавать свой дорген..

PS. У дора на автотематику гугл проиндексировал уже 3 страницы, трафика пока ноль. Со своих старых проектов отправляю на ричклик около 200 постетителей в сутки, выходит 0.3-0.5$ в сутки.

Украинский товарищ написал о рецепте дора на основе доргена Doorway.su. Я даже подумал, что неплохо бы повторить подобный эксперемент, но дорген у меня не запустился (может руки кривые, может висте не понравился, не знаю..).

Что за х эти дорвеи?

Собственно, перед тем как начать заниматься этиими самыми дорвеями, надо понять – что это вообще такое?

Лично для меня дорвей – это автоматически (полуавтоматически) генерируемый сайт, который получает посетителей с поисковых систем и перенаправляющий их на PPC/PPL партнерки. Ключевые слова - автоматически генерируемый, перенаправляющий трафик, трафик с поисковых систем.. Можно сказать, что дорвей – это промежуточный элемент, который связывает поисковую машину и сайт (PPC/PPL – как посредники, можно лить напрямую на свои сайты).

Чуть выше дорвеев находятся сателлиты – уже вруную создаваемые сайты, которые неявно перенаправляют трафик (путем ссылок, к примеру, или систем контекстной рекламы), и дополнительно еще продающие ссылки. В том же районе висят сплоги – полуавтоматически/вручную заполняемые блоги, которые специализируются на трафике с социальных систем, и так же неявно перенаправляющие трафик на контекстную партнеров и другие сплоги.

Типичный жизненный цикл дорвея: создание, выход в индекс (путем спама или других способов), получение и перенаправление трафика, бан. Так же этот цикл может лишиться 3 пункта – то бишь трафика, если недостаточно хорошо выполнить первые две части. В каждом пункте – свои тонкости, и мне еще предстоит их все постигнуть, чтобы выполнить свою цель…

Вроде бы все, что такое дорвей теперь более менее понятно, от этого и будем отталкиватья.

PS. Димок совместно с Главмедом раздют базу кеев. Скачать можно здесь.

Если вам интересно – подпишитесь на RSS