Miky. Дневник дорвейщика

Как я уже писал, дорвей – это автоматически создаваемый сайт. А это значит, что в идеале абсолютно все операции должны быть автоматизированы – начиная от выбора тематики и регистрации домена и заканчивая настройкой TDS и подсчета денег в партнерке. Конечно, до идеала мне далековато, но первые шаги я уже начал делать.

Добавление доменов и поддоменов
Чтож, начнем с самого начала… Регистрацию доменов пока опустим (все таки пока что объем не такой большой), а вот добавление доменов и поддоменов на хостинг – это да, занятие трудоемкое, особенно если поддоменов штук 40, и каждый надо добавлять.. Так как я пока что держку свои дорвеи у firstvds (не сочтите за рекламу, просто мне там пока удобно. Кога найду что-то более лучшие – перейду к другим), то панель управления – ISPmanager. Поэтому я взялся за изучение их API.. Честно говоря, думал, что все гораздо сложнее – придется несколько часов искать нужные функции, параметры, доступ и т.д., но все оказалось гораздо проще, и через полчаса я уже наваял готовую функцию:

isp_createdomain.php.txt

Пользоваться очень легко – настраиваете конф (некоторые значения придется взять из самой панельки), потом просто вызываете функцию в любом месте Если чуток почитать мануал, можно реализовать любую операцию (удаление доменов, добавление mysql, e-mail и т.д.). Внимание! Для работы функции нужен curl (на локальном сервере может не работать).

Заливка на FTP
Что нужно сделать потом? Залить на хостинг конечно! Неважно, сколько файлов заливать – один или тридцать тысяч, все равно это нужно автоматизировать. Иногда так же нужно сменить права доступа к файлу (для инсталляторов). В php все функции для работы уже встроены, осталось только совместить их и всё. Я не стал оформлять в виде функции – все равно по одному файлу не загружают, скрипт придется интегрировать в дорген.

ftp.php.txt

Я показал пример заливки файлов и смены прав. Остальные функции можно найти в справочниках, они стандартны.

Парсинг кейвордов
Да, опять Яндекс.Директ На этот раз я научился пользоваться и серверными вариантами парсеров (чтобы IP не банили, достаточно поставить задержку 5-10 секунд):

parser.php.txt

Но из-за этой самой задержки оперативно кейворды не напарсишь, поэтому я решил парсить до начала генерации… То есть берется ключевое слово (телевизор), парсится первая страница, все кеи записываются. Затем обходятся эти 49 кеев, полученные кеи записываются и т.д., пока не кончатся. Скрипт то я написал, но вот заставить его запускаться раз таки не получилось – крон тупит (( отправил в саппорт, может разрулю. При непрерывной работе получается около 70к кеев в сутки, если слегка подхимичить с настройками – то все 400, а если еще добавить лист проксей… Хотя, с дургой стороны – зачем так много кеев

Пока что всё. В планах еще парсинг текста (берем выдачу яндекса, первые 10 страниц парсим, обрабатываем), регистрация доменов (gTld и ру), генерация имен доменов по тематике (и поддоменов тоже).

—————————-

Мои дорвеи пока фигово поживают… Боты вовсю посещают, но в индекс не запихивают ( Трафа, соответсвенно – 5-10 на всех поддоменах. Гугл гад, без ссылок не индексирует домен вообще – для эксперимента два поддомена только в аддурл запихал, рамблер сожрал – гугль нет. Сейчас готовлю вторую версию доргена, автоматизированную, поддоменов этак на 40.. Попробую их между собой перелинковать (до этого только внутри дорвея перелинковка была), и раскручивать только основной домен, с которого уже боты будут переходить на поддомены. Для чистоты эксперемента сделаю две штуки, на .ru и .com домене, может гуглю больше второй понравится (рамблеру точно не понравиться).

—————————-

PS. Хороший дорвейщик – ленивый дорвейщик) Даешь кнопу бабло!

Думаю логично, что для создания дорвея нужны ключевые слова. Для любого – что ориентированного на большое количество НЧ, так и заточенного под один СЧ – все равно нужны кейворды. Их можно либо купить, либо напарсить. Купить – это слишком просто, хотя если есть деньги или нужны резко 140 лямов кеев – то этот способ для вас. У меня же несколько другая цель, да и возможности, поэтому мы будем парсить.

С чего парсить? Если цель собрать ВСЕ ключи – то можно эфир яндекса. Если по определенной тематике – то идеальный вариант Яндекс.Директ. Можно использовать аналогичный сервис у рамблера, но у яндекса гораздо большее кеев.

Следующий вопрос – чем парсить? Сначала я хотел серверным скриптом, но пожадничал с таймаутом (надо ставить около 10 секунд, чтобы яндекс не заподозрил в нас бота и не забанил айпишник). В результате вдоволь намучившись с покорением автобана, решил временно забить на серверные реализации (которые потом придется вспоминать, для автоматизации), а скачал Магадан.

Пользоваться им – сама простота. Вбил кей, чуток подкрутил настройки, врубил – и минут через пять кеи напарсились. Но есть несколько минусов. Во первых, он долго работает (в один поток), поэтому много собрать не удастся (около 20к в час). Во вторых, парсит он не до конца, то есть по вч напарсивает всего 2-3 тысячи кеев, хотя их больше 10к. Из-за этого приходится сужать поиск. И в третьих, он не позволяет сортировать результаты и делать выборку нужных кеев, что сильно затрудняет работу.

Так-как третье было для меня критичным (мне нужны кеи с определенной частотой запросов в месяц, чтобы собрать малоконкурентные запросы), я недолго думая написал скрипт:

sort.php.txt

Как всегда, все пока вручную. Скармливаете скрипту текстовик с кеями (в формате ключ:число запросов), ставите настройки (к примеру, от 20 до 100 запросов в месяц), запускаете – и получаете список нужных ключевых слов, который скармливается доргену).

Вот и все. О том, как автоматизировать работу, а так же как работать с буржуйскими кеями – в следующих постах (когда мне самому понадобится).

————————————
Сегодня наконец то дописал свой дорген, версия 1.0. Пока что он достаточно сырой, некоторые баги я так и не понял как исправить (к примеру, иногда он недогенерирует текст, заместо 600 слов – всего 100, отчего это зависит я так и не понял. Думаю, стоит поставить проверку – если текст недостаточно хороший – генерировать заново). Перелинковку на этот раз я реализовал гораздо лучше – на главной ссылки на разделы, в разделах – ссылки на статьи, сами статьи перелинкованы между собой (по типу википедии), со всех страниц – ссылки на разделы. Но все равно не до конца – нужно еще додумать постраничное разбиение разделов при большом количестве ключей. Никакой рекламы и редиректов, только собираю статистику (хотя оставил для себя возможность быстро поставить линк).

Сегодня же запустил часть второго дорвея. Тематика – ноутбуки, 8 поддоменов – на каждом по фирме изготовителю. Вот я один такой поддомен сегодня и сделал.Если хватит времени, сделаю стальные 7 и основной домен доделаю.

Первый дорвей пока неплохо поживает – вчера Яндекса заглотнул 90 страниц, у гугля все так же 8, в Yahoo 221 (правда какая мне от этого польза). Трафик очень скромный, 2-3 хоста в день, щас посмотрим, что пришлет Яндекс. Как ни странно, несколько хостов с майла.

—————–
постовой
—————–
Нузамутненный оптимизатор открыл конкурс на самый лучшие комментарий. Неплохой конкурс)) Стимулирует написание хороших комментариев.

Маулнет открвает SEO конкурс на выход в топ по запросу Антимаулнетизм с призовым фондом в 5000$! Думаю стоит поучаствовать, результаты первого июля.. Как вариант забить весь топ дорами)) Конечно, первое место врятли будет доступно, но постараюсь дотянуть хотя бы до 5

Санчез написал про один из способов получения уникального контента – синонимайзинге. Такой способ можно использовать и для доров (а не только сателлитов), хотя не очень целесообразно. Зато можно скрестить эти два метода – напарсить несколько тысяч статей, отсинонимайзить их немного, поработать над внутренней оптимизацией и автоматом генерировать эдакие сателлиты, они же долгоиграющие дорвеи (то есть чтобы нормальный пользователь увидел не психоз от маркова, а более-менее нормальную статью, из которой даже можно что-то полезное выяснить).

На сегодня всё, не забывайте подписываться на RSS

Что нужно сделать с посетителем после посещения дора? Правильно, отправить партнерке. Сделать это можно очень большим количеством способов. Самый простой – это JS скриптом редиректить посетителей на PPC (обычно фид, если PPL – то на магазин). Так же можно редиректить на свой сайт с фидом – можно самому сделать дизайн и оформление (что сказывается на CTR). Можно не редиректить, а размещать ссылку с ключевым словом, или целиком весь фид. Это продляет жизнь дора, так как присутствие редиректа отрицательно сказывается. Можно хитрожопо редиректить – с помощью PHP к примеру, что для бота не особо заметно. Я так и решил сделать, так как на фрихостах не хочу мучиться…

Что то я переборщил наверно с перечислением… Ну да ладно. Так вот, когда встал вопрос – как и куда редиректить, я решил сделать один сайт с фидом, и на него уже отовсюду любыми способами отправлять трафик. На сайте настроил выдачу фида ричклика (пришлось помучаться, но оно того стоит, фид выглядит гораздо лучше дефолтного). Но возник вопрос – как туда отправлять людей, ведь надо как то отправлять запрос. Можно конечно по ключевому слову страницы дора отправлять, но если страница сделана под несколько кеев? Остается только разбирать реферер пользователя, ведь наверняка он пришел с поисковика. Так как стандартных средств я не нашел, пришлось написать скрипт самому:

redirect.php.txt

Просто вставляем скрипт в самом верху дора и редиректим посетителей. Или же им же ставим ссылку с ключевым словом на фид. Скрипт работает с гуглом, яндексом и рамблером – тройкой рунета, так как я пока что интересуюсь рудорами.

PS. Мой первый дор на автотематику вышел в индекс Яндекса и Гугла, в количестве одной главной. Все это без спама, с 5 ссылок в бирже. Посмотрим, как остальные страницы – там из 1600, но дорген дубовый до безобразия, линковка ужасная, даже карты нет. Щас еще закупил один домен, на поддоменах хочу устроить пачку доров по тематике ноутбуков.

Прочитал у Санчеза его последний пост про дорвеи.. Он судя по всему тоже заинтересовался дорвеями, чтож, посмотрим на развитие.