Miky. Дневник дорвейщика


Путь программиста-самурая в нелегком черном деле..

Четверг

Июль 10, 2008

Все таки не зря я решил попробовать с дорвеями :) Так получилось, что 3 дня не был в инете (уезжал на природу), ничего не мониторил, не правил.. Но дорвеи, сцуко, самостоятельные :-D Без меня они успешно повысили планку ежедневного дохода до 4$, с пиком в 7.19$. Но, как ни странно, все идет по плану – я планировал именно такой доход к началу июля. Теперь осталось сохранить его и премножить, и, наконец, дойти до 10$. Пока что, правда, доры автоматом не делаются – все вучную, и, чтобы достичь этой суммы, надо добить примерно до 100 поддоменов.

После анализа статистики подкорректировал свои догадки.. Рамблер, как оказалось, не так прост, как кажется. Во первых, он с успехом банит дорвеи, но – постиндексно, то есть в индекс залетают почти все, но часть оттуда так же быстро выходит. Во вторых, большие сайты он не любит – эксперементальный дор на 150к страниц, после получения плюшки в 400 хостов (100 яндекс, 100 гугл, 200 рама) был успешно забанен. По моим наблюдениям, не стоит раме кормить нулевые доры с >3000 страниц, идеально 1-2к (меньше – мало трафика, больше – стремится к бану). Количество поддоменов еще не выяснял, но 10 поддоменов он держит отлично (как ни будь попозже надо проверить, проиндексирует ли он, к примеру, 100 поддоменов). Кстати, наличие внешних ссылок ускоряет индексацию, так что чуток спама и для рамы не помешает.

Яндекс наоборот, оказался чуть проще… Прекрасно жрет дорвеи, но – только на главных доменах. На поддомены никак не реагирует (читать: не посылает трафик), и, видимо, наличие подоменов плохо влияет на индексацию домена. У меня даже возникла мысль вообще не пускать яндекс на поддомены (не только роботсом, но и клоакингом сразу отсылать на домен) – таким образом и Яндекс немного трафика пришлет, и рама останется доволен. Хотя, на самом деле, достаточно чуток проспамить (или не чуток) – и трафик обеспечен. Недолго правда, но все же..

Гугль… куй поймешь этот гугл. Пошел он вообще в задницу, в буржунете тоже достаточно второстепенных поисковиков, с которых можно получать трафик. С этого момента – игнорирую гугл, если трафик есть – хорошо, если нет – хрен с ним. Одновременно работать 3 поисковика сложновато, с двумя то справиться сложно…

———————————–

От нефиг делать подсчитал… Я забираю у рамы примерно 0.06% всего трафика, которые он отправляет на сайты :) Это, конечно, прилизительно, по статистике LI, но более точных данных в паблике нет. Примерно каждый 2000-й, кто ищет что-то в рамблере, попадает на один и моих дорвеев. И это не предел, я стремлюсь пожрать у рамблера все 10% :-D Хотя, врятли им понравится мое стремление, но в данный момент меня это не волнует))))

————————————

Презренный манимейкер проводит LINK-парад. Интересный способ обменяться ссылками (и читателями) :) Лично я нашел несколько полезных в свете дорвеев постов – про сервисы закладок (обратите внимание на второй пункт – индексацию), про генерацию уникального читабельного контента из блогов (может и абсурдно, но дорвеи с таким контентом могут жить гораздо дольше. Я недавно как раз делал новые парсер текста напрямую из яндекс.блогов, чтобы получать читсый текст, но яндекс сцуко думает, что я робот. RSS – сила :)

Анализируем статы

Июнь 3, 2008

Итак, уже больше месяца я занимаюсь дорвеями, кое-какой опыт я успешно приобрел. И, так как я собираю всю статистику по заходам на дорвеи, я нашел кое-какие закономерности. Начнем с нашего любимого Google, для рунета (хотя в буружунете должны быть похожие выводы):

1. Без ссылок трафика нет. Простой аддурл однозначно привлекает ботов, но в индексе они даже не появляются (или появляются через очень большой срок, что непримелимо для дорвеев). Разве что размещать качественный контент, не проходящий под фильтром…

2. Чем пиаристей ссылки – тем “вес” дорвея выше (не знаю, можно назвать авторитетностью (PR) или чем то вроде этого, чем “тяжелее” дорвей – тем больше трафика и меньше фильтров. Вобщем, при нулевом весе трафика нихрена нет).

3. Одинаково большого веса можно добиться либо малым количеством пиаристых ссылок, либо большим количеством хилых ссылок. То есть для гугля по большей части без разницы – две ссылки с pr4 (качественным, а не клееным переклееным) или 200 pr0. (это я для примера).

4. Чем больше вес – тем больше трафика, это понятно. Но чем больше вес – тем чаще наведывается бот гугли, ожидая увидеть малейшие изменения (обрадуйте его – добавтье страниц, киньте сквозняк на другой дорвей и т.д.)

5. Эффект от ссылок держится достаточно долго для окупаемости. К примеру, можно купить ссылки, дождаться индексации, и снять их, не тратя лишние деньги.

Если все это обобщить, то можно сказать следующее: нет ссылок – нет трафика – не денег. Но можно продумать кое какие нюансы, не обязательно “срать” в сотнях тысяч гостевух, форумов и т.д. Можно попробовать гонять по каталогам, получая море хреновых ссылок, или призадуматься о том, как получить несколько пиаристых ссылок. Как вариант – “умный” спам по пиаристым блогам (можно с уверенностью сказать, что все записи получат свой вес). Вобщем, тут надо хорошо подумать, но ссылки надо получить в любом случае.

Rambler

Так как я работаю в рунете, процентов 70 трафика мне дает рамблер. Под него работать проще всего – после аддурла бот сам придет, постепенно проиндексирует, и через 1-2 недели дорвей станет получать трафик. Причем будет получать его даже без ссылок, но если все таки покормить его хорошими ссылками – можно получить неплохой умножающий коэфициент к своему трафику, и, следовательно, доходу :) Чтобы быть там забаненым, надо сильно обидеть рамблер, а скорее всего – его модераторов. Если особо не высовываться, можно получать неплохой трафик оттуда.

Яндекс…

Хитрожопая скотина))) От других поисковых систем его отличает быстрота на расправу (почти сразу бан). Тут уже важно не загнать бота – а недопустить бан. тИЦастые ссылки (лучше еще из ЯКа) продляют жизнь дорвеи, что дает время получить трафик, но, видимо, у яндекса можный антидорвейные фильтры (как мне кажется, исходя из своего опыта + мнений других, большей частью яндекс банит из-за контента). Пока что серьезно я им не занимался, думаю яндекс вполне переварит синонимазенный контент, хотя далеко не факт… Вообще, для яндекса как ни для кого подходит фраза украл-выпил-в тюрьму, только в несколко иной форме : проспамил-получил трафик-бан. Причем цикл достаточно быстрый, а от качества спама зависит количества полученного трафика за тот короткий промежуток, пока дорвей в индексе. Хотя, все говорят, что у яндекса самый качественный трафик… то что его много – однозначно, а вот насчет качества надо подумать.

Вот в принципе все, некоторые выводы я для себя сделал, особенно для гугля (это должно пригодится при работе через буржунет). Я не претендую на абсолютную верность мною сказанного, это просто мои догадки и домыслы, возможно через месяц я пойму, что рассматривал тему поверхностно, и в этих выводах полно нюансов… Но сейчас мне эти выводы важны, ничему так не вериш, как личному опыту))

——————–
постовой (давно что-то не было)
——————–

Многие блоггеры стали подводить итоги мая:
Rigor (~50$, неплохо)
wonder (в осноном с продажи сателлитов, пассива маловато)
Уже упоминал Toxic_Cat (в основном с умакса, хотя непонятно откуда о_О)
Санчез (сапобарыга :-D я ему еще умудрился 25 человек прислать..)
Омский бомж (так же в основном на продажах сателлитов)

Ну и т.д., много кто подводит итоги месяца, дорвейщиков правда маловато, видимо не привыкли светиться))

Понедельник

Май 26, 2008

Фигово продвигается создание доргена… заватился, как сказали бы одногрупнеги) Сначала долго тупил насчет генерации текста (функция запутанная получилась) – лень было разбирать, в итоге все навороты закоментил, оставил самое простое, и постепенно вернул к первоначальному работающему виду. Кстати, хороший способ – начать с простого и постепенно усложнять… Все это заняло максимум час, я вату катал дня три. Надо побыстрее закончить с доргеном, чтобы начать генерирование. Постоянно отвлекаюсь на не совсем нужные навороты.. Поэтому ближайшие планы – до конца недели полностью закончить дорген, отладить его и начать создавать дорвеи, даже в минимальной комплектации.

Всего можно сказать у меня 3 дорвея (+8 поддоменов), последний недавно создал на старом доргене (а то совсем долго не делал). К удивлению, достиг 1$ в сутки с ричклика (я траф на него лью) – маленький рекорд, пока не стабильно, но это уже что-то. Но честно говоря, немного обламывает окупаемость – с 1к трафика идет 3-7$ (( В буржунете, особенно тематические, показатели раз в 5-10 больше. Надо будет для теста парочку для буржунета создать)

По доменам.. В WebNames для партнеров с 1 июня стоимость доменов составляет 100 рублей (при депозите в 1000р), причем для заключения договора не нужно слать договор, просто сканы документов.. То есть можно настроить дешевую автоматическую регистрацию RU доменов, что меня сильно радует (я их регаю в полтора раза дороже пока что). Еще решил регать освобожденные домены с PR для размещения на них дорвеев – по идее это должно давать хороший старт, правда их достаточно сложно найти несклееных (из 4 доменов только один непоклееный, пр2, остальные пр 3-2-4 – склеены). Хотя все равно на них всех сделаю дорвеи, лишнем не будет)))

И возникла еще одна мысль… Часто дорвеи делают на фрихостах, и они при этом получают трафик… А что если нафигачить на одном домене 1000-2000 (одну-две тысячи) поддоменов на разную тематику?) На каждом по несколько тысяч страниц.. Это в сумме получится большой трафикогенерирующий сайтищще почти без затрат на домены.. Единственное, если делать статичные доры – нужно 50-100 гигабайт места, то бишь минимум сервак ((( Зато и трафика теоретически должно быть столько, что сервак себя окупит за неделю. На практике же это чудо природы достаточно быстро забанят, если все сразу сделать, разве что постепенно наращивать количество доров и делать их по разным схемам, и замешивать с другими сайтами типа каталогов, блогов, и одностраничников…

*бля, что я курю…*

А да, работу через прокси настроил, хотя надобность в принципе отпала, но пусть будет – все таки можно будет достаточно быстро парсить те же кеи или домены. В одном из следующих постов выложу базовые функции)

————————————-

Spomoni написал про свою историю становления манимейкером, а так же советы по работе с партнерками. Некоторое оказалось для меня новым, я с удовольствием прочитал)

Дорвей – имитатор контент-сайта

Май 8, 2008

Итак, дорвей.. Что должен видеть бот, когда он заходит на дорвей? Правильно, он должен видеть обычный сайт, каких миллионы. Ничего не должно его беспокоить, сайт должен быть выше некоторого порога “фиговых сайтов”. От этого и надо делать концепцию дорвея.

Я пока что вижу два пути. Первый – создание дорвеев не-сайтов, максимально оптимизированные в ущерб всему. Думаю, они должны получать много трафика, но при этом быстро банится. Второй – имитировать нормальный сайт, который максимально похож на обычный, без перебарщивания с оптимизацией (ведь стандартный сайт не сильно оптимизирован). Первые два дорвея были именно первого типа (хотя они и не получают много трафика – из-за моих кривых рук), хотя я стремился сделать их немного похожими на нормальные сайты. Думаю, надо идти и дальше в этом направлении. Первым кроликом будет стандартный, обыденный контент-сайт на чем то типа DLE или Drupal, которых очень и очень много на самые разные тематики. Можно было бы поставить собственно сам скрипт и уде с ним взаимодействовать, но это во первых возникнут сложности с установкой и настройкой, а во вторых – нужно еще немало разобраться в самой CMS. Поэтому будем просто имитировать работу подобного сайта.

Я выделил несколько особенностей подобных сайтов, которые нужно реализовать:
1. Постепенный постинг.
К примеру, раз в 30-60 минут будет вполне достаточно для имитации средне-популярного сайта. Я пока не работал с кроном, но думаю смогу его заставить запусать скрипт раз в 10 минут для проверки времени постинга (четких рамок не должно быть, все рандом в некоторых пределах).

UPDATE: Я подумал, а зачем определенное количество постов в день? Ведь сайт по идее новый, поэтому в начале можно только один-два поста добавить, потом постепенно наращивать количество постов в день, у математиков это как то по умному называется. Ведь так и должно происходить. Так сказать, рост индекса “популярности” сайта.

2. RSS
Ну это понятно, каждый сайт должен выдавать RSS )) Наличие сего положительно влияет на карму сайта + дает трафик с RSS-поисковиков.

3. Разделы
То есть такое же постепенное создание разделов, в каждом из которых отображаются анонсы постов, постраничное разбиение. Причем главная – это один общий раздел… Яндекс кстати достаточно часто проверяет главную на обновления – стоит ему помочь в нелегком деле.

4. Сами посты
Тут все сложнее.. Нужно разнообразие – поэтому посты могут быть текстовые, картиночные, смешанные (можно еще видео добавить, но я опять таки ни разу с ним не работал). Плюс для каждого поста нужно хранить дату постинга, количество просмотров и т.д. И можно добавить версию для печати, которая иногда гораздо сильнее оптимизирована и не вызывает подозрений. И нужен исходный материал – то бишь по тематике изображения (можно парсить где ни будь). Пока не знаю где брать контент, мусор генерировать вряд ли будет наиболее хорошим вариантом.

5. Наличие зарегистрированных пользователей
В основном у контентных сайтов есть зарегистрированные пользователи.. Значит, у дорвея тоже они должны быть – 1-3 администратора, постепенное увеличивающиеся количество авторов (каждый постит по определенной тематике + немного общих), более сильно увеличивающиеся количество комментаторов, которые собственно должны комментировать понравившиеся записи (с ростом мнимой “популярности” – все более и более активно). Можно даже регистрацию открытой сделать) Для комментаторов разумеется. Так же из-за пользователей появляется многочисленные профили, и некоторым пользователям можно привязать ссылки на свой сайт (другой контент-сайт или дорвей :) ) Пока что это остается самой сложной частью…

6. Живые комментарии
Так как нужны комментарии, надо генерировать максимально хорошие комментарии. Большинство комментариев легко сгенерировать (“+1!”, “первый нах!”, “боян” и т.д.), некоторые – по шаблону (“%автор%, спасибо за пост/статью/информацию”), или более сложным шаблонам, в том числе цитированию статьи и других комментариев, споры и т.д. (надо поискать генераторы форумов, в них кажется были заложены некоторые подобные функции).

В принципе всё, можно садиться кодить )) Придется использовать БД естественно, столько инфы в файлах держать попросту неудобно и невыгодно. По началу конечно все реализовать не получится, но постепенно можно добавлять все новые и новые функции (сложное комментирование в первый версии делать совсем необязательно).

Хотя, я тут подумал.. С такой системой делать дорвеи – как из автомата по тараканам (еще не ракетой, но уже не тапком).. Можно немного додумать контент (парсинг, синонимайзинг, подборка из разных источников) и получится то, к чему и стремились – относительно обычный контент сайт, заходя на который пользователи не будут отплевываться, а может даже будут подписываться на RSS и регистрироваться) Но для этого надо очень, очень постараться..

Подобные задумки есть и по блогам, в частности WordPress (этот блог например относительно быстро проиндексировался и стал получать поисковый трафик). Так называемый “Робоблоггер”) Но о нем как нибудь попозже..

—————————–

Так, что там с нашими тапками… Первый дорвей на своем доргене доделал, все 8 поддоменов.. Раскрутка разная, два – просто аддурл, один – 5 пиаристых ссылок, один – 50 мелких ссылок, остальные – 1-2 пиаристые и десяток средних. Хоть какой то трафик есть только на одном поддомене, боты побывали на всех – яндекс на двух поддоменах (главная уже в индекса), рамблер – на 6, гугл на всех, в индексе пока что 1-3 страниц, жду апа. Если какой то трафик будет получаться – буду дорабатывать тапок (хотя дорабатывать в любом случае буду) в сторону автоматизации (разом все поддомены).

Первый дорвей был вычеркнут из индекса гугла, но продолжает получать трафик с яндекса и рамблера (<10 хостов).

——————————

На блоге кстати сменил шаблон.. Вначале думал, что стильный темный дизайн подойдет для “дорвейных дел мастера”, но потом понял – что тупо неудобно читать. Сейчас гораздо более приятная тема. Так же добавил контакты (e-mail – miky@miky.ru, ICQ – 675-285, если кому то надо).

PS. Подобные посты с десятком ссылок на последние посты блоггеров (лишь бы трекбек) начинают бесить..

Следим за дорвеями

Май 6, 2008

Итак, дорген есть, контент тоже, что нужно делать? Правильно, клепать дорвеи. Но если клепать бездумно – то ничего не получится. Нужно научится нормально делать один дорвей, который получает трафик, а потом уже расклонировать его. От этого я пока и отталкиваюсь, но чтобы внимательней наблюдать за тем, что происходит с дорвеев – нужна грамотная статистика. Её то мне и пришлось создавать…

Можно воспользоваться стандартными логами сервера и скриптами её анализа, но это простой путь, к тому же он плохо приспособлен для интеграции с доргеном. Статистика LI не катит по тем же причинам, а так же по отсутствию информации по ботам.

Для начала я вставил в каждый дор скрипт, который собирает нужную информацию и записывает её в базу данных. Такое разделение мне кажется наиболее логичным – базу собирать легко, а скрипт анализа всегда можно модифицировать и подогнать под свои нужды. Так как мне много не надо, я собирал лишь время посещения, user-agent, сайт, страницу и реферер. IP мне как то не особо не нужен, хотя его тоже можно приплести.

Пока что я осилил лишь простенький анализатор – вывод всех записей, выборку по поисковым ботам и сайтам. Но этого оказалось достаточно для анализа. К примеру, Googlebot очень медлительный, он сидит на сайте сутками, каждые 10-20 минут запрашивая очередную страницу. А бот рамблера наоборот очень шустрый – после добавления в аддурелку достаточно быстро приходит и индексит все страницы второго уровня. А так как я создал уже 6 поддоменах, остается только наблюдать, почему Гуглу понравился именно второй вариант (он даже 4 посетителей на него отправил), а Яндексу наоборот первый (Яндекс вообще жуткий тормоз).

К этому же анализатору добавил проверку нахождения в поисковых системах. Очень удобно. Сейчас думаю над третьей частью – собственно подборке ежедневной статистики по дорам – какая посещаемость, сколько боты проиндексировали и т.д.

Может как нибудь когда закончу выложу в паблик ) Если данная система конечно нужна кому нибудь кроме меня…

—————————-

Дописал дорген, теперь генерация доров стала проще)) Раньше приходилось заливать на хостинг 5 файлов, выставлять права двум папкам и инсталлятору, заливать файлы с текстами и кейвордами… После модификации остается только залить install.php и установит ему права – текст и ключи вводятся в формочку, что гораздо проще. Все создания дорвея, вместе с парсингом кеев, поиском текстов, установкой, добавления в три аддурелки, покупке нескольких ссылок – занимают 5-10 минут. Но все равно это слишком много, хотя я пока что понятия не имею, как некоторые шаги автоматизировать.

Первый дор начал получать трафик, в районе 10 уников… Индексация гугль: 450, яндекс: 110, рамблер: 108. Когда трафик перейдет 20 хостов в сутки – поставлю ссылку на фид)

———————
постовой
——————–

Rigor открыл акцию “А ТЫ оставил комментарий?!“. Прикольно, хотя и не особо поможет…

На сайте l00t.ru выложили базу в 3 миллиона кеев с “прямого эфира” Яндекса. Может пригодится..