Дорвей – имитатор контент-сайта
Итак, дорвей.. Что должен видеть бот, когда он заходит на дорвей? Правильно, он должен видеть обычный сайт, каких миллионы. Ничего не должно его беспокоить, сайт должен быть выше некоторого порога “фиговых сайтов”. От этого и надо делать концепцию дорвея.
Я пока что вижу два пути. Первый – создание дорвеев не-сайтов, максимально оптимизированные в ущерб всему. Думаю, они должны получать много трафика, но при этом быстро банится. Второй – имитировать нормальный сайт, который максимально похож на обычный, без перебарщивания с оптимизацией (ведь стандартный сайт не сильно оптимизирован). Первые два дорвея были именно первого типа (хотя они и не получают много трафика – из-за моих кривых рук), хотя я стремился сделать их немного похожими на нормальные сайты. Думаю, надо идти и дальше в этом направлении. Первым кроликом будет стандартный, обыденный контент-сайт на чем то типа DLE или Drupal, которых очень и очень много на самые разные тематики. Можно было бы поставить собственно сам скрипт и уде с ним взаимодействовать, но это во первых возникнут сложности с установкой и настройкой, а во вторых – нужно еще немало разобраться в самой CMS. Поэтому будем просто имитировать работу подобного сайта.
Я выделил несколько особенностей подобных сайтов, которые нужно реализовать:
1. Постепенный постинг.
К примеру, раз в 30-60 минут будет вполне достаточно для имитации средне-популярного сайта. Я пока не работал с кроном, но думаю смогу его заставить запусать скрипт раз в 10 минут для проверки времени постинга (четких рамок не должно быть, все рандом в некоторых пределах).
UPDATE: Я подумал, а зачем определенное количество постов в день? Ведь сайт по идее новый, поэтому в начале можно только один-два поста добавить, потом постепенно наращивать количество постов в день, у математиков это как то по умному называется. Ведь так и должно происходить. Так сказать, рост индекса “популярности” сайта.
2. RSS
Ну это понятно, каждый сайт должен выдавать RSS )) Наличие сего положительно влияет на карму сайта + дает трафик с RSS-поисковиков.
3. Разделы
То есть такое же постепенное создание разделов, в каждом из которых отображаются анонсы постов, постраничное разбиение. Причем главная – это один общий раздел… Яндекс кстати достаточно часто проверяет главную на обновления – стоит ему помочь в нелегком деле.
4. Сами посты
Тут все сложнее.. Нужно разнообразие – поэтому посты могут быть текстовые, картиночные, смешанные (можно еще видео добавить, но я опять таки ни разу с ним не работал). Плюс для каждого поста нужно хранить дату постинга, количество просмотров и т.д. И можно добавить версию для печати, которая иногда гораздо сильнее оптимизирована и не вызывает подозрений. И нужен исходный материал – то бишь по тематике изображения (можно парсить где ни будь). Пока не знаю где брать контент, мусор генерировать вряд ли будет наиболее хорошим вариантом.
5. Наличие зарегистрированных пользователей
В основном у контентных сайтов есть зарегистрированные пользователи.. Значит, у дорвея тоже они должны быть – 1-3 администратора, постепенное увеличивающиеся количество авторов (каждый постит по определенной тематике + немного общих), более сильно увеличивающиеся количество комментаторов, которые собственно должны комментировать понравившиеся записи (с ростом мнимой “популярности” – все более и более активно). Можно даже регистрацию открытой сделать) Для комментаторов разумеется. Так же из-за пользователей появляется многочисленные профили, и некоторым пользователям можно привязать ссылки на свой сайт (другой контент-сайт или дорвей 
) Пока что это остается самой сложной частью…
6. Живые комментарии
Так как нужны комментарии, надо генерировать максимально хорошие комментарии. Большинство комментариев легко сгенерировать (“+1!”, “первый нах!”, “боян” и т.д.), некоторые – по шаблону (“%автор%, спасибо за пост/статью/информацию”), или более сложным шаблонам, в том числе цитированию статьи и других комментариев, споры и т.д. (надо поискать генераторы форумов, в них кажется были заложены некоторые подобные функции).
В принципе всё, можно садиться кодить )) Придется использовать БД естественно, столько инфы в файлах держать попросту неудобно и невыгодно. По началу конечно все реализовать не получится, но постепенно можно добавлять все новые и новые функции (сложное комментирование в первый версии делать совсем необязательно).
Хотя, я тут подумал.. С такой системой делать дорвеи – как из автомата по тараканам (еще не ракетой, но уже не тапком).. Можно немного додумать контент (парсинг, синонимайзинг, подборка из разных источников) и получится то, к чему и стремились – относительно обычный контент сайт, заходя на который пользователи не будут отплевываться, а может даже будут подписываться на RSS и регистрироваться) Но для этого надо очень, очень постараться..
Подобные задумки есть и по блогам, в частности WordPress (этот блог например относительно быстро проиндексировался и стал получать поисковый трафик). Так называемый “Робоблоггер”) Но о нем как нибудь попозже..
—————————–
Так, что там с нашими тапками… Первый дорвей на своем доргене доделал, все 8 поддоменов.. Раскрутка разная, два – просто аддурл, один – 5 пиаристых ссылок, один – 50 мелких ссылок, остальные – 1-2 пиаристые и десяток средних. Хоть какой то трафик есть только на одном поддомене, боты побывали на всех – яндекс на двух поддоменах (главная уже в индекса), рамблер – на 6, гугл на всех, в индексе пока что 1-3 страниц, жду апа. Если какой то трафик будет получаться – буду дорабатывать тапок (хотя дорабатывать в любом случае буду) в сторону автоматизации (разом все поддомены).
Первый дорвей был вычеркнут из индекса гугла, но продолжает получать трафик с яндекса и рамблера (<10 хостов).
——————————
На блоге кстати сменил шаблон.. Вначале думал, что стильный темный дизайн подойдет для “дорвейных дел мастера”, но потом понял – что тупо неудобно читать. Сейчас гораздо более приятная тема. Так же добавил контакты (e-mail – miky@miky.ru, ICQ – 675-285, если кому то надо).
PS. Подобные посты на последние посты блоггеров (лишь бы трекбек) начинают бесить..
09 Май 2008 at 23:13
Уметь программировать для дорвейщика вредно.
Обязательно втемяшится в голову такая хрень, которую ты описал в посте. При том, что ты даже не упоминул про текст. Текст какой? Генереный и разношёстно спизженный? Тогда ты на написание такой системы грохнешь несколько месяцев, а потом выкинешь за ненадобностью.
10 Май 2008 at 4:17
Думаю, что наоборот полезно
Цитирую: “И нужен исходный материал – то бишь по тематике изображения (можно парсить где ни будь). Пока не знаю где брать контент, мусор генерировать вряд ли будет наиболее хорошим вариантом.”
Контента всего понемногу… Что-то напарсить из разных источников и собрать пост, что-то – целиком с другого сайта забрать и пройтись чуток синонимайзером (из RSS по тематике к примеру, Я.Блоги позволяют), малая часть – через генератор. До кучи разбавить автоматом переведенные статьи)) Главное – разнообразие.
Врятли несколько месяцев, я сам столько не выдержу. Скорее постепенный рост.. Даже если эта схема не удастся – я получу готовые модули для использованиях в других проектах (других схемах дорвеев) + опыт.
10 Май 2008 at 23:30
Miky.
К твоему сообщению есть одно замечание. Я не знаю как для Рунета, но в англоязычном сегменте как только на твои сайты пойдет трафик они улетят далеко-далеко в зад
Я тоже занимался созданием псевдо-сайтов, даже два месяца кодил дорген. В итоге выкинул его на помойку. Не рулит это. Тебе нужен ТРАФИК и БАН. Вот попробуй сделать так, чтобы дор быстро вылазил по всем позициям и попадал в бан поисковиков.
P.S. Я крон никогда не использовал для этого есть боты. Сохраняй в текстовом файле дату последнего изменения и проверяй при каждом открытии не нужно ли добавить еще одну статью. А “открывать” твой дор будут боты, каждую минуту почти кто-нибудь из них да “завалит”
11 Май 2008 at 3:19
Дорвеи это зло. Делайте сателиты лучше.
11 Май 2008 at 3:33
А чем это было обосновано? Я думаю будет как у каталогов – постепенный набор трафика, неделя лафы, потом бан) За это время собиралось оч. хорошее кличество трафика.
Но я параллельно занимаюсь, точнее я пока этой версией еще не занимался даже..
PS. хорошая мысль… хотя крон более удобен, но с ним мороки почему то больше (хотя может это у меня так).
11 Май 2008 at 3:53
2Fasgen, большая часть сателлитов от дорвеев ненамного отличается)) но в отличие от них дорвейщики не обманывают реклов в сапе и не продают ссыли с говносайтов. Если мы обманываем поисковики – то сателлитчики рекламодателей (если конечно сателлит делается именно под массовую продажу ссылок).
11 Май 2008 at 6:23
> я получу готовые модули для использованиях в других проектах (других схемах дорвеев)
Сколько у тебя вообще опыт программирования? Если мало – то готовые модули вы выкинешь, т.к. они будут плохо написаны и ты это позже поймёшь. Если много (лет 5), тогда да, это хороший подход.
2 # 3 Toxic_Cat
> P.S. Я крон никогда не использовал для этого есть боты.
Если ты не можешь ман про крону прочитать, это не значит, что нужно сразу советовать человеку дерьмовый протез-замену крона, какой ты смог написать.
> Тебе нужен ТРАФИК и БАН.
Глупо. У нас месяцами доры держатся в индексе. Траф есть.
11 Май 2008 at 7:21
Секрет, не груби.
Крон на моем сервере например недоступен.
12 Май 2008 at 8:44
Секрет, модули я пока выделяю в отдельные функции и сохраняю… Опыт около двух лет, но по большому счету я средний программист)
Насчет крона – у меня тоже на vds не могу юзать фунцию GET, приходится какой то костыль использовать, который к тому же завесил весь виртуальный хостинг о_О
PS. И действительно, не груби.. Способ конечно средний, но тоже вполне работоспособный.
12 Май 2008 at 11:59
2Miky тоже верно, но сателиты все таки имеют хоть какую то смысловую нагрузку!
17 Май 2008 at 18:24
> Секрет, не груби.
А что ещё остаётся, когда подобный способ (рабочий, конечно, кто бы спорил) подают не как последний шанс в случае когда крон уж точно не доступен, а как хорошую альтернативу?
Впрочем, уже не важно.
> Крон на моем сервере например недоступен.
Что значит “на твоём сервере”? Это дедик? Не может там не быть крона. И даже если его кто-то специально удалил, его можно поставить за полторы минуты. Или это vds? Аналогично. А если это хостинг (конечно, “на моём сервере” не может значить хостинг, но мало ли), тогда да, хостинг без крона найти можно.
2 Miky
> Насчет крона – у меня тоже на vds не могу юзать фунцию GET, приходится какой то костыль использовать, который к тому же завесил весь виртуальный хостинг о_О
Что значит “функция GET”? В php такой функции нет. Знаю метод передачи данных – GET, но ты не про него же? Про костыль – когда нет нормальных вариантов, юзаешь костыли. Но ты при этом чётко знаешь, что их юзаешь.
> PS. И действительно, не груби..
17 Июль 2008 at 5:26
[...] Дорвей – имитатор контент-сайта [...]
30 Июль 2008 at 15:25
Сенкс автору. Возможно, в будущем я и действительно реализую подобную идею.
03 Авг 2008 at 15:51
Занимательная статья, да и сам сайт я смотрю очень даже не плох. Попал сюда по поиску из Google, занес в закладки
13 Авг 2008 at 13:30
Любопытно. Хотелось бы видеть надпись “продолжение следует”
15 Авг 2008 at 20:28
что то эта “концепция дорвея” больше напоминает сателит, суть дорвея в том что бы перенаправить трафик с ПС на целевой сайт, а если он будет изобилировать контентом то нада бояться того что “посититель” не перейдет дальше твоего дора. а так как это достаточно серезный бизнес то любой конкурент по такому же запросу просто настучит ПС, и как минимум ты теряешь позиции а 90 % это бан.