Автоматизируй это!
Как я уже писал, дорвей – это автоматически создаваемый сайт. А это значит, что в идеале абсолютно все операции должны быть автоматизированы – начиная от выбора тематики и регистрации домена и заканчивая настройкой и подсчета денег в партнерке. Конечно, до идеала мне далековато, но первые шаги я уже начал делать.
Добавление доменов и поддоменов
Чтож, начнем с самого начала… Регистрацию доменов пока опустим (все таки пока что объем не такой большой), а вот добавление доменов и поддоменов на хостинг – это да, занятие трудоемкое, особенно если поддоменов штук 40, и каждый надо добавлять.. Так как я пока что держку свои дорвеи у (не сочтите за рекламу, просто мне там пока удобно. Кога найду что-то более лучшие – перейду к другим), то панель управления – ISPmanager. Поэтому я взялся за изучение их .. Честно говоря, думал, что все гораздо сложнее – придется несколько часов искать нужные функции, параметры, доступ и т.д., но все оказалось гораздо проще, и через полчаса я уже наваял готовую функцию:
Пользоваться очень легко – настраиваете конф (некоторые значения придется взять из самой панельки), потом просто вызываете функцию в любом месте
Если чуток почитать , можно реализовать любую операцию (удаление доменов, добавление mysql, e-mail и т.д.). Внимание! Для работы функции нужен curl (на локальном сервере может не работать).
Заливка на FTP
Что нужно сделать потом? Залить на хостинг конечно! Неважно, сколько файлов заливать – один или тридцать тысяч, все равно это нужно автоматизировать. Иногда так же нужно сменить права доступа к файлу (для инсталляторов). В php все функции для работы уже встроены, осталось только совместить их и всё. Я не стал оформлять в виде функции – все равно по одному файлу не загружают, скрипт придется интегрировать в дорген.
Я показал пример заливки файлов и смены прав. Остальные функции можно найти в , они стандартны.
Парсинг кейвордов
Да, опять Яндекс.Директ
На этот раз я научился пользоваться и серверными вариантами парсеров (чтобы IP не банили, достаточно поставить задержку 5-10 секунд):
Но из-за этой самой задержки оперативно кейворды не напарсишь, поэтому я решил парсить до начала генерации… То есть берется ключевое слово (телевизор), парсится первая страница, все кеи записываются. Затем обходятся эти 49 кеев, полученные кеи записываются и т.д., пока не кончатся. Скрипт то я написал, но вот заставить его запускаться раз таки не получилось – крон тупит (( отправил в саппорт, может разрулю. При непрерывной работе получается около 70к кеев в сутки, если слегка подхимичить с настройками – то все 400, а если еще добавить лист проксей… Хотя, с дургой стороны – зачем так много кеев
Пока что всё. В планах еще парсинг текста (берем выдачу яндекса, первые 10 страниц парсим, обрабатываем), регистрация доменов (gTld и ру), генерация имен доменов по тематике (и поддоменов тоже).
—————————-
Мои дорвеи пока фигово поживают… Боты вовсю посещают, но в индекс не запихивают ( Трафа, соответсвенно – 5-10 на всех поддоменах. Гугл гад, без ссылок не индексирует домен вообще – для эксперимента два поддомена только в аддурл запихал, рамблер сожрал – гугль нет. Сейчас готовлю вторую версию доргена, автоматизированную, поддоменов этак на 40.. Попробую их между собой перелинковать (до этого только внутри дорвея перелинковка была), и раскручивать только основной домен, с которого уже боты будут переходить на поддомены. Для чистоты эксперемента сделаю две штуки, на .ru и .com домене, может гуглю больше второй понравится (рамблеру точно не понравиться).
—————————-
PS. Хороший дорвейщик – ленивый дорвейщик) Даешь кнопу бабло!
10 Май 2008 at 23:17
Мне по душе твой подход к автоматизации.
Только нафиг тебе рамблер? Яндекс рулит!
11 Май 2008 at 3:30
Вчера как раз набросал функцию для парсинга текста, почти все готово, осталось только соединить и отшлифовать))
Вот только с кеями траблы жесткие (( Крон через жопу запускается, и кажется завесил mysql базу и сам VDS (хотя может дело не в нем), да и парсит медленно… Наверное стоит полуавтомат пока сделать – отдельный скрипт для парсинга кеев, за 20-30 минут авось напарсит нужное количество.
Для рутрафика рамблер рулит) Много не нужно, а при должном умении льет трафик по полгода-год) Индексирует с полпинка из аддурла.
11 Май 2008 at 12:42
Блин, реально интересно, что будет далее. У меня самого где-то ещё висят недоделанные дорвеи, забросил пока что Подписался на тебя. Буду читать.
12 Май 2008 at 6:21
Miky, мои доры выдохлись.
Теперь вся надежда на твои мозги!
Порви Гуглю на тряпки )) Выжми из него весь трафик ^_^
12 Май 2008 at 8:37
Toxic_Cat )))) Пока что с этим фигово, но я постараюсь
Сейчас уже дописываю функцию автореги и подбора доменов, в идеале все закинуть на сервак и пусть само генерируется сутками о_О
12 Май 2008 at 16:57
в гугле без бэков на новом домене ничего не получится
17 Май 2008 at 8:55
[...] и текст для генерации. Если с кейвордами более-менее разобрались, то с текстом пришлось [...]
19 Май 2008 at 0:53
вот и мои руки дошли до изучения api ISPmanager.
только вот как там архивы им распаковывать?
19 Май 2008 at 1:11
а, всё. раздраконил)
?func=file.extract&elid=site.zip&plid=home/user/data/www/yandex.ru&out=text
08 Июнь 2008 at 12:40
Интересно, подписался. Сам недавно задался целью автоматизировать всё и вся, но пока занимаюсь этим на уровне движка для блога, т.е. автоматическое добавление, граббинг и рерайтинг контента.