Парсинг текста

Что обычно нужно для генерации дорвея? Кейворды и текст для генерации. Если с кейвордами более-менее разобрались, то с текстом пришлось повозиться…

Во первых, откуда парсить? Так я сам обычно искал контент в Яндексе, для него я и написал парсер. Работает он достаточно просто – составляет поисковый запрос ($key.” обзор”), отправляет в яндекс, парсит адреса первых 10 результатов выдачи, парсит контент с этих сайтов и объединяет его:

yandex_text.php.txt

И если парсинг выдачи оказался достаточно простым (готовая функция), то для очистки контента от мусора с сайтов оказалось гораздо сложнее (( Стандартный strip_tags() не справлялся, пришлось нарыть аналогичную функцию на каком то форуме и использовать её… На выходе получается достаточно грязный, но объемный текст, из которого уже можно генерировать текст цепями маркова.

Для буржунета достаточно парсить выдачу гугла и все. Вообще, можно использовать другой источник чистого контента – RSS, но я пока оставил это на потом (для цепей маркова вполне хватает текста, напарсенного с выдачи).

Генерация имени домена

Как истинный баблокнопкостроитель, я стремлюсь автоматизировать всё. Работа с доменами – не исключение. Авторегистрацию ru-доменов я для себя сделал (может как ни будь сделаю сервис “для всех”) – через API. Нужно только найти свободный домен по тематике.

Функция работает достаточно просто – к ключевому слову (однословному желательно) попеременно добавляет до и после некоторые слова. К примеру, “2″ или “all”. Если свободных среди них нет – добавляет через тире. Актуальна данная функция для ру-доменов (хотя можно под любую зону, только whois настроить) – в gTld доменах придется использовать гораздо более расширенную генерацию (масштабы побольше рунета), и, возможно, оценочную систему (к примеру, что лучше – nissan.ws или all-nissan-dream.com? Гугле ведь все равно на зону, а первый выглядит гораздо лучше второго), но это я буду делать, когда разберусь с рунетом

gen_name_domain.php.txt

Лично меня качество генерирования вполне устраивает Тем более вручную я делаю практически тоже самое, только гораздо дольше… Хотя и очищаю контент лучше.

Выделение поискового запроса

Когда то для себя я уже писал такой скрипт, но лишь при наличии трафика понял, что процентов 30 (если не больше) запросов он попросту нерасшифровывает.. Пришлось в срочном порядке искать новый, и я его нашел. Им оказался модуль SimpleTDS, который даже не пришлось переделывать (только добавить поисковые системы рунета):

kw.php.txt

Данная функция гораздо более универсально, чем мое нагромождения, и этот код можно использовать одинаково эффективно и в рунете, и в буржунете.

PS. Кстати, если вам нужен какой либо скрипт/функция, пишите в комментариях – может чем помогу. Скоро уже буду делать отдельную страничку скриптов, их уже 9 штук набралось.

————————-
Сам я усиленно пишу дорген ) По автоматизации довожу его до кондиции “тематика”->”получить бабло”, чтобы ничего не нужно было проверять, добавлять и т.д. Дорген сам генерирует домен, регистрирует его, прописывает на сервере, парсит кейворды, тексты, генерирует дор, заливает его, следит за статистикой, раскручивает и спамит… Сейчас я гораздо ближе к концу работы, чем к началу, на стадии генерации поддоменов (а конкретно – распределение кейвордов между поддоменами в соответствии с тематикой). По плану я должен его закончить 20-25 мая, и начать массовую генерацию доров (штук 20 доменов -> 600-1000 поддоменов), чтобы к концу июня выйти на план (10$, около 5к трафика ежедневно, сейчас в 20 раз меньше). Но это только планы, на практике еще предстоит разобраться с раскруткой (создал и забил – не катит) и другими вопросами.

Прогресс по дорам можно увидеть справа, в сайдбаре (мелкий спад). По индексации – в гугле если были ссылки – теперь в индексе (трафика минимум), яндекс все кроме двух доров побанил, в раме только один дор полноценно в индексе, остальные 10-15 страниц (жду полной индексации). Буду ждать, авось некоторые вылезут (особенно надеюсь на рамблер).

————————
постовой
————————

Snicke написал про полезность знания PHP. Полностью с ним согласен, на одних готовых скриптах далеко не уедешь Если правда денег много, можно и на готовых, но мы ж бедные студенты, к тому же делаем все под себя..

Wonder рассказал о том, как он делает доры. Неплохой способ, хотя и несколько туманно…

Добавление доменов и поддоменов
Чтож, начнем с самого начала… Регистрацию доменов пока опустим (все таки пока что объем не такой большой), а вот добавление доменов и поддоменов на хостинг – это да, занятие трудоемкое, особенно если поддоменов штук 40, и каждый надо добавлять.. Так как я пока что держку свои дорвеи у firstvds (не сочтите за рекламу, просто мне там пока удобно. Кога найду что-то более лучшие – перейду к другим), то панель управления – ISPmanager. Поэтому я взялся за изучение их API.. Честно говоря, думал, что все гораздо сложнее – придется несколько часов искать нужные функции, параметры, доступ и т.д., но все оказалось гораздо проще, и через полчаса я уже наваял готовую функцию:

isp_createdomain.php.txt

Пользоваться очень легко – настраиваете конф (некоторые значения придется взять из самой панельки), потом просто вызываете функцию в любом месте Если чуток почитать мануал, можно реализовать любую операцию (удаление доменов, добавление mysql, e-mail и т.д.). Внимание! Для работы функции нужен curl (на локальном сервере может не работать).

Заливка на FTP
Что нужно сделать потом? Залить на хостинг конечно! Неважно, сколько файлов заливать – один или тридцать тысяч, все равно это нужно автоматизировать. Иногда так же нужно сменить права доступа к файлу (для инсталляторов). В php все функции для работы уже встроены, осталось только совместить их и всё. Я не стал оформлять в виде функции – все равно по одному файлу не загружают, скрипт придется интегрировать в дорген.

ftp.php.txt

Я показал пример заливки файлов и смены прав. Остальные функции можно найти в справочниках, они стандартны.

Парсинг кейвордов
Да, опять Яндекс.Директ На этот раз я научился пользоваться и серверными вариантами парсеров (чтобы IP не банили, достаточно поставить задержку 5-10 секунд):

parser.php.txt

Но из-за этой самой задержки оперативно кейворды не напарсишь, поэтому я решил парсить до начала генерации… То есть берется ключевое слово (телевизор), парсится первая страница, все кеи записываются. Затем обходятся эти 49 кеев, полученные кеи записываются и т.д., пока не кончатся. Скрипт то я написал, но вот заставить его запускаться раз таки не получилось – крон тупит (( отправил в саппорт, может разрулю. При непрерывной работе получается около 70к кеев в сутки, если слегка подхимичить с настройками – то все 400, а если еще добавить лист проксей… Хотя, с дургой стороны – зачем так много кеев

Пока что всё. В планах еще парсинг текста (берем выдачу яндекса, первые 10 страниц парсим, обрабатываем), регистрация доменов (gTld и ру), генерация имен доменов по тематике (и поддоменов тоже).

—————————-

Мои дорвеи пока фигово поживают… Боты вовсю посещают, но в индекс не запихивают ( Трафа, соответсвенно – 5-10 на всех поддоменах. Гугл гад, без ссылок не индексирует домен вообще – для эксперимента два поддомена только в аддурл запихал, рамблер сожрал – гугль нет. Сейчас готовлю вторую версию доргена, автоматизированную, поддоменов этак на 40.. Попробую их между собой перелинковать (до этого только внутри дорвея перелинковка была), и раскручивать только основной домен, с которого уже боты будут переходить на поддомены. Для чистоты эксперемента сделаю две штуки, на .ru и .com домене, может гуглю больше второй понравится (рамблеру точно не понравиться).

—————————-

PS. Хороший дорвейщик – ленивый дорвейщик) Даешь кнопу бабло!