четверг, 31 декабря 2009 г.

Итоги 2009 года

Вот и подошел год к концу, что я могу сказать о прошедшем годе?
  1. Яндекс начал бить по площадям, при этом иногда не везет абсолютно нормальным сайтам
  2. В траффике деньги появляются быстрее чем в сапе.
  3. Если не ленится, то можно сделать полностью автономную систему по созданию говносайтов.
  4. Копипаст до сих пор цветет в индексе
Всех с новым годом, надеюсь в 2010м году будет все лучше!

четверг, 17 декабря 2009 г.

отчет за 18.12.2009

Вот уж скоро конец года.
Последнее время что-то не очень все хорошо идет в финансовом плане, приходится сливать траффик с тизеров на всякую фигню, пока-что это увеличивает сумму раза в 2-3, но так долго продолжаться не может... Приобрел еще 1 IP адрес для размещения сайтов и уже их выгрузил. Попробую использовать mainlink. Жду хорошего АПА

четверг, 10 декабря 2009 г.

Планы на будущее

Довно хотел подойти к яндексу с математической точки зрения, для этого сейчас обдумываю довольно смелый эксперимент. Решил попробовать переписать свой генератор сайтов для того, чтоб  с помощью генетических алгоритмов (да, да) вывести наиболее хороший сапосайт. Для этого надо будет довольно неплохо потратится - для 5-6 поколений (1 поколение - 2 апа) мне надо будет прикупить около 10 доменов на каждое поколение. Брать скорее всего буду info. Так-же, чтоб не разводить палева на весь поселок надо будет прикупить хостингов на 8-10 IP адресов. Таким образом, даже если ничего не получится у меня останется под конец около 50-60 сайтов (может даже половина будет в индексе), что само по себе будет неплохо, а если все пройдет как я хочу, то можно будет переходить уже к выведению более-менее идеального MFA.

пятница, 20 ноября 2009 г.

отчет за 20.11.2009

Слава снежинску.
Не, я вообще перестал понимать логику яндекса. Траффик увеличился от 6 до 8 раз.
Адсенс вчера меня просто вверг в шок. За сутки 9$ это рекорд. Похоже, что свои деньги от угля я получу довольно скоро, что не может не радовать.

понедельник, 16 ноября 2009 г.

отчет за 16.11.2009

Неожиданно один мой сайт за сутки продал около 800 ссылок, конечно они все уровня 3, но это уже получится около 640р в месяц, это означает, что тема с тем генератором сайтов что я придумал действует. Пора превращать прибыль в новые сайты. Возможено и мне повезет на ниве саповодства, к тому-же небольшой плюс в доходах мне никогда не помешает.

Вот так подарочек, стоило немного цены пересмотреть

среда, 11 ноября 2009 г.

Отчет за 11.11.2009

В сапе есть деньги и они потихоньку плывут в мой карман. Поскольку сейчас сапа окупает все домены и хостинг я начинаю второй пункт коварного плана по захвату мира, а именно работу с кинопартнерками. В настоящее время создан один большой сайт с фильмами (из прилагающегося XML), сейчас он индексируется. А так-же создано несколько малых сайтов для фильм премьеры которых еще ожидаются, к премьере я рассчитываю эти сайты крепко вбить в индекс и вывести в топ (очень хочется). Тогда можно будет уже тратить часть дохода на копирайт для большого киносайта, так-как для маленьких я еще могу себя заставить писать его сам.
В дальнейшем планируется еще больше расширить работу с кино и сапосайтами.
Мое мнение - лучше иметь много разных источников дохода, чем вкладывать все усилия в один и при проблемах перейти на питание ролтоном.

пятница, 6 ноября 2009 г.

Отчет за 6.11.2009

Итак, прошедшие апы ТИц мне ничего не дали, а вот ап PR порадовал.
В настоящее время сапа пущена на самоток(доход 22р сегодня и продолжает расти), а я оглядываю кинопартнерки с целью попробовать работать на них. В целом есть конечно мысль продолжить саповое направление, но пока что пусть там копится бабло на домены.

вторник, 13 октября 2009 г.

Отчет за 13.10.2009

Итак, доход в сапе растет и очень неплохо, сунул 2 нулевки и экспериментирую с ценами которые будут отсекать всяких варезников и приносить побольше денег. Видимо АГС-17 хорошо прошелся по сапе... ссылки раскупаются очень быстро.

суббота, 3 октября 2009 г.

отчет за 03.10.2009

Извиняюсь за долгое молчание, ездил в командировку.
В настоящее время один сайт засунут в сапу (хочу узнать насколько это повлияет на его устойчивость в индексе) по схеме 1-1-1.
Новый фильтр яндекса пока обошел стороной.
Забаненый яндексом домен индексируется гуглом. Может хоть на него будет траффик и адсенс отобьет домен. Еще один домен потихоньку индексируется яндексом (гугль что-то на него пока не ходит).
Исходя из того, что второй домен не прогонялся по закладкам я заключил, что это все еще довольно хороший способ для быстрой индексации. Вообще хочу выйти на такой уровень дохода, чтоб купить спокойно аккаунт на bposter и прогонять домены автоматически.

вторник, 15 сентября 2009 г.

Отчет за 15.09.2009

итак, один сайт практически полностью вошел в индекс яндекса и полностью в индекс гугла. Осталось подождать траффика и можно будет вешать контекстную рекламу.
Приобрел еще один домен для другого сайта, в текущее время он уже наполняется, а так-же запустил сбор данных еще по 2м тематикам.

В дальнейшем планирую дописать функционал перелинковки и поставить этот движок на еще один сервер (не держать же все сайты на 1м IP).

Люди заходят, но как-то вяло. Траффик пока мизерный... Может позже будет лучше.
Если с контекста будут жалкие копейки, то сайты пойдут в великую и ужасную сапу...

суббота, 12 сентября 2009 г.

Отчет за 12.09.2009

Итак, один из сайтов успешно входит виндекс. В текущее время съедено около 700 страниц, бот продолжает жевать сайт :)
Вчера днем включил на сайте adsense. К концу вечера он меня очень порадовал, с этого сайта вылетело аж 3$. Т.е. домен в принципе себя почти отбил. Это радует... посмотрим какая ситуация будет к вечеру... В сапу его суну еще очень нескоро, к тому времени у меня должно быть (по рассчетам) еще 4 таких сайта.

пятница, 11 сентября 2009 г.

Отчет за 11.09.2009

Итак, сайт на место забаненного постепенно наполняется, в движок внесены изменения касающиеся простановки везде счетчиков статистики и Adsense, а я думаю о том, не прикупить ли еще один домен.

Хотя наверно пока не буду...
На днях вылетел еще один блог на WP (сам его наполнял). Сперто все под чистую. Кое-где даже картинки.
Естественно блог вылетел из индекса.

Сегодня кто-то (редиска) пытался спарсить мой движок. Пока-что его побанил руками, но в дальнейшем надо что-то придумать полуавтоматическое. Ловушек например навесить на сайты.

Как же меня достали копипастеры... кто бы знал...

среда, 9 сентября 2009 г.

Отчет за 09.09.2009

Решил попробовать запустить на месте забаненного сайта (про который платон написал, что мол развивайте) свой проект (каталог).
Сайт был в свое время успешно проиндексирован, но потом с него разворовали весь контент.

После данного случая я зарекся ставить wordpress.

Поскольку домен простаивал без дела я его и приспособил под свои грязные дела.

пятница, 4 сентября 2009 г.

Отчет за 04.09.2009

Итак, сгенерированный сайт успешно входит в индекс (уже несколько апов было, а он все прибавляет и прибавляет странички). Один из сайтов после АП ТИц получил небольшой, но ТИц, что позволяет увеличить доход с него.

В настоящее время отправил это все на самотек, поскольку по другому направлению (разработка на заказ) сейчас довольно много работы.

четверг, 27 августа 2009 г.

Отчет за 27.08.2009

Итак, немного переделал свою платформу по показу каталогов и теперь она умеет принимать новые сайты от пользователей. Конечно используется капча (я пользуюсь recaptcha) и модерация сайтов.
Все сделано довольно просто и имеет несколько кнопок для админа. Точнее ему в почту приходит описание сайта, а уж отклонять или принимать - его дело.
Рассчитываю еще написать greasemonkey скрипт для администрирования собственно каталога.
Пока не придумал идею с защитой, но скорее всего воспользуюсь генерацией секретного слова на лету.

понедельник, 24 августа 2009 г.

24.08.2009

Итак, все вроде двигается... Первый сайт активно поедается гуглом, I бот только robots.txt съел и пока не появлялся. Буду ждать.

На сегодня у меня записано наконец сделать систему перелинковки доменов... Но пока ее скорее всего делать не буду. Лень что-то.

суббота, 22 августа 2009 г.

лытдыбр. Планы

У меня сейчас довольно много планов о том, что бы хотелось сделать, например:
  1. Сменить город проживания (в процессе)
  2. Сделать хороший СДЛ по фантастическим фильмам (в основном до 2000го)
  3. Начать зарабатывать более-менее человеческие деньги
  4. Съездить в Австралию
Планов всегда много, но запланировать их нельзя, да я и не стараюсь.
Сейчас мне нужны деньги, немного на самом деле, около 20-30к за 2 месяца. А потом посмотрим.

Отчет за 22.08.2009

Собственно сегодня ничего не делал, поскольку последние деньги были пущены на домены (2 штуки).
Для интереса предлагаю посмотреть на скриншоты генератора сайтов:
Главная страница:



И страница создания проекта сайта:


Теперь остается только ждать пока первый домен пролезет в индекс и можно будет судить о целесообразности продолжать данное направление.

пятница, 21 августа 2009 г.

отчет за 21.08.2009

Первый проект пошел на выгрузку. Как придут деньги на webmoney проведу прогон по соцзакладкам и посмотрю какой будет результат. В принципе дизайн сайта выглядит довольно хорошо, так-что возможно человеки будут смотреть его хоть немного, и может даже нажимать на adsense.

Появилось несколько идей для улучшения cms. Буду их претворять в жизнь.

21.08.2009

Итак, первый проект почти собрался, осталось часа 2-3 и можно запускать процесс выгрузки.
Сейчас думаю над тем, как автоматизировать процесс перелинковки. Скорее всего сделаю набор сущностей для связи 2х доменов, в который будет добавлятся текст и анкор по виду:


Каой-то текст для околоссылочного #текст анкора# какой-то дальнейший текст околоссылочного


P.S. Интересно, тут можно подключить подсветку синтаксиса?

среда, 19 августа 2009 г.

Отчет за 20.08.2009

Проснулся довольно рано (часов в 5 утра) и сел за работу.

Сделано:
  1. Все залито на сервер и настроено
  2. Создан и запущен первый проект
  3. Сделано 2 дизайна для показывателя (один дизайн имеет 5 цветовых схем)
  4. Зарегистрировано имя для первого сайта

На сегодня я больше этим не буду заниматься. Вообще по моим прикидкам сайт будет подготовлен не раньше чем через 2-3 дня. До этого времени он будет собираться и делать прочие нужные вещи.

Отчет за 19.08.2009

Итак, движок для сайтов завершен. Он рассчитан на обработку большого количества сайтов с разным дизайном (пока сделан 1, но думаю это ненадолго).

Часть для выгрузки так-же завершена и сейчас идет активное ее тестирование (она выгружает данные на тестовый сайт).

На сегодня я работы завершил. Завтра буду закидывать это все хозяйство на VDS, собирать данные, регистрировать доменное имя и запускать все это хозяйство на боевой режим.

Так-же завтра займусь дизайнами для сайтов, а то у меня что-то страшненькое пока получается :)

вторник, 18 августа 2009 г.

Отчет за 18.08.2009

Сегодня закончил внутренеею часть создателя сайтов.
Осталось сделать немного - написать PHP движок и модуль выгрузки в него.

Буду наверно публиковать в данном генераторе по 20-30 страниц за раз.
Конечно это не "медленное наполнение", но в среднем это небольшие сайты будут. Страниц на 300-400, так-что стоит их побыстрее делать и переходить к настоящим многостраничникам (3000-10000 страниц).

Так-же стоит подумать на тему перелинковки. Все-таки хочу немного ТИц, а то с нулевок ссылки плоховато идут.

Жду недождусь когда доходов будет хватать на то, чтоб покупать нормальный рерайт или скан.

понедельник, 17 августа 2009 г.

Отчет за 17.08.2009

Итак, сегодня написал всю морду и почти всю логику интерфейса для генератора говносайтов типа 1, осталось дописать только демона для сбора и обработки информации, а так-же написать движок клиентских сайтов на PHP.
Для сайтов решил использовать 2 своих VDS и может потом докупить еще один специально для них, поставить на них nginx и докупить пару-тройку IP.

В остальном день прошел вполне обычно, написал бы и демон, но позвонил заказчик системы (старый заказ) и попросил выловить несколько глюков.

воскресенье, 16 августа 2009 г.

Отчет за 16.08.2009

Сегодня перенес управление доменами в часть паспорта.
Решил сделать один очень простой генератор контента. Помните "проект Страна", который на серче все обсасывали? Правда я так и не понял почему все сайты повылетали из индекса... что-то было странное в этом, ну да ладно. В то-же время я для пробы написал такой-же сайт и похожим образом его наполнил... Все пока идет вполне неплохо, сайт уже который месяц в сапе и практически все ссылки с него проданы (я сгенерировал всего 190 страниц). В настоящее время я вспомнил о нем и решил сделать целую сеть таких сайтов. Сеть будет генерироваться автоматически (полуавтоматически, если честно, но это не особо важно) и будет висеть на 1-2х IP. Пока рассчитываю дня за 3-4 написать работающую систему, закупить домены и сказать "Горшочек, вари!". Как все это хозяйство проиндексируется буду уже думать про перелинковку и прочую мутотень.

суббота, 15 августа 2009 г.

Отчет за 15.08.2009

Решил вынести всю работу с доменами (добавление/удаление/регистрация) в пасспорт.
Все остальные приложения будут только подтягивать список оттуда (и хранить у себя локальную копию).
Так-же вся статистика будет так-же копится в пасспорте (и много чего еще).

В связи с этим, все приложения-клиенты будут нужны лишь для наполнения контентом, например создал я клиент, который из огромных текстовых документов делает посты в "блог". Его форма работы (минимальная естественно) будет состоять из следующих полей:
  1. поле закачки файла с текстом
  2. выпадающий список домена
  3. поле регламентирующее по сколько постов "писать" в день
  4. кнопка сохранить
И так со всеми, т.е. приложения клиенты являются по сути плагинами к основной системе.
Это, кстати, позволит более качественно продавать всю эту машинерию при необходимости, т.е. основная система (паспорт-статистика-хранилище доменов) стоит N$, а каждая подсистема (плагин) сколько-то других денежных едениц. Заодно это улучшит взаимодействие со сторонними продуктами, так-как API получится минимальным.

пятница, 14 августа 2009 г.

Отчет за 14.08.2009

Написал демонов для парсинга. Теперь при старте веб морды они стартуют автоматически.
Перенес парсер (с некоторыми улучшениями) на vds.
Похоже придется докупать к нему памяти, либо ставить другие приложения на другой VDS (у меня их 2). Довольно много кушает эта машинерия, хоть и улучшена по максимуму.
Скорость работы на VDS с нормальным каналом не может не радовать, все просто летает.

В планах на завтра - дописать полный генератор данных, добавить в приложение паспорта управление доменами пользователя и начать писать шаблон для говносайтов (на php).

Шаблоны должны уметь некоторое количество действий, в частности перелинковку доменов. Вообще думаю переименовать паспорт в что-нить более подобающее, поскольку он будет и доменами управлять и перелинковкой их, и много чем еще.

четверг, 13 августа 2009 г.

Откуда я беру идеи

Вообще мои проекты не ограничиваются одним говноконтентом на говносайтах. Это так, локомотив который только начинает разгонятся. На самом деле у меня много идей реально полезных людям.
Вы спросите откуда я их беру? Так вот, все очень просто, я довольно много (час-два) в день читаю различные блоги и аггрегаторы по блогам, там видно многие идеи, на которые у авторов либо нет времени, либо не хватает знаний в программировании. Вот и весь секрет. Иногда что-то интересное и на форумах есть, но редко.

среда, 12 августа 2009 г.

Очередной день

Сегодняшний день прошел без движения, не стоило вчера так пить.
За сегодня у меня появилось несколько идей по сайтам вообще.

Вот взять такую вещь как редактирование контента, в стандартной ситуации имеем:
  1. Открыть панель администрирования сайтом
  2. Нажать кнопку создать страницу
  3. Написать страницу
  4. Нажать кнопку сохранить
Так?
В этих казалось бы простых пунктах есть много косяков:
  1. Фиг знает какой пароль на админке
  2. Вероятность иметь в ней кучу багов
  3. Кривые редакторы (я сам пишу все в html)
  4. Пропадания связи после сабмита
Моя идея состоит в том, что если сайт представляет из себя простые текстовые странички, то можно использовать в качестве системы администрирования Google Docs. В ближайшее время напишу небольшой прототип.

суббота, 8 августа 2009 г.

Про генерацию текстов.

Поскольку скан мне очень не нравится, рерайт я недолюбливаю, а копирайт дорог, то приходится крутится самому. Тексты я генерирую.

Вот допустим есть у вас 10000 товаров, одним легким движением руки (и довольно долгим движением мозгов) их можно превратить в 10000 страниц текста. Для этого я пишу шаблон для размножения, но с условиями на наличие/отсутствие опции (Характеристики) и подстановкой этой характеристики... Получается даже вполн читаемо. Яндекс ест только в путь, у гугла процесс идет много медленнее.

Вот ведь засада

Пока писал и отлаживал модуль для работы с anti-captcha.com яндекс уже меня разбанил и нужный (на пару сайтов) контент уже спарсился... Ну пусть будет, не последние же это сайты.

пятница, 7 августа 2009 г.

Что следует учитывать при написании парсеров


Если вы видите вот такую картинку, то что-то пошло не так.
Я к сожалению ее наблюдаю довольно часто, но методов решения ее тоже предостаточно.
Например сервис антикапчи. Я использую у себя в парсере curl, поэтому надо будет только написать ему что-бы он принимал печеньки и если что сам мог работать с AC.

На самом деле я не только яндекс парсить собрался, а еще нескольких гигантов которые дают данные в нужном мне виде.

Цели

Цели в принципе у меня простые, мне довольно скучно жить на зарплату программиста на РНР. Сайты сейчас заказывают мало, а денег платят еще меньше, поэтому я решил, что надо немного подзаработать денег (тысяч 40) и переехать в более благоприятный город.

Поэтому цель такова - написать парсеры и генераторы контента и сделать пару-тройку десятков говносайтов для сапы.

Как показали эксперименты сайты такого типа довольно неплохо входят в индекс (у меня для теста было 2 таких, так один влетел всеми 2000 страницами в индекс за 1 ап).

Откровенно говном данный тип контента тоже не будет, это вам не сгенерированные каталоги сайтов (хотя я делал для эксперимента и такой сайт, живет в индексе). Дальше - больше, посмотрим как пойдет.

Краткое описание системы

Вообще весь софт который я пишу довольно тесно будет переплетен между собой.
В первую очередь мной был написан сервер авторизации (oauth)


Вообще, любое приложение авторизоваться будет через него, это довольно удобно если приложений довольно много, плюс позволяет хранить информацию о пользователе в одном месте.

Клиентское приложение предназначено только для одной цели, но делает ее хорошо. В настоящее время для создания сайтов для сапы я написал на 90% приложение которое парсит нужный контент, а потом после его преобразования (это не копипаст) он заливается на сайты. Говносайты писаны на PHP и не имеют системы администрирования, просто заливается сайт, настраивается, в базу заливается сгенереный дамп и поехали.

В планах - переделка старой системы статистики на новую и добавление еще нескольких видов парсеров.

Old time ago...

Вобщем первая запись в блоге. Не знаю что меня подвинуло вести этот блог, да и будет ли он вестись не знаю. Но кратко о том, что я делаю буду писать здесь.
В основном я занимаюсь автоматизацией всяких рутинных процедур.
Например проверка проиндексированности сателлитов.
Проверка их параметров и прочая фигня.

Весь софт который будет описан написан мной и для себя.
Писано все на Ruby on Rails и если вы захотите приобрести что-либо из моего набора, то готовьте сервер.