четверг, 27 августа 2009 г.

Отчет за 27.08.2009

Итак, немного переделал свою платформу по показу каталогов и теперь она умеет принимать новые сайты от пользователей. Конечно используется капча (я пользуюсь recaptcha) и модерация сайтов.
Все сделано довольно просто и имеет несколько кнопок для админа. Точнее ему в почту приходит описание сайта, а уж отклонять или принимать - его дело.
Рассчитываю еще написать greasemonkey скрипт для администрирования собственно каталога.
Пока не придумал идею с защитой, но скорее всего воспользуюсь генерацией секретного слова на лету.

понедельник, 24 августа 2009 г.

24.08.2009

Итак, все вроде двигается... Первый сайт активно поедается гуглом, I бот только robots.txt съел и пока не появлялся. Буду ждать.

На сегодня у меня записано наконец сделать систему перелинковки доменов... Но пока ее скорее всего делать не буду. Лень что-то.

суббота, 22 августа 2009 г.

лытдыбр. Планы

У меня сейчас довольно много планов о том, что бы хотелось сделать, например:
  1. Сменить город проживания (в процессе)
  2. Сделать хороший СДЛ по фантастическим фильмам (в основном до 2000го)
  3. Начать зарабатывать более-менее человеческие деньги
  4. Съездить в Австралию
Планов всегда много, но запланировать их нельзя, да я и не стараюсь.
Сейчас мне нужны деньги, немного на самом деле, около 20-30к за 2 месяца. А потом посмотрим.

Отчет за 22.08.2009

Собственно сегодня ничего не делал, поскольку последние деньги были пущены на домены (2 штуки).
Для интереса предлагаю посмотреть на скриншоты генератора сайтов:
Главная страница:



И страница создания проекта сайта:


Теперь остается только ждать пока первый домен пролезет в индекс и можно будет судить о целесообразности продолжать данное направление.

пятница, 21 августа 2009 г.

отчет за 21.08.2009

Первый проект пошел на выгрузку. Как придут деньги на webmoney проведу прогон по соцзакладкам и посмотрю какой будет результат. В принципе дизайн сайта выглядит довольно хорошо, так-что возможно человеки будут смотреть его хоть немного, и может даже нажимать на adsense.

Появилось несколько идей для улучшения cms. Буду их претворять в жизнь.

21.08.2009

Итак, первый проект почти собрался, осталось часа 2-3 и можно запускать процесс выгрузки.
Сейчас думаю над тем, как автоматизировать процесс перелинковки. Скорее всего сделаю набор сущностей для связи 2х доменов, в который будет добавлятся текст и анкор по виду:


Каой-то текст для околоссылочного #текст анкора# какой-то дальнейший текст околоссылочного


P.S. Интересно, тут можно подключить подсветку синтаксиса?

среда, 19 августа 2009 г.

Отчет за 20.08.2009

Проснулся довольно рано (часов в 5 утра) и сел за работу.

Сделано:
  1. Все залито на сервер и настроено
  2. Создан и запущен первый проект
  3. Сделано 2 дизайна для показывателя (один дизайн имеет 5 цветовых схем)
  4. Зарегистрировано имя для первого сайта

На сегодня я больше этим не буду заниматься. Вообще по моим прикидкам сайт будет подготовлен не раньше чем через 2-3 дня. До этого времени он будет собираться и делать прочие нужные вещи.

Отчет за 19.08.2009

Итак, движок для сайтов завершен. Он рассчитан на обработку большого количества сайтов с разным дизайном (пока сделан 1, но думаю это ненадолго).

Часть для выгрузки так-же завершена и сейчас идет активное ее тестирование (она выгружает данные на тестовый сайт).

На сегодня я работы завершил. Завтра буду закидывать это все хозяйство на VDS, собирать данные, регистрировать доменное имя и запускать все это хозяйство на боевой режим.

Так-же завтра займусь дизайнами для сайтов, а то у меня что-то страшненькое пока получается :)

вторник, 18 августа 2009 г.

Отчет за 18.08.2009

Сегодня закончил внутренеею часть создателя сайтов.
Осталось сделать немного - написать PHP движок и модуль выгрузки в него.

Буду наверно публиковать в данном генераторе по 20-30 страниц за раз.
Конечно это не "медленное наполнение", но в среднем это небольшие сайты будут. Страниц на 300-400, так-что стоит их побыстрее делать и переходить к настоящим многостраничникам (3000-10000 страниц).

Так-же стоит подумать на тему перелинковки. Все-таки хочу немного ТИц, а то с нулевок ссылки плоховато идут.

Жду недождусь когда доходов будет хватать на то, чтоб покупать нормальный рерайт или скан.

понедельник, 17 августа 2009 г.

Отчет за 17.08.2009

Итак, сегодня написал всю морду и почти всю логику интерфейса для генератора говносайтов типа 1, осталось дописать только демона для сбора и обработки информации, а так-же написать движок клиентских сайтов на PHP.
Для сайтов решил использовать 2 своих VDS и может потом докупить еще один специально для них, поставить на них nginx и докупить пару-тройку IP.

В остальном день прошел вполне обычно, написал бы и демон, но позвонил заказчик системы (старый заказ) и попросил выловить несколько глюков.

воскресенье, 16 августа 2009 г.

Отчет за 16.08.2009

Сегодня перенес управление доменами в часть паспорта.
Решил сделать один очень простой генератор контента. Помните "проект Страна", который на серче все обсасывали? Правда я так и не понял почему все сайты повылетали из индекса... что-то было странное в этом, ну да ладно. В то-же время я для пробы написал такой-же сайт и похожим образом его наполнил... Все пока идет вполне неплохо, сайт уже который месяц в сапе и практически все ссылки с него проданы (я сгенерировал всего 190 страниц). В настоящее время я вспомнил о нем и решил сделать целую сеть таких сайтов. Сеть будет генерироваться автоматически (полуавтоматически, если честно, но это не особо важно) и будет висеть на 1-2х IP. Пока рассчитываю дня за 3-4 написать работающую систему, закупить домены и сказать "Горшочек, вари!". Как все это хозяйство проиндексируется буду уже думать про перелинковку и прочую мутотень.

суббота, 15 августа 2009 г.

Отчет за 15.08.2009

Решил вынести всю работу с доменами (добавление/удаление/регистрация) в пасспорт.
Все остальные приложения будут только подтягивать список оттуда (и хранить у себя локальную копию).
Так-же вся статистика будет так-же копится в пасспорте (и много чего еще).

В связи с этим, все приложения-клиенты будут нужны лишь для наполнения контентом, например создал я клиент, который из огромных текстовых документов делает посты в "блог". Его форма работы (минимальная естественно) будет состоять из следующих полей:
  1. поле закачки файла с текстом
  2. выпадающий список домена
  3. поле регламентирующее по сколько постов "писать" в день
  4. кнопка сохранить
И так со всеми, т.е. приложения клиенты являются по сути плагинами к основной системе.
Это, кстати, позволит более качественно продавать всю эту машинерию при необходимости, т.е. основная система (паспорт-статистика-хранилище доменов) стоит N$, а каждая подсистема (плагин) сколько-то других денежных едениц. Заодно это улучшит взаимодействие со сторонними продуктами, так-как API получится минимальным.

пятница, 14 августа 2009 г.

Отчет за 14.08.2009

Написал демонов для парсинга. Теперь при старте веб морды они стартуют автоматически.
Перенес парсер (с некоторыми улучшениями) на vds.
Похоже придется докупать к нему памяти, либо ставить другие приложения на другой VDS (у меня их 2). Довольно много кушает эта машинерия, хоть и улучшена по максимуму.
Скорость работы на VDS с нормальным каналом не может не радовать, все просто летает.

В планах на завтра - дописать полный генератор данных, добавить в приложение паспорта управление доменами пользователя и начать писать шаблон для говносайтов (на php).

Шаблоны должны уметь некоторое количество действий, в частности перелинковку доменов. Вообще думаю переименовать паспорт в что-нить более подобающее, поскольку он будет и доменами управлять и перелинковкой их, и много чем еще.

четверг, 13 августа 2009 г.

Откуда я беру идеи

Вообще мои проекты не ограничиваются одним говноконтентом на говносайтах. Это так, локомотив который только начинает разгонятся. На самом деле у меня много идей реально полезных людям.
Вы спросите откуда я их беру? Так вот, все очень просто, я довольно много (час-два) в день читаю различные блоги и аггрегаторы по блогам, там видно многие идеи, на которые у авторов либо нет времени, либо не хватает знаний в программировании. Вот и весь секрет. Иногда что-то интересное и на форумах есть, но редко.

среда, 12 августа 2009 г.

Очередной день

Сегодняшний день прошел без движения, не стоило вчера так пить.
За сегодня у меня появилось несколько идей по сайтам вообще.

Вот взять такую вещь как редактирование контента, в стандартной ситуации имеем:
  1. Открыть панель администрирования сайтом
  2. Нажать кнопку создать страницу
  3. Написать страницу
  4. Нажать кнопку сохранить
Так?
В этих казалось бы простых пунктах есть много косяков:
  1. Фиг знает какой пароль на админке
  2. Вероятность иметь в ней кучу багов
  3. Кривые редакторы (я сам пишу все в html)
  4. Пропадания связи после сабмита
Моя идея состоит в том, что если сайт представляет из себя простые текстовые странички, то можно использовать в качестве системы администрирования Google Docs. В ближайшее время напишу небольшой прототип.

суббота, 8 августа 2009 г.

Про генерацию текстов.

Поскольку скан мне очень не нравится, рерайт я недолюбливаю, а копирайт дорог, то приходится крутится самому. Тексты я генерирую.

Вот допустим есть у вас 10000 товаров, одним легким движением руки (и довольно долгим движением мозгов) их можно превратить в 10000 страниц текста. Для этого я пишу шаблон для размножения, но с условиями на наличие/отсутствие опции (Характеристики) и подстановкой этой характеристики... Получается даже вполн читаемо. Яндекс ест только в путь, у гугла процесс идет много медленнее.

Вот ведь засада

Пока писал и отлаживал модуль для работы с anti-captcha.com яндекс уже меня разбанил и нужный (на пару сайтов) контент уже спарсился... Ну пусть будет, не последние же это сайты.

пятница, 7 августа 2009 г.

Что следует учитывать при написании парсеров


Если вы видите вот такую картинку, то что-то пошло не так.
Я к сожалению ее наблюдаю довольно часто, но методов решения ее тоже предостаточно.
Например сервис антикапчи. Я использую у себя в парсере curl, поэтому надо будет только написать ему что-бы он принимал печеньки и если что сам мог работать с AC.

На самом деле я не только яндекс парсить собрался, а еще нескольких гигантов которые дают данные в нужном мне виде.

Цели

Цели в принципе у меня простые, мне довольно скучно жить на зарплату программиста на РНР. Сайты сейчас заказывают мало, а денег платят еще меньше, поэтому я решил, что надо немного подзаработать денег (тысяч 40) и переехать в более благоприятный город.

Поэтому цель такова - написать парсеры и генераторы контента и сделать пару-тройку десятков говносайтов для сапы.

Как показали эксперименты сайты такого типа довольно неплохо входят в индекс (у меня для теста было 2 таких, так один влетел всеми 2000 страницами в индекс за 1 ап).

Откровенно говном данный тип контента тоже не будет, это вам не сгенерированные каталоги сайтов (хотя я делал для эксперимента и такой сайт, живет в индексе). Дальше - больше, посмотрим как пойдет.

Краткое описание системы

Вообще весь софт который я пишу довольно тесно будет переплетен между собой.
В первую очередь мной был написан сервер авторизации (oauth)


Вообще, любое приложение авторизоваться будет через него, это довольно удобно если приложений довольно много, плюс позволяет хранить информацию о пользователе в одном месте.

Клиентское приложение предназначено только для одной цели, но делает ее хорошо. В настоящее время для создания сайтов для сапы я написал на 90% приложение которое парсит нужный контент, а потом после его преобразования (это не копипаст) он заливается на сайты. Говносайты писаны на PHP и не имеют системы администрирования, просто заливается сайт, настраивается, в базу заливается сгенереный дамп и поехали.

В планах - переделка старой системы статистики на новую и добавление еще нескольких видов парсеров.

Old time ago...

Вобщем первая запись в блоге. Не знаю что меня подвинуло вести этот блог, да и будет ли он вестись не знаю. Но кратко о том, что я делаю буду писать здесь.
В основном я занимаюсь автоматизацией всяких рутинных процедур.
Например проверка проиндексированности сателлитов.
Проверка их параметров и прочая фигня.

Весь софт который будет описан написан мной и для себя.
Писано все на Ruby on Rails и если вы захотите приобрести что-либо из моего набора, то готовьте сервер.