Как монетезировать сайт

[АццкоМото]

У меня не амазон. Я в Москве. У нас тут в доме 4 провайдера.

Хинт: Амазон - не провайдер. Но AWS продаст хоть в Гондурас

Сейчас это нерально в т.ч. по причине того, что на сервере постоянно отлаживаю код.

[OtherSide]

У меня не амазон. Я в Москве. У нас тут в доме 4 провайдера.

Хинт: Амазон - не провайдер. Но AWS продаст хоть в Гондурас

Сейчас это нерально в т.ч. по причине того, что на сервере постоянно отлаживаю код.

Да ладно вам педантничать
У меня там все не по науке.
Начиная от того, что я тупо ворую биржевой фид, раздаю с сервера в подсобке,
и заканчивая партизанским маркетингом, в рамках блога, в котором уговариваю народ НЕ торговать
и практически полным отсутсивием опыта разработки WEB систем. Например, что такое CSS узнал лишь на днях.
А вы говорите.. Я даже не продакшине ничего не тестирую... Я на нем разрабатываю и отлаживаю!

[АццкоМото]

Я даже не продакшине ничего не тестирую... Я на нем разрабатываю и отлаживаю!

Да ладно, просто картинка вспомнилась
У нас тоже, кстати, на днях забавная ситуация была. По определенным причинам решили, что лучше неотлаженный код вывалить в продакшн, который приносит $400М в год, и только потом тестировать. Тоже ржал и ту же картинку вспоминал но - что самое смешное - до сих пор считаю решение правильным

[stenking]

А пока задча более приземленная - увеличить скорость работы потратив минимум времени и денег

Покупай ещё один похожий сервер для базы. Потом ещё один ( у тебя будет 2 эпп сервера ) и делай лоад балансинг. А потом иди в амазон потому что провайдер тебе закроет эккаунт)


А вообще ты должен реально понимать что хостинг сайта который ежедневно может посещать 10,000 человек+ стоит ощутимых денег. Скажем штука с месяц. А 100К уже все 10.

У меня не амазон. Я в Москве. У нас тут в доме 4 провайдера. А с чего закроют? У меня траффик на 1000 чел. пока только 0.5 гига. Я торрентами больше трачу.
Ну а когда будет 10 000 чел/день можно будет уже и на площадку ставить. Сейчас это нерально в т.ч. по причине того, что на сервере постоянно отлаживаю код.

Трафика много будет, реквестов. Емаилы слать тоже. Вот у вас сколько страница весит? 1-2Мб. Пусть юзер 10 раз кликнул, даже с кешем и т.д. 5М. 1000 уникальных юзеров уже 5 Гигов. Не знаю как у вас 0.5 получилось. Я вот посмотрел на ваши страницы - меньше 0.5 - 0.8 ничего не весит. А 10,000 - это под 50. В день. Лучше вам уже сегодня начинать задумыватся об этом а не когда уже петух клевать будет.

[OtherSide]

Трафика много будет, реквестов. Емаилы слать тоже. Вот у вас сколько страница весит? 1-2Мб. Пусть юзер 10 раз кликнул, даже с кешем и т.д. 5М. 1000 уникальных юзеров уже 5 Гигов. Не знаю как у вас 0.5 получилось. Я вот посмотрел на ваши страницы - меньше 0.5 - 0.8 ничего не весит. А 10,000 - это под 50. В день. Лучше вам уже сегодня начинать задумыватся об этом а не когда уже петух клевать будет.

Я картинки и скрипты скинул на внешний хостинг. В основном гонятся данные. 10.000 это будет примерно 10-15 гиг в день. Еще терпимо. Но к тому времени надеюсь что уже будет приносить доход.

[IContentProvider]

Фактически вы предлагаете выкинуть существующее и делать все заново ) Вряд ли мне это подходит. В том и дело, что проект пока некоммерческий, первая прибыль была за рекламу в этом месяце всего $300. Да к тому же я не знаю всех этих выше описанных инструментов.
К сожалению, данные обновляются постоянно и нужны все. Большинство интересует данные внутри дня - их легко можно перенести в память. Но часто проходят запросы, которые хотят узнать сводные данные за месяц, год.
Я сделал кеширование внутри SQL - и на какой то момент все было OK - запросы обрабатываются в доли секунды, но увидев что сервис стал работать хорошо, база пользователей сразу увеличилась в разы, и он опять стал задумчивым.
Пока наиболее быстрым и дешевым способом оптимизации я вижу теперь кеширование уже внутри asp.net кода, вот ищу наиболее простой способ
идеально было бы нечто вроде RunSQLQuery(SQL, CachedTime). Т.е. вызывать SQL запрос похожей функций, с указанием времени жизни.
Если следующий запрос прошел через меньшее время - то возвращать кеш. Иначе - делать запрос заново. Ну и менеджер памяти там встроенный,
что бы удалял протухший кеш регулярно.

Насколько я понимаю проект (наконец удалось увидеть сайт, до этого сервер выдавал ошибку - там практически всего одна страница, так?), при приведенных технологиях это займет относительно немного времени, потому что кода будет в РАЗЫ (если не на порядок) меньше чем в "традиционных" технологиях. На изучение инструментов уйдет 1-2 дня. Если у Вас обработка отделена от веб, то можно переписать только веб часть и скомбинировать с готовой обработкой. Простое гугленье выдает такую штуку https://github.com/dnewcome/Node.net, как скомбинировать Node с .NET.

Вы больше времени угрохаете на имплементацию кэширования/распараллеливание/пр, чем на переписывание веб части таким способом (такая архитектура основана на идее, что данные централизованы на сайте и изменяются, а не каждый посетитель генерирует свои данные как в фэйсбуке; зачем выдававать копии одних и тех же данных, когда можно broadcast одну на всех?). Вы можете это попробовать начать параллельно и смотреть как пойдет. Я правильно понимаю, что данные грузятся с какого-то другого сайта (на что тоже уходит мощность сервера)? Можно начать с этой части.

Если посещаемость растет, то при неудачной архитектуре производительность нельзя исправить только экстенсивными способами.

У меня не амазон. Я в Москве.

Ага, у меня тоже не река Amazon. Но каждый может пользоваться http://aws.amazon.com/ec2/
Get Started with AWS for Free

и практически полным отсутсивием опыта разработки WEB систем. Например, что такое CSS узнал лишь на днях.

(Осторожно) как насчет AJAX? Javascript? JQuery? Зачем при отсутствии опыта web разработки разрабатывать на .NET, мало того, среда и MSSQL небесплатны?

[OtherSide]

Фактически вы предлагаете выкинуть существующее и делать все заново ) Вряд ли мне это подходит. В том и дело, что проект пока некоммерческий, первая прибыль была за рекламу в этом месяце всего $300. Да к тому же я не знаю всех этих выше описанных инструментов.
К сожалению, данные обновляются постоянно и нужны все. Большинство интересует данные внутри дня - их легко можно перенести в память. Но часто проходят запросы, которые хотят узнать сводные данные за месяц, год.
Я сделал кеширование внутри SQL - и на какой то момент все было OK - запросы обрабатываются в доли секунды, но увидев что сервис стал работать хорошо, база пользователей сразу увеличилась в разы, и он опять стал задумчивым.
Пока наиболее быстрым и дешевым способом оптимизации я вижу теперь кеширование уже внутри asp.net кода, вот ищу наиболее простой способ
идеально было бы нечто вроде RunSQLQuery(SQL, CachedTime). Т.е. вызывать SQL запрос похожей функций, с указанием времени жизни.
Если следующий запрос прошел через меньшее время - то возвращать кеш. Иначе - делать запрос заново. Ну и менеджер памяти там встроенный,
что бы удалял протухший кеш регулярно.

1 Насколько я понимаю проект (наконец удалось увидеть сайт, до этого сервер выдавал ошибку - там практически всего одна страница, так?), при приведенных технологиях это займет относительно немного времени, потому что кода будет в РАЗЫ (если не на порядок) меньше чем в "традиционных" технологиях. На изучение инструментов уйдет 1-2 дня. Если у Вас обработка отделена от веб, то можно переписать только веб часть и скомбинировать с готовой обработкой. Простое гугленье выдает такую штуку https://github.com/dnewcome/Node.net, как скомбинировать Node с .NET.

Вы больше времени угрохаете на имплементацию кэширования/распараллеливание/пр, чем на переписывание веб части таким способом (такая архитектура основана на идее, что данные централизованы на сайте и изменяются, а не каждый посетитель генерирует свои данные как в фэйсбуке; зачем выдававать копии одних и тех же данных, когда можно broadcast одну на всех?). Вы можете это попробовать начать параллельно и смотреть как пойдет. Я правильно понимаю, что данные грузятся с какого-то другого сайта (на что тоже уходит мощность сервера)? Можно начать с этой части.

Если посещаемость растет, то при неудачной архитектуре производительность нельзя исправить только экстенсивными способами.

У меня не амазон. Я в Москве.

2 Ага, у меня тоже не река Amazon. Но каждый может пользоваться http://aws.amazon.com/ec2/
Get Started with AWS for Free

3 и практически полным отсутсивием опыта разработки WEB систем. Например, что такое CSS узнал лишь на днях.

(Осторожно) как насчет AJAX? Javascript? JQuery? Зачем при отсутствии опыта web разработки разрабатывать на .NET, мало того, среда и MSSQL небесплатны?

У меня и так кода пока тыщи 3 строк всего. Куда там меньше. C# код работает просто как прослойка. Основная логика на сервере. Визуализация через JavaScript. JavaScript и JQUERY не знаю. А что, для того что бы программировать на каком-то языке его надо знать? Открыл самплы на выходных, посмотрел что к чемy, да сделал, особенно не вникая в семантику языка. У меня котировки из терминала по ODBC портируются в базу и на триггерах все раскидывается по кешированным табличками. Я боюсь логику всего этого дела непросто перенсти на Амазон, да и денег это будет стоить хороших. База занимает 100 гигабайт (в планах больше). Думаю, аренда этого дела будет стоить сотни, если не тысячи долларов, а не $15 за хостинг как сейчас.
Инструмент от MS выбран по простой причине - есть опыт в C# и небольшой в MSSQL, что такое PHP/Postgress не знаю - не видел

З.Ы. Что вы подразумеваете под одна страница? HTML оболочка одна, но там есть несколько видов чартов для спекулянтов, которые отображают ход торгов в реальном времени и десяток отчетов, в т.ч. половина уникальных.

[VovaK98]

В месяц за хостинг. Линод например. Хостить дома это ни-ни, фу-фу. Ни надёжности. Ни пинга хорошего.

Почему? Чем домашний Business FIOS 25/25 за стошку в месяц плохо?

Покупай ещё один похожий сервер для базы. Потом ещё один ( у тебя будет 2 эпп сервера ) и делай лоад балансинг. А потом иди в амазон потому что провайдер тебе закроет эккаунт)

А вообще ты должен реально понимать что хостинг сайта который ежедневно может посещать 10,000 человек+ стоит ощутимых денег. Скажем штука с месяц. А 100К уже все 10.

Спросите у Привета, сколько стоит хостинг дома, при трафике 10к в день.
У меня есть ещё примеры сайтов с первой тройки в гугле, которые хостятся дома.
Пару лет назад я хостил для одного знакомого ASP.NET/SQL Server сайт с 100-200к page views в день. И это ещё был старый лаптоп с 1Gb ram.

[OtherSide]

Зачем мне мнение Бориса у нас в Москве другие реалии

[IContentProvider]

У меня и так кода пока тыщи 3 строк всего. Куда там меньше.

Гы. Не хотите сервак в 100-300 строк (и меньше)?

Основная идея не в коде, а в архитектуре. Объясню на пальцах, решайте что хотите и на каком хотите языке (PHP/Postgresql не надо). У Вас сейчас большая комната народу, где все подходят к столу и "библиотекари" ищут для них информацию, которая постоянно изменяется. Люди подходят по нескольку раз, база очень большая, библитекарей не хватает, строятся очереди. Далее, Вы решаете что это неэффективно, делаете несколько комнат, ставите в каждую телевизор и транслируете изменяющиеся данные. Посетители сидят в комнатах, переходят из комнаты в комнату, а также записывают что хотят в блокнот (т.е. Вы можете посылать одни и те же данные, и поручить тонкую фильтровку браузеру). Предполагая, что виртуальные "комнаты" растяжимые, количество комнат не будет зависеть от числа посетителей. Сколько там будет комнат (логического деления данных)? По тому, что Вы объяснили (данные очень простые), точно не 50-70.

Мне также кажется, что у Вас БД делает что-то очень неэффективное, чтобы не пропустить 50 человек... Нету индексов в таблицах, индексирование работает против логики, таблицы не нормализованы, распределены нерационально; на триггерах говорите? (триггеры тоже ресурсы потребляют). База очень большая, если что-то не так построено/настроено, то ресурсы сожрет только так. Переносить базу - делаете полный слепок и переносите, можно даже на другой тип сервера. MSSQL сам не дает тулзов? Полно тулзов, которые можно попробовать бесплатно (один из моих прошлых работодателей выпускает такую).

Одна страница - загружается изначально, данные обновляются через AJAX/Javascript, нет?

Какие в Москве другие реалии, если хостить дома? Можно еще - хостить базу дома, остальное отправать на VPS (те же $15-20 в месяц).

[stenking]

Трафика много будет, реквестов. Емаилы слать тоже. Вот у вас сколько страница весит? 1-2Мб. Пусть юзер 10 раз кликнул, даже с кешем и т.д. 5М. 1000 уникальных юзеров уже 5 Гигов. Не знаю как у вас 0.5 получилось. Я вот посмотрел на ваши страницы - меньше 0.5 - 0.8 ничего не весит. А 10,000 - это под 50. В день. Лучше вам уже сегодня начинать задумыватся об этом а не когда уже петух клевать будет.

Я картинки и скрипты скинул на внешний хостинг. В основном гонятся данные. 10.000 это будет примерно 10-15 гиг в день. Еще терпимо. Но к тому времени надеюсь что уже будет приносить доход.

Ну смотрите. Все хотят сначало деньги а потом стулья но я видел слишком много бизнесов у которых это не получилось. Как постсоветскому человеку мне тоже глубоко противна идея расходов и вложений в бизнесс но иногда без этого ну никак. Экономить на хостинге в моём понимании это как на презервативах - копеечная экономия может создать огромную проблему.

[rzen]

Экономить на хостинге в моём понимании это как на презервативах

я эту фразу украду

[stenking]

В месяц за хостинг. Линод например. Хостить дома это ни-ни, фу-фу. Ни надёжности. Ни пинга хорошего.

Почему? Чем домашний Business FIOS 25/25 за стошку в месяц плохо?

Ну например скоростью АП. Вот амазон её даёт практически сколько угодно. А провайдер обычно ограничивает ну до 2-10 MB/сек. Т.е. 1000 человек одновременно на сайте с размером страницы в 1МБ и какая у нас задержка уже? Правильно, большая.

А это же наш любымый юзер. Я вот помню эпп один на фейсбуке после всех своих маркетингов посчитал что новый юзер ему 120$ стоил!!! И это просто привлечение активного пользователя на бесплатный эпп. А тут брокеры все, финансы, денюшкой прям и пахнет в будущем. Вобщем нужно что бы всё было быстро и надёжно. Что бы привыкли и делились с друзьями.

[stenking]

я эту фразу украду

Дарю

[Boriskin]

а точнее сделать типа load balancer. Не для активных данных, а только для исторических, я так понял, что именно такие запросы съедают ваш CPU.
например 3 одинаковых БД на 3-х разных машинах, и запросы для вчера, по кругу отправлять на одну из машин.
а для сегодня будет только кеш.

и снова ++.
причем можно тупо поставить все три бокса в один чулан, а новые данные в историю сливать раз в день или вообще неделю...

[OtherSide]

Мне также кажется, что у Вас БД делает что-то очень неэффективное, чтобы не пропустить 50 человек... Нету индексов в таблицах, индексирование работает против логики, таблицы не нормализованы, распределены нерационально; на триггерах говорите? (триггеры тоже ресурсы потребляют). База очень большая, если что-то не так построено/настроено, то ресурсы сожрет только так. Переносить базу - делаете полный слепок и переносите, можно даже на другой тип сервера. MSSQL сам не дает тулзов? Полно тулзов, которые можно попробовать бесплатно (один из моих прошлых работодателей выпускает такую).

На сколько я понимаю, облако - это всего лишь очередное модное словечко, квантовых и торсионных компьютеров еще не изобрели, на той стороне стоят все теже сервера под виндой и традиционной БД.
Запросы тут никак не распараллелить и не упросить. Есть табличка с миллионом записей, по ней нужно сделать агрегацию. Как ни крути, на 100 запросох одновременно база будет лагать.
Поэтому единственный выход, который я вижу - это кеш. Потому что 80% пользователей делают одни и те же 10-20 запросов

[OtherSide]

В месяц за хостинг. Линод например. Хостить дома это ни-ни, фу-фу. Ни надёжности. Ни пинга хорошего.

Почему? Чем домашний Business FIOS 25/25 за стошку в месяц плохо?

Ну например скоростью АП. Вот амазон её даёт практически сколько угодно. А провайдер обычно ограничивает ну до 2-10 MB/сек. Т.е. 1000 человек одновременно на сайте с размером страницы в 1МБ и какая у нас задержка уже? Правильно, большая.

А это же наш любымый юзер. Я вот помню эпп один на фейсбуке после всех своих маркетингов посчитал что новый юзер ему 120$ стоил!!! И это просто привлечение активного пользователя на бесплатный эпп. А тут брокеры все, финансы, денюшкой прям и пахнет в будущем. Вобщем нужно что бы всё было быстро и надёжно. Что бы привыкли и делились с друзьями.

Вы конечно правильные вещи пишите, но именно в данный момент узкое горлышко - вычисления. Что толку мне от гигабитного канала, если на 50 запросах одновременно сервер уже ложится.
Одна из причин, почему мало кто кроме меня пытается делать что то подобное - малое число активных спекулянтов в России. По официальным данным - всего 25 тыс человек. Большинство кормятся с околорынка на курсах, обучении, консультациях и прочих дешевых услугах. Вкладывать сотни тысяч долларов на создание профессионального ПО никто не хочет.
Так что 10 тыс юзеров это практически потолок. Но даже когда он будет достигнут, я не вижу проблем сменить железо на более надежное и перенести на проф. площадку. Пока другие проблемы более актуальны.

[valchkou]

хотя я сам не против амазонов, google app engine(GAE) и тп,
но сам бы не стал на них полагаться на данной стадии.
Выглядит так, что сам апп не просто сырой, а даже не правильно построен.
Почти уверен, что автор его еще перепишет не раз.
К примеру неправильно построенный апп на гае сожрет кучу денег со скоростью света.
Хотябы взять предлагаемы GAE channel между браузером и сервером (типа comet),
в том числе поддерживаемый GWT (кто не в курсе гугловый морда фреймворк).
Так вот бесплатная квота то всего 100 таких каналов.
Хотя без этих каналов можно замечательно все построить на обычном ajax/json.
А на aws я вообще без 100г не могу понять, во сколько мне влетит мой апп.
Хорошо что есть стенкинг.
Это я к тому, что когда есть мысль уходить в облако, нужно делать глубокий анализ того за что и как с вас будут иметь. И даже сделав это и поняв, можно нарваться на неожиданное изменение правил.
в общем я за хостинг дома + оптимизация приложения + вычислительные мощности компов бабушек, дедушек, ближайших родственников, детей, и тд.

[OtherSide]

Тут еще вот в чем дело - для биржевых приложений очень важна скорость отклика. И если в будущем надумаю сделать на основе всего этого терминальное приложение в дополнение к сайту, то гонять траффик через гуглооблако явно не лучшее решение. А перенести сервер на биржевую площадку (+ переписать код для трансляции свежих данных) - самое оно.

[OtherSide]

Пока мне лучшей кажется идея разнести WEB и SQL сервер на разные машины. Кеширование запросов
примерно понятно как делать, по идее работы на несколько дней.

[Интеррапт]

Тут еще вот в чем дело - для биржевых приложений очень важна скорость отклика. И если в будущем надумаю сделать на основе всего этого терминальное приложение в дополнение к сайту, то гонять траффик через гуглооблако явно не лучшее решение. А перенести сервер на биржевую площадку (+ переписать код для трансляции свежих данных) - самое оно.

Ну тот же GAE код (данные) можно легко засунуть в JBoss на свой сервак, при желании:

http://www.jboss.org/capedwarf

[stenking]

хотя я сам не против амазонов, google app engine(GAE) и тп,
но сам бы не стал на них полагаться на данной стадии.
Выглядит так, что сам апп не просто сырой, а даже не правильно построен.
Почти уверен, что автор его еще перепишет не раз.
К примеру неправильно построенный апп на гае сожрет кучу денег со скоростью света.
Хотябы взять предлагаемы GAE channel между браузером и сервером (типа comet),
в том числе поддерживаемый GWT (кто не в курсе гугловый морда фреймворк).
Так вот бесплатная квота то всего 100 таких каналов.
Хотя без этих каналов можно замечательно все построить на обычном ajax/json.
А на aws я вообще без 100г не могу понять, во сколько мне влетит мой апп.
Хорошо что есть стенкинг.
Это я к тому, что когда есть мысль уходить в облако, нужно делать глубокий анализ того за что и как с вас будут иметь. И даже сделав это и поняв, можно нарваться на неожиданное изменение правил.
в общем я за хостинг дома + оптимизация приложения + вычислительные мощности компов бабушек, дедушек, ближайших родственников, детей, и тд.

Т.е. переписать эпп несколько раз и потратить 1000 часов это типа ок а заплатить за хостинг и поработать пару часов экстра что бы этот хостинг оплатить нет?:) Впрочем я конечно согласен что закешать квири может быть самый простым и быстрым вариантом но я в общем идея в том что если нужно долго думать что выгоднее амазон или домашний сервер то лучше просто работать на работе и не заниматся никаким бизнесом.

[valchkou]

хотя я сам не против амазонов, google app engine(GAE) и тп,
но сам бы не стал на них полагаться на данной стадии.
Выглядит так, что сам апп не просто сырой, а даже не правильно построен.
Почти уверен, что автор его еще перепишет не раз.
К примеру неправильно построенный апп на гае сожрет кучу денег со скоростью света.
Хотябы взять предлагаемы GAE channel между браузером и сервером (типа comet),
в том числе поддерживаемый GWT (кто не в курсе гугловый морда фреймворк).
Так вот бесплатная квота то всего 100 таких каналов.
Хотя без этих каналов можно замечательно все построить на обычном ajax/json.
А на aws я вообще без 100г не могу понять, во сколько мне влетит мой апп.
Хорошо что есть стенкинг.
Это я к тому, что когда есть мысль уходить в облако, нужно делать глубокий анализ того за что и как с вас будут иметь. И даже сделав это и поняв, можно нарваться на неожиданное изменение правил.
в общем я за хостинг дома + оптимизация приложения + вычислительные мощности компов бабушек, дедушек, ближайших родственников, детей, и тд.

Т.е. переписать эпп несколько раз и потратить 1000 часов это типа ок а заплатить за хостинг и поработать пару часов экстра что бы этот хостинг оплатить нет?:) Впрочем я конечно согласен что закешать квири может быть самый простым и быстрым вариантом но я в общем идея в том что если нужно долго думать что выгоднее амазон или домашний сервер то лучше просто работать на работе и не заниматся никаким бизнесом.

да, чтобы успешно заниматься бизнесом нужно перестать думать как программист

[OtherSide]

Т.е. переписать эпп несколько раз и потратить 1000 часов это типа ок а заплатить за хостинг и поработать пару часов экстра что бы этот хостинг оплатить нет?:) Впрочем я конечно согласен что закешать квири может быть самый простым и быстрым вариантом но я в общем идея в том что если нужно долго думать что выгоднее амазон или домашний сервер то лучше просто работать на работе и не заниматся никаким бизнесом.

Так это же не я долго думаю а общественность ) Я то как раз понимаю, что никакой амазон мне не подходит ))
Да и вообще сейчас цель забабахать что то, что пусть местами работает слегка криво-косо, но впечатляюще,
может деньжат подкинут и тогда действительно все переписать и сделать по уму.
А делать по уму все сразу - это абсолютно нереально. По хорошему на такой проект надо команду человек 5-10
минимум, и десятки тысяч долларов бюджета.
Просто рынок биржевого софта в России совершенно пустой, и даже кривой софт будет разлетатся как пирожки,
по сравнению с тем что есть на рынке то что у меня это просто шедевр

[crypto5]

К слову на hetzner.de сервера будут намного дешевле чем у амазона, и пинг возможно побыстрее. Правда ссд я у них не видел.