Как монетезировать сайт

[OtherSide]

Сейчас это хоститься с домашнего сервера (стоит в кладовке), объемы траффика пока примелимые, больше полгигабайта в день обычно нет, но если посещаемость возрастет раз в 10 - уже солидно. Есть идея статические файлы скинуть на внешний сервер, может подскажите сервисы, что бы за несколько баксов в месяц гигабайт 20 позволял расшарить на хорошей скорости?

[АццкоМото]

Сейчас это хоститься с домашнего сервера (стоит в кладовке), объемы траффика пока примелимые, больше полгигабайта в день обычно нет, но если посещаемость возрастет раз в 10 - уже солидно. Есть идея статические файлы скинуть на внешний сервер, может подскажите сервисы, что бы за несколько баксов в месяц гигабайт 20 позволял расшарить на хорошей скорости?

Когда было актуально, я хостил на http://www.tektonic.net/ - 15 баксов за 500гиг трафика (с дохленького VPS)

[OtherSide]

Посоветуйте пожалуйста блок на ASP.NET для прикручивания. Так же вопрос - можно ли с минимальными усилиями сделать так, что бы блог был "внутри" готового сайта, т.к. что бы меню, шапка и т.п. оставались видны и из блога можно было уйти на графики. Или возможно только сделать это на независимой страничке?
Пока нашел blogengine.net, но может есть что то еще?

[OtherSide]

Потихоньку продолжаю заниматься сайтом. Много запросов оптимизировал, да видно, недостаточно. Уже не вытягивает
В разгар торгов показывает онлайн до 50-70 чел (1000 посетителей/день), система иногда перегревается и выключается

Что можно делать в первую очередь?
1) На сколько помoжет смена железа? Стоит AMD Athlon II X3 450. Хотя бы в 2 раза будет быстрее i7?
2) Слышал что есть такая штука memcached. Где ее можно использовать, и есть ли от нее толк (все работает MSSQL/ASP.NET)
3) Есть ли инструменты, что бы посмотреть статистику, на каких именно запросах SQL сервер нагружен больше всего? Таскменеджер показывает почти постоянно нагрузку 100%

[Slonjra]

Сколько памяти на машинке?? Судя по всему не сильно много, а должно быть забито по максимуму.
MSSQL (если не настроен) сожрет всю увиденную память под себя даже если ему это особо и не надо
От этого остальные приложения на этом компе - будут постоянно поттормаживать.

[valchkou]

сначала бы понять что именно перегревается,
бд от количества запросов ?
я так понял, и БД и апп на одной железке.
memcached особенно полезен там где нужно иметь одинаковый слепок данных в памяти на нескольких машинах(distributed cache),
например репликация сессий пользователей.
Но поскольку у вас машина одна, то кэшировать можно обычными коллекциями дотнета.
(Я сам не дотнет, на яве таких много)

[OtherSide]

Сколько памяти на машинке?? Судя по всему не сильно много, а должно быть забито по максимуму.
MSSQL (если не настроен) сожрет всю увиденную память под себя даже если ему это особо и не надо
От этого остальные приложения на этом компе - будут постоянно поттормаживать.

Памяти нормально - 16 Гиг
Остальных приложений в общем то нет, кроме собственоо самого ASP.net кода

[OtherSide]

сначала бы понять что именно перегревается,
бд от количества запросов ?
я так понял, и БД и апп на одной железке.
memcached особенно полезен там где нужно иметь одинаковый слепок данных в памяти на нескольких машинах(distributed cache),
например репликация сессий пользователей.
Но поскольку у вас машина одна, то кэшировать можно обычными коллекциями дотнета.
(Я сам не дотнет, на яве таких много)

Греется процессор от нагрзуки MSSQL
Сервер собирался маскимально дешевый, но подходящих для данной задачи - Athlon II x3 455, 16GB RAM, 240 GB SSD
Вот думаю насколько будет быстрее, если поставить хороший i7, насколько у него запаса хватит. Конечно проще потратить $500 Дополнительно,
чем тратить недели на перформанс тьюнинг

[valchkou]

сначала бы понять что именно перегревается,
бд от количества запросов ?
я так понял, и БД и апп на одной железке.
memcached особенно полезен там где нужно иметь одинаковый слепок данных в памяти на нескольких машинах(distributed cache),
например репликация сессий пользователей.
Но поскольку у вас машина одна, то кэшировать можно обычными коллекциями дотнета.
(Я сам не дотнет, на яве таких много)

Греется процессор от нагрзуки MSSQL
Сервер собирался маскимально дешевый, но подходящих для данной задачи - Athlon II x3 455, 16GB RAM, 240 GB SSD
Вот думаю насколько будет быстрее, если поставить хороший i7, насколько у него запаса хватит. Конечно проще потратить $500 Дополнительно,
чем тратить недели на перформанс тьюнинг

А реально ли что то в кэш покласть ? а именно есть ли идентичные запросы ?
Хотя если ваша БД обновлянтся так же часто как и считывается, то кэш не спасет

[OtherSide]

А реально ли что то в кэш покласть ? а именно есть ли идентичные запросы ?
Хотя если ваша БД обновлянтся так же часто как и считывается, то кэш не спасет

Есть много статистических запросов, которые не сильно страшно, если будут обновляться раз в минуту-5 минут
А по real-time торгам есть 2-3 бумажки по которым идет 80% запросов, где можно было бы сделать задержку в 1-3 секунды.
Остальные же бумажки малоликвидны и соотв. пересчет информации по ним идет быстрее.
Т.к. проект амбициозныей, но делается на коленке вечерами, то и хотелось бы решение дешевое, но эффективное.
Как нибуть быстро сделать кешировение, с минимальными трудозатратами. Как сделать коллекциями с# в общем понятно,
но это не слишком уж быстро, я надеюсь на какую-то готовую библиотеку. Что бы не заморачиваться с созданием новой коллекции под каждый вид запроса, которых пока с десяток

[АццкоМото]

OtherSide, а БД вообще есть смысл хранить на диске? Может, как вариант, какую-нибудь быструю в оперативке (например http://hsqldb.org/) и иногда из нее дампить в дисковую?

ЗЫ. а чтобы не висло, тупо кулер нормальный

[IContentProvider]

Потихоньку продолжаю заниматься сайтом. Много запросов оптимизировал, да видно, недостаточно. Уже не вытягивает
В разгар торгов показывает онлайн до 50-70 чел (1000 посетителей/день), система иногда перегревается и выключается

Что можно делать в первую очередь?
1) На сколько помoжет смена железа? Стоит AMD Athlon II X3 450. Хотя бы в 2 раза будет быстрее i7?
2) Слышал что есть такая штука memcached. Где ее можно использовать, и есть ли от нее толк (все работает MSSQL/ASP.NET)
3) Есть ли инструменты, что бы посмотреть статистику, на каких именно запросах SQL сервер нагружен больше всего? Таскменеджер показывает почти постоянно нагрузку 100%

1. Не пробовали разместить на VPS? Вам дали один линк, есть много других. Amazon еще есть (год дают бесплатно).
2. Если данные в базе обновляются медленно (скажем, раз в сутки), то кашьте ВСЮ страницу и/или данные, и скидывайте каш когда данные изменяются. Если при этом много поиска, но данные при этом меняются раз в сутки, то индексируйте данные (не в смысле в базе, но как в Гугле - indexing server) и обновляйте индекс с данными. Чтобы постоянно не запрашивать базу об одних и тех же данных. Если быстро, то рекомендую web sockets (socket.io для универсальности браузера) и polling, чтобы данные выкладывались один раз для всех пользователей, а не для каждого пользователя в отдельности (и фильтровать на лету). Откуда берутся изначальные данные? Если с другого сайта, то также подумать нужна ли своя БД.
3. А что прилагается к самому MSSQL? В логе время не выводится? Можно еще просто протестировать какие именно запросы занимают больше времени, без пользователей. Для тестирования реального сайта есть разные сервисы типа newrelic (рекомендовать не могу, пользоваться не пришлось).

P.s. .NET не занимаюсь, специфики не знаю, использую Linux. Мой самый дешевый VPS (все оптимизировано) протестирован для 2000 пользователей *одновременно* интенсивно обновляющих базу и обрабатывающих данные (5000 уже не вытягивает).

Как сделать коллекциями с# в общем понятно,
но это не слишком уж быстро, я надеюсь на какую-то готовую библиотеку. Что бы не заморачиваться с созданием новой коллекции под каждый вид запроса, которых пока с десяток

Не хотите совсем отказаться от .NET и реляционной базы? Насколько понимаю правильно специфику, то неплохо пойдет современными средствами - Node.js + socket.io + NoSQL, если знаете Javascript. Мало кода, бесплатно и нормальная лицензия для коммерческого проекта. Данные, насколько понимаю, скорее типа "коллекция" (JSON), чем реляционные. Если данные грузятся со стороннего API (JSON и XML), то сам Бог велел обрабатывать в виде JSON объектов. Если какая-то суровая обработка, то подключить C.

[Boriskin]

OtherSide, а БД вообще есть смысл хранить на диске? Может, как вариант, какую-нибудь быструю в оперативке (например http://hsqldb.org/) и иногда из нее дампить в дисковую?

Те же мысли, памяти поболе, и все в ней, тем более чтосайт явно не копию инета снимает...

[OtherSide]

Потихоньку продолжаю заниматься сайтом. Много запросов оптимизировал, да видно, недостаточно. Уже не вытягивает
В разгар торгов показывает онлайн до 50-70 чел (1000 посетителей/день), система иногда перегревается и выключается

Что можно делать в первую очередь?
1) На сколько помoжет смена железа? Стоит AMD Athlon II X3 450. Хотя бы в 2 раза будет быстрее i7?
2) Слышал что есть такая штука memcached. Где ее можно использовать, и есть ли от нее толк (все работает MSSQL/ASP.NET)
3) Есть ли инструменты, что бы посмотреть статистику, на каких именно запросах SQL сервер нагружен больше всего? Таскменеджер показывает почти постоянно нагрузку 100%

1. Не пробовали разместить на VPS? Вам дали один линк, есть много других. Amazon еще есть (год дают бесплатно).
2. Если данные в базе обновляются медленно (скажем, раз в сутки), то кашьте ВСЮ страницу и/или данные, и скидывайте каш когда данные изменяются. Если при этом много поиска, но данные при этом меняются раз в сутки, то индексируйте данные (не в смысле в базе, но как в Гугле - indexing server) и обновляйте индекс с данными. Чтобы постоянно не запрашивать базу об одних и тех же данных. Если быстро, то рекомендую web sockets (socket.io для универсальности браузера) и polling, чтобы данные выкладывались один раз для всех пользователей, а не для каждого пользователя в отдельности (и фильтровать на лету). Откуда берутся изначальные данные? Если с другого сайта, то также подумать нужна ли своя БД.
3. А что прилагается к самому MSSQL? В логе время не выводится? Можно еще просто протестировать какие именно запросы занимают больше времени, без пользователей. Для тестирования реального сайта есть разные сервисы типа newrelic (рекомендовать не могу, пользоваться не пришлось).

P.s. .NET не занимаюсь, специфики не знаю, использую Linux. Мой самый дешевый VPS (все оптимизировано) протестирован для 2000 пользователей *одновременно* интенсивно обновляющих базу и обрабатывающих данные (5000 уже не вытягивает).

Как сделать коллекциями с# в общем понятно,
но это не слишком уж быстро, я надеюсь на какую-то готовую библиотеку. Что бы не заморачиваться с созданием новой коллекции под каждый вид запроса, которых пока с десяток

Не хотите совсем отказаться от .NET и реляционной базы? Насколько понимаю правильно специфику, то неплохо пойдет современными средствами - Node.js + socket.io + NoSQL, если знаете Javascript. Мало кода, бесплатно и нормальная лицензия для коммерческого проекта. Данные, насколько понимаю, скорее типа "коллекция" (JSON), чем реляционные. Если данные грузятся со стороннего API (JSON и XML), то сам Бог велел обрабатывать в виде JSON объектов. Если какая-то суровая обработка, то подключить C.

Фактически вы предлагаете выкинуть существующее и делать все заново ) Вряд ли мне это подходит. В том и дело, что проект пока некоммерческий, первая прибыль была за рекламу в этом месяце всего $300. Да к тому же я не знаю всех этих выше описанных инструментов.
К сожалению, данные обновляются постоянно и нужны все. Большинство интересует данные внутри дня - их легко можно перенести в память. Но часто проходят запросы, которые хотят узнать сводные данные за месяц, год.
Я сделал кеширование внутри SQL - и на какой то момент все было OK - запросы обрабатываются в доли секунды, но увидев что сервис стал работать хорошо, база пользователей сразу увеличилась в разы, и он опять стал задумчивым.
Пока наиболее быстрым и дешевым способом оптимизации я вижу теперь кеширование уже внутри asp.net кода, вот ищу наиболее простой способ
идеально было бы нечто вроде RunSQLQuery(SQL, CachedTime). Т.е. вызывать SQL запрос похожей функций, с указанием времени жизни.
Если следующий запрос прошел через меньшее время - то возвращать кеш. Иначе - делать запрос заново. Ну и менеджер памяти там встроенный,
что бы удалял протухший кеш регулярно.

[valchkou]

незная модели данных советовать что то сложно, I7 поможет,
не в тему, но у меня 2 лаптопа на одно I5 на другом I7. на I7 код компилится на порядок быстрее.

Я бы подумал о дополнительной машине(точнее о нескольких дешевых, чем одной дорогой)
У вас я так понял данные исторические, которые в прошлом не меняются, активно меняются только текущие.
так можно разнести read only копии БД на несколько машин и распределять запросы на них.
Правда для SQL баз это немного геморно, а вот nosql типа кассандры, было бы самое то, если модель древовидного типа.

Мое мнение, если относиться к проекту, как к проекту на коленке, за который денег не платят, то он таким и останется.

[OtherSide]

незная модели данных советовать что то сложно, I7 поможет,
не в тему, но у меня 2 лаптопа на одно I5 на другом I7. на I7 код компилится на порядок быстрее.

Я бы подумал о дополнительной машине(точнее о нескольких дешевых, чем одной дорогой)
У вас я так понял данные исторические, которые в прошлом не меняются, активно меняются только текущие.
так можно разнести read only копии БД на несколько машин и распределять запросы на них.
Правда для SQL баз это немного геморно, а вот nosql типа кассандры, было бы самое то, если модель древовидного типа.

Мое мнение, если относиться к проекту, как к проекту на коленке, за который денег не платят, то он таким и останется.

Так в том и дело, что в SQL распараллеливание сделать сложно. И не факт, что будет прирост.
Проект на самом деле пока просто прототип. Я хочу попробовать закрыть конкурентов, а там посмотрим. Может быть меня
заметят и предложат много денег. Подходить скурпулезно в данной ситуации стратегически неправильно.
Скорее всего не потяну, и надорвусь. Задача же - обратная - максимально перекрыть поступление средств конкурентам
(думаю значительная часть перестанет им платить, имея возможность юзать пусть чуть тормознутый, но бесплатный сервис),
не дав им развиваться и получив фору для себя..

[OtherSide]

Модель данных очень простая. Есть табличка - все сделки. табличка - дневные свечи, табличка - минутные свечи, табличка - группировка по цене и минутам (для построения профиля рынка)
Это собственно все. При запросе свечек происходит их пересчет по новым данным рынка и отдаются пользователю. Еще есть отчеты, которые сканируют данные за неделю-месяц на нахождение статистики. В этой ситуации минута-5 мин ничего не решает, т.к. статистика быстро не изменится.
Баз несколько (пока 2) - в этом смысле распараллелить несложно.

Пример отчета:
http://ruticker.com/MXTicker/Barometer

Рассчитывает довольно быстро - ну 0.3-0.5 сек

Но когда на форуме кто то пишет "посоны тут прикольные данные нахаляву раздают" и разом заходит 50 чел и начинают тыкать сайт, сервер перегревается

[stenking]

Стандартные способые такие:

1. Увеличивать сервер. T.e. дополнительная RAM. Амазон инстансы и т.д.

2. Паллельный просессинг

3. Кеш. Но кеш я обычно не советую в начальной стадии стартапа. Дорого, сложность возрастает. Обычно 1) много проще и дешевле.


Ваша проблема скорее всего спокойно решается $300/500 в месяц. А где взять деньги - ну тут вы на опыте понимаете что любой бизнес убыточный на начальных стадиях. Ищите и найдёте. Реклама какого-то форекса с вашiм траффиком может спокойно вам эти деньги принести.

[stenking]

сначала бы понять что именно перегревается,
бд от количества запросов ?
я так понял, и БД и апп на одной железке.
memcached особенно полезен там где нужно иметь одинаковый слепок данных в памяти на нескольких машинах(distributed cache),
например репликация сессий пользователей.
Но поскольку у вас машина одна, то кэшировать можно обычными коллекциями дотнета.
(Я сам не дотнет, на яве таких много)

Греется процессор от нагрзуки MSSQL
Сервер собирался маскимально дешевый, но подходящих для данной задачи - Athlon II x3 455, 16GB RAM, 240 GB SSD
Вот думаю насколько будет быстрее, если поставить хороший i7, насколько у него запаса хватит. Конечно проще потратить $500 Дополнительно,
чем тратить недели на перформанс тьюнинг

В первую очередь помогает это отдельный сервер на базу и на веб. Я обычно следую такому алгоритму.

1. Делаю стартап на одном сервер. Дохожу до $800 в месяц ( обычно это 32-64Гига RAM )

2. Умножаю на 3. Т.е. один такой сервер на базу. Один на веб. Один на эпп. CDN.

3. Облако или просто тупо сервера добавляю. Впрочем облако оно наверное лучше уже.

4. Optimization, cache


Есть конечно исключения, например когда эпп делается с расчёта что завтра может один а может и 100,000 юзеров прибежать ( тогда только облако с автоподключением / выключением инстанцев ) или когда кеш/оптимизацию провести довольно просто ( например кешать полностью HTML форума по последней дате изменений )

[valchkou]

Так в том и дело, что в SQL распараллеливание сделать сложно. И не факт, что будет прирост.

нет я не сказал распараллелить, я говорил распределить,
а точнее сделать типа load balancer. Не для активных данных, а только для исторических, я так понял, что именно такие запросы съедают ваш CPU.
например 3 одинаковых БД на 3-х разных машинах, и запросы для вчера, по кругу отправлять на одну из машин.
а для сегодня будет только кеш.

[OtherSide]

В первую очередь помогает это отдельный сервер на базу и на веб. Я обычно следую такому алгоритму.

1. Делаю стартап на одном сервер. Дохожу до $800 в месяц ( обычно это 32-64Гига RAM )

В месяц, простите, за что? У меня все куда более аматорски ) Сервер за 400 долл стоит в подсобке и хостится через обычную локалку домашнего провайдера.
Но вообще, это навреное хорошая идея - поделить WEB и SQL серверы

[stenking]

В первую очередь помогает это отдельный сервер на базу и на веб. Я обычно следую такому алгоритму.

1. Делаю стартап на одном сервер. Дохожу до $800 в месяц ( обычно это 32-64Гига RAM )

В месяц, простите, за что? У меня все куда более аматорски ) Сервер за 400 долл стоит в подсобке и хостится через обычную локалку домашнего провайдера.
Но вообще, это навреное хорошая идея - поделить WEB и SQL серверы

В месяц за хостинг. Линод например. Хостить дома это ни-ни, фу-фу. Ни надёжности. Ни пинга хорошего.

[OtherSide]

В месяц за хостинг. Линод например. Хостить дома это ни-ни, фу-фу. Ни надёжности. Ни пинга хорошего.

Когда банки начнут у меня массово лицензии закупать по $1500/мес, то будет и хостинг профессиональный, и кластера серверов, и какао с чаем.
А пока задча более приземленная - увеличить скорость работы потратив минимум времени и денег

[stenking]

А пока задча более приземленная - увеличить скорость работы потратив минимум времени и денег

Покупай ещё один похожий сервер для базы. Потом ещё один ( у тебя будет 2 эпп сервера ) и делай лоад балансинг. А потом иди в амазон потому что провайдер тебе закроет эккаунт)


А вообще ты должен реально понимать что хостинг сайта который ежедневно может посещать 10,000 человек+ стоит ощутимых денег. Скажем штука с месяц. А 100К уже все 10.

[OtherSide]

А пока задча более приземленная - увеличить скорость работы потратив минимум времени и денег

Покупай ещё один похожий сервер для базы. Потом ещё один ( у тебя будет 2 эпп сервера ) и делай лоад балансинг. А потом иди в амазон потому что провайдер тебе закроет эккаунт)


А вообще ты должен реально понимать что хостинг сайта который ежедневно может посещать 10,000 человек+ стоит ощутимых денег. Скажем штука с месяц. А 100К уже все 10.

У меня не амазон. Я в Москве. У нас тут в доме 4 провайдера. А с чего закроют? У меня траффик на 1000 чел. пока только 0.5 гига. Я торрентами больше трачу.
Ну а когда будет 10 000 чел/день можно будет уже и на площадку ставить. Сейчас это нерально в т.ч. по причине того, что на сервере постоянно отлаживаю код.