Три приема на работу без увольнения.

[zVlad]

Пару дней назад вернулся из России, два года там не был.. Там появились козявки темного цвета, кашель с мокротой. Как вернулся в США все это сразу прошло. Что это было? Неужели там в воздухе содержат тяжелые металлические частицы?!

У вас в США козявки песчанные, песочный цвет незаметен, вот вас российский чернозем и пугает

А у меня в Адлере нюх возвращался. В Канаде опять пропал.

Это Ковид

Нет. Нюха у меня нет давно, а вот ПЦР тесты я делал три раза уже.

[zVlad]

....

У нас был опыт миграции оракла со своего железа в амазон.
На тот момент была небольшая частная компания, с бизнесом на 75 лямов. Короче деньги там считали.
Мы(я) переписали процесс на кассандру за всего 4 мес и показали ораклу кукиш.

Не вдаваясь в детали, я имел возможность оценить стоимость оракла и железа.
Если сказать что я был шокирован расценками это не сказать ничего

Я давно слышу (благодаря форуму) про Касандру. Сейчас глянул на статью в Вики и удивился. Кроме free, and open-source ничего не возможнго для Дб2 и/или Оракле не увидел. Даже увидел SQL хотя в заглавной дефиниции:

Cassandra is a free and open-source, distributed, wide-column store, NoSQL database management system designed to handle large amounts of data across many commodity servers, providing high availability with no single point of failure. Cassandra offers support for clusters spanning multiple datacenters,[2] with asynchronous masterless replication allowing low latency operations for all clients.

... утверждается что "это" NoSQL. Ниже в статье:

CREATE COLUMNFAMILY MyColumns (id text, Last text, First text, PRIMARY KEY(id));

INSERT INTO MyColumns (id, Last, First) VALUES ('1', 'Doe', 'John');

SELECT * FROM MyColumns;

, где "COLUMNFAMILY" сином к "TABLE". "MyColumns" имя таблицы. Все остальное чистый SQL.

Мне кажется дело было так. Парни, которым была поставленна задача, по финансовой ли бедности или бедности профессионализма в IT придумали свой "движок данных", наделив его некоторомы давно известными и имеющими решения свойствами (распределенность, устойчивость (availability), названная почему то "single point if failure", которая прекрасно решается на системном уровне), изобрели репликацию (сколько можно ее изобретать?), назвали "это" Касандра и от имени уважаемой в узких кругах Amazon вбросили в толпу таких же как они сами людей с низким уровнем профессиональной ответственности.

Вот и все с етой Касандрой. То что она бесплатна конечно играет большую роль в мелком бизнесе. Но Anazon не мелкий бизнес, поэтому в Касандре есть свойства совершенно не нужные мелкому бизнесу - пытаое и шестое колеса в телеге - распределенность, и защита от "single point of failure".

Если то наше приложение, которое сейчас на DB2 for zOS, а будет в Oracle "переписать" на Касандру то это будет дизастер, реальный дизастер. Дизастер будет от того хотя что назвавшись NoSQL и по факту имплементиров его ребята имплементировали некоторое подмножество SQL, но и кохнечно добавили ненужное для "переписывания" с которым непонятно что делать. Например:

CREATE KEYSPACE MyKeySpace
WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };

Вы, valchkou, лично, конечно молодец. Вы сэкономили работодателю кучу денег. Но я надеюсь Вы понимаете что Вам это удалось потому что Вами "переписанный" процесс позволил это сделать. В силу ли простоты, в силу ли каких то других обстоятельств трудно сказать. Но такой "подвиг" не гарантирован во многих других применениях. С нуля писать да, можно. Но и здесь, уверен, не все классы приложений с обработкой данных будут реализованны оптимально, даже с точки зрения финансов. И "free" software на самом деле не бесплатен.
Наш вендор на всех углах хвалится что написал новую версию н "free software" почему то оставив Oracle, но наш клиент, переходящий на эту их новую версию с "free software" уже потратил много миллионов, и ехще он заплатит большие деньги вендору и Azure за железо.
так что "free" это обман, а "open-source" нахрен никому не нужен. Возиться с багами в нем тоже не дешевое удовольствие. Все остальное есть и в хорошо отлаженных, поддерживаемых профессионально DB2, Oracle MS SQL.

Ах да, там еще есть "masterless replication":

Перевод "masterless" на русский
самураев без хозяина
Edo has been teeming with ronin - masterless samurai. ---> Эдо кишмя кишит ронинами - самураями, не имеющими хозяев.
At age 21, I met two "ronin", or masterless samurai. --> В 21 год я встретил двух "ронинов", самураев без хозяина.

Ну конечно же еще никто не додумался до того что репликация БД должна быть "без хозяина". Надо было срочно застолбить эту нишу, которую сами же они и создали. Для себя.

P.S. Написав выше мне подумалось что Кассандра это Excel к которому прикрутили CQL, дистрибутивность, безхозную репликацию, видимо механизм блокировок, и транзакций, высасыный из пальца "single point of failure". Наверное eще что-нибудь известное там или там.
А потом я дочитал статью и во-первых, узнал что в Кассандре все таки есть таблицы, во-второвых, что CQL не поддерживает joins, and subqueries, и что это "компенсируется" денормализацией, и в-третьих, что в одной и той же таблице могут быть строки с разным набором столбцов (см. мою ассоцию касандры с Excel выше). Теперь понятно почему нет joins, and subquesries. А что тогда возвращает "SELECT * FROM MyColumns" если строки имеют разные наборы столбцов? как с этим работать в коде? Позволю предположить что в коде каждая строка будет сопровождаться информацией об ее структуре. Это надо будет обрабатывать для каждой строки по отдельности. А performance?
Да и еще узнал что значения в столбцах дополнены timestamp?! Интересно для чего и как это используется. Наверное для поддержания consistency. В Db2 есть для этого службная информация на уровне страницы - единицы физической памяти обновляемое целиком.

Data model
Cassandra is wide column store, and, as such, essentially a hybrid between a key-value and a tabular database management system. Its data model is a partitioned row store with tunable consistency.[19] Rows are organized into tables; the first component of a table's primary key is the partition key; within a partition, rows are clustered by the remaining columns of the key.[26] Other columns may be indexed separately from the primary key.[27]

Tables may be created, dropped, and altered at run-time without blocking updates and queries.[28]

Cassandra cannot do joins or subqueries. Rather, Cassandra emphasizes denormalization through features like collections.[29]

A column family (called "table" since CQL 3) resembles a table in an RDBMS (Relational Database Management System). Column families contain rows and columns. Each row is uniquely identified by a row key. Each row has multiple columns, each of which has a name, value, and a timestamp. Unlike a table in an RDBMS, different rows in the same column family do not have to share the same set of columns, and a column may be added to one or multiple rows at any time.[30]

Each key in Cassandra corresponds to a value which is an object. Each key has values as columns, and columns are grouped together into sets called column families. Thus, each key identifies a row of a variable number of elements. These column families could be considered then as tables. A table in Cassandra is a distributed multi dimensional map indexed by a key. Furthermore, applications can specify the sort order of columns within a Super Column or Simple Column family.

Вообще статья на Вики о Касандре до обидного коротка. Это слишком пугающий признак для "эпохального" события каким воспринялось некоторыми появление Касандры.

[DVK]

Вам надо в Архангельск, а не в Воронеж

почему в Архангельск? К Михаилу Архангелу поближе?

Сначала в Архангельск. Если ностальгия не пройдёт - то в Норильск

[zVlad]

Вам надо в Архангельск, а не в Воронеж

почему в Архангельск? К Михаилу Архангелу поближе?

Сначала в Архангельск. Если ностальгия не пройдёт - то в Норильск

Потом в Воркуту? Воркута вообще то ближе к Архангельску.

[valchkou]

Вы, valchkou, лично, конечно молодец. Вы сэкономили работодателю кучу денег. Но я надеюсь Вы понимаете что Вам это удалось потому что Вами "переписанный" процесс позволил это сделать. В силу ли простоты, в силу ли каких то других обстоятельств трудно сказать. Но такой "подвиг" не гарантирован во многих других применениях. С нуля писать да, можно.

Именно так, комбинация процессов и решений под них! Я все прекрасно понимаю и даже больше чем вы думаете.
Компания меня наняла как тех лида для переезда с монолита на амазон/микросервисы.
выделили и бюджет и людей. Я проделал огромный анализ, нашел решение получше, запилил РоС, снял замеры, представил план руководству.
Я не буду рассуждать про преимущества и недостатки кассандры, технические параметры и тд и тп. Зачем?
Мы много переписали с нуля за 3 года, но не все на кассандру.
Конкретно на тот 1 процесс было затрачено 6 человеко/мес, что примерно 100 тыс, +стоимость VM, что оказалось равно лецензии оракла на год.

..... тут я мог бы долго продолжать расхваливать себя, как я обычно делаю на интервью....
Но сейчас не буду, просто закройте глаза на секундочку и порадуйтесь за себя, за то что вам посчастливилось пообщаться с таким замечательным человеком как я.

Уже 4 года как я ушел оттуда, но остался чел с той команды, супортят.
По его словам все работает как часы, включая кассандру, а во мне он увидел того самого "гениального русского программиста" о котором он так много слышал в детских сказках.
Встретив вас или другого "русского программиста" этот человек автоматически поставит вас в один ряд со мной.
Вопщем поддержал я отечественную марку не уранив в грязь лицом.

[zVlad]

Вы, valchkou, лично, конечно молодец. Вы сэкономили работодателю кучу денег. Но я надеюсь Вы понимаете что Вам это удалось потому что Вами "переписанный" процесс позволил это сделать. В силу ли простоты, в силу ли каких то других обстоятельств трудно сказать. Но такой "подвиг" не гарантирован во многих других применениях. С нуля писать да, можно.

Именно так, комбинация процессов и решений под них! Я все прекрасно понимаю и даже больше чем вы думаете.
Компания меня наняла как тех лида для переезда с монолита на амазон/микросервисы.
выделили и бюджет и людей. Я проделал огромный анализ, нашел решение получше, запилил РоС, снял замеры, представил план руководству.
Я не буду рассуждать про преимущества и недостатки кассандры, технические параметры и тд и тп. Зачем?
Мы много переписали с нуля за 3 года, но не все на кассандру.
Конкретно на тот 1 процесс было затрачено 6 человеко/мес, что примерно 100 тыс, +стоимость VM, что оказалось равно лецензии оракла на год.

..... тут я мог бы долго продолжать расхваливать себя, как я обычно делаю на интервью....
Но сейчас не буду, просто закройте глаза на секундочку и порадуйтесь за себя, за то что вам посчастливилось пообщаться с таким замечательным человеком как я.

Уже 4 года как я ушел оттуда, но остался чел с той команды, супортят.
По его словам все работает как часы, включая кассандру, а во мне он увидел того самого "гениального русского программиста" о котором он так много слышал в детских сказках.
Встретив вас или другого "русского программиста" этот человек автоматически поставит вас в один ряд со мной.
Вопщем поддержал я отечественную марку не уранив в грязь лицом.

Я тоже прошел путь доказывающий что "русский программист" это высокая марка. Но мой путь в 20 лет в одном месте завершается тем что про меня говорят: "умный русский, но злой". Гениальность по моему не уместный эпитет для технической области, каковой является програмирование и вообще ИТ.

[valchkou]

Но мой путь в 20 лет в одном месте завершается тем что про меня говорят: "умный русский, но злой".

вы прочему злой? а потому что у вас велосипеда нет

я не гениальный, я просто рублю дерево по себе.
А когда результат есть то дело остается за малым - убедить руководство что полученный мной результат превосходит их ожидания.
И я доволен и другим радость. Хотя может лет так через 25, я тоже стану таким как вы - злым гением

[zVlad]

Но мой путь в 20 лет в одном месте завершается тем что про меня говорят: "умный русский, но злой".

вы прочему злой? а потому что у вас велосипеда нет

я не гениальный, я просто рублю дерево по себе.
А когда результат есть то дело остается за малым - убедить руководство что полученный мной результат превосходит их ожидания.
И я доволен и другим радость. Хотя может лет так через 25, я тоже стану таким как вы - злым гением

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.
Но даже когда я не про МФ говорю меня все равно не слушают, потому что я говорю когда слышу откровенные глупости. Доходит до того что я не могу убедить пользоваться корректной терминологией. Кому понравится называть что то неправильно и хоть убей не докажешь что здесь совсем другой термин нужен. Кстати, англосаксы любят называть вещи неправильно. Например блесна у низ рапала, стад 1 1/2 х 3 1/2 у них 2х4, Мазонайт - фамилия у них вид деревянного материала, и таких примером масса на самом деле. Они видимо любят запутывать и запутываться. Это и во внешней политике просматривается постоянно. Вот сейчас Россия огорошила их вопросом безопасности и первое что, кмк, они подумали это то чтоо таки, да, русские могут ставить такие вопросы и отмахнуться от них не удастся. Это для них новость, они привыкли, просто привыкли, думать иначе.
Но злость я демонстрирую только когда речь идет о моей работе, о моей роли, области и т.п.. Так то я добрейший человек на самом деле. Но уж слишком многоо у них "завихрений".

[valchkou]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

[zVlad]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

А вот тут я с Вами не соглашусь. То что происходит на нашей фирме это частный случай. Да, таких частных случаев много... было.
Но сейчас ситуация несколько изменилась.
Пару месяцев назад был у нас митинг с ИБМ представителями. За пределами темы митинга они рассказали что у них (в Канаде это) бум сброса на МФ, среди которых не только те кто уже с МФ был, но и те кто не был никогда.
Последние правда используют МФ как ферму виртуальных машин Linux. A многие из первых это те кто тянул-тянул, тягался-тягался с переходом с Мф и наконец то понял что это все херня и решил наконец то сделать апгрэйд на современные МФ. Здесь ИБМ-вцы рассказывали о том как такие были шокированны новыми возможностями МФ и мощей. Я их понимаю.
Мы, несмотря на то что в итоге уходим с МФ, делали апгрэйды чуть не каждые два-три года. И я видел как, переходя на МФ такой же формально мошчности, мы явно садились на более резвого коня. Последний такой апгрэйд был год с небольшим назад. Заменяли самую маломощную конфигурацию zBC12 (2014, а то и 2013) на самую маломощную конфигурацию z14 (2018, a то и 2017). Сразу почуствовалось что это две большие разницы, однако.

Я знаю точно - если закончится с этой фирмой где я сейчас и мне не достигнет 70-ти, то я найду других, более понимающих и все будет иначе.

[zVlad]

Вы, valchkou, лично, конечно молодец. Вы сэкономили работодателю кучу денег. Но я надеюсь Вы понимаете что Вам это удалось потому что Вами "переписанный" процесс позволил это сделать. В силу ли простоты, в силу ли каких то других обстоятельств трудно сказать. Но такой "подвиг" не гарантирован во многих других применениях. С нуля писать да, можно.

Именно так, комбинация процессов и решений под них! Я все прекрасно понимаю и даже больше чем вы думаете.
Компания меня наняла как тех лида для переезда с монолита на амазон/микросервисы.
выделили и бюджет и людей. Я проделал огромный анализ, нашел решение получше, запилил РоС, снял замеры, представил план руководству.
Я не буду рассуждать про преимущества и недостатки кассандры, технические параметры и тд и тп. Зачем?
Мы много переписали с нуля за 3 года, но не все на кассандру.
Конкретно на тот 1 процесс было затрачено 6 человеко/мес, что примерно 100 тыс, +стоимость VM, что оказалось равно лецензии оракла на год.

....

Уже 4 года как я ушел оттуда, но остался чел с той команды, супортят.
По его словам все работает как часы, включая кассандру, а во мне он увидел того самого "гениального русского программиста" о котором он так много слышал в детских сказках.
Встретив вас или другого "русского программиста" этот человек автоматически поставит вас в один ряд со мной.
Вопщем поддержал я отечественную марку не уранив в грязь лицом.

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

[kyk]

лет так через 25

до какого возраста собираешься программировать?

[Boriskin]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

А вот тут я с Вами не соглашусь. То что происходит на нашей фирме это частный случай. Да, таких частных случаев много... было.
Но сейчас ситуация несколько изменилась.
Пару месяцев назад был у нас митинг с ИБМ представителями. За пределами темы митинга они рассказали что у них (в Канаде это) бум сброса на МФ, среди которых не только те кто уже с МФ был, но и те кто не был никогда.

Влад, вы вроде опытный пенсионер, но местами наивняк как у второкурсницы - обещать жениться совсем не означает поход в ЗАГС.
Ведь банальная вещь - проверить, вешает ли вам хлопец из IBM sales лапшу на уши (выдавая желательное за действительное) или реально кто-то покупает эти самые мейнфреймы, чтоб гонять на них линукс.

Подсказка - бумом не пахнет, немного отлипло от многолетнего падения оборота.

[zVlad]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

А вот тут я с Вами не соглашусь. То что происходит на нашей фирме это частный случай. Да, таких частных случаев много... было.
Но сейчас ситуация несколько изменилась.
Пару месяцев назад был у нас митинг с ИБМ представителями. За пределами темы митинга они рассказали что у них (в Канаде это) бум сброса на МФ, среди которых не только те кто уже с МФ был, но и те кто не был никогда.

Влад, вы вроде опытный пенсионер, но местами наивняк как у второкурсницы - обещать жениться совсем не означает поход в ЗАГС.
Ведь банальная вещь - проверить, вешает ли вам хлопец из IBM sales лапшу на уши (выдавая желательное за действительное) или реально кто-то покупает эти самые мейнфреймы, чтоб гонять на них линукс.

Подсказка - бумом не пахнет, немного отлипло от многолетнего падения оборота.

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.
"хлопец из IBM sales" старше меня, т.е. под 70. Он, в начале нулевых, обосновал постановку Linux на МФ.
Сними(те) лапшу со своих ушей и идите .... сами догадаетесь куда.

1.3. На форуме не допускаются сообщения, которые оскорбляют или унижают участников или ставят их в неудобное положение. Не допускается пренебрежительное отношение к участникам.
Не допускаются утверждения или намёки о том, что кто-то из участников обладает негативными свойствами. В частности, недопустимы "расклейки ярлыков", советы обратиться к психиатру, раздача диагнозов оппонентом и прочие утверждения и намёки о ненормальности или неадекватности оппонента. Любая двусмысленность модераторами понимается в худшую сторону.

[iDesperado]

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

в касандре нет транзакций между узлами, там атомрность на уровне "документа". область применения касандры - бигдата, почти не пересекается с рдбмс.
хотя по транзакциям, то что прикрутили в качестве двухфазного комита - убивает всю скорость и прелесть касандры, потому почти не пользуется т.к. проигрывает обычным рдбмс

1.1. На форуме не допускается использование некорректных методов ведения спора или дискуссии. Наиболее популярные из них приводятся в книге проф. С.И.Поварнина "Искусство спора" (pdf: docs/povarnin_spor.pdf audio: docs/Povarnin_Spor_mp3_pdf.zip). Эта книга настоятельно рекомендуется модераторам и участникам этого форума.
1.2. Основная форма общения между незнакомыми участниками - только на "Вы". Если Ваш собеседник не против, то можете перейти с ним на "ты". Если же на Ваше "ты" собеседник отвечает "Вы", то, пожалуйста, перейдите на "Вы". Любая фамильярность в отношении незнакомого участника или того, кто такого отношения не принимает, расценивается как попытка оскорбления. 3 дня

[Boriskin]

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.
"хлопец из IBM sales" старше меня, т.е. под 70. Он, в начале нулевых, обосновал постановку Linux на МФ.
Сними(те) лапшу со своих ушей и идите .... сами догадаетесь куда.

Я не червонец, чтоб нравиться всем.
Разжевывая предыдущую мысль - посмотри обороты подраздлеления IBM, которое торгует МФ, софтом и сервисом для оных и убедись, что IBM-мовский сейсл, мягко говоря, преувеличивает "бум". Но как говорится "на дурака не нужен нож, ему покажешь медный грош и делай с ним что хошь", когда человек уверен в том, что МФ нужны всем, совсем не трудно убедить его в том, что их (МФ) просто сметают с прилавков, даже если этого в реале не происходит.

[Boriskin]

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

Злой ты, взял все и сразу ... по яйцам, да еще и с разбега, и без предварительных ласок! Шоковая терапия прям.

[zVlad]

...

Я не ч....

Лично Вы мне не очень то и нужны. Посты я Ваши читаю и реагирую иногда. А вот Вы мои посты чиатете не внимательно. Обижаете.
А с ИБМ я без Вас как нибудь разберусь. И ИБМ как-нибудь без Вас разберется со своими делами.

[zVlad]

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

Злой ты, взял все и сразу ... по яйцам, да еще и с разбега, и без предварительных ласок! Шоковая терапия прям.

iDesperado как обычно себе по яицам, с разбега. Это до чего надо докатиться чтобы заявить что "... никто не гоняет линукс на zOS...". Мог бы у меня спросить "гоняют Linux на zOS" или нет.

[Boriskin]

Лично Вы мне не очень то и нужны.

Спасибо, успокоил, а то я уж было начал волноваться и оглядываться. Пис.

[zVlad]

Лично Вы мне не очень то и нужны.

Спасибо, успокоил, а то я уж было начал волноваться и оглядываться. Пис.

С Новым Годом! Удачи!

[valchkou]

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

всего понемногу, например тот же TTL когда база сама удаляет ненужные данные. Фейловер и реданденси на 3 региона. Timeseries
join быд не нужен, данные были денормализованы и оптимизированы под запросы определенного вида.
Это в кассандре самое важное, понять как именно будут данные доставаться. Если сразу не понятно или слишком много вариантов то сразу НЕТ.

Но основная фишка была даже не столько в самой кассанде, сколько клиент-драйвер + кассанда.
- Драйвер понимает топологию базы и умеет раскидывать запросы по нодам а так же автоматический феловер по заданной стратегии.
- возможность распараллеливать запросы.
Наш процесс на оракле давал 10 сек, что то типа select group by на 1 мл строк. Не все так просто, там были и stored procedures и joins еще какая то оптимизация сделанная не глупым инженером.

Я перенeс бизнес логику включая критерии groupby на яву, типа мап-редюс, а данные стал получать с касандры в сыром виде. Например нужно аггрегировать данные с 1000 девайсов.
запускаем 1000 запросов в кассандру используя типа fork-join и результат просто мержим в Ява приложении.
для сравнения 10 сек превратились в 5.

Я лично кассандру не рекомендую, потому что сложно, нужно очень хорошо понимать не только саму технологию но и бизнес процесс и клиентский код и как и зачем и почему.
С RDBMS как правило таких проблем нет, одни супортят базу другие делают дизайн схемы, по общепринятым лекалам а третьи пишут запросы.

[valchkou]

лет так через 25

до какого возраста собираешься программировать?

Мой план минимум 2 года назад был стать Директором через 5 лет и типа СТО через 10.
В менеджера я уже прошел, иду дальше. Если нужно будет кодить чтобы продолжать расти буду кодить.
Пока нужно.

[zVlad]

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

всего понемногу, например тот же TTL когда база сама удаляет ненужные данные. Фейловер и реданденси на 3 региона. Timeseries
join быд не нужен, данные были денормализованы и оптимизированы под запросы определенного вида.
Это в кассандре самое важное, понять как именно будут данные доставаться. Если сразу не понятно или слишком много вариантов то сразу НЕТ.

Но основная фишка была даже не столько в самой кассанде, сколько клиент-драйвер + кассанда.
- Драйвер понимает топологию базы и умеет раскидывать запросы по нодам а так же автоматический феловер по заданной стратегии.
- возможность распараллеливать запросы.
Наш процесс на оракле давал 10 сек, что то типа select group by на 1 мл строк. Не все так просто, там были и stored procedures и joins еще какая то оптимизация сделанная не глупым инженером.

Я перенeс бизнес логику включая критерии groupby на яву, типа мап-редюс, а данные стал получать с касандры в сыром виде. Например нужно аггрегировать данные с 1000 девайсов.
запускаем 1000 запросов в кассандру используя типа fork-join и результат просто мержим в Ява приложении.
для сравнения 10 сек превратились в 5.

Я лично кассандру не рекомендую, потому что сложно, нужно очень хорошо понимать не только саму технологию но и бизнес процесс и клиентский код и как и зачем и почему.
С RDBMS как правило таких проблем нет, одни супортят базу другие делают дизайн схемы, по общепринятым лекалам а третьи пишут запросы.

Спасибо за развернутый ответ. Позвольте попридираться.
TTL по-моему надуманная проблема чтобы делать из этого отдельную фукцию БД. В нашей БД данные вообще никогда не удаляются. Есть некоторые зачатки архивирования, но немного.
Фаловер это банальная репликация, есть во всех полноценных БД. У нас не используется вообще. У нас сервер надежный (с реданденци на уровне железа) его выход из строя означает дизастер и есть DR scenario для этого, которым ни разу за 20+ лет не воспользовались ни разу, только ежегодные тесты.
Денормализация возможна для узкого набора запросов. Фактически денормализированная модель эквивалентна поереходу на фаиловую систему. Оптимизатор не нужен, все запросы превращаются в table scan. Остается только индексация и поддержака уникальности, если еще для нее остается возможность после денормализации, разве что по исскусственному полю. Индексация на уровне файлов тоже возможна в некоторых файловы системах.
Распараллеливание больше чем количство CPU (или колиство узлов помноженное на CPU в каждом узле) большого смысла не имеет. 1000 параллельных процессов одновременно выполняться бне будут. Буду сидеть в очередях. Количество CPU и узлов тоже не означает линейный рост производительности. Издержки растут.
10 секунд превратить в 5 возможно и без изменения движка данных.
RDBMS для того и придуман был чтобы разделить хранение и манипулирование дабнными от логики запросов. Точнее все виды запросов были сведены к ограниженному, но весьма универсаьному набору опереций. Дла модели данных оставлены были только требование нормализации. Формальные требования, пригодные для широчайшего круга задач обработки данных.
По мне Касандра это повторение эволюции обработки данных (БД) с начала. Были уже в прошлом БД не реляционные, а иерахические, сетевые и просто в файлах с индексами и прямым доступом. Были HD с механизмами индексации на уровне железа.

[valchkou]

Спасибо за развернутый ответ. Позвольте попридираться.

легче шуруп забить молотком чем гвоздь закрутить отверткой.

доказать целесообразность выбранной технологии 3мя предложениями не получится. Там было много всего, начиная от требований руководства и заканчивая конкретными техническими параметрами.
по нормальному нужно сделать презентация на пару часов, начиная с бизнес процессов и заканчивая отдельными фитчами, как они вписываются и что конкретно упрощают или решают.

без понимания этих деталей дискуссия не имеет смысла и обычный бесплатный mysql перекрывает кассандру как и другие узко направленные решения, по многим параметрам