Вопросы истории ИТ и ОС

[Dmitry67]

Такое было даже в VAX VMS.

Было интерсно увидеть первоисточник тогда. Нет, я не намекаю что Вы не правы, мне действительно интерсно для расширения кругозора, но я не знаком с документацией на VMS и не знаю как это найти.

Не знаю можно ли это найти
Ведь это было до Alpha, то есть год 1988-1990, когда я с этим столкнулся
Причем я помню что VAX/VMS действовала с памятью еще более агрресивно: она разрушала или сваливала страницы в pagefile не только когда памяти не хватало, а просто так. В итоге у малоактивные процессы сами собой сдувались и свободной памяти всегда было много. был еще какой то параметр который мог это настраивать

Помню меня такое поведение возмущало, зачем сдувать процесс если память еще есть.

[flip_flop]

Что те Ваши чудо машинки, о которых Вы мне несколько раз в году напоминаете, делают полезного?

Вот, на днях вышла ещё одна версия: SGI Introduces the New UV 300RL With Oracle Linux:

A new model in the SGI UV server line certified and supported with Oracle Linux, SGI UV 300RL provides up to 32 sockets and 24 terabytes (TBs) of shared memory. The solution enables enterprises that have standardized on Intel-based servers to run Oracle Database In-Memory on a single system to help achieve real-time operations and accelerate data analytics at unprecedented scale.

Utilizing a unique scale-up, single system design and proven ultra-low latency SGI technology, the SGI UV 300RL enables mixing transactional and analytic workloads while maintaining high performance for mission-critical applications. SGI UV 300RL allows large and growing environments to implement Oracle’s innovative ‘dual-format’ architecture at greater scale to identify business trends in real-time, make faster, smarter decisions, and gain competitive advantage. For pure high volume analytics, the in-memory speed and single-system simplicity of the SGI UV 300RL can also deliver business insight orders of magnitude faster than conventional disk-based clustered systems and without the administrative cost.

[StrangerR]

Такое было даже в VAX VMS.

Было интерсно увидеть первоисточник тогда. Нет, я не намекаю что Вы не правы, мне действительно интерсно для расширения кругозора, но я не знаком с документацией на VMS и не знаю как это найти.

Не знаю можно ли это найти
Ведь это было до Alpha, то есть год 1988-1990, когда я с этим столкнулся
Причем я помню что VAX/VMS действовала с памятью еще более агрресивно: она разрушала или сваливала страницы в pagefile не только когда памяти не хватало, а просто так. В итоге у малоактивные процессы сами собой сдувались и свободной памяти всегда было много. был еще какой то параметр который мог это настраивать

Помню меня такое поведение возмущало, зачем сдувать процесс если память еще есть.

Это даже БЭСМ-6 делала. И линуксы делают.

ТОлько _не сдувать_ процесс. А откачивать неактивные страницы, ОСТАВЛЯЯ их в памяти. Дальше возможно одно из двух
- страница станет активной. Ну и отлично, разлочим ее обратно, она же в памяти осталась.
- кому то еще нужна будет память. Ну и отлично, взяли одну из этих неактивных страниц в памяти и отдали.

В Линуксе это числится в top как cached. Страница откачена но кэширована в памяти. По сути это тоже свободная память.

С тех пор алгоритмы усложнились, но в принципе все просто донельзя
- время от времени ВСЕ страницы процесса закрываем
- получив прерывание что _доступ нужен_ открываем и помечаем _часть рабочего пространства_
- за какой то интервал времени собираем _рабочее пространство_
- все то что не попало в него - запускаем page out, если страница вообще писалась с последней откачки
- то что уже прошло page out помечаем как cached. Ну и естественно оно осталось закрытым на обращение
- ну и это и есть swapped out and cached страницы. Доступная для процессов память в которой кэшится память за пределами рабочего пространства.

Это было на Бэсмах, было в достаточно ранних версиях Юниксов (но не в самых первых) было на Ваксах. Этого не было, кстати, в IBM в те годы.

[zVlad]

Что те Ваши чудо машинки, о которых Вы мне несколько раз в году напоминаете, делают полезного?

Вот, на днях вышла ещё одна версия: SGI Introduces the New UV 300RL With Oracle Linux: ,

A new model in the SGI UV server line certified and supported with Oracle Linux, SGI UV 300RL provides up to 32 sockets and 24 terabytes (TBs) of shared memory. The solution enables enterprises that have standardized on Intel-based servers to run Oracle Database In-Memory on a single system to help achieve real-time operations and accelerate data analytics at unprecedented scale.

Utilizing a unique scale-up, single system design and proven ultra-low latency SGI technology, the SGI UV 300RL enables mixing transactional and analytic workloads while maintaining high performance for mission-critical applications. SGI UV 300RL allows large and growing environments to implement Oracle’s innovative ‘dual-format’ architecture at greater scale to identify business trends in real-time, make faster, smarter decisions, and gain competitive advantage. For pure high volume analytics, the in-memory speed and single-system simplicity of the SGI UV 300RL can also deliver business insight orders of magnitude faster than conventional disk-based clustered systems and without the administrative cost.

Я не вижу ни слова о полезности этой машинки. Все что написано это маркетинговый шум. Я назвал и рассказал про два механизма - UIC и WLM, а в ответ тишина. Не считая конечно воспоминаний о БЭСМ, которые читать уже тошно. Как можно думать что за почти пятьдесят лет в компьютеростроении ничего не изменилось. Видимо постоянное общение с примитивными (не в количественном смысле конечно, здесь все в порядке - все толстое и длинное), а в идейном смысле системами оставляют StrangeR-у только одно - ностальгировать по БЭСМ-6. Да, и сравнивать из с S/360. пойду почитаю что StrangeR написал, может что-нибудь новенькое.

[zVlad]

....Это даже БЭСМ-6 делала. И линуксы делают.
...

Если Вы не сочтет за труд набрать в Google "z/OS Central Storage Management " то легко найдете презентацию на SHARE этого года 3-го марта. Начните читать хотя бы со страницы 20 "Paging and Auxiliary Datasets", и далее стр. 23 "Measuring Central Storage Contention - UIC Calculation", и наконец стр. 25 "Stealing in z/OS" (несколько страниц с описанием stealing), если пойдете дальше то узнаете что делает z/OS в случае Starage Shortage и об "In-Real Swap" на стр. 30. Прочитав Вы получите некоторое представление о том как это делается в нормальной, современной системe zOS, и узнаете о том что, может быть, когда нибудь, будет иапользоваться в Linux/Windows.

Если Вы захотите узнать в кратце обо всех функциях управления системными ресурсами в zOS, об SRM (System Resources Manager), то может начать с вот этого:

http://publibz.boulder.ibm.com/cgi-bin/ ... 0614082539" onclick="window.open(this.href);return false;

Про swapping в zOS Вы может почитать в секции 3.2.4.1 и убедиться что все может быть гораздо сложнее, а значит, прежде всего, гибче и ефективнее чем то что Вы описали (кстати хотелось бы узнать мнение тех кто знает эти пироги в Windows и Linux. Так ли все "предельно просто" как говорит StrangeR).

Сам я не претендую на энциклопедическое знание SRM, я практик, и знаю как ведет себя система и что можно сделать в том или ином случае, как заставить SRM, с помощью WLM (Work Load Manager, который я знаю хорошо), управлять ресурсами в интересах наших целей управления.

[Palych]

A new model in the SGI UV server line certified and supported with Oracle Linux, SGI UV 300RL provides up to 32 sockets and 24 terabytes (TBs) of shared memory. The solution enables enterprises that have standardized on Intel-based servers to run Oracle Database In-Memory on a single system to help achieve real-time operations and accelerate data analytics at unprecedented scale.

Я не вижу ни слова о полезности этой машинки. Все что написано это маркетинговый шум. Я назвал и рассказал про два механизма - UIC и WLM, а в ответ тишина..

Полезность WLM критична при нехватке ресурсов.
Машины как та SGI предоставляют кучу дешевых ресурсов. Так что нет нужды напрягаться определяя кому первому их давать.

[StrangerR]

....Это даже БЭСМ-6 делала. И линуксы делают.
...

Если Вы не сочтет за труд набрать в Google "z/OS Central Storage Management " то легко найдете презентацию на SHARE этого года 3-го марта. Начните читать хотя бы со страницы 20 "Paging and Auxiliary Datasets", и далее стр. 23 "Measuring Central Storage Contention - UIC Calculation", и наконец стр. 25 "Stealing in z/OS" (несколько страниц с описанием stealing), если пойдете дальше то узнаете что делает z/OS в случае Starage Shortage и об "In-Real Swap" на стр. 30. Прочитав Вы получите некоторое представление о том как это делается в нормальной, современной системe zOS, и узнаете о том что, может быть, когда нибудь, будет иапользоваться в Linux/Windows.

Если Вы захотите узнать в кратце обо всех функциях управления системными ресурсами в zOS, об SRM (System Resources Manager), то может начать с вот этого:

http://publibz.boulder.ibm.com/cgi-bin/ ... 0614082539" onclick="window.open(this.href);return false;

Про swapping в zOS Вы может почитать в секции 3.2.4.1 и убедиться что все может быть гораздо сложнее, а значит, прежде всего, гибче и ефективнее чем то что Вы описали (кстати хотелось бы узнать мнение тех кто знает эти пироги в Windows и Linux. Так ли все "предельно просто" как говорит StrangeR).

Сам я не претендую на энциклопедическое знание SRM, я практик, и знаю как ведет себя система и что можно сделать в том или ином случае, как заставить SRM, с помощью WLM (Work Load Manager, который я знаю хорошо), управлять ресурсами в интересах наших целей управления.

В каком году это было? То что я вам описал было уже в 70-е даже в Бэсм-6. И уж точно было в VAX VMS. Сегодня все это, конечно, сложнее работает, хотя принципы те же самые.

[zVlad]

....

В каком году это было? ....

Если Вы не читаете написанное мной зачем брать их в виде и цитат и задавать вопросы на которые в них есть ответы?

[zVlad]

Спасибо за пояснения к поведению Java. Я внимательно все прочитал и запомнил.
Я сегодня начинаю инсталировать WebSphere под Линукс и буду заниматься перформенц если конечно прилодение будет в этом нуждаться. Это не на МФ, это на виртуальных машинах под VMWare. Но это для реального проекта который должен будет пойти в Продакшн в феврале 2016. По ходу будем разбираться с Java.

То есть новый проект у вас делают под vmware, а не под МФ?

Вот уже третий вечер (днем я мэйнфрэймщик, а вечерами или кухню реновирую или в Линуксе сижу, установливаю WebSphere) бодаюсь с Линукс RedHead 6.5. Да, блин, слов нет одни предложения. Цель на данный момент достигнута, но жизнь теперь для меня видится в другом свете. Раньше меня раздражал USS в zOS и SuSe Linux. Теперь они мне как братья родные.
Одна проблема, как видится, в том что мне дали аккаунт и я вытребовал доступ к суперюзеру. Раньше я работал в Линукс как installation root (может я не верно терминологией пользуюсь). теперь я могу быть обычным пользователем, а могу быть и суперюзером, и это меня порой разводит (долго думал над словом, это подходит лучше всего). Я думаю те кто знают поймут меня.
Другая с архитектурой. Я как то привык, не знаю правда где и когда, наверное на МФ, что более высокая архитектура поддерживает низкую. Поэтому скромно даунлоадил вариант 86-32. Запускаю инсталяцию, нет такого то файла говорит. Поскольку не я в системе админ сообщаю тому кто админ, кто систему устанавливал, файл мол не найден согласно сообщению (хотя при этом поискал Интернет и нашел как установить некий пакет, но не стал этого делать сам). Админ на что-то сослался и чего-то поправил, велел повторить, тоже самое, но между делам напирал на то что мол у нас 64 архитектура. Вариант 64 был в списке для даулоад вторым, скачал его и ... заработала.
Ок. Не сооответстия архитектур сообщаются через "не найден файл". Очень мудро, ничего не скажешь. Остается только жалеть коллег на Линукс/Юникс: жить со свернутыми мозгами наверное не просто.
P.S. Да и еще проблема была с тем что даунлоадаю тотя на винду а надо чтобы было на Линукс. У Линукс нет ftp, но есть sftp. А у винды моей нет sftp, но у моего МФ есть и ftp и sftp. Поэтому пока я работаю так: download на винду, ftp на МФ, и наконец sftp с МФ на Линукс. Первый шаг, но проблем, второй говорит нет файла (это самое ходовое сообщение у юниксподобных), меняю 640 на 777, повторям: все ок, но не всегда. После этого начинает кочевряжиться Линукс сторона. Выхожу из сессиии ssh, снова захожу, повторяю: все ОК. Здорово, весело, ухахочишься. Когда я с такими темпами установлю WebSphere сказать трудно. Завтра митинг с представителем разработчика аппы что будет раниться под "моим" WebSphere.

[Dmitry67]

zVlad, пока есть время, удалите свой пост про то что в linux нет ftp. Искренне рекомендую )))

[VladDod]

zVlad, пока есть время, ...

"Уже поздно" (c)

[mskmel]

Поэтому скромно даунлоадил вариант 86-32. Запускаю инсталяцию, нет такого то файла говорит.

Всё верно говорит, админ не ставил вам весь зоопарк библиотек на 32 бит.

У Линукс нет ftp, но есть sftp. А у винды моей нет sftp, но у моего МФ есть и ftp и sftp. Поэтому пока я работаю так: download на винду, ftp на МФ, и наконец sftp с МФ на Линукс.

Чего народ только не сделает, чтобы в гугл не ходить! ftp, как и telnet, сейчас мало кто ставит сервисом, не секурно это.

Вы же прежде чем за МФ садиться книжки наверное читали, вот с линухом также. Надобно почитать, подучиться, в этом нет ничего зазорного...

[mskmel]

Я не вижу ни слова о полезности этой машинки. Все что написано это маркетинговый шум.

Это железка, полезной или бесполезной она станет в чьих то руках. Можно тепло вырабатывать, типа кодирования терабайт порнухи, или анализируя "поток социальной медиа". Можно деньги зарабатывать, или науку вперёд двигать.

[oshibka_residenta]

Client sftp для винды гуглится за секунду. Но можно и через попу автогеном ( через мейнфрейм)

[flip_flop]

Я не вижу ни слова о полезности этой машинки. Все что написано это маркетинговый шум. Я назвал и рассказал про два механизма - UIC и WLM, а в ответ тишина.

Из Вашей логики полезность машинки определяется тем, использует ли она WLM. Ну так вот, есть такое на линуксах/х86. Например:
Slurm Workload Manager:
Slurm provides workload management on many of the most powerful computers in the world. On the November 2013 Top500 list, five of the ten top systems use Slurm including the number one system. These five systems alone contain over 5.7 million cores. A few of the systems using Slurm are listed below:

Tianhe-2 designed by The National University of Defense Technology (NUDT) in China has 16,000 nodes, each with two Intel Xeon IvyBridge processors and three Xeon Phi processors for a total of 3.1 million cores and a peak performance of 33.86 Petaflops.

На самом деле, HPC, как никакая другая область, полезна для человечества: расшифровка генома, борьба с раком, разведка нефти/газа, предсказание погоды, проектирование сложных систем, и многое многое другое, почитайте на досуге.

Но я перешёл на Ваше поле, типа дебит-кредит. Так вот, мы много слышали от Вас о том, что МФ не даёт результаты тестов, так как тесты для однотипной нагрузки, а МФ хорош именно тем, что работает для смешанной нагрузки. И вот появилась машинка, подобная в какой то степени, МФ: SMP, scale-up, не кластер, и, внимание ... работающая хорошо для смешанной нагрузки, и быстрая могучая аналитика и одновременно не проседающее OLTP. Oracle-12c, in memory database. Ораклоиды - ваше слово.

Сомневаться в её полезности - это как сомневаться в основополагающих принципах МФ

[mskmel]

И вот появилась машинка, подобная в какой то степени, МФ: SMP, scale-up, не кластер, и, внимание ...

Наши на луну высадились
Гуглим, начиная с 20ти летнего SunFire E10K и потом по поколениям 12К/15K, 20K/25K, M8000/M9000 (это то с чем я работал)
Такой же рядок можно и по IBM\HP составить.
И таки гоняли\гоняют на одной такой большой машине и несколько БД, и серверы приложений...
Стоили они как два вертолёта, это факт. Но сейчас вполне так бюджетненько, правда редко кому нужны при наличии дешевой альтернативы x86/Линукс.

[flip_flop]

И таки гоняли\гоняют на одной такой большой машине и несколько БД, и серверы приложений...
Стоили они как два вертолёта, это факт. Но сейчас вполне так бюджетненько, правда редко кому нужны при наличии дешевой альтернативы x86/Линукс.

Ну так я именно о х86/Линукс, при этом машинки тянут разнородную нагрузку без потерь в однородных нагрузках.

[zVlad]

Вы ребята, срефлексировавшие на мой плач по поводу *ftp*, смешные. Обрадовались что вам подали повод позубоскалить.
Есть в природе, далеко не одно и тоже что есть в конкретных условиях. Я говорил про конкретные условия, в которых даже возможность скачать и проинсталировать весьма ограничена у меня на не-МФ. На МФ у меня есть все: ftp, sftp, и ftps. На моем десктопе Windows я не админ, в Линуксе что мне дали для WebSphere тоже. Я знаю что есть все везде, но я не об этом говорил. Почитайте что я сказал снова если не поняли.

Вот что я получил на Линукс:

login as: zvlad
[zvald@dvl01 ~]$ ftp "mainframe-IP"
-bash: ftp: command not found
[zvlad@dvl01 ~]$

Вот что я получил на МФ:

EZA1554I Connecting to: "dvl01" port: 21.,
EZA2590E recv error from getNextReply - EDC8130I Host cannot be reached. (errno,
2=0x74500442),
EZA1475I Connection with "dvl01" terminated

[mskmel]

Ну так я именно о х86/Линукс, при этом машинки тянут разнородную нагрузку без потерь в однородных нагрузках.

SGI свои монстры на х86\Linux тоже не первый год делает. Рекламный слоган о разнородной нагрузке из брошюрки 12го оракла

The Oracle Database In-Memory Option allows Oracle to function as the industry-first dual-format in-memory database. Row formats are ideal for OLTP workloads which typically use indexes to limit their data access to a small set of rows, while column formats are better suited for Analytic operations which typically examine a small number of columns from a large number of rows. Since no single data format is ideal for all types of workloads, our approach was to allow data to be simultaneously maintained in both formats with strict transactional consistency between them.

[mskmel]

На моем десктопе Windows я не админ, в Линуксе что мне дали для WebSphere тоже

Это не требует админских прав

[flip_flop]

SGI свои монстры на х86\Linux тоже не первый год делает. Рекламный слоган о разнородной нагрузке из брошюрки 12го оракла

The Oracle Database In-Memory Option allows Oracle to function as the industry-first dual-format in-memory database. Row formats are ideal for OLTP workloads which typically use indexes to limit their data access to a small set of rows, while column formats are better suited for Analytic operations which typically examine a small number of columns from a large number of rows. Since no single data format is ideal for all types of workloads, our approach was to allow data to be simultaneously maintained in both formats with strict transactional consistency between them.

Охотно признаю свою неправоту, с моей стороны возражений нет.

[flip_flop]

На моем десктопе Windows я не админ, в Линуксе что мне дали для WebSphere тоже

Это не требует админских прав

Эт точно, я её на корпоративном лаптопе ставил и был доволен. Мне другое интересно - как Линукс может быть без ftp (наравне с sftp)? Почему zVlad всегда так фатально не везёт во всём, кроме МФ?

[zVlad]

На моем десктопе Windows я не админ, в Линуксе что мне дали для WebSphere тоже

Это не требует админских прав

Кстати есть у меня такая фигня на моем desktop. Я установил ее как тест для sftp на mainframe и забыл посколько не пользовался. Спасибо за напоминание. Вы реально упростили мою жизнь.

Я не мало обжигался находя что-нибудь полезное для себя в Windows, поскольку установить без админ было невозможно. В итоге у меня сложился (так сложили другие для меня) стиль что пользуйся только тем что есть в руках рукой. Также была проблема с раззиповыванием .gz файлов, но нашлась 7-zip в нашей репозитории софта с которого можно установить софт без admin.

Нуи не знаю как у других, но у нас обещают что будут быть по голове если мы устанавливаем софт с интернета. И постоянно об этом напоминают.

[zVlad]

На моем десктопе Windows я не админ, в Линуксе что мне дали для WebSphere тоже

Это не требует админских прав

Эт точно, я её на корпоративном лаптопе ставил и был доволен. Мне другое интересно - как Линукс может быть без ftp (наравне с sftp)? Почему zVlad всегда так фатально не везёт во всём, кроме МФ?

С чего Вы взяли что мне не везет? Вон mskmel напомнил мне о WinSCP и все стало намного проще - я еще только начал работать на этой теме и уже такое везение, обзавидуйтесь.

Линукс может быть без много чего как выясняется из разговоров с нашими люникс людьми. Такая в компании политика есть. FTP - это первое что не проходит секьюрити контроль для серверов общего пользования.

[zVlad]

Я не вижу ни слова о полезности этой машинки. Все что написано это маркетинговый шум. Я назвал и рассказал про два механизма - UIC и WLM, а в ответ тишина.

Из Вашей логики полезность машинки определяется тем, использует ли она WLM. Ну так вот, есть такое на линуксах/х86. Например:
Slurm Workload Manager:
Slurm provides workload management on many of the most powerful computers in the world. On the November 2013 Top500 list, five of the ten top systems use Slurm including the number one system. These five systems alone contain over 5.7 millions cores. A few of the systems using Slurm are listed below:

Tianhe-2 designed by The National University of Defense Technology (NUDT) in China has 16,000 nodes, each with two Intel Xeon IvyBridge processors and three Xeon Phi processors for a total of 3.1 million cores and a peak performance of 33.86 Petaflops.

На самом деле, HPC, как никакая другая область, полезна для человечества: расшифровка генома, борьба с раком, разведка нефти/газа, предсказание погоды, проектирование сложных систем, и многое многое другое, почитайте на досуге.

Но я перешёл на Ваше поле, типа дебит-кредит. Так вот, мы много слышали от Вас о том, что МФ не даёт результаты тестов, так как тесты для однотипной нагрузки, а МФ хорош именно тем, что работает для смешанной нагрузки. И вот появилась машинка, подобная в какой то степени, МФ: SMP, scale-up, не кластер, и, внимание ... работающая хорошо для смешанной нагрузки, и быстрая могучая аналитика и одновременно не проседающее OLTP. Oracle-12c, in memory database. Ораклоиды - ваше слово.

Сомневаться в её полезности - это как сомневаться в основополагающих принципах МФ

Вам уже ответили про смешанную нагрузку. Нет ее. У нас на МФ есть реально, а не только как маркетинговый ход.

На Slurm я даже смотреть не буду, потому что упоминание в описании "workload management", это еще не повод для этого. А более того я просто знаю WLM for zOS и понимаю почему ни где кроме zOS такого в принципе быть не может и не будет пока эти Ваши Линукс/86 не доротут до него, т.е. никогда. Ксатати и у zVM, хотя это и МФ и ИБМ, нет такого тоже.

А апеляция к суперЭВМ, это вообще перпендикулярно нашим обычным разговорам. Похоже Вас просто возбуждает такое: "over 5.7 millions cores", "total of 3.1 million cores and a peak performance of 33.86 Petaflops.", меня нет, я работаю совсем в другой сфере хоть и там и здесь все называют это компьютерами.