Книга рекордов Привета.

Dmitry67 · Post by **Dmitry67** » 15 Apr 2004 08:36

zVlad, с 98 много проблем потому что они не юникодные
А Вы пользуетесь OS/2 до сих пор ? Уважаю, но где вы драйвера для современного харда берете ?

zVlad · Post by **zVlad** » 15 Apr 2004 11:49

Dmitry67 wrote:zVlad, с 98 много проблем потому что они не юникодные
А Вы пользуетесь OS/2 до сих пор ? Уважаю, но где вы драйвера для современного харда берете ?

На самом деле последний раз я пользовался OS/2 в 2000 годе ну и до того конечно. Поставил снова три дня назад. Хард у меня старинный, поэтому пока проблем нет - хватает дистрибутива.

Я как-то не понял вот эту Вашу фразу: "zVlad, с 98 много проблем потому что они не юникодные". Не догнал так сказать глубокого смысла.

Dmitry67 · Post by **Dmitry67** » 15 Apr 2004 12:39

Под юникодностью системы я понимаю то что сама система все строки отрабатывает в unicode, 2байта на символ

oMoses · Post by **oMoses** » 15 Apr 2004 16:30

Моя заявка на рекорд Привета:

1,000,000,000 rows table with 120 partitions (exact number is 990,387,280).

RDBMS: Oracle9iR2,
OS: RedHat Linux Adv.Server 2.1
Platform: Dell 4x900MHz/2MBcache PIII Xeon, 16GB RAM
Table details: size - around 30GB, 4 numeric fields + 1 varchar2, no indexes

Dmitry67 · Post by **Dmitry67** » 15 Apr 2004 17:01

Судя по size очень маленькие записи
И нет индексов (!!!)
ЧТо это ??? Умираю от люопытства

NNemo · Post by **NNemo** » 15 Apr 2004 17:48

Не рекорд конечно, но как люди пишут. Blockbuster.

Собирают данные для отчета во временную таблицу. Все делается тупо на клиенте - сначала ВСЕ вычитывается на клиента из select * from table_name, суммуруется там и пишется во времменую таблицу. Я молчу что код просто продублирован для каждого отчета. Я молчу что все на клиенте. Я молчу что паскалевская процедура длиной 1600 строк и использует 50 глобальных переменных, включая из других модулей.

Но следующий пассаж меня просто убил!

Псевдокод:

while not EOF do
try
a := a + b; //really simplified
except
end;
WriteToTempTable(a);

Я пытаюсь объяснить индусам, что исключение переполнения, единственное которое может там возникнуть, глотать не хорошо.
Куда там!!!
Пользователь ведь может проверить результаты сравнив два отчета!

Ну да! По данным из временной таблицы... :pain1:

Пожелал уродам успехов.

oMoses · Post by **oMoses** » 15 Apr 2004 19:54

Dmitry67 wrote:ЧТо это ???

Базовые данные для построения статистических моделей по анализу маркетинговой информации в области фармацевтики. Данные порой имеют до 22 знаков после запятой и упакованы весьма плотно, т.к. таблица почти статична, а любые изменения в ней делаются лишь на уровне партиций (drop, truncate, insert) и никогда delete или update.

За счет задействования Oracle parallel execution запросы с full table scan, которые здесь превалируют, работают быстрее без индексов, нежели с оными.

Оговорюсь сразу - быть может это лишь следствие нашего конкретного hardware|software solution и в иной ситуации подключение индексов было-бы более выгодным.

tengiz · Post by **tengiz** » 15 Apr 2004 20:28

oMoses wrote:За счет задействования Oracle parallel execution запросы с full table scan, которые здесь превалируют, работают быстрее без индексов, нежели с оными.

Оговорюсь сразу - быть может это лишь следствие нашего конкретного hardware|software solution и в иной ситуации подключение индексов было-бы более выгодным.

Похоже, что 120 partitions фактически играют роль мета-индекса. В результате на одном разделе оказывается меньше 10000 коротких строк, что для прицельных аналитических запросов по диапазонам (которые лезут только в нужные разделы) практически ничто. Учитывая особенность Oracle делать длинные физические сканирования эффективнее, чем длинные логические сканирования, нужды в индексах особенной и нет. Я так думаю.

oMoses · Post by **oMoses** » 15 Apr 2004 20:45

tengiz wrote:Учитывая особенность Oracle делать длинные физические сканирования эффективнее, чем длинные логические сканирования, нужды в индексах особенной и нет. Я так думаю.

В общем верно, хотя отдельно взятые партиции содержат до сотни миллионов записей. Кайф особого рода, когда нужный тебе запрос по этим даным выполняется менее чем за 30 секунд! Такое возможно посредством Oracle9i parallel execution + materialized views + pre-joined indexes на них (последние две опиции - партицированы аналогично исходным данным).

Запрос

select count(1) from T_DATA;

выполняется за 17 минут с degree of parallelsim 4 (DoP по числу CPU), что еще не предел, т.к. сейчас уже возможны гораздо более продвинутые storage arrays + можно поиграться и с DoP.

SVK · Post by **SVK** » 16 Apr 2004 02:16

tengiz wrote:Похоже, что 120 partitions фактически играют роль мета-индекса. В результате на одном разделе оказывается меньше 10000 коротких строк,

Если я правильно умею считать, в среднем в одном разделе должно получаться около 10,000,000 строк, что совсем не то же самое, что и 10,000 строк...

tengiz · Post by **tengiz** » 16 Apr 2004 02:21

SVK wrote:
tengiz wrote:Похоже, что 120 partitions фактически играют роль мета-индекса. В результате на одном разделе оказывается меньше 10000 коротких строк,

Если я правильно умею считать, в среднем в одном разделе должно получаться около 10,000,000 строк, что совсем не то же самое, что и 10,000 строк...

Это я неправильно умею писать :oops:

Gennadiy · Post by **Gennadiy** » 17 Apr 2004 03:15

oMoses wrote:Table details: size - around 30GB, 4 numeric fields + 1 varchar2, no indexes

Хе. Да у нас 30-50GB новых данных каждый день. Может именно поэтомы мы их в базе данных и не храним? Старый добрый file share :mrgreen:

P.S. Мой вариант рекорда. Наша основная програмка считается каждый день в течении 10 часов на 50 компьютерах (100 шт. Pentium4 2.8GHz). Чистая математика. А "окно" для расчета всего 11 часов. :roll:

f_evgeny · Post by **f_evgeny** » 17 Apr 2004 06:58

Gennadiy wrote:
oMoses wrote:Table details: size - around 30GB, 4 numeric fields + 1 varchar2, no indexes

Хе. Да у нас 30-50GB новых данных каждый день. Может именно поэтомы мы их в базе данных и не храним? Старый добрый file share

P.S. Мой вариант рекорда. Наша основная програмка считается каждый день в течении 10 часов на 50 компьютерах (100 шт. Pentium4 2.8GHz). Чистая математика. А "окно" для расчета всего 11 часов.

Что за софт, ОС, как организованы вычисления? Очень интересно.

zVlad · Post by **zVlad** » 17 Apr 2004 18:15

zVlad wrote:
Dmitry67 wrote:zVlad, с 98 много проблем потому что они не юникодные
А Вы пользуетесь OS/2 до сих пор ? Уважаю, но где вы драйвера для современного харда берете ?

На самом деле последний раз я пользовался OS/2 в 2000 годе ну и до того конечно. Поставил снова три дня назад. Хард у меня старинный, поэтому пока проблем нет - хватает дистрибутива.

Я как-то не понял вот эту Вашу фразу: "zVlad, с 98 много проблем потому что они не юникодные". Не догнал так сказать глубокого смысла.

В русской транскрипции мне почему-то прочиталось как будто Вы имеете в виду Юникс, а не Unicode. С Unicode-ом конечно все понятно за исключением одного - что Привет посылает текст для заголовка в Unicode? И все другие русские сайты, которые я смог попробовать? А как быть с смутным воспоминанием что до переинсталляции Windows все было нормально? Напомню, преинсталлировал я систему с того же дистрибутива. Я конечно чайник в Виндах и надеялся что кто-нибудь знает правильный ответ.

С OS/2 пришлось прекратить упражнения. Удивило:

-- упорство ИБМ в умертвлении своей же системы. Такие тексты например читались: " Начиная с 31 декабря 2000 прекращена поддержка разработки драйверов для OS/2" и т.п.. Вообщем то это официальная линия ИБМ, ничего мистического. Полностью прекратят упоминать OS/2 где-то в 2007 годе или раньше - не важно.

-- полная "несознанка" Netscape в причастности к OS/2 (не смог добыть у низ ни одной версии для OS/2. Устанавливал Mozilla, к которой не было никаких притензий).

-- по возвращении в Виндовз 98 (на том же компьютере) удивила его заторможенность (в некоторых местах) по сравнению с OS/2. Чувствуется что когда что-то работает в backgroud-е, то для Виндовза это уже проблема таскать мышь по экрану например. Но это так, может быть чисто субъективно.

Думаю попробовать с Линуксом. Что посоветуете, спецы по Линукс?

f_evgeny · Post by **f_evgeny** » 17 Apr 2004 18:24

zVlad wrote: Думаю попробовать с Линуксом. Что посоветуете, спецы по Линукс?

В смысле?
Вообще, сначала надо проникнуться, а потом уже пробовать. Ясно понимать премущества, чтобы прощать недостатки.
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

zVlad · Post by **zVlad** » 17 Apr 2004 18:37

f_evgeny wrote:
zVlad wrote: Думаю попробовать с Линуксом. Что посоветуете, спецы по Линукс?

В смысле?
Вообще, сначала надо проникнуться, а потом уже пробовать. Ясно понимать премущества, чтобы прощать недостатки.
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Все что мне нужно на моем домашнем компе это:

- интернет и почтаб
- VPN от cisco (это надо посмотреть на CD, который мне дали для установки VPN дома).
- Terminal Services
- Эмуляция терминала МФ (3270).

А вообще с чего можно было бы начать чтобы получить нечто на первый случай подобное OS/2? Тут Putike демонстрировала графический интерфейс Линукса. Это как? Вкратце, конечно, типа иди туда возьми то и т.д.

P.S. Вот на Мф мы как-то пытали SuSe - может мне с SuSe попробывать? Купить чего-нибудь? Это даже лучше было бы чем просто скачать, хотя пойду ко я на SuSe сайт схожу.

zVlad · Post by **zVlad** » 17 Apr 2004 18:52

f_evgeny wrote:....
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Что бы Вы Евгений сказали вот об этом например:

http://www.digitalriver.com/dr/v2/ec_MA ... CACHE_ID=0

zVlad · Post by **zVlad** » 17 Apr 2004 19:00

Доставка, черт возьми, стоит дороже самомго продукта:

Qty Product Platform Shipping Method Price
SUSE Linux 9.1 Personal $29.95

Shipping Method $28.95
Total $58.90

Надо будет сходить в U of T книжный магазин в понедельник - там посмотреть.

Gennadiy · Post by **Gennadiy** » 17 Apr 2004 19:10

f_evgeny wrote:Что за софт, ОС, как организованы вычисления? Очень интересно.

Софт самонаписаный, естественно на C++
OS - Windows 2000
Вычисления на процентов 80% это Монте-Карло симуляции, поэтому паралелятся легко.

smesh · Post by **smesh** » 17 Apr 2004 21:34

Gennadiy wrote:
f_evgeny wrote:Что за софт, ОС, как организованы вычисления? Очень интересно.

Софт самонаписаный, естественно на C++
OS - Windows 2000
Вычисления на процентов 80% это Монте-Карло симуляции, поэтому паралелятся легко.

Как-то слышал, что физики при расчетах используют M$ DOS + доступ ко всей памяти. Windows вносит достаточно ощутимый overhead.

smesh · Post by **smesh** » 17 Apr 2004 21:40

zVlad wrote:
f_evgeny wrote:....
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Что бы Вы Евгений сказали вот об этом например:

http://www.digitalriver.com/dr/v2/ec_MA ... CACHE_ID=0

А что это - не последний или not-supported distro?
ftp://ftp.suse.com/pub/suse/i386/current/suse/i586/
http://blizzard.vqbn.com/suse.de/suse/i ... suse/i586/

PS. Совсем Unix/Linux лох - но очень хоцца. :gen1:

zVlad · Post by **zVlad** » 18 Apr 2004 00:56

smesh wrote:
zVlad wrote:
f_evgeny wrote:....
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Что бы Вы Евгений сказали вот об этом например:

http://www.digitalriver.com/dr/v2/ec_MA ... CACHE_ID=0
А что это - не последний или not-supported distro?
ftp://ftp.suse.com/pub/suse/i386/current/suse/i586/
http://blizzard.vqbn.com/suse.de/suse/i ... suse/i586/

PS. Совсем Unix/Linux лох - но очень хоцца.

Ну и что мне с этим делать? Уж лучше я куплю коробку. Правда не знаю какую лучше.

smesh · Post by **smesh** » 18 Apr 2004 04:11

zVlad wrote:
smesh wrote:
zVlad wrote:
f_evgeny wrote:....
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Что бы Вы Евгений сказали вот об этом например:

http://www.digitalriver.com/dr/v2/ec_MA ... CACHE_ID=0
А что это - не последний или not-supported distro?
ftp://ftp.suse.com/pub/suse/i386/current/suse/i586/
http://blizzard.vqbn.com/suse.de/suse/i ... suse/i586/

PS. Совсем Unix/Linux лох - но очень хоцца.

Ну и что мне с этим делать? Уж лучше я куплю коробку. Правда не знаю какую лучше.

А что с коробкой делать?

f_evgeny · Post by **f_evgeny** » 18 Apr 2004 08:04

zVlad wrote:
f_evgeny wrote:....
Если Вам нужны гибкость конструктора Лего и надежность АК-47 в одном флаконе, это к нам.

Что бы Вы Евгений сказали вот об этом например:

http://www.digitalriver.com/dr/v2/ec_MA ... CACHE_ID=0

Извиняюсь за задержку, долго думал, что ответить. Отвечу пожалуй так:
1. SUSE очень хвалят, хотя сам я пробовал ее давно.
2. Еще, вроде хвалят Mandrake
3. Да и Red Hat тоже ничего
4. Есть еще русифицированные, базирующиеся на RPM
дистрибутивы - ALT, ASP
5. Лично я пользуюсь Дебианом
Для начинающих и желающих сразу получить десктоп с какой-нибудь навороченой интегрированной средой я бы посоветовал первых 4.
Для серьезных применений, например на серверах, для изучения и более кастомизированной настройки и для опытных пользователей я бы посоветовал 5.
Но, считаю необходимым предупредить, что желательно понимать, что структура и возможности систем, построенных на базе UNIX-ов сильно отличается от других ОС (имеются в виду ОС, традиционно использующихся в качестве десктопов/серверов).

zVlad · Post by **zVlad** » 18 Apr 2004 15:11

smesh wrote:
zVlad wrote:............ Уж лучше я куплю коробку. Правда не знаю какую лучше.
А что с коробкой делать?

Доставать из нее книжку с инструкцией и CD-ROM и устанавливать систему.