JVM internals - what does the JVM do? — Ian Rogers

Palych · Post by **Palych** » 19 Jul 2012 22:09

Zorkus wrote:
Palych wrote:
Flash-04 wrote:вот, пожалуйста:
Palych wrote:Java умеет очищать память не останавливая работы. И делает это весьма эффективно.
http://forum.privet.com/viewtopic.php?f ... 0&start=75
Раз уж меня процитировали - поясню: полностью избавиться от full GC на сильно нагруженых системах мне лично не удавалось, но уменьшить частоту до пары раз в неделю получалось...
Это на Hotspot, какой версии? Стандалон приложение, или внутри appserver-a? В каком generation, каким сборщиком?

JBoss, Servlets only.
Когда full GC случается - он занимает 4 секунды.

rzen · Post by **rzen** » 19 Jul 2012 22:46

а какие jvm и gc? и какие настройки gc? и какого характера прграммы?

Zorkus · Post by **Zorkus** » 19 Jul 2012 23:23

Еще, а как вы проверяете, что 1-2 раза в неделю случился GC? +XX:-PrintGCTimeStamps, и грепать логи?

rzen · Post by **rzen** » 19 Jul 2012 23:33

кстати, пораскинув оставшимися после сумасшедшей недели мозгами, мне кажется очевидно что у человека пре-Г1 сборщик мусора. иначе он никак бы не ждал неделю для подчистки молодых объектов.

Zorkus · Post by **Zorkus** » 19 Jul 2012 23:54

Молодые объекты убираются не дожидаясь FullGС же.

rzen · Post by **rzen** » 19 Jul 2012 23:58

Zorkus wrote:Молодые объекты убираются не дожидаясь FullGС же.

разумеется, но это ж паузы, пусть короткие, а палыч говорит что их нет.

Zorkus · Post by **Zorkus** » 20 Jul 2012 00:54

rzen wrote:
Zorkus wrote:Молодые объекты убираются не дожидаясь FullGС же.
разумеется, но это ж паузы, пусть короткие, а палыч говорит что их нет.

Я почему-то понял, что Палыч имел в виду, что major collections идут раз в неделю, а мелкие чаще. Мелкие тоже на _очень_ короткое время, но делают паузу. Я почему-то думал, что сборка young generation в CMS коллекторе не останавливает JVM вообще. Был неправ

rzen · Post by **rzen** » 20 Jul 2012 01:08

Ну вобщем то верно, для подавляющего большинства случаем сборкой молодняка можно пренебречь. Но как минимум для собственного понимания природы сборщика полезно понимать что паузы никуда не уходят. Кстати чем больше ядер тем выше цена сборки мусора. Разрабатываешь на лаптопе всё чики пики, выкатил на 16-ядерный сервак с 64г памяти и опаньки, многосекундные паузы на сборку.

Zorkus · Post by **Zorkus** » 20 Jul 2012 01:11

Может дело в том, что 64 гига памяти?

И соотв. размер генерейшенов и объектов в них.

rzen · Post by **rzen** » 20 Jul 2012 01:21

Zorkus wrote:Может дело в том, что 64 гига памяти? И соотв. размер генерейшенов и объектов в них.

И размер памяти тоже, конечно, но и кол-во ядер. много ядер успевают больше напакостить а разгребать то приходится одним ядром.

Palych · Post by **Palych** » 20 Jul 2012 02:06

Zorkus wrote:
rzen wrote:
Zorkus wrote:Молодые объекты убираются не дожидаясь FullGС же.
разумеется, но это ж паузы, пусть короткие, а палыч говорит что их нет.
Я почему-то понял, что Палыч имел в виду, что major collections идут раз в неделю, а мелкие чаще. Мелкие тоже на _очень_ короткое время, но делают паузу. Я почему-то думал, что сборка young generation в CMS коллекторе не останавливает JVM вообще. Был неправ

Ну да, именно это я имел в виду. Young Gen collector может и останавливает машину, но на глаз это не заметно.
Измерения проводились с помошью CA Wily a.k.a. Introscope, или как он сейчас зовётся...

Zorkus · Post by **Zorkus** » 20 Jul 2012 03:51

rzen wrote:
Zorkus wrote:Может дело в том, что 64 гига памяти? И соотв. размер генерейшенов и объектов в них.
И размер памяти тоже, конечно, но и кол-во ядер. много ядер успевают больше напакостить а разгребать то приходится одним ядром.

Почему одним? Это в Serial GC одним, а parallel GC идет всеми ядрами сразу.

Palych · Post by **Palych** » 20 Jul 2012 04:06

rzen wrote:а какие jvm и gc? и какие настройки gc? и какого характера прграммы?

JVM обычная, 1.6.последняя от Oracle (и не совсем последняя так же вроде работала)
Приложения примитивные - web service, переливают из пустого в порожнее: вызывают сервисы на CORBA. Но кода там куча наклёпано. Активно используется innovative Design Pattern Copy&Paste.
Обслуживается где-то 800 запросов в минуту на одном сервере.
Размер кучи: 2 гига.
Остальные настройки я опасаюсь вываливать: один сотрудник не из нашей команды как бы приложил к ним руку - мало ли чего...
Но вроде ничего волшебного...

crypto5 · Post by **crypto5** » 20 Jul 2012 05:16

Palych wrote:
Zorkus wrote:
Palych wrote:
Flash-04 wrote:вот, пожалуйста:
Palych wrote:Java умеет очищать память не останавливая работы. И делает это весьма эффективно.
http://forum.privet.com/viewtopic.php?f ... 0&start=75
Раз уж меня процитировали - поясню: полностью избавиться от full GC на сильно нагруженых системах мне лично не удавалось, но уменьшить частоту до пары раз в неделю получалось...
Это на Hotspot, какой версии? Стандалон приложение, или внутри appserver-a? В каком generation, каким сборщиком?
JBoss, Servlets only.
Когда full GC случается - он занимает 4 секунды.

Но это ведь не означает что мир останавливается на 4 секунды

rzen · Post by **rzen** » 20 Jul 2012 12:32

crypto5 wrote:
Palych wrote: Когда full GC случается - он занимает 4 секунды.
Но это ведь не означает что мир останавливается на 4 секунды

именно это и означает.

rzen · Post by **rzen** » 20 Jul 2012 12:36

Zorkus wrote:
rzen wrote:
Zorkus wrote:Может дело в том, что 64 гига памяти? И соотв. размер генерейшенов и объектов в них.
И размер памяти тоже, конечно, но и кол-во ядер. много ядер успевают больше напакостить а разгребать то приходится одним ядром.
Почему одним? Это в Serial GC одним, а parallel GC идет всеми ядрами сразу.

имхо sweep однотредовый в штатной JVM.

rzen · Post by **rzen** » 20 Jul 2012 12:44

уточню, во время полного GC происходит так же и дефрагментация

crypto5 · Post by **crypto5** » 20 Jul 2012 17:17

rzen wrote:
crypto5 wrote:
Palych wrote: Когда full GC случается - он занимает 4 секунды.
Но это ведь не означает что мир останавливается на 4 секунды
именно это и означает.

Выше вроде картинка была что concurrent mark sweep останавливает мир не на все время работы а на короткий промежуток времени в начале что бы что-то там маркнуть, и еще в конце.

rzen · Post by **rzen** » 20 Jul 2012 17:19

crypto5 wrote:
rzen wrote:
crypto5 wrote:
Palych wrote: Когда full GC случается - он занимает 4 секунды.
Но это ведь не означает что мир останавливается на 4 секунды
именно это и означает.
Выше вроде картинка была что concurrent mark sweep останавливает мир не на все время работы а на короткий промежуток времени в начале что бы что-то там маркнуть, и еще в конце.

см уточнение, дефраг останавливает мир

crypto5 · Post by **crypto5** » 20 Jul 2012 17:52

rzen wrote:
crypto5 wrote:
rzen wrote:
crypto5 wrote:
Palych wrote: Когда full GC случается - он занимает 4 секунды.
Но это ведь не означает что мир останавливается на 4 секунды
именно это и означает.
Выше вроде картинка была что concurrent mark sweep останавливает мир не на все время работы а на короткий промежуток времени в начале что бы что-то там маркнуть, и еще в конце.
см уточнение, дефраг останавливает мир

Но все равно остается непонятным остановлен ли мир на все 4 секунды?

rzen · Post by **rzen** » 20 Jul 2012 18:17

crypto5 wrote:
rzen wrote:
crypto5 wrote:
rzen wrote:
crypto5 wrote: Но это ведь не означает что мир останавливается на 4 секунды
именно это и означает.
Выше вроде картинка была что concurrent mark sweep останавливает мир не на все время работы а на короткий промежуток времени в начале что бы что-то там маркнуть, и еще в конце.
см уточнение, дефраг останавливает мир
Но все равно остается непонятным остановлен ли мир на все 4 секунды?

дефраг останавливает мир

Flash-04 · Post by **Flash-04** » 20 Jul 2012 18:28

и все таки она вертится (c)

crypto5 · Post by **crypto5** » 20 Jul 2012 18:31

rzen wrote:
crypto5 wrote:
rzen wrote:
crypto5 wrote:
rzen wrote: именно это и означает.
Выше вроде картинка была что concurrent mark sweep останавливает мир не на все время работы а на короткий промежуток времени в начале что бы что-то там маркнуть, и еще в конце.
см уточнение, дефраг останавливает мир
Но все равно остается непонятным остановлен ли мир на все 4 секунды?
дефраг останавливает мир

Хорошо, есть уверенность какую часть из 4 секунд занимает дефраг?

rzen · Post by **rzen** » 20 Jul 2012 18:45

не зная конкретики сложновато прогнозировать, но если смысл вопроса в том, случаются ли у джавы "провалы" изза сборщика мусора, то да, случаются. провалы абсолютные, никакие треды во время провала не исполняются.

если же смысл вопроса в том, можно ли эти провалы минимизировать до приемлимого уровня, то ответ тоже да, для подавляющего большинства задач очень даже можно. я гоняю эклипс безостановочно и никаких провалов не чувствую.

crypto5 · Post by **crypto5** » 20 Jul 2012 18:48

rzen wrote:не зная конкретики сложновато прогнозировать, но если смысл вопроса в том, случаются ли у джавы "провалы" изза сборщика мусора, то да, случаются. провалы абсолютные, никакие треды во время провала не исполняются.

Смысл вопроса в том что собершенно неизвестно происходит ли стоп мир на все 4 секунды у Павла.

Привет