Здесь был вопрос про питон, спрошу про А/В тест. Посоветуйте классы/статьи. У нас всe Data Scientist бывшие инженеры, так что программируют хорошо но в теории/статистике не бум-бум.
Компания хочет делать А/В тест. Но никто ничего не знает. У меня магистр по статистике, но А/В тест мы не трогали почему-то. How to calculate the minimum number of users in the control group? Any practical guide?
A/B test
-
Komissar
- Уже с Приветом
- Posts: 64661
- Joined: 12 Jul 2002 16:38
- Location: г.Москва, ул. Б. Лубянка, д.2
Re: A/B test
мать, за $150К с реальными жильцами за $1100/мо, в пешей доступности от крупного престижного универа - как тебе? too good to be true (sorry for offtop)Снежная Королева wrote: ↑30 Jun 2019 23:31 А погуглить? Это элементарный hypothesis testing. Вас, наверное, учили как определять минимальный размер выборки для желаемого альфа?
-
fruit6
- Уже с Приветом
- Posts: 4205
- Joined: 10 Jan 2004 01:22
- Location: n-sk -> MD -> VA
Re: A/B test
При 3% вы, наверное, нехило доплачиваете за финансирование. В чем бизнес план, если не секрет?Снежная Королева wrote: ↑01 Jul 2019 02:138.8% gross yield я могу только мечтать. У моей проперти 3% gross yield.
-
Komissar
- Уже с Приветом
- Posts: 64661
- Joined: 12 Jul 2002 16:38
- Location: г.Москва, ул. Б. Лубянка, д.2
Re: A/B test
love you, love you, love youСнежная Королева wrote: ↑01 Jul 2019 02:138.8% gross yield я могу только мечтать. У моей проперти 3% gross yield.
-
SUPER
- Уже с Приветом
- Posts: 581
- Joined: 23 Jun 2016 19:49
- Location: SFBA
Re: A/B test
А ХОА фии сколько?Komissar wrote: ↑01 Jul 2019 03:05love you, love you, love youСнежная Королева wrote: ↑01 Jul 2019 02:138.8% gross yield я могу только мечтать. У моей проперти 3% gross yield.
-
Brave
- Уже с Приветом
- Posts: 845
- Joined: 26 Feb 2019 23:13
- Location: CA
Re: A/B test
Мой сын написал вам ответ. Надеюсь, поможет. Кстати, он сейчас ищет работу в области Статистика, Data Science.ingo wrote:Здесь был вопрос про питон, спрошу про А/В тест. Посоветуйте классы/статьи. У нас всe Data Scientist бывшие инженеры, так что программируют хорошо но в теории/статистике не бум-бум.
Компания хочет делать А/В тест. Но никто ничего не знает. У меня магистр по статистике, но А/В тест мы не трогали почему-то. How to calculate the minimum number of users in the control group? Any practical guide?
Due to the nature of statistical testing, finding necessary sample sizes is going to differ depending on what test statistic one desires for their test. Under most circumstances, the assumption that the data is normal and independently sampled is held. And even if the data isn't normal, most A/B tests concern themselves with averages of clicks or averages of occurances so the Central Limit Theorem will say that that average will have a normal distribution so a t-test can be robustly applied in that circumstance. So far, the best link online I could find for finding sample size is this http://www.milanor.net/blog/power-and-s ... is-z-test/
but if one wants more rigor, Id have to point them to a text Casella and Burger's Statistical Inference is the gold standard. There isn't really a general rule beyond being able to essentially doing the power calculation but in reverse solving for n.
and the specificities of that is going to differ based on test statistic
Sent from my SM-N960U using Tapatalk