Ведение блога в ИТ

User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Ведение блога в ИТ

Post by Sergunka »

crypto5 wrote:Вот свой вариант набросал:

Code: Select all

import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Future;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;


public class Barber {
	static ExecutorService barber = new ThreadPoolExecutor(
      1,
      1,
      0,
      TimeUnit.MILLISECONDS,
      new LinkedBlockingQueue<Runnable>(20),
      new ThreadPoolExecutor.AbortPolicy());
	
  public static void main(String args[]) {
  	for(int i = 0; i < 100; i ++) {
  		new Client().start();
  	}
  }
  
  static class Client extends Thread {
  	@Override
  	public void run() {
  		Future<Void> v = barber.submit(new Callable<Void>() {
				@Override
				public Void call() throws Exception {
					Thread.currentThread().sleep(1000);
					return null;
				}
			});
  		try {
				v.get();
			} catch (InterruptedException | ExecutionException e) {
				e.printStackTrace();
			}
  	}
  }
}
Я наконец-то загитхабил свой код по проблеме Дейкстры спящий паракмахер - с пулэкзекютором смешно получилось надо было просто переписать две строчки

Code: Select all

		executor = Executors.newFixedThreadPool(BARBERS_NUMBER);
		for (int i = 1; i <= BARBERS_NUMBER; i++)
			executor.submit(new Barber(
					BlockingQueueSleepingBarbersPoolExecutor.queue, Integer.toString(i)));
https://github.com/SVyatkin/KafkaSleepi ... cutor.java

Ну и спряг Дейкстру с Кафкой по приколу - походу занятно вышло
Image
https://vyatkins.wordpress.com/2015/03/ ... r-problem/
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
x.angie
Уже с Приветом
Posts: 189
Joined: 13 Mar 2006 19:01
Location: Earth -> Moon -> Mars

Re: Ведение блога в ИТ

Post by x.angie »

Kolbasoff wrote:Такое дело: ищу работу data scientist
А какие skills собираетесь предлагать рынку? Просто интересно, без всяких.
User avatar
+KPOT+
Уже с Приветом
Posts: 7595
Joined: 03 Oct 2014 06:12

Re: Ведение блога в ИТ

Post by +KPOT+ »

Вот парень интересный: https://www.youtube.com/user/EliComputerGuyLive
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Ведение блога в ИТ

Post by Kolbasoff »

x.angie wrote:
Kolbasoff wrote:Такое дело: ищу работу data scientist
А какие skills собираетесь предлагать рынку? Просто интересно, без всяких.
Скажем так, ищу работу джависта-бэкэндиста с уклоном на junior data scientist. Прокачал теорию по книжкам и на любительском уровне Хадуп. Ну и природная сноровка, смекалка, тренировка :-) Но я не парюсь особо, найду - хорошо, не найду - от грусти не помру. Мне просто хочется всякого нового повидать ещё. Деньги не важны в этом контексте. Т.е. если будет дилемма идти за 80/час выпиливать веб-сервисы или за 60/час обрабатывать данные, пойду в обработку данных не раздумывая.
Easbayguy
Уже с Приветом
Posts: 10599
Joined: 17 Jul 2003 22:11

Re: Ведение блога в ИТ

Post by Easbayguy »

Kolbasoff wrote:
x.angie wrote:
Kolbasoff wrote:Такое дело: ищу работу data scientist
А какие skills собираетесь предлагать рынку? Просто интересно, без всяких.
Скажем так, ищу работу джависта-бэкэндиста с уклоном на junior data scientist. Прокачал теорию по книжкам и на любительском уровне Хадуп. Ну и природная сноровка, смекалка, тренировка :-) Но я не парюсь особо, найду - хорошо, не найду - от грусти не помру. Мне просто хочется всякого нового повидать ещё. Деньги не важны в этом контексте. Т.е. если будет дилемма идти за 80/час выпиливать веб-сервисы или за 60/час обрабатывать данные, пойду в обработку данных не раздумывая.
У нас в конторе достаточно хорошо с этим, наличие ораклов/хадупов/террадат, то есть можно найти себе развлекуху. Для некоторых открыли позиции исследователей, когда народу надоело работать в DWH.
Пх'нглуи мглв'нафх Ктулху Р'лайх угахнагл фхтагн
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Ведение блога в ИТ

Post by Kolbasoff »

Атцы и матери, порекомендуйте библиотеку для линейной алгебры на Джаве или на С. Требуется один раз инвертировать большую неразреженную матрицу 100,000 х 100,000 2-байтных integers за осмысленное время. Оcмысленное время ~ пара-тройка недель ОК.
Last edited by Kolbasoff on 30 Apr 2015 20:06, edited 1 time in total.
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Ведение блога в ИТ

Post by Kolbasoff »

Easbayguy wrote: У нас в конторе достаточно хорошо с этим, наличие ораклов/хадупов/террадат, то есть можно найти себе развлекуху. Для некоторых открыли позиции исследователей, когда народу надоело работать в DWH.
А удаленно можно работать исследователем?
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Ведение блога в ИТ

Post by Сабина »

Два вопроса про блоги-гитхабы.
1) Which open source license is best to choose for your github repo? (Чисто показать что можешь) Аpache ?
2) Если ты server side developer, но хочешь также написать про какой нибудь javascript проeкт ты сделал, чисто показать что знаешь. Как это присобачить в блог чтобы не сложилось ложного ошушения что ты fullstack ?
https://www.youtube.com/watch?v=wOwblaKmyVw
Lida
Уже с Приветом
Posts: 25019
Joined: 16 Aug 2000 09:01
Location: NJ, USA

Re: Ведение блога в ИТ

Post by Lida »

Kolbasoff wrote:
Easbayguy wrote: У нас в конторе достаточно хорошо с этим, наличие ораклов/хадупов/террадат, то есть можно найти себе развлекуху. Для некоторых открыли позиции исследователей, когда народу надоело работать в DWH.
А удаленно можно работать исследователем?
Смотря что делать. Но в целом - можно.

Вот интересный обзор рынка - от что требуется до зарплат.
https://www.youtube.com/watch?v=aEkpVr8 ... e=youtu.be

Больше всего чего не хватает народу, так это знания бизнеса. Сами по себе модели это пустой звук, если их не транслировать в конкретные бизнес действия.

Вообще data science нужно отдельным топиком вынести. :umnik1:
У вас все получится!
User avatar
Мальчик-Одуванчик
Уже с Приветом
Posts: 15475
Joined: 27 Sep 2007 22:53

Re: Ведение блога в ИТ

Post by Мальчик-Одуванчик »

Kolbasoff wrote:Атцы и матери, порекомендуйте библиотеку для линейной алгебры на Джаве или на С. Требуется один раз инвертировать большую неразреженную матрицу 100,000 х 100,000 2-байтных integers за осмысленное время. Оcмысленное время ~ пара-тройка недель ОК.
гляньте интеловские под фортран. Они по-идее должны быть совместимыми по вызову из С
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Ведение блога в ИТ

Post by Kolbasoff »

Мальчик-Одуванчик wrote:гляньте интеловские под фортран. Они по-идее должны быть совместимыми по вызову из С
Глянем и их. Вообще-то библиотек хватает, но для таких больших объемов уже все в память не загрузить. Но вроде как и без инверсии можно обойтись в моем конкретном случае.

Пишу вторую статью - прикручиваю результаты первой статьи и MR/Hadoop к wavelet transform. Зарядка для мозгов, плюс некий presentation material для моего следующего приключения.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Ведение блога в ИТ

Post by Сабина »

_reality wrote:
Kolbasoff wrote:Такое дело: ищу работу data scientist, хочу забабахать какую-нибудь статейку на блог и программень/библиотеку которая решает задачку из статейки на гитхаб. Предложите какую-нибудь хорошую задачку, которая применяет MR, Hadoop, etc. Что-нибудь жизненное. Заранее многие спасибы.
Можно взять какую-нибудь публикацию из https://twitter.com/carlcarrie" onclick="window.open(this.href);return false; интересную и написать программу/библиотеку на ее основе с помощью MR, Hadoop или Spark. Они там все достаточно не тривиальные и интересные, но в основном только финансы.
Извиняюсь за оффтоп. Я наконец то нашла время ознакомится со Спарком (трейнинг брала в он-лайне со spark summit). Умом понимаю что вся архитектура заточена под большие объемы данных быструю обработку потоков и проч, но не покидает ощущение что можно с его помощью и обычные задачи решать.
Интересно есть примеры каких то проектов где Спарк используют не с терабайтами данных ? Или это оверкил ?
https://www.youtube.com/watch?v=wOwblaKmyVw
_reality
Уже с Приветом
Posts: 232
Joined: 18 Nov 2014 22:55
Location: SFBA

Re: Ведение блога в ИТ

Post by _reality »

Если нет задач для кластера из хотя бы 5 машин то и спарк не нужен. Latency которую добавляет спарк сделает его бессмысленным для обычных задач которые влезают в память одной машины.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Ведение блога в ИТ

Post by Сабина »

А как насчет задачи где изначальные данные "распараллельны" до того как ? Скажем если взять их знаменитый пример с обработкой логов ... К примеру мне надо обработать сто логов каждый с отдельного сервера? Datasources (логи в этом случае) сами по себе небольшие, но их много и они распределены по сети , и при этом идеально подходят чтобы к ним применить единые transformations and actions?
На одной из работ мы для таких задач пользовались Teiid- ом, там нужно трансляторы писать и потом можно написать single SQL like statement вытащить и обработать данные со всех sources как будто это одна большая логическая таблица. Но там обработка централизованная то есть было бы очень медленно с таким количеством data sources , а на спарке наверное как нафиг делать ?
Last edited by Сабина on 18 Jun 2015 19:16, edited 1 time in total.
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
valchkou
Уже с Приветом
Posts: 4185
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: Ведение блога в ИТ

Post by valchkou »

Сабина wrote:А как насчет задачи где изначальные данные "распараллельны" до того как ? Скажем если взять их знаменитый пример с обработкой логов ... К примеру мне надо обработать сто логов каждый с отдельного сервера? Datasources (логи в этом случае) сами по себе небольшие, но их много и они распределены по сети , и при этом идеально подходят чтобы к ним применить единые transformations and actions?
На одной из работ мы для таких задач пользовались Teiid- ом, там нужно транслятором писать и потом можно написать single SQL like statement вытащить и обработать данные со всех sources как будто это одна большая логическая таблица. Но там обработка централизованная то есть было бы очень медленно с таким количеством data sources , а на спарке наверное как нафиг делать ?
Да спарк можно применять для подобных задач, но дорого. Это все барахло еще кто то саппортить и мониторить должен.
ForkJoinPool вполне шустро справится, или даже любой другой ExecutorService на железе и 4-х ядер.
Но как Spark PetProject для резюме - вполне подходящая задача.
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Ведение блога в ИТ

Post by Sergunka »

Можно подвести некий итог за два года существования блога:

Написал 16 статей.

Самые ходовые направления в блоге три: SSL (security), Cloud Foundry и понятно решение Спящего Парикмахера Дейкстры с помощью очереди с блокировкой.

Первый год было 3,5К визитеров, во второй год уже 6К в этом году за полтора месяца 1.3К больше половины просмотров составляют статьи по Cloud Foundry. Меня не оставляет подозрение, что я нарвался на "золотую жилу". Намедни заметил, что на мой блог стали давать ссылки на stackoverflow http://stackoverflow.com/questions/3409 ... ql-release" onclick="window.open(this.href);return false;

Ну, я забурел :-)
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Marie Clair
Уже с Приветом
Posts: 17688
Joined: 19 Sep 2005 16:57
Location: NJ, US

Re: Ведение блога в ИТ

Post by Marie Clair »

Зашла на ваш блог и зависла там на пару часов :good:
The best things in life either make you fat, drunk, or pregnant.
Easbayguy
Уже с Приветом
Posts: 10599
Joined: 17 Jul 2003 22:11

Re: Ведение блога в ИТ

Post by Easbayguy »

Sergunka wrote:Можно подвести некий итог за два года существования блога:

Написал 16 статей.

Самые ходовые направления в блоге три: SSL (security), Cloud Foundry и понятно решение Спящего Парикмахера Дейкстры с помощью очереди с блокировкой.

Первый год было 3,5К визитеров, во второй год уже 6К в этом году за полтора месяца 1.3К больше половины просмотров составляют статьи по Cloud Foundry. Меня не оставляет подозрение, что я нарвался на "золотую жилу". Намедни заметил, что на мой блог стали давать ссылки на stackoverflow http://stackoverflow.com/questions/3409 ... ql-release" onclick="window.open(this.href);return false;

Ну, я забурел :-)
Пора менять работу на chief architect or fellow!
Пх'нглуи мглв'нафх Ктулху Р'лайх угахнагл фхтагн
User avatar
valchkou
Уже с Приветом
Posts: 4185
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: Ведение блога в ИТ

Post by valchkou »

Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Ведение блога в ИТ

Post by Sergunka »

valchkou wrote:Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.
Мне в вордпрессе нравится как статистика организована - возможно в других тоже есть. Но здесь сразу видно топ по топикам и ресурсам.
You do not have the required permissions to view the files attached to this post.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
x.angie
Уже с Приветом
Posts: 189
Joined: 13 Mar 2006 19:01
Location: Earth -> Moon -> Mars

Re: Ведение блога в ИТ

Post by x.angie »

valchkou wrote:Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.
Смотря для чего. Если рекламировать себя как девелопер - только лучше github.com ничего нет. Все девелоперы сейчас там по умолчанию. Если же что-то более хипстерское, то medium.com.

Wordpress, blogspot, etc. - скорее для консерваторов.
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Ведение блога в ИТ

Post by Sergunka »

x.angie wrote:
valchkou wrote:Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.
Смотря для чего. Если рекламировать себя как девелопер - только лучше github.com ничего нет. Все девелоперы сейчас там по умолчанию. Если же что-то более хипстерское, то medium.com.

Wordpress, blogspot, etc. - скорее для консерваторов.
А как на том же гитхабе со статистикой посещений дело обстоит? Часто это важно нащупать тему, что писать? Без статистики я бы так и продолжал писать про "спящего парикмахера" Дейкстры :-)
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
valchkou
Уже с Приветом
Posts: 4185
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: Ведение блога в ИТ

Post by valchkou »

Sergunka wrote:
x.angie wrote:
valchkou wrote:Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.
Смотря для чего. Если рекламировать себя как девелопер - только лучше github.com ничего нет. Все девелоперы сейчас там по умолчанию. Если же что-то более хипстерское, то medium.com.

Wordpress, blogspot, etc. - скорее для консерваторов.
А как на том же гитхабе со статистикой посещений дело обстоит? Часто это важно нащупать тему, что писать? Без статистики я бы так и продолжал писать про "спящего парикмахера" Дейкстры :-)
Конечно для рекламы!
Сам код и проекты у меня на гитхабе.
Блог совсем другое дело, просто так блоги никто не читает, нужно давать ссылки и раскручивать по началу.
Только, как мне кажется, для популярности не важно где сам блог хостится, а вот всякие штучки типа статистики или нормального wysiwyg очень даже хотелось бы иметь.
User avatar
x.angie
Уже с Приветом
Posts: 189
Joined: 13 Mar 2006 19:01
Location: Earth -> Moon -> Mars

Re: Ведение блога в ИТ

Post by x.angie »

valchkou wrote:Конечно для рекламы!
Сам код и проекты у меня на гитхабе.
Блог совсем другое дело, просто так блоги никто не читает, нужно давать ссылки и раскручивать по началу.
Только, как мне кажется, для популярности не важно где сам блог хостится, а вот всякие штучки типа статистики или нормального wysiwyg очень даже хотелось бы иметь.
Тогда это скорее к SEOшникам, ключевые слова, правильная разметка, мобильная версия, продвижение, вот это всё. Здесь я не посоветую.

Кстати, а какой у вас conversion rate? В смысле, сколько посетителей вашего блога вы конвертировали в оффер(ы)? И какова стоимость лида оффера в этом случае?

P.S. Чё-то как-то я начинаю отставать от job market, если живой блог уже является условием для поиска оффера. Кстати, недавно видел вакансию, где требовалось написать эссе о себе, в котором рассказать "почему вы хотите у нас работать".

Эссе.

Это какой-то позор капец.
User avatar
valchkou
Уже с Приветом
Posts: 4185
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: Ведение блога в ИТ

Post by valchkou »

x.angie wrote:
valchkou wrote:Конечно для рекламы!
Сам код и проекты у меня на гитхабе.
Блог совсем другое дело, просто так блоги никто не читает, нужно давать ссылки и раскручивать по началу.
Только, как мне кажется, для популярности не важно где сам блог хостится, а вот всякие штучки типа статистики или нормального wysiwyg очень даже хотелось бы иметь.
Тогда это скорее к SEOшникам, ключевые слова, правильная разметка, мобильная версия, продвижение, вот это всё. Здесь я не посоветую.

Кстати, а какой у вас conversion rate? В смысле, сколько посетителей вашего блога вы конвертировали в оффер(ы)? И какова стоимость лида оффера в этом случае?

P.S. Чё-то как-то я начинаю отставать от job market, если живой блог уже является условием для поиска оффера. Кстати, недавно видел вакансию, где требовалось написать эссе о себе, в котором рассказать "почему вы хотите у нас работать".

Эссе.

Это какой-то позор капец.
у меня есть проект на гитхабе, так себе проектик, 40 звезд, но с документацией и либой в maven central.
Не могу сказать как хорошо это конвертится в оферы, но разговаривать со мной стали по другому.
Более вежливо чтоли, с уважением, спугнуть боятся ненароком. Предложения стали более акцентированные приходить.
Мне лично блог нужен не для увеличения количества оферов, а для получения интересного, перспективного проекта.
А зп можно и так поднимать просто корректируя резюме, если цель просто деньги -вон как колбасов.

Return to “Работа и Карьера в IT”