ystar wrote:Вот что прикольное, если брать уровень высокой абстракции, то многие моменты вполне себе понятны.
а вот если идти на уровень понимания и реализации - становится ничего не понятно.
Даже метод ближайших соседей, по сути надо подобрать коэффициенты правильно. но блин это как то странно, что вся суть метода сводится к подбиранию коэффициентов. хотя могу и ошибаться (до меня что-то плохо доходит)
Так оно и есть на самом деле. Для алгоритмов математически доказывается существование решения соответствующих оптимизационных задач. На практике, однако, алгоритмы имеют ряд параметров, от выбора которых результат и зависит. Простой пример. Возьмём линейную регрессии. Математически - это оптимизация целевой функции в виде суммы квадратов ошибок. Решение легко записывается в матричном виде после нахождения и приравнивания к нулю соответствующих частных производных. Если нет коллинеарных переменных, то решение всегда существует и единственно. Все, математика закончена. Однако на практике полученное решение вовсе не означает, что оно "хорошее". Например, если нелинейную функцию аппроксимировать этой самой линейной регрессией. Далее возникает вопрос о количестве переменных, что делать с коллинеарностью, аутлайерами и т.п. С другими алгоритмами та же история.
Если почитать публикации по "моделированию", например, вычислительную физику, там схожа история. Читаешь - все просто. Типа вот уравнение, вот метод, запрограммировал - решил. Реалии, однако, совсем иные. Куча подводных камней, о которых, как правило, не пишут или упоминают вскользь. Собственно поэтому маш. обучение - реальный дейта сайнс (ударение на последнем слове).
А Вы, позвольте узнать, как себя ощущаете? 
