Позволю с Вами не согласиться, все-таки "ил поузд" (хотя все это не так важно, т.к. мы друг друга понимаем).flip_flop wrote:Не ил-позед а ил-кондышенед (ill conditioned). И матрицу надо не обращать, а решать систему уравнений с декомпозицией Холесского. В своё время я даже свой алгоритм опробовал для решения LMS для вырожденной или плохообусловленной матрицы Гессе. Иногда QR работает чуть лучше, хоть и медленнее Холесского. В теории также используется концепция регуляризации Тихонова, но на практике решается по другому, методом Левенберга Марквардта, что математически соответствует регуляризации, но численно решается совсем по другому, у меня был любимый метод доверительной окрестности (trust region method). Самое обидное, что так хорошо работающие методы для некоторых задач оптимизации/наименьших квадратов совсем плохо себя ведут для NN. Понятно почему, но всё равно обидно.
30 лет прошло а до сих пор помню, хотя лет 15 совсем не занимался. Разворошили Вы муравейник, сейчас каак пойду вспоминать, будете терпеть нудного саксаула аксакала по самое не могу
По поводу шума я имел в виду аналоговый (физический по природе) шум. Со своим спектром, автокорреляцией и прочим. Вообщем, не бизнес задачи. Тут я пасс и полный чайник.
Я просто хотел сказать, что в маш. обучении на реальных данных - это норма, и современные методики сводятся к решению
соответствующих оптимизационных задач. Теория, безусловно, красивая и изучать ее интересно. На практике все банальней.
Но с другой стороны вся банальность компенсируется постановкой бизнес-задачи и копанием в данных. Насчет шума ... я так и думал, что имелись в виду "высокие материи". Это действительно интересно. На практике, увы, бизнес-анализ не витает так высоко (да и некому там витать). Реальные данные - это ошибки, пропущенные поля и т.п. С другой стороны, разобраться во всем этом тоже может быть небезинтересным.
Так в этом и идея - пообсуждать и вспомнить. Так что жду продолжения ...
