|
Conference publicationsAbstractsXXV conferenceОб алгоритмах глубокого обучения нейронных сетейФГБОУ ВО «МГТУ «СТАНКИН», Россия, 127055, г. Москва, Вадковский пер. 1, Тел. 8(906)731-73-11, E-mail: berezhkov.m@gmail.com 1 pp. (accepted)В данной работе рассмотрен метод, снижающий влияние ковариационного сдвига в процессе стохастического обучения нейронных сетей. Предложено изменить активационную функцию g(x), чтобы она выдавала данные, близкие к нормальным. На вход слою подается вектор попарно независимых случайных величин. Взвешенная сумма внутри нейрона будет иметь распределение близкое к нормальному. Необходимо выяснить, математическое ожидание и дисперсию случайной величины Y=g(X). Полученные выражения можно упростить, пользуясь свойствами конкретных активационных функций или их приближений. В ходе численных экспериментов с ограничением по времени обучения, выявлено, что использование данного метода ведет к улучшению процесса обучения.
|
