АНАЛИЗ СХОДИМОСТИ ОНЛАЙН ГРАДИЕНТНОГО МЕТОДА ДЛЯ НЕЙРОННЫХ СЕТЕЙ С МНОЖЕСТВЕННЫМИ ВЕСОВЫМИ СВЯЗАМИ
Keywords:
нейронные сети, метод обратного распространения, онлайн градиентный метод, сходимость.Abstract
В данной статье исследуется свойство сходимости онлайн- градиентного обучения для алгоритма обратного распространения ошибки для нейронных сетей прямого распространения с двумя скрытыми слоями с множественными весовыми связами. Предполагается, что в каждом цикле обучения каждый пример обучения в наборе обучающих данных передается в стохастической форме в многослойную нейронную сеть прямого распространения с множественными весовыми связами ровно один раз. Приводиться свойство слабой и сильной сходимости для подходов к обучению, указывая, что градиент функции ошибок стремится к нулю, а весовые коэффициенты - к значению фиксированной точки соответственно. Сначала приводиться результат сходимости для подхода полностью стохастического порядка, а затем - для подхода специального стохастического порядка. Условия на функцию активации нейронной сети и скорость обучения, гарантирующие сходимость, смягчены по сравнению с существующими результатами. Свойства сходимости в данной статье изучаются для сигмоидального типа функции активации, однако эти результаты справедливы и для других типов функций активации.
Downloads
References
1. Baldi P., Vershynin R. The capacity of feedforward neural networks. Neural Networks, Vol. 116, 288–311 (2019).
2. Ismailov V.E. Approximation by neural networks with weights varying on a finite set of directions. Journal of Mathematical Analysis and Applications, Vol. 389, Issue 1, 72–83 (2012).
3. Chen Z., Cao F. The approximation operators with sigmoidal functions. Computers and Mathematics with Applications, Vol. 58, Issue 4, 758–765 (2009).
4. Pinkus A. Approximation theory of the MLP model in neural networks. Acta Numerica, Vol. 8, 143-195 (1999).
5. Yamashita R., Nishio M., Do R.K., Togashi K. Convolutional neural networks: an overview and application in radiology. Insights Imaging, Vol. 9, Issue 4, 611-629 (2018).
6. Werbos P.J. Beyond regression: new tools for prediction and analysis in the behavioral sciences. PhD thesis. Harvard University, Cambridge, MA, (1974).
7. Marakhimov A.R., Khudaybergenov K.K. A Fuzzy MLP Approach for Identification of Nonlinear Systems. Contemporary Mathematics. Fundamental Directions, Vol. 65, Issue 1, 44–53 (2019).
8. LeCun Y. Une procedure d’apprentissage pour reseau a seuil asymmetrique. A la Frontieredel’Intelligence Ariticielle des Sciences de la Connaissance des Neurosciences, Vol. 85, 599–604 (1985).
9. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by backpropagation errors. Nature, Vol. 323, 533–536 (1986).
10. Wilson D.R., Martinez T. R. The general inefficiency of batch training for gradient descent learning. Neural Networks, Vol. 16, 1429–1451 (2003).
11. Nakama T. Theoretical analysis of batch and on-line training for gradient descent learning in neural networks. Neurocomputing, Vol. 73, 151–159 (2009).
12. Zhang H.S., Wu W., Liu F., Yao M.C. Boundedness and convergence of online gradient method with penalty for feedforward neural networks. IEEE Transactions on Neural Networks, Vol. 20, 1050–1054 (2009).
13. Bertsekas D.P., Tsitsiklis J.N. Neuro-dynamic programming. Athena Scientific, (1996).
14. Wu W., Feng G.R., Li X. Training multilayer perceptrons via minimization of sum of ridge functions. Advances in Computational Mathematics, Vol. 17, 331-347 (2002).
15. Wu W., Shao H.M., Qu D. Strong convergence of gradient methods for BP networks training. In Proceedings of 2005 international conference on neural networks and brains, 332–334 (2005).
16. Zhang J., Hu J., Liu J. Neural network with multiple connection weights. Pattern Recognition. 107 (2020) 107481. doi.org/10.1016/j.patcog.2020.107481
17. Marakhimov, A.R., Khudaybergenov, K.K., Ohundadaev, U.R., Jalelov R. A New Type of Architecture for Neural Networks with Multi-connected Weights in Classification Problems. Lecture Notes in Networks and Systems, 2024, 718 LNNS, pp. 105-112.
Downloads
Published
Issue
Section
License
This work is licensed under a Creative Commons Attribution 4.0 International License.
License Terms of our Journal
