Градієнтний спуск — це евристичний алгоритм, який вибирає випадкову точку, розраховує напрям якнайшвидшого зменшення функції (користуючись градієнтом функції в даній точці), а потім покроково розраховує нові значення функції, рухаючись у вибраний бік.

Градієнтний спуск – метод знаходження мінімального значення функції втрат (існує безліч видів цієї функції). Мінімізація будь-якої функції означає пошук найглибшої западини у цій функції. Майте на увазі, що функція використовується для контролю помилки в прогнозах моделі машинного навчання.

Стохастичний градієнтний спуск (англ. stochastic gradient descent) – оптимізаційний алгоритм, який відрізняється від звичайного градієнтного спуску тим, що градієнт оптимізованої функції вважається кожному кроці як сума градієнтів від кожного елемента вибірки, бо як градієнт від однієї, випадково обраного елемента.

Зворотне поширення використовує різновид градієнтного спуску, тобто здійснює спуск вниз поверхнею помилки, безперервно підлаштовуючи ваги до мінімуму. Поверхня помилки складна мережа сильно порізана і складається з пагорбів, долин, складок і ярів у просторі високої розмірності.