Занятие 1
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Вспоминаем линейную алгебру. Некоторые матричные разложения. Спектр матрицы. SVD. Skeleton. Градиент. Гессиан. Матрично-векторное дифференцирование
Занятие 2
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Повторяем матричные производные. Проклятие размерности методов нулевого порядка
Занятие 3
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Автоматическое дифференцирование. Forward\Reverse Mode. Вычислительный граф.
Занятие 4
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Выпуклость. Выпуклые, афинные множества. Сумма Минковского. Выпуклые функции. Неравенство Йенсена
Занятие 5
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Сильно выпуклые функции. Условие Поляка - Лоясиевича. Линейная регрессия. Регуляризация.
Занятие 6
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Сопряженные множества. Сопряженные конусы. Многогранники. Сопряженные функции. Преобразование Лежандра. Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара, Дубовицкого-Милютина
Занятие 7
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Субдифференциал. Условия оптимальности в субдифференциальной форме. Функция Лагранжа. Множители Лагранжа. Задачи с ограничениями типа равенств.
Занятие 8
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Условия оптимальности. Функция Лагранжа. Множители Лагранжа. Теорема Каруша - Куна - Таккера
Занятие 9
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Двойственность. Введение в двойственность. Двойственная задача. Two-way partitioning problem. Решение прямой задачи с помощью двойственной
Занятие 10
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Линейное программирование. Транспортная задача и другие формулировки прикладных задач как ЛП. Симплекс метод для решения ЛП
Занятие 11
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Двойственность в линейном программировании. Анализ чувствительности.
Занятие 12
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Классификация и обозначения в задачах оптимизации. Скорость сходимости. Линейный поиск. Неточная одномерная оптимизация. Правила Армихо - Гольдштейна. Условие Вульфа
Занятие 13
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL).
Занятие 14
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Нижние оценки для градиентных методов. Ускоренные градиентные методы. Полиномы Чебышева. Метод Поляка, Нестерова.
Занятие 15
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Метод сопряженных направлений. Ортогонализация Грамма - Шмидта. Понятие $A$-ортогональных векторов. Метод сопряженных градиентов
Занятие 16
Концепция методов адаптивной метрики. Метод Ньютона. Квазиньютоновские методы
Занятие 17
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа.
Занятие 18
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Субградиентный метод. Теоремы сходимости в негладком случае (выпуклый случай). Особенности работы градиентного метода в практических негладких задачах. Задача наименьших квадратов с $l_1$ регуляризацией. Метод проекции субградиента. Метод зеркального спуска.
Занятие 19
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Проксимальный градиентный метод
Занятие 20
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Введение в стохастические градиентные методы. Батч, эпоха. Сходимость SGD
Занятие 21
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Методы редукции дисперсии: SAG, SVRG
Занятие 22
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Адаптивные градиентные методы. AdamW, Muon, Shampoo, NanoGPT speedrun, AlgoPerf banchmark
Занятие 23
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Удивительные сюжеты из мира обучения больших нейросетей с точки зрения методов оптимизации. Проекция функции потерь нейронной сети на прямую, плоскость. Инициализация. Grokking. Double Descent. Large batch training. Чекпоинтинг активаций. Обучение нейронных сетей с точки зрения методов оптимизации. Обобщающая способность моделей машинного обучения. Double Descent. Grokking.
Занятие 24
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Двойственные методы оптимизации. Прямо-двойственные методы. Метод двойственного градиентного подъёма. Метод модифицированной функции Лагранжа. ADMM.
Занятие 25
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Методы оптимизации в непрерывном времени. Gradient Flow. Accelerated Gradient Flow. Stochastic gradient flow. Central Flow.