Не так давно получил распространение термин «большие данные», обозначивший новую прикладную область — поиск способов автоматического быстрого анализа огромных объёмов разнородной информации. Наука о больших данных ещё только оформляется, но уже сейчас она очень востребована — и в будущем будет востребована только больше. С её помощью можно решать невероятные задачи: оценивать состояние печени по кардиограмме, предсказывать зарплату по описанию вакансии, предлагать пользователю музыку на основании его анкеты в интернете. Большими данными может оказаться что угодно: результаты научных экспериментов, логи банковских транзакций, метеорологические наблюдения, профили в социальных сетях — словом, всё, что может быть полезно проанализировать. Самым перспективным подходом к анализу больших данных считается применение машинного обучения — набора методов, благодаря которым компьютер может находить в массивах изначально неизвестные взаимосвязи и закономерности. На факультете компьютерных наук ВШЭ и в Школе анализа данных есть люди, активно использующие машинное обучение и разрабатывающие новые подходы к нему. Именно они — преподаватели этого курса. Вы изучите основные типы задач, решаемых с помощью машинного обучения — в основном речь пойдёт о классификации, регрессии и кластеризации. Узнаете об основных методах машинного обучения и их особенностях, научитесь оценивать качество моделей — и решать, подходит ли модель для решения конкретной задачи. Наконец, познакомитесь с современными библиотеками, в которых реализованы обсуждаемые модели и методы оценки их качества. Для работы мы будем использовать реальные данные из реальных задач. Краткая программа курса: Неделя 1. Введение. Примеры задач. Логические методы: решающие деревья и решающие леса. Неделя 2. Метрические методы классификации. Линейные методы, стохастический градиент. Неделя 3. Метод опорных векторов (SVM). Логистическая регрессия. Метрики качества классификации. Неделя 4. Линейная регрессия. Понижение размерности, метод главных компонент. Неделя 5. Композиции алгоритмов, градиентный бустинг. Нейронные сети. Неделя 6. Кластеризация и визуализация. Частичное обучение. Неделя 7. Прикладные задачи анализа данных: постановки и методы решения. Слушателю нужно знать об основных понятиях математики: функциях, производных, векторах, матрицах. Для выполнения практических заданий потребуются базовые навыки программирования. Очень желательно знать Python. Задания рассчитаны на использование этого языка и его библиотек numpy, pandas и scikit-learn. Чтобы успешно завершить курс, нужно набрать проходную сумму баллов за тесты и практические задания, а также выполнить финальный проект, посвящённый решению прикладной задачи анализа данных. Мы уверены, что этот курс будет полезен каждому, кто хочет постичь искусство предсказательного моделирования и освоить интеллектуальный анализ данных.
Нейронные сети. Стандартные эвристики — 2
Loading...
From the course by National Research University Higher School of Economics
Введение в машинное обучение
1877 ratings
From the lesson
Нейронные сети
Нейронные сети позволяют находить сложные нелинейные разделяющие поверхности, благодаря чему широко используются в таких трудных задачах, как распознавание изображений и речи. В этом модуле мы изучим многослойные нейронные сети и их настройку с помощью метода обратного распространения ошибки. Также мы поговорим о глубоких нейросетях, их архитектурах и особенностях.
Meet the Instructors
Константин Вячеславович ВоронцовПрофессор
Факультет компьютерных наук НИУ ВШЭ, Школа анализа данных Яндекса
Evgeny SokolovSenior Lecturer
HSE Faculty of Computer Science
[БЕЗ_ЗВУКА] Есть
много разных способов выбора структуры нейронной сети.
Вы можете, например, взять сначала заведомо недостаточное
число нейронов в скрытом слое, потом их потихоньку добавлять,
если вы видите, что качество нейронной сети недостаточно.
Вот такой вот процесс постепенного добавления или постепенного удаления
нейронов, он обычно очень неплохо сходится к таким интересным решениям,
которые дают структуру нейронной сети нетривиально,
и если бы вы взяли структуру, полученную с самого начала и запустили
бы метод backpropagation, то возможно вы бы не пришли к тому же самому решению,
то есть встраивание каких-то структурных модификаций в нейронную сеть, в сам
алгоритм обратного распространения ошибок, может давать очень интересные результаты.
Ну и эмпирический опыт использования таких алгоритмов говорит, что после того,
как вы что-то поменяли в сети: удалили нейрон, добавили нейрон,
вырезали какие-то связи, для сети это шок — происходит резкое ухудшение качества
классификации, но если эти изменения были локальные и не очень большие,
сеть очень быстро восстанавливает качество классификации за счет того,
что основная масса коэффициентов уже неплохо настроена и она осталась.
И таким образом можно,
вот такими хирургическими вмешательствами в нейронную сеть,
постепенно приводить ее к той желаемой структуре, которую мы хотим иметь в конце.
И один из таких методов имеет смешное название Optimal Brain Damage
(оптимальная порча мозга или нейронной сети).
Значит, здесь идея заключается в том,
чтобы выбрать те коэффициенты,
которые наименьшим образом влияют на значение функционала,
они незначимые, тогда их можно обнулить и использовать оставшиеся коэффициенты,
то есть это способ перейти от полносвязной сети к неполносвязной.
В чем здесь заключается математика?
Если мы считаем, что мы уже пришли в локальный минимум функционала,
то тогда функционал можно рассматривать как… приближенно,
как параболическую поверхность в окрестности этой точки минимума,
то есть использовать приближение второго порядка.
Члены первого порядка здесь уходят, потому что мы считаем,
что в точке минимума первые производные уже равны 0.
Здесь опять-таки фигурирует гессиан, матрица,
которую мы решительным образом считать не хотим,
поэтому снова можно попользоваться вот такой грубой эвристикой,
что недиагональные элементы гессиана равны 0, и используются только диагональные.
Итак, если гессиан диагонален, то тогда вот эта квадратичная
форма по весам, а точнее по отклонениям дельта
значения весов от их значения в точке минимума функционала.
Вот по дельте мы получаем квадратичный функционал и коэффициенты
при вот этих дельтах, они показывают нам, насколько
значения функционала чувствительно к изменению соответствующего коэффициента.
Теперь давайте задумаемся.
А что значит, что коэффициент, например Wjh, мы хотим обнулить,
но это означает, что сейчас его значение ненулевое,
а мы выбираем такую дельту, чтобы оно стало нулевым.
Но это означает, что Wjh-тая = – Δ Wjh-тая.
И давайте посмотрим, а как тогда изменится значение функционала,
и увидим очень простую вещь, что приращение значения функционала при
обнулении коэффициента есть не что иное, как произведение квадрата этого
коэффициента на вторую производную функционала по этому коэффициенту.
Получилась некая величина, которая очень важна, и она называется «значимость»,
но причем английское слово имеет два значения, и они оба подходят: с одной
стороны — это «значимость», а с другой стороны — это «выпуклость».
Мы действительно и померили степень выпуклости функционала по данной
переменной Wjh.
И вот эта вот величина salience или значимость, она и показывает,
какие коэффициенты в первую очередь мы могли бы обнулить в нейронной сети.
И дальше процесс можно построить так,
что мы считаем все коэффициенты в той точке,
где значение функционала стабилизировалось, да?
Мы посчитаем, что мы уже пришли в точку локального экстремума и
применим там вычисление вот этих значимостей коэффициентов.
Для этого нам понадобятся, конечно,
вторые производные функционала по всем параметрам сети.
Здесь я не выписываю формулы, но поверьте, они очень легко выписываются в методе
обратного распространения ошибок, точно так же, как мы считаем первые производные,
эффективно пользуясь промежуточными величинами ошибок на скрытом слое,
точно так же можно посчитать и вторые производные,
то есть это делается не сложно, но просто надо аккуратно выписать формулы.
И теперь, если процесс минимизации пришел в минимум,
то мы можем решить, сколько коэффициентов мы обнуляем.
Конечно, сеть почувствует некоторый стресс, после того как мы обнулим эти
коэффициенты, но мы сделаем еще несколько итераций обратного распространения ошибки,
когда сеть снова придет в локальный экстремум, мы снова обнулим немного весов.
И таким образом, делая вот такие вот обнуления
раз за разом через нужное число итераций,
мы будем постепенно упрощать сеть, пока не приведем ее в такое состояние,
когда она уже не сможет работать, и число степеней свободы в нейронах уже будет
недостаточно для качественного решения задачи, и тогда мы остановимся.
То есть мы можем осуществить вот такое вот вырезание ненужных весовых коэффициентов
без ущерба для точности работы нейронной сети.
Ну и еще один специальный способ применения этого метода,
Optimal Brain Damage, — это отбор признаков.
Мы можем посчитать значимость salience не только для отдельного весового
коэффициента, но и для входного признака, j-того признака,
и оценить, действительно ли нам так необходим j-тый признак для того,
чтобы сеть имела хорошее качество.
И если действительно мы можем, упорядочив признаки по величинам их значимости,
обнулить все веса, которые используют значения этого признака,
то мы тем самым удаляем признак из модели.
Если это получается, то мы получаем модель,
которая используем меньшее число признаков.
Она и работать будет быстрее, и, возможно, меньше переобучаться,
если у нас эти удаленные признаки были шумовыми и неинформативными.
И здесь так же есть интересный эмпирический опыт, который показывает,
что такое вот постепенное, в процессе итерации и метода обратного
распространения, постепенное прореживание сети, обычно работает лучше,
чем если бы мы, зная изначально оптимальную структуру сети,
какие нейроны какими связями связаны, где не нулевые коэффициенты, вот если бы мы на
этой неполносвязной сети запустили бы back propagation, то, возможно,
мы не получили бы такого хорошего решения, как при постепенном упрощении сети.
В этом сила этого метода, Optimal Brain Damage.
Итак, резюмируя: отдельный нейрон мы
научились моделировать линейными классификаторами.
Нейронная сеть — это суперпозиция большого числа отдельных линейных нейронов.
Мы строим такие модели с надеждой на то, что их работа будет чем-то напоминать
работу нашего с вами мозга, и если мы много слоев
нейронной сети будем использовать, то мы получим систему, которая способна
обучаться по прецедентам и восстанавливать сколь угодно сложные функции.
И один из методов, который используется,
несмотря на то, что он был придуман в середине 80-х годов, до сих пор,
в том числе и для построения глубоких сетей, Deep Learning,
это один из распространенных способов обучения сетей.
Ну и наконец, мы с вами рассмотрели всевозможные эвристики для ускорения
сходимости и улучшения качества нейронной сети, их действительно
много и их совместное применение составляет, ну, некоторое искусство.
Вам нужно попробовать решить несколько достаточно сложных задач: регрессия,
классификация с помощью многослойных нейронных сетей,
прежде чем вы начнете чувствовать, какие именно из этих эвристик
и в какие моменты надо использовать.
[БЕЗ_ЗВУКА]
Explore our Catalog
Join for free and get personalized recommendations, updates and offers.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2019 Coursera Inc. All rights reserved.
