About this Course
4.7
838 ratings
92 reviews
В машинном обучении встречаются задачи, где нужно изучить структуру данных, найти в них скрытые взаимосвязи и закономерности. Например, нам может понадобиться описать каждого клиента банка с помощью меньшего количества переменных — для этого можно использовать методы понижения размерности, основанные на матричных разложениях. Такие методы пытаются сформировать новые признаки на основе старых, сохранив как можно больше информации в данных. Другим примером может служить задача тематического моделирования, в которой для набора текстов нужно построить модель, объясняющую процесс формирования этих текстов из небольшого количества тем. Такие задачи назвают обучением без учителя. В отличие от обучения с учителем, в них не предполагают восстановление зависимости между объектами и целевой переменной. Из этого курса вы узнаете об алгоритмах кластеризации данных, с помощью которых, например, можно искать группы схожих клиентов мобильного оператора. Вы научитесь строить матричные разложения и решать задачу тематического моделирования, понижать размерность данных, искать аномалии и визуализировать многомерные данные....
Globe

100% online courses

Start instantly and learn at your own schedule.
Calendar

Flexible deadlines

Reset deadlines in accordance to your schedule.
Intermediate Level

Intermediate Level

Clock

Approx. 24 hours to complete

Suggested: 4 недели обучения, через 3-5 часа / неделю...
Comment Dots

Russian

Subtitles: Russian...

Skills you will gain

Topic ModelData Clustering AlgorithmsMachine LearningData Visualization (DataViz)
Globe

100% online courses

Start instantly and learn at your own schedule.
Calendar

Flexible deadlines

Reset deadlines in accordance to your schedule.
Intermediate Level

Intermediate Level

Clock

Approx. 24 hours to complete

Suggested: 4 недели обучения, через 3-5 часа / неделю...
Comment Dots

Russian

Subtitles: Russian...

Syllabus - What you will learn from this course

Week
1
Clock
7 hours to complete

Кластеризация

Добро пожаловать на курс "Поиск структуры в данных"! В этом курсе вы узнаете про задачи машинного обучения, в которых требуется не предсказать целевую переменную, а найти некоторые внутренние закономерности в данных — например, сгруппировать объекты по схожести, или определить наиболее важные признаки. В первом модуле мы изучим задачу кластеризации, направленную на поиск групп близких объектов. Вы узнаете про основные подходы к её решению, а также узнаете, как можно выбрать хороший алгоритм кластеризации, не имея правильных ответов....
Reading
15 videos (Total 109 min), 8 readings, 5 quizzes
Video15 videos
Как устроена специализация, и зачем ее проходить3m
Структура уроков1m
Задача кластеризации4m
Примеры задач кластеризации5m
Знакомство с методами кластеризации9m
Пример: кластеризация текстов по теме13m
Выбор метода кластеризации7m
МФТИ1m
Метод K средних (K-Means)10m
Expectation Maximization (EM-алгоритм)9m
Агломеративная иерархическая кластеризация12m
Графовые методы кластеризации4m
Методы, основанные на плотности6m
Оценка качества и рекомендации по решению задачи кластеризации13m
Reading8 readings
Блокнот из примера кластеризации текстов20m
Слайды к лекциям10m
Конспект10m
Немного о Yandex10m
МФТИ10m
Forum&Chat10m
Слайды к лекциям10m
Конспект10m
Quiz4 practice exercises
Знакомство с кластеризацией6m
Введение в кластеризацию8m
Некоторые методы кластеризации8m
Подробнее о методах кластеризации12m
Week
2
Clock
6 hours to complete

Понижение размерности и матричные разложения

В предыдущем модуле мы обсуждали, как кластеризовать объекты, а в этом модуле займёмся признаками. Нередко возникают ситуации, в которых далеко не все признаки нужны для решения задачи — или же нужны все, но при этом их слишком много. В этом случае нужно перейти в новое признаковое пространство меньшей размерности. Для этого можно либо отбирать наиболее важные признаки, либо порождать новые на основе исходных — мы обсудим оба подхода. В частности, мы разберёмся с методом главных компонент, который используется в самых разных задачах машинного обучения. Затем мы перейдём к матричным разложениям — мы изучим несколько методов, позволяющих получить приближение исходной матрицы в виде произведения нескольких матриц меньшей размерности. Такая аппроксимация часто используется в задачах машинного обучения, например, для понижения размерности данных, восстановления пропущенных значений в матрицах и построения рекомендательных систем....
Reading
15 videos (Total 108 min), 4 readings, 5 quizzes
Video15 videos
Одномерный отбор признаков8m
Жадные методы отбора признаков6m
Отбор признаков на основе моделей6m
Понижение размерности4m
Метод главных компонент: постановка задачи7m
Метод главных компонент: решение6m
Матричные разложения13m
SGD и ALS5m
Прогнозирование неизвестных значений в матрице6m
Проблема отсутствия негативных примеров и implicit методы6m
Вероятностный взгляд на матричные разложения5m
Неотрицательные матричные разложения: постановка и решение10m
Неотрицательные матричные разложения: функционалы и инициализация5m
Обработка пропусков8m
Reading4 readings
Слайды к лекциям10m
Конспект10m
Слайды к лекциям10m
Конспект10m
Quiz4 practice exercises
Отбор признаков6m
Понижение размерности и отбор признаков14m
Матричные разложения8m
Неотрицательные матричные разложения10m
Week
3
Clock
4 hours to complete

Визуализация и поиск аномалий

Добро пожаловать на третью неделю курса! В ней мы обсудим две задачи: обнаружение аномалий и визуализация данных. Обнаружение аномалий направлено на поиск объектов, которые являются особенными в некотором смысле. Например, это могут объекты с такими значениями признаков, которые далеки от имеющихся в обучающей выборке — вполне ожидаемо, что на таких объектах модель выдаст очень плохие прогнозы. Вы узнаете, как можно формально дать определение аномалий и с помощью каких методов можно решать задачу их поиска. Вторая задача, о которой мы поговорим — это визуализация, то есть отображение многомерной выборки в пространство размерности два или три. В теории визуализация близка к понижению размерности — но за счёт того, что нам нужно найти всего два или три признака, можно использовать очень сложные нелинейные методы....
Reading
8 videos (Total 57 min), 5 readings, 5 quizzes
Video8 videos
Параметрическое восстановление плотности9m
Непараметрическое восстановление плотности8m
Одноклассовый SVM5m
Задача визуализации5m
Многомерное шкалирование4m
Метод t-SNE6m
Визуализация данных в sklearn12m
Reading5 readings
Слайды к лекциям10m
Конспект10m
Визуализация данных в sklearn10m
Слайды к лекциям10m
Конспект10m
Quiz4 practice exercises
Восстановление плотности6m
Поиск аномалий4m
Методы SNE и t-SNE6m
Визуализация14m
Week
4
Clock
9 hours to complete

Тематическое моделирование

Люди уже много веков сохраняют свои знания в виде книг, а крупнейшая на сегодняшний день коллекция информации — Интернет — состоит из огромного количества текстов. Тексты, по сути, являются наиболее популярным видом данных, и поэтому очень важно уметь искать в них закономерности. Тематическое моделирование — это способ семантического анализа коллекции текстовых документов. Тематическая модель позволяет для каждого документа найти темы, которые его описывают, и кроме того показывает, какие слова характеризуют ту или иную тему. Другими словами, мы находим более компактное представление большого набора текстов в виде нескольких тем. С математической точки зрения тематическая модель — это еще один вид матричного разложения, где в качестве исходной матрицы выступает матрица частот слов в документах. На четвертой неделе мы поговорим о том, где применяют тематические модели, какие они бывают, как их строить и как оценивать. ...
Reading
14 videos (Total 151 min), 7 readings, 6 quizzes
Video14 videos
Постановка задачи тематического моделирования12m
Базовые тематические модели и EM-алгоритм14m
Регуляризация тематических моделей10m
Мультимодальные тематические модели9m
Внутренние критерии качества тематических моделей9m
Внешние критерии качества тематических моделей16m
Визуализация тематических моделей10m
Тематические модели на практике11m
Пример использования библиотеки gensim для построения тематической модели10m
Установка BigARTM в Windows3m
Установка BigARTM в Linux Mint2m
Установка BigARTM в Mac OS-X3m
Пример использования библиотеки BigARTM для построения тематической модели19m
Reading7 readings
Слайды к лекциям10m
Конспект10m
Ноутбук из демонстрации использования gensim10m
Ноутбук из демонстрации использования BigARTM10m
Слайды к лекциям10m
Конспект10m
Финальные титры10m
Quiz4 practice exercises
Постановка задачи и базовые понятия6m
Тематическое моделирование-18m
Критерии качества тематических моделей6m
Тематическое моделирование-26m
4.7
Direction Signs

50%

started a new career after completing these courses
Briefcase

83%

got a tangible career benefit from this course
Money

33%

got a pay increase or promotion

Top Reviews

By KTJun 1st 2016

Отличны курс! Спасибо большое создателям! Отличная подача материала, хорошие практические примеры и вообще всё просто классно! Категорически рекомендую, в том числе начинающим :)

By TYMar 16th 2017

Последняя неделя этого курса была значительно сложнее всего, что было раньше, но это того стоило. Пока лучший курс из всех, что я знаю на эту тему.

Instructors

Константин Воронцов

доктор физико-математических наук, профессор
Кафедра интеллектуальных систем

About Moscow Institute of Physics and Technology

Московский физико-технический институт (неофициально известный как МФТИ или Физтех) является одним из самых престижных в мире учебных и научно-исследовательских институтов. Он готовит высококвалифицированных специалистов в области теоретической и прикладной физики, прикладной математики, информатики, биотехнологии и смежных дисциплин. Физтех был основан в 1951 году Нобелевской премии лауреатами Петром Капицей, Николаем Семеновым, Львом Ландау и Сергеем Христиановичем. Основой образования в МФТИ является уникальная «система Физтеха»: кропотливое воспитание и отбор самых талантливых абитуриентов, фундаментальное образование высшего класса и раннее вовлечение студентов в реальную научно-исследовательскую работу. Среди выпускников МФТИ есть Нобелевские лауреаты, основатели всемирно известных компаний, известные космонавты, изобретатели, инженеры....

About Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

About the Машинное обучение и анализ данных Specialization

Мы покажем, как проходит полный цикл анализа, от сбора данных до выбора оптимального решения и оценки его качества. Вы научитесь пользоваться современными аналитическими инструментами и адаптировать их под особенности конкретных задач. В рамках специализации вы освоите основные темы, необходимые в работе с большим массивом данных, в т.ч. современные методы классификации и регрессии, поиск структуры в данных, проведение экспериментов, построение выводов, базовая фундаментальная математика, основы программирования на Python. Мы разберём, как построить рекомендательную систему, оценить эмоциональную окраску текста, спрогнозировать спрос на товар, оценить вероятность клика по рекламе и т.д. В финале вам потребуется выполнить проект собственной системы, решающей любую актуальную для бизнеса задачу. Результатом будет наглядная работающая модель, которую вы сможете использовать в вашей повседневной работе или продемонстрировать на собеседовании. Все, прошедшие специализацию, могут принять участие в Программе трудоустройства. Если вы заинтересованы в новых проектах, новых перспективах и возможностях - пройдите обучение по Специализации и подайте заявку....
Машинное обучение и анализ данных

Frequently Asked Questions

  • Once you enroll for a Certificate, you’ll have access to all videos, quizzes, and programming assignments (if applicable). Peer review assignments can only be submitted and reviewed once your session has begun. If you choose to explore the course without purchasing, you may not be able to access certain assignments.

  • When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile. If you only want to read and view the course content, you can audit the course for free.

More questions? Visit the Learner Help Center.