Машинное обучение. Вводная лекция. К.В. Воронцов, Школа анализа данных, Яндекс.

Кратко

Лекция посвящена основам машинного обучения, его ключевым понятиям и прикладным задачам. Она будет полезна студентам и профессионалам, интересующимся искусственным интеллектом.

Главные мысли

1. Машинное обучение становится важным инструментом в различных областях, включая медицину и бизнес.

Введение и знакомство0:08

• Я Воронцов Константин, работаю в Московском физико-техническом институте.0:08
• Заведую лабораторией машинного интеллекта.0:14
• Ранее работал в Яндексе и Сбербанке.0:17
• Продолжаю работать в вычислительном центре Российской академии наук.0:19
• Если вы хотите что-то найти обо мне, то вот ссылка на машин learning ru.0:32
• Актуальная версия программы этого курса обновляется на сайте физтеха.0:39

Обзор курса и программы1:39

• Сегодняшняя лекция будет немножко нетипичной: половина будет про математику, а другая половина — про примеры реальных прикладных задач.1:39
• Первый эпиграф к курсу прозвучал в 2016 году из уст Клауса Мартина Шваба и подчеркивает, что технологии машинного обучения стали актуальны на государственном уровне.2:08
• Вы находитесь в то время, когда машины обучения находятся на вершине хайпа.2:43

Эпиграфы и их значение3:30

• Тот, кто будет развивать исследования и разработки в области искусственного интеллекта, будет иметь лидирующие позиции в автоматизации.3:30
• Автоматизация деятельности позволяет делать меньше утомительной работы и больше творческой работы, что приводит к повышению благосостояния людей.3:42
• В 2016 году администрация Обамы организовала 5 научных конференций по проблематике искусственного интеллекта, собрав информацию от двух с половиной тысяч ученых.4:23

Основные понятия машинного обучения7:47

• Основная задача машинного обучения заключается в построении зависимости между объектами и ответами, что называется целевой функцией.7:47
• Обучающая выборка — это конечное множество объектов и известных ответов, по которому мы строим зависимость.8:11
• Функция, которую мы строим для приближения зависимости, обозначается буквой 'a', а истинная, но неизвестная зависимость — буквой 'y'.9:00
• Мы осознаем, что с идеальной точностью восстановить зависимость по конечной выборке данных невозможно, и это будет приближение.9:36
• Важный вопрос — как строить функцию 'a' и какие модели для этого использовать.9:57

Постановка задач в машинном обучении10:21

• Объект в машинном обучении - это некий объект реального мира, например, пациент, который приходит в клинику.10:21
• Признаки объекта - это измерения, которые могут быть бинарными, номинальными или порядковыми.11:00
• Наиболее распространенный тип признаков - это числовые, которые представляют собой действительную ось.11:34
• Данные в задачах машинного обучения часто представляются в виде матрицы, где строки соответствуют объектам, а столбцы - признакам.12:23
• Задачи классификации прогнозируют бинарную величину, например, наличие или отсутствие язвы желудка.13:06
• Задачи регрессии направлены на восстановление числовых значений из действительной оси.14:19

Объекты и признаки в задачах15:26

• Мы разобрались объектами, какие они бывают: векторные признаки описания объектов задачи в зависимости от того, как устроено множество y классификации или регрессии.15:26
• Пример классической задачи: выборка из 150 объектов трех классов, где каждый класс — это разновидность цветков ириса, и задача заключается в классификации вида растения по четырем признакам.17:27
• Четыре признака для классификации цветков ириса: длина и ширина чашелистика и лепестка.17:46
• Визуализация помогает понять, как объекты разделяются по признакам, и может подсказать модель классификации.18:15
• При увеличении числа признаков, например, до 20000, визуализация становится затруднительной.19:32

Классификация и регрессия20:40

• Первый шаг в решении задач машинного обучения — это сформулировать модель, которая является параметрическим семейством функций, показывающим, как y зависит от x с некоторым параметром θ.20:40
• Линейная модель — это просто взвешенная сумма всех признаков и может быть использована как для регрессии, так и для классификации.21:35
• Если точка находится по одну сторону от гиперплоскости, она относится к классу +1, если по другую — к классу -1.22:21
• Генерация признаков (feature generation) позволяет расширить описание объектов, добавляя функции от существующих признаков, такие как квадраты, корни и другие.24:45
• Если вы что-то знаете о целевой функции, попытайтесь максимально учесть эти знания при конструировании модели.26:53
• Метод обучения — это отображение, которое на входе принимает обучающую выборку и на выходе выдает модель, элемент заданного параметрического семейства.27:24
• В задачах машинного обучения всегда есть два этапа: обучение и применение, где на этапе обучения вы получаете конкретный алгоритм, а на этапе применения делаете предсказания на новых объектах.28:01

Проблемы переобучения34:35

• Переобучение происходит, когда модель хорошо подгоняет данные обучающей выборки, но плохо работает на новых объектах.34:35
• Эмпирический риск — это средняя потеря на объектах обучающей выборки.32:24
• Метод минимизации эмпирического риска является основным приемом в машинном обучении.32:40
• Чем больше степень полинома, тем меньше средняя потеря на обучающей выборке, но это может привести к переобучению.38:26
• Избыточное число степеней свободы приводит к переобучению модели на конкретную выборку данных.39:15
• Проблема переобучения возникает, когда модель начинает плохо аппроксимировать функцию на концах отрезка.39:45

Методы обучения и оптимизация40:38

• Переобучение возникает по причине избыточной сложности модели и того, что идеальных моделей не бывает.40:38
• Обнаружить переобучение очень просто: разделить выборку на train и test, обучиться на train и проверить на test.41:02
• Избавиться от переобучения в принципе нельзя, но задача состоит в том, чтобы сделать его как можно меньше.41:30
• Первый самый распространенный способ вычисления переобучения называется халдол, где часть данных откладывается для тестовой выборки.41:56
• Метод кросс-валидации позволяет разбить выборку на блоки и протестировать на каждом из них, что является компромиссом между точностью и вычислительными затратами.43:00
• При кросс-валидации можно выбрать лучшую модель из нескольких, переобучить заново на большем объеме данных или усреднить результаты нескольких моделей.46:51

Примеры прикладных задач51:30

• Объектом в медицинской диагностике является информация о человеке в определённый момент времени, а не сам человек.51:30
• В задаче классификации в качестве классов могут выступать диагнозы, например, определить, болен ли человек или нет.52:08
• Признаки в медицинских задачах часто характеризуются разнотипностью и могут включать бинарные, порядковые и количественные признаки.52:36
• В медицинских задачах матрицы объектов-признаков обычно имеют много пропусков, и не все методы могут работать с неполной информацией.53:12
• Врачи предпочитают не просто черный ящик для диагностики, а систему, которая может объяснить классификацию.53:41
• Переобучение в моделях проявляется как систематическое смещение точек вверх относительно диагонали графика, где частота ошибок на обучении равна частоте ошибок на контроле.55:08
• В задаче классификации для кредитования важна не только дискретная классификация, но и оценка вероятности дефолта заемщика.57:22
• В задаче предсказания оттока клиентов важно предсказать, когда клиент уйдет, чтобы успеть предпринять меры.1:00:46
• В задачах регрессии, таких как прогнозирование стоимости квартиры, необходимо учитывать множество внешних факторов, влияющих на цену.1:05:06
• Прогнозирование объемов продаж в супермаркетах требует учета сезонных эффектов и возможных нулевых продаж из-за отсутствия товара на полках.1:08:54
• Функция потерь для прогнозирования должна отражать экономический смысл, а не быть параболой, как в методе наименьших квадратов.1:09:44

Заключение и вопросы1:10:00

• Мы должны охарактеризовать все потери, включая затраты на хранение товара и замороженные деньги.1:10:00
• Задача классификации в поисковых системах заключается в ранжировании документов по релевантности запросу.1:12:20
• Данные о поведении пользователей можно использовать для обучения моделей, но они могут быть ненадежными.1:13:30
• Асессорские данные, предоставляющие оценки релевантности документов, должны постоянно обновляться.1:14:47
• Обучающие данные в задачах ранжирования могут быть огромными, что относится к категории больших данных.1:16:59
• Глубокие нейронные сети автоматизируют процесс генерации признаков, что упрощает задачу распознавания.1:22:50
• Для успешного применения машинного обучения важно понимать бизнес-процессы и качество данных.1:27:40
• Этапы работы с данными включают понимание задачи, визуализацию данных и подготовку их к моделированию.1:28:48
• Интерпретация результатов моделей должна рассматриваться как отдельная задача в зависимости от предметной области.1:34:16

Выводы

• Понимание бизнес-процессов и качества данных является ключевым для успешного применения машинного обучения.

Что сделать

• Изучите методы кросс-валидации для оценки моделей и минимизации переобучения.