Алгоритмы, модели, алгебры (курс на ВМК 2015 года)

Алгоритмы, модели, алгебры (курс на ВМК 2015 года)

АЛГОРИТМЫ, МОДЕЛИ, АЛГЕБРЫ - курс 2015 года - (название условное, курс посвящён анализу данных)

  • Обязательный курс для магистров каф. ММП 1 г/о, читается в 1-м (9-м) семестре.
  • Лекции — 32 часа, семинаров - 32 часа.
  • Экзамен.
  • За курс отвечает кафедра Математических методов прогнозирования.
  • Автор программы: профессор А. Г. Дьяконов .

Вторая пересдача по курсу "Алгоритмы, модели, алгебры" для магистров 517 группы состоится 15 февраля в 10:30 в ауд. П-14 . До пересдачи необходимо сдать все долги за семестр.

Первая пересдача (всего их две) назначена на 8 февраля (дата ещё уточняется). К этой дате необходимо ликвидировать все задолжности за семестр (в противном случае ставится оценка "неуд"). Как минимум, за два для до пересдачи по каждому заданию выложить свой код и отчёт (чем раньше, тем лучше). Места для выкладки - см. ниже. Это позволит проверить Ваши отчёты заранее и побудить Вас внести исправления. В противном случае - у Вас не останется времени на исправления.

Напоминаю, что все задания оцениваются строго. Например, отсутствие нужных графиков или таблиц может считаться невыполнением задания, нарушение общих правил курса (название команд на Kaggle и т.п.) может считаться невыполнением задания, неубедительное выступление с презентацией может считаться невыполнением задания.

  • Козлов Владимир Дмитриевич [VZ, ROS, SK, WL, ED]
  • Кузенко Татьяна Вячеславовна [VZ, PIC, ROS, SK, WL, ED]
  • Ожерельев Илья Сергеевич [PIC, ROS, SK, WL, ED]
  • Скробот Дмитрий Владиславович [VZ, PIC, ROS, SK, WL, ED]
  • Федосов Виктор Николаевич [VZ, PIC, ROS, SK, WL, ED]
  • Хомутов Никита Юрьевич [VZ, PIC, ROS, SK, WL, ED]

SK - задание по библиотеке scikit-learn от 05.11 (остаётся в той постановке, что и было). Обратите внимание, что задание предусматривает доклад с презентацией (будет до пересдачи). Ветка для выкладки презентации по SK.

PIC - задание по визуализации от 24.09 (остаётся в той же постановке, что и было). Обратите внимание, что задание предусматривает доклад с презентацией (будет до пересдачи). Ветка для выкладки презентации по PIC.

VZ - новое задание про предсказание поведения покупателей. В ветке форума описаны требования. Обратите внимание, что задание предусматривает преодоление бенчмарка (на скрытой выборке).

ROS - соревнование Winton. Необходимо преодолеть на скрытой выборке победить бенчмарк из одних нулей. Ветка для выкладки отчётов: наш общий форум. Спешите зарегистрироваться - до конца соревнования 15 дней, за 7 регистрация прекращается.

Поправка 09/02/2016: после окончания соревнования, если вы не успели поучаствовать, скачайте данные (сабмишиные ещё можно сделать), выложите вместе со своим отчётом своё решение (файл для отправки на Кэгл). Обо всех трудностях пишите в форуме.

WL+ED - конкурс CardioQVARK (выложено 25.01.2016). За два задания засчитывается этот не очень трививальный конкурс. Необходимо написать функции считывания всей признаковой информации, которая есть в файлах, функции обработки сигналов и извлечения дополнительных признаков. На локальном (!) скользящем контроле необходимо превзойти порог 0.6 по F-мере и запостить решение на тесте(с нужным ником). Ветка для выкладки отчётов и кода: наш общий форум. Рекомендуемый материал для повышения качества: презентация Воронцова.

При выполнении соревновательных заданий необходимо, чтобы

  • были реализованы все основные типы алгоритмов, которые упоминались на лекции, если подобная задача разбиралась
  • была описана и аргументирована схема локального контроля, приведены (в виде таблиц и графиков) результаты этого контроля для разных моделей/при разных значениях параметров
  • к оформлению отчёта предъявляются требования стандартные для научных текстов

Все вопросы, связанные с АМА должны быть заданы в этой ветке.

Напоминаю, что сдача всех задолжностей означает допуск к сдаче экзамена с базовой оценкой "неуд". Критерии её повышения до положительной см. в форуме.

  • Есть система штрафных баллов, по ней формируется итоговая оценка.
  • Пороги для конкретных оценок (по сумме баллов) объявлены изначально, но могут быть откорректированы лектором в пользу студентов.
  • Сам экзамен проводится письменно - на нём (при желании) можно улучшить итоговую оценку

Содержание экзамена: задания эквивалентные заданиям со всех контрольных и семинаров (плюс задания по спектральной теории графов, плюс задания на знания теории и определений, если они были на лекциях и продублированы в списке рекомендуемой литературы, плюс задания на знания языков/библиотек, если они обсуждались на семинарах и лекциях)

Исправление: хорошее написание письменного экзамена увеличивает итоговую оценку на 1 балл (порог будет заранее объявлен), безупречное написание - на 2 балла.

  • Итоговая "отлично" ставится автоматом.
  • Итоговая "неудовлетворительно" также ставится автоматом и означает недопуск к экзамену, чтобы получить допуск надо сдать все несданные задания (итоговая оценка при этом не меняется и может быть исправлена только на самом экзамене).
  • Экзамен проходит по жёсткой схеме: нельзя пользоваться ничем (кроме ручки и листка бумаги). Аналогично контроль сдаваемых заданий после окончания семестра жёсткий: лектор уже не консультирует по самим заданиям, презентации оцениваются по формальным критериям: наличие постановки задачи, описание предложенных методов, их обоснование, подробное изложение экспериментов (с графиками и таблицами), формирование итоговой модели, выводы. Оценивается и сам доклад по задаче!

Все вопросы, связанные с АМА должны быть заданы в этой ветке.

Пример теоретических вопросов для экзамена:

  • Что такое коэффициент кластеризации?
  • Что такое полнота (как мера качества при классификации)?
  • Что такое персептронный алгоритм?

Внимание! Посмотрите на странице АМА - не ошибся ли я с итоговыми баллами.

"Отлично" автоматом получают:

  • Апишев Мурат Азаматович
  • Гой Антон Сергеевич
  • Гурьянов Алексей Константинович
  • Кибитова Валерия Николаевна
  • Лукашкина Юлия Николаевна
  • Сендерович Никита Леонидович
  • Шапулин Андрей Валентинович

Допуск на экзамен имеют:

  • Готман Мария Леонидовна - не ниже "хорошо"
  • Жосан Юлия Сергеевна - не ниже "удовлетворительно" (жду выполнение последнего задания)
  • Темирчев Павел Георгиевич - не ниже "удовлетворительно"

Допуск на экзамен не имеют - "неуд. автоматом":

  • Козлов Владимир Дмитриевич [VZ, ROS, SK, WL, ED]
  • Кузенко Татьяна Вячеславовна [VZ, PIC, ROS, SK, WL, ED]
  • Ожерельев Илья Сергеевич [PIC, ROS, SK, WL, ED]
  • Скробот Дмитрий Владиславович [VZ, PIC, ROS, SK, WL, ED]
  • Федосов Виктор Николаевич [VZ, PIC, ROS, SK, WL, ED]
  • Хомутов Никита Юрьевич [VZ, PIC, ROS, SK, WL, ED]

В скобках обозначены долги - задания, которые необходимо сделать для допуска к экзамену. SK - задание по библиотеке scikit-learn от 05.11 (остаётся в той постановке, что и было). PIC - задание по визуализации от 24.09 (остаётся в той же постановке, что и было). 10го числа можно будет сдать эти задания. Остальные будут переформулированы после 10го числа (использование прежних формулировок невозможно, по причине окончания соответствующих соревнований).

Аннотация

Курс посвящён решению прикладных задач анализа данных. Разбираются реальные задачи и бизнес-кейсы. Студенты пишут и настраивают алгоритмы на языках Python, R, M(Matlab).

  • докладам по решению прикладных задач (с презентациями),
  • опросам по выполнению домашнего задания,
  • обучению программированию на скриптовых языках (для тех, у кого их не было в бакалавриате),
  • мозговому штурму по решению задач и обсуждению решений,
  • написанию контрольных работ, решению аналитических задач, работе над ошибками.

Система оценивания

В течение семестра студенты получают задания.

При сдаче правильно выполненного задания в срок студент не получает штрафных баллов.

В противном случае - он получает от 1 до 10 штрафных баллов.

Штраф в 10 баллов допустим за позднюю сдачу (даже если решение верное) в случае отсутствия уважительных причин (болезнь, подтверждаемая справкой, и т.п. - см. требования учебной части).

В некоторых случаях (на усмотрение лектора), магистру, который лучше всех выполнил конкретное задание, списываются штрафные баллы (до 10).

На экзамене также за неверные ответы студент получает штрафные баллы.

Итоговая оценка формируется следующим образом:

  • до 10 штрафных баллов включительно - отлично,
  • до 20 штрафных баллов включительно - хорошо,
  • до 30 штрафных баллов включительно - удовлетворительно.

Содержание курса

Наполняется по мере необходимости.

  1. Книга Шурыгин А.М. Математические методы прогнозирования // М., Горячая линия — Телеком, 2009, 180 с. * Неплохие идеи для решения некоторых практических задач статистики (но в целом, специфична)
  2. Статья  Дьяконов А.Г. Прогноз поведения клиентов супермаркетов с помощью весовых схем оценок вероятностей и плотностей // Бизнес-информатика. 2014. № 1 (27). С. 68–77..
  3. Видео Оценка вероятности: когда к нам придёт клиент?

Решение задачи [MSUvisits]. Срок - до 23 сентября 2015 23:59 (с выкладкой отчёта в [этой ветке форума]).

Все вопросы задаются в [форуме].

Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме.

до 16 сентября 2015 23:59 - преодолеть порог 0.23753 в [Public Liderboard].

Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).

Но дополнительно, за непреодоление бенчмарка -5.

  1. Дьяконов A.Г. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab (практикум на ЭВМ кафедры математических методов прогнозирования), МАКСПресс, 2010, 278с.
  2. Блог Лоурен "Loren on the Art of MATLAB"
  • Книга Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5 по визуализации данных

Второе домашнее задание:

1. Выбрать активную задачу на kaggle.com в разделе Public Datasets (фиолетовый раздел).

Будьте внимательны: смотрите на данные.

2. Сделать визуализацию по этой задаче (по каждой уже есть какие-то визуализации - см. раздел "Скрипты").

3. Оформить её в виде скрипта на сайте (предпочтительно) или в виде отдельного pdf-отчёта.

4. В любом случае - сделать по своей работе презентацию.

5. Что будет оцениваться (точнее, не штрафоваться)

  • красота картинок
  • нетривиальность данных для визуализации (необходимость получить их по представленным таблицам)
  • непохожесть на другие визуализации
  • качество выводов
  • подробность описания своей работы над задачей
  • лайки на сайте kaggle

Срок - до 14.10.2015 23:59.

Ограничения: Одну задачу не должны выбрать более 6 человек (оставляю это требование на контроль группы).

Максимальный штраф: -10.

  • Tom Fawcett An introduction to ROC analysis // Pattern Recognition Letters Volume 27 Issue 8, 2006, P. 861-874.
  • Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория, 2013, 79(5): 65-73.
  • К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.
  • видео Функционалы качества и функции потерь: Константы тоже бывают разные
  • видео Функционалы качества и функции потерь: Какие множества похожи?
  • видео Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)
  • презентация (pdf)
  • код на R с исследованиями по задаче и подготовкой решения
  • пример применения различных алгоритмов машинного обученияна R

Срок - до 28.10.2015 23:59.

Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).

Третье домашнее задание:

1. Попробовать по крайней мере 3 различных алгоритма машинного обучения и по крайней мере 3 различных признаковых пространства в задаче Rossmann Store Sales (т.е минимум должно быть использовано 3 различных алгоритма машинного обучения, если они обучаются на разных признаках). Ограничения по языку программирования нет, можно использовать любой. Качество работы алгоритмов нужно проверять на локальном контроле.

2. Сделать хотя бы 3 посылки по этой задаче на сайте kaggle.com и посмотреть как соотносятся результаты локального контроля и Public Leaderboard.

3. Прислать отчет о проделанной работе на почту aostapec@mail.ru

4. Что должно быть в отчете:

  • Понятное описание используемых подходов (можно прислать текстовое описание, код, rNotebook или IPython Notebook с экспериментами)
  • Таблица с результатами работы алгоритмов на локальном контроле.
  • Таблица с результатами работы алгоритмов на Public Leaderboard.
  1. Ту Дж., Гонсалес Р. Принципы распознавания образов // Издательство Мир , Мо-сква, 1978 - 412 стр.
  2. Прогнозирование рядов соревнования «Tourism Forecasting Part Two» (414Кб)
  3. Alexander D’yakonov A Blending of Simple Algorithms for Topical Classification// Rough Sets and Current Trends in Computing, Lecture Notes in Computer Science, 2012, Volume 7413/2012, 432–438.
  4. видео Линейная регрессия: как решать матричные уравнения
  5. С.Хайкин Нейронные сети: полный курс, 2-е издание. Вильямс, 2008.
  • А. Liaw, M. Wiener Classification and Regression by randomForest // R News (2002) Vol. 2/3 p. 18.
  • И. Генрихов О критериях ветвления, используемых при синтезе решающих деревьев // Машинное обучение и анализ данных, 2014, Т.1, №8, С.988-1017
  • A. Natekin, A. Knoll Gradient boosting machines, a tutorial // Front Neurorobot. 2013; 7: 21.

Предварительная цель - превзойти результат 0.90. Первый дедлайн - 2 декабря. Штраф: -10

  • Дьяконов А. Методы решения задач классификации с категориальными признаками // Прикладная математика и информатика. Труды факультета Вычислительной математики и кибернетики МГУ имени М.В. Ломоносова. — 2014. — № 46. — С. 103–127
  • Y. Koren, R.M. Bell, C. Volinsky Matrix Factorization Techniques for Recommender Systems // IEEE Computer 42(8): 30-37 (2009).
  • S. Funk Netflix Update: Try This at Home
  • LibFM: Factorization Machine Library

Пост-троечные последовательности

  • Дьяконов А.Г. Алгоритмы для рекомендательной системы: технология LENCOR // Бизнес-Информатика, 2012, №1(19), С. 32–39.

Теория нечётких множеств

  • Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. Москва, Диалог-МГУ, 1998, 116 с.
  • Основные понятия теории нечетких множеств, нейронных сетей и генетических алгоритмов // Вспомогательные материалы к курсу проф. Рыжова А.П.
  • Ухоботов В. И. Избранные главы теории нечетких множеств // Учеб. пособие. Челябинск : Изд-во Челяб. гос. ун-та, 2011. – 245 с.
  • Л.Жуков курс Structural Analysis and Visualization of Networks в ВШЭ

За неделю необходимо преодолеть бенчмарк "Решение за 5 минут". Штраф -5.

В этой ветке до 23го декабря 23:59 надо опубликовать pdf-отчёт и код. В отчёте перечислить методы, которые были использованы (и причины их использования), результаты тестов на локальном контроле и на лидерборде. Штраы -10. Чуть позже будет определён итоговый порог для преодоления.

📎📎📎📎📎📎📎📎📎📎