Delivered at:: Department of Information Technologies in Business (Faculty of Computer Science, Economics, and Social Sciences)

Course type:: Compulsory course

When:: 2 year, 3, 4 module

Instructor

Radionova, Marina V.

Полная версия программы учебной дисциплины

Аннотация

Учебный курс «Статистические и эмпирические методы компьютинга» нацелен на формирование у студентов теоретических знаний и практических навыков в области статистического обеспечения принятия решений. Все разделы дисциплины имеют методологическую и практическую направленность, ориентированы на решение ключевых проблем в сфере анализа тенденций и закономерностей развития общества. Курс содержит изложение основных принципов, категорий и общих базовых методов статистической науки и науки о данных, используемых при прогнозировании социально-экономических процессов. В связи с этим в курсе рассматриваются цели и задачи как науки и ее место в комплексе экономико-математических наук, излагаются основы и методы анализа данных, применяемых при решении прикладных (в том числе экономических) задач; формируются навыков обработки, обобщения и анализа информации для оценки состояния и выявления тенденций, закономерностей и конкретных особенностей развития социально- экономических и бизнес-процессов.

Цель освоения дисциплины

приобретение студентами базовых знаний по основам анализа данных
знакомство с прикладными задачами дисциплины
анализ алгоритмов обработки статистических и эмпирических данных, используемых в современном программном обеспечении
получения практических навыков использования статистических и эмпирических методов компьютинга в ходе разработки и экспериментального исследования новых программных продуктов
развитие умений, позволяющих использовать опыт применения статистических и эмпирических методов обработки данных для решения задач экономического анализа и моделирования

Планируемые результаты обучения

Решает задачи на проверку данных на выбросы, нормальное распределение.
Решает задачи корреляционного анализа и проверки статистических гипотез на наличие взаимосвязи между признаками. Может оценить взаимосвязь между несколькими переменными. Знает параметрические и непараметрические методы оценки
Решает задачи классификации и кластеризации пространства наблюдений
Решает задачи построения и проверки на качество регрессионных моделей

Содержание учебной дисциплины

Раздел 1. Предварительный анализ данных
Статистические методы обработки экспериментальных данных. Основные понятия и задачи математической статистики. Генеральная совокупность, выборка, результаты наблюдений, статистика, статистическая оценка, требования к оценкам. Классификация признаков по шкалам измерений. Описательная статистика: среднее значение, математическое ожидание, медиана, мода, дисперсия, среднее квадратичное отклонение, коэффициент вариации, показатель точности опыта, минимум, максимум, размах выборки, моменты распределения. Вариационная статистика: параметры классовых интервалов, группировка, функции эмпирического распределения. Ранжирование. Проверка случайности выборки из нормальной совокупности. Статистические гипотезы и статистические критерии. Характеристики критериев. Тест Вальда. Тест Стьюдента. Лемма Неймана-Пирсона. Критерий отношения правдоподобия. Введение в A/B-тестирование. Критерий последовательного отношения правдоподобия. Непараметрические критерии. Формы и методы проведения занятий по разделу, применяемые учебные технологии: лекционные занятия, решение задач на семинарах, самостоятельная работа, проверка усвоенного материала микроконтролем.
Раздел 2. Корреляционный анализ данных
Парный коэффициент корреляции. Проверка гипотезы о значимости коэффициента корреляции. Доверительный интервал для парного коэффициента корреляции. Частный коэффициент корреляции. Проверка гипотезы о значимости частного коэффициента корреляции. Доверительный интервал для частного коэффициента корреляции. Множественный коэффициент корреляции. Проверка гипотезы о значимости множественного коэффициента корреляции. Корреляционный анализ качественных данных. Исследование связи между номинальными переменными (таблица сопряженности признаков, критерий хи-квадрат, меры связи признаков: коэффициенты контингенции, ассоциации, среднеквадратической сопряженности, Пирсона, Крамера). Лямбда меры прогноза Гутмана. Исследование связи между порядковыми переменными (ранговый коэффициент корреляции Спирмена, коэффициент согласованности Кендалла, коэффициент конкордации). Формы и методы проведения занятий по разделу, применяемые учебные технологии: лекционные занятия, решение задач на семинарах, самостоятельная работа, проверка усвоенного материала микроконтролем.
Раздел 3. Методы классификации многомерных наблюдений
Классификация многомерных наблюдений без обучения (непараметрический случай), кластерный анализ. Общая постановка задачи автоматической классификации, классификации без обучения, понятия кластерного анализа. Метрики расстояния и близости между объектами, расстояния между кластерами. Функционалы качества разбиения. Основные типы задач и алгоритмов кластерного анализа. Иерархические, параллельные и последовательные процедуры кластерного анализа. Метод к-средних. Зависимость выбора алгоритма классификации от цели статистического исследования. Классификация многомерных наблюдений при наличии обучающих выборок, дискриминантный анализ. Методы классификации с обучением, основные понятия дискриминантного анализа. Обучающие выборки. Линейный дискриминантый анализ при известных параметрах многомерного нормального закона распределения (случай двух классов и общий случай). Вероятность ошибочной классификации с помощью дискриминантной функции. Оценка качества дискриминантной функции и информативности отдельных признаков. Классификация многомерных наблюдений без обучения (параметрический случай), расщепление смесей вероятностных распределений. Канонические корреляции. Понятие и задача расщепления смеси вероятностных распределений. Алгоритм решения задачи автоматической классификации в рамках модели смеси распределений, приводящий к схеме дискриминантного анализа Канонические корреляции и канонические величины генеральной совокупности, их оценивание, интерпретация и использование в экономических исследованиях. Формы и методы проведения занятий по разделу, применяемые учебные технологии: лекционные занятия, решение задач на семинарах, самостоятельная работа, проверка усвоенного материала микроконтролем.
Раздел 4. Регрессионный анализ
Анализ однофакторной регрессионной модели Простейшая линейная регрессионная модель (ПЛРМ). Природа случайной ошибки. Корреляционное поле наблюдений и его применение к выбору формы регрессии. Оценки методом наименьших квадратов коэффициентов ПЛРМ. Интерпретация коэффициентов ПЛРМ. Коэффициент детерминации и его свойства. Теорема Гаусса–Маркова. Доверительные интервалы для коэффициентов регрессии и проверка гипотез об их значимости (t – тест). Проверка значимости всей регрессии на основе критерия Фишера. Прогнозирование значения зависимой переменной по ПЛРМ, точность прогноза. Функциональные преобразования в линейной регрессионной модели. Линеаризация нелинейной регрессионной модели. Анализ общей линейной модели наблюдений при классических предположениях Множественный регрессионный анализ: особенности спецификации модели, отбор факторов при построении множественной регрессии. Классическая нормальная линейная модель множественной регрессии, оценка параметров методом МНК, ковариационная матрица и ее выборочная оценка. Оценка дисперсии возмущений. Определение доверительных интервалов для коэффициентов и функции регрессии. Оценка значимости множественной регрессии. Анализ линейной модели наблюдений при отклонениях от классических предположений Возможные отклонения от предположений классической общей линейной модели наблюдений (ОЛМН): закон распределения, отличный от нормального; автокорреляция, ее суть, причины, последствия, обнаружение и методы устранения; гетероскедастичность, ее суть, последствия, обнаружение и методы смягчения проблемы гетероскедастичности; Исследовательские методы проверки отсутствия гомоскедастичности: тесты Спирмена, Голдфелда–Квандта, Уайта. Мультиколлинеарность, ее суть, последствия, определение и методы устранения. Взвешенный МНК как частный случай обобщенного МНК; содержательный смысл этого подхода. Метод максимального правдоподобия. Реализация этого метода для модели с двумя группами однородных наблюдений. Формы и методы проведения занятий по разделу, применяемые учебные технологии: лекционные занятия, решение задач на семинарах, самостоятельная работа, проверка усвоенного материала микроконтролем.

Элементы контроля

Контрольная работа
Домашняя работа
Самостоятельная работа
Аудиторная работа
Экзамен
Экзамен проводится с использованием асинхронного прокторинга. Требования к ПК пользователя: 1. Стационарный компьютер или ноутбук (мобильные устройства не поддерживаются); 2. Операционная система Windows (версии 7, 8, 8.1, 10) или Mac OS X Yosemite 10.10 и выше; 3. Интернет-браузер Google Chrome последней на момент сдачи экзамена версии: (для установки браузера используйте ссылку https://www.google.com/chrome/, для проверки и обновления версии браузера используйте ссылку chrome://help/, при переходе можно увидеть номер версии своего браузера и кнопку для обновления, если они доступны); 4. Наличие постоянного интернет-соединения со скоростью передачи данных от пользователя не ниже 5 Мбит/сек.; 5. Разрешена передача данных по сетевым портам: 80 TCP, 443 TCP, 3478 TCP/UDP (уточнить этот вопрос у провайдера/открыть панель управления - система и безопасность - брандмауэр защитника Windows- дополнительные параметры. Убедитесь, что нет ограничений на входящее и исходящее соединение); 6. Наличие исправной и включенной веб-камеры (включая встроенные в ноутбуки); 7. Наличие исправного и включенного микрофона (включая встроенные в ноутбуки). https://elearning.hse.ru/data/2020/04/23/1559799268/Инструкция%20по%20работе%20в%20системе%20прокторинга%20Экзамус%202020.%20Асинхрон.pdf
Контрольная работа
Домашняя работа
Самостоятельная работа
Аудиторная работа
Экзамен
Экзамен проводится с использованием асинхронного прокторинга. Требования к ПК пользователя: 1. Стационарный компьютер или ноутбук (мобильные устройства не поддерживаются); 2. Операционная система Windows (версии 7, 8, 8.1, 10) или Mac OS X Yosemite 10.10 и выше; 3. Интернет-браузер Google Chrome последней на момент сдачи экзамена версии: (для установки браузера используйте ссылку https://www.google.com/chrome/, для проверки и обновления версии браузера используйте ссылку chrome://help/, при переходе можно увидеть номер версии своего браузера и кнопку для обновления, если они доступны); 4. Наличие постоянного интернет-соединения со скоростью передачи данных от пользователя не ниже 5 Мбит/сек.; 5. Разрешена передача данных по сетевым портам: 80 TCP, 443 TCP, 3478 TCP/UDP (уточнить этот вопрос у провайдера/открыть панель управления - система и безопасность - брандмауэр защитника Windows- дополнительные параметры. Убедитесь, что нет ограничений на входящее и исходящее соединение); 6. Наличие исправной и включенной веб-камеры (включая встроенные в ноутбуки); 7. Наличие исправного и включенного микрофона (включая встроенные в ноутбуки). https://elearning.hse.ru/data/2020/04/23/1559799268/Инструкция%20по%20работе%20в%20системе%20прокторинга%20Экзамус%202020.%20Асинхрон.pdf

Промежуточная аттестация

Промежуточная аттестация (4 модуль)
0.1 * Аудиторная работа + 0.2 * Домашняя работа + 0.2 * Контрольная работа + 0.1 * Самостоятельная работа + 0.4 * Экзамен

Bachelor’s Programme 'Software Engineering'

Statistical and Empirical Methods of Computing

Instructor

Программа дисциплины

Аннотация

Цель освоения дисциплины

Планируемые результаты обучения

Содержание учебной дисциплины

Элементы контроля

Промежуточная аттестация

Список литературы

Рекомендуемая основная литература

Рекомендуемая дополнительная литература