На главную Написать письмо Карта сайта

Издательство

Сектор реализации

Типография

Портал НГТУ


заказ книг

Методы статистического обучения в задачах регрессии и классификации

В монографии рассматриваются вопросы статистического обучения в задачах построения регрессии по методу опорных векторов и в задачах классификации с использованием скрытых марковских моделей (СММ). Для решения задачи устойчивого оценивания модели регрессии по методу опорных векторов (SVM) в условиях зашумленных данных с помехой, имеющей распределение с большим эксцессом или имеющей характер асимметричного засорения, предложено использовать адаптивные и асимметричные функции потерь. Приводятся формулировки двойственных задач квадратичного программирования для этих случаев. Описывается метод квантильной регрессии на основе SVM для произвольной функции потерь. На его основе рассмотрен метод построения доверительных интервалов для отклика, а также непараметрический метод оценки неизвестной дисперсии ошибок наблюдений. Для построения компактной модели регрессии в условиях работы с выборками большого объема предлагаются алгоритмы построения разреженных решений в SVM. Показывается их эффективность в сравнении с классическим методом построения разреженных решений на основе функции нечувствительности Вапника. Описывается модификация SVM, позволяющая строить разреженные решения в условиях гетероскедастичности ошибок наблюдений. Приводятся результаты экспериментальных исследований по построению регрессионных моделей с использованием SVM при мультиколлинеарности данных, автокорреляции и гетероскедастичности ошибок наблюдений.
Приводятся результаты исследования подхода к решению задачи классификации наблюдаемых последовательностей, представленных скрытыми марковскими моделями, с использованием инициированных этими моделями признаков. С использованием метода статистического моделирования рассматривается поведение нескольких классификаторов, когда наблюдаемые последовательности подвергались искажению действием на них различных помех. Также проанализированы случаи, когда нарушены одни из априорных представлений либо о наблюдаемых последовательностях, либо о структуре скрытых марковских моделей, описывающих эти последовательности.
Книга будет полезна научным сотрудникам и специалистам, сталкивающимся в своей деятельности с необходимостью решения задач построения зависимостей  и классификации последовательностей, а также студентам и аспирантам.


ОГЛАВЛЕНИЕ
Предисловие    7
Глава 1. СТАТИСТИЧЕСКОЕ ОБУЧЕНИЕ ПРИ ПОСТРОЕНИИ РЕГРЕССИИ МЕТОДОМ ОПОРНЫХ ВЕКТОРОВ    13
1.1. Основы теории машинного обучения    14
1.2. Алгоритм опорных векторов как метод построения непараметрической регрессии    17
1.2.1. Алгоритм опорных векторов    17
1.2.2. Двойственная задача    19
1.2.3. Вычисление параметра смещения b    21
1.2.4. Разреженность решения    22
1.3. Нелинейная регрессия на основе SVM    23
1.4. Обзор подходов к решению оптимизационной задачи    26
Глава 2. ПОСТРОЕНИЕ РОБАСТНЫХ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ С ИСПОЛЬЗОВАНИЕМ МЕТОДА ОПОРНЫХ ВЕКТОРОВ С АДАПТИВНЫМИ ФУНКЦИЯМИ ПОТЕРЬ    29
2.1. Построение квазиоптимальных функций потерь    30
2.1.1. Функции потерь    30
2.1.2. Функционал риска    32
2.1.3. Метод максимального правдоподобия и модели плотностей    33
2.2. Робастные функции потерь в условиях асимметричных засорений    37
2.3. Конструирование двойственной задачи SVM    42
2.3.1. Двойственная задача для классических функций потерь    42
2.3.2. Двойственная задача для адаптивных функций потерь    47
2.3.3. Решение двойственной задачи с динамическими ограничениями    50
2.4. Исследования    52

Глава 3. ПОСТРОЕНИЕ РОБАСТНЫХ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ С ИСПОЛЬЗОВАНИЕМ МЕТОДА ОПОРНЫХ ВЕКТОРОВ С АСИММЕТРИЧНЫМИ ФУНКЦИЯМИ ПОТЕРЬ    63
3.1. Скошенные распределения и их моделирование    63
3.2. Конструирование квазиоптимальных функций потерь на основе линейно-квадратичных аппроксимаций для использования их
в SVM    65
3.3. Конструирование двойственной задачи для случая асимметричных функций потерь в SVM    67
3.4. Исследования    71
3.5. Оценка параметра скошенности распределения    75
3.6. Квантильная регрессия на основе SVM    79
3.7. Построение доверительных интервалов для отклика    85
3.8. Оценка неизвестной дисперсии ошибок наблюдений    86
Глава 4. ПОСТРОЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ    91
4.1. Задача построения компактной модели регрессии    92
4.2. Функция -нечувствительности Вапника и разреженные решения    93
4.3. Использование адаптивных функций потерь для получения разреженных решений    96
4.4. Метод «решето» Лапласа    98
4.5. Двухшаговый метод аппроксимации    101
4.6. Разреженность в условиях гетероскедастичности ошибок
наблюдений    103
4.7. Исследования    106
Глава 5. ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ МАШИНЫ ОПОРНЫХ ВЕКТОРОВ В ЗАДАЧАХ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ    111
5.1. Построение параметрических моделей на основе SVM    111
5.2. Построение полупараметрических моделей на основе SVM    114
5.3. Построение регрессии в условиях гетероскедастичности ошибок наблюдений    116
5.4. Построение регрессии в условиях мультиколлинеарности данных    121
5.5. Построение регрессии в условиях автокорреляции ошибок наблюдений    123
5.6. Выбор параметров алгоритма SVM    129
5.7. Применение метода SVM в прикладных задачах    135
5.7.1. Анализ выборки LIDAR    135
5.7.2. Анализ выборки «Motorcycle»    138
5.7.3. Анализ выборки «Boston Housing»    139
Глава 6. СТАТИСТИЧЕСКОЕ ОБУЧЕНИЕ В ЗАДАЧАХ КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ СКРЫТЫХ МАРКОВСКИХ МОДЕЛЕЙ    141
6.1. Введение в теорию СММ    141
6.2. Обучение СММ    145
6.2.1. Алгоритм прямого-обратного прохода    148
6.2.2. Алгоритм Баума–Велша    151
6.2.3. Масштабирование    156
6.3. Моделирование последовательностей    160
6.4. Классификация последовательностей    163
6.5. Историческая справка    165
Глава 7. ПОСТРОЕНИЕ КЛАССИФИКАТОРОВ В ПРОСТРАНСТВЕ ПЕРВЫХ ПРОИЗОДНЫХ ОТ ФУНКЦИИ ПРАВДОПОДОБИЯ    171
7.1. Постановка задачи классификации последовательностей    171
7.2. Классификаторы    174
7.2.1. Метод ближайших соседей    174
7.2.2. Машины опорных векторов    175
7.2.3. Многоклассовая классификация    183
7.3. Вычисление первых производных от логарифма функции правдоподобия для СММ    184
7.4. Исследование возможности проведения классификации в пространстве первых производных    189
Глава 8. КЛАССИФИКАЦИЯ ПОСЛЕДОВАТЕЛЬНОСТЕЙ В УСЛОВИЯХ ДЕЙСТВИЯ ПОМЕХ РАЗЛИЧНОЙ ИНТЕНСИВНОСТИ И ПРИРОДЫ    199
8.1. Используемые модели помех, искажающие наблюдаемые
последовательности    199
8.2. Исследования для моделей, в которых вероятности появления наблюдаемых символов описываются одним распределением    201
8.2.1. Аддитивная помеха с постоянными параметрами распределения    202
8.2.2. Аддитивная помеха с изменяемыми параметрами распределения    206
8.2.3. Замещающая вероятностная помеха с постоянными параметрами распределения    210
8.2.4. Замещающая вероятностная помеха с изменяемыми параметрами распределения    212
8.3. Исследования для моделей, в которых вероятности появления наблюдаемых символов описываются смесями распределений    215
8.3.1. Аддитивная помеха с постоянными параметрами распределения    216
8.3.2. Аддитивная помеха с изменяемыми параметрами    223
8.3.3. Замещающая вероятностная помеха с постоянными параметрами распределения    228
8.3.4. Замещающая вероятностная помеха с изменяемыми параметрами распределения    232
Глава 9. ПОВЕДЕНИЕ КЛАССИФИКАТОРОВ В УСЛОВИЯХ
ОТКЛОНЕНИЯ ОТ ПРЕДПОЛОЖЕНИЙ    237
9.1. Различные законы распределений появления наблюдаемых символов, отличные от нормального    237
9.2. Процесс или объект, порождающий наблюдаемые последовательности и не имеющий скрытых состояний    246
9.3. Поведение классификаторов в условиях структурной неопределенности    252
9.3.1. Исследование на двухклассовой задаче классификации    252
9.3.2. Исследование на многоклассовой задаче классификации    260
Послесловие    265
Библиографический список    268
Приложения    293
Приложение А    293
Приложение Б    296
Приложение В    299

Назад в раздел

Новинки

Игнатьев В.И.
Социология информационного общества
Год издания: 2017
Число страниц: 356
ISBN: 978-5-7782-3239-6
Бирюков В.В.
Оборудование нефтегазовых производств
Год издания: 2016
Число страниц: 514
ISBN: 978-5-7782-3009-5
Анисимов М.П.
Поверхности скоростей зародышеобразования
Год издания: 2017
Число страниц: 172
ISBN: 978-5-7782-3291-4

Новости

24 Май 2017
На сайте обновлен прайс-лист на учебную литературу, учебники и монографии.
Подробнее

17 Мар 2017
Подписан Приказ о включении работ в серии "Учебники НГТУ", "Монографии НГТУ 2017 г.
Подробнее

© 1994-2013, Издательство НГТУ
630092, г. Новосибирск, пр. К. Маркса, 20, тел./факс: +7 (383) 346-31-87, эл. почта: office@publish.nstu.ru