Метод часових різниць

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Метод часових різниць (англ. Temporal difference learning) належить до безмодельних методів навчання з підкріпленням, які навчаються за допомогою бутстрепу з поточного значення функції цінності. Цей метод робить вибірку із середовища, як методи Монте-Карло, і оновлюється на основі поточної оцінки функції цінностей, як методи динамічного програмування.

У той час як методи Монте-Карло змінюють свої оцінки лише після того, як відомий кінцевий результат, методи ЧР коригують прогноз, підлаштовуючись під новіші більш точні прогнози до того, як остаточний результат стане відомим. Це є формою бутстрепу, як показано на такому прикладі:

«Припустимо, ви хочете передбачити погоду на суботу, і у вас є модель, яка передбачає погоду в суботу, враховуючи погоду кожного дня тижня. У стандартному випадку потрібно почекати до суботи, а потім налаштувати всі свої моделі. Однак, коли, наприклад, вже настала п'ятниця, то ви повинні мати досить добре уявлення про погоду в суботу — і таким чином мати можливість змінити суботню модель до настання суботи».

Метод часових різниць має зв'язок з моделлю часових різниць навчання тварин.

Математичне визначення

Табличний TD(0) метод є одним із найпростіших методів ЧР. Це окремий випадок більш загальних методів стохастичної апроксимації. Він знаходить наближення функції цінності станів скінченного Марковського процесу вирішування (МПВ) зі стратегією $\pi$. Позначимо функцію цінності стану МПВ зі станами $(s_{t})_{t\in \mathbb {N} }$, винагородами $(r_{t})_{t\in \mathbb {N} }$, коефіцієнтом знецінювання $\gamma$ та стратегією $\pi$ як $V^{\pi }$:

$V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}(a_{t}){\Bigg |}s_{0}=s\right\}.$

Для стислості не будемо позначати дію в формулі. $V^{\pi }$ задовольняє рівнянню Гамільтона — Якобі — Беллмана:

$V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\},$

Таким чином $r_{0}+\gamma V^{\pi }(s_{1})$ є неупередженою оцінкою $V^{\pi }(s)$. На основі цього спостереження можна побудувати наступний алгоритм оцінки $V^{\pi }$.

Алгоритм починається з випадкового заповнення таблиці $V(s)$ для кожного стану МПВ. Темп навчання $\alpha$ обирається позитивним.

Потім ми багаторазово оцінюємо стратегію $\pi$, отримуємо винагороду $r$ і оновлюємо функцію цінностей для попереднього стану за допомогою такої формули:

$V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{The TD target}}-V(s)),$

де $s$ і $s'$ попередній і поточний стани. Значення $r+\gamma V(s')$ відоме як цільове значення ЧР.

TD-Lambda

TD-Lambda — це алгоритм навчання, винайдений Річардом С. Саттоном на основі попередніх робіт Артура Семюеля про метод часових різниць. Цей алгоритм став відомим завдяки тому, що Джеральд Тезауро застосував його для створення TD-нард, програми, яка навчилася грати в нарди на рівні професіональних гравців-людей.

Параметр лямбда ($\lambda$) — це коефіцієнт загасання, він знаходиться в межах $0\leqslant \lambda \leqslant 1$. Більші значення цього параметру призводять до довготривалих слідів; тобто більша частка винагороди може бути додана до віддалених станів і дій, при великих $\lambda$. Тоді, як при $\lambda =1$ отримуємо алгоритм навчання з підкріпленням Монте-Карло.

Метод ЧР в нейронауці

Алгоритм часових різниць також отримав увагу в області нейробіології. Науковці виявили, що швидкість спрацьовування дофамінових нейронів у вентральній області покришки і чорній речовині, схоже, імітує функцію помилки в алгоритмі. Функція повертає різницю між оціненою винагородою за будь-який даний стан або часовий крок і фактично отриманою винагородою. Чим більша функція помилки, тим більша різниця між очікуваною та фактичною винагородою. Якщо поєднати це зі стимулом, який точно відображає майбутню винагороду, то помилку можна використовувати, щоб отримати зв'язок між стимулом і майбутньою винагородою.

За спостереженнями, клітини дофаміну поводяться схожим чином. В одному з експериментів замірювання дофамінових клітин проводили під час навчання мавпи асоціюванню стимулів з винагородою в вигляді соку. Спочатку клітини дофаміну збільшували швидкість спрацьовування, якщо мавпі давали сік, вказуючи на різницю в очікуваних і фактичних винагородах. З часом це збільшення віддачі поширилося на найраніший стимул, що стабільно призводив до винагороди. Після того, як мавпа була повністю навчена, швидкість віддачі не збільшувалась після надання очікуваної нагороди. Згодом активація дофамінових клітин сповільнилася нижче нормальної активації, коли очікувана винагорода не була отримана. Це схоже на те, як функція помилки в ЧР навчанні використовується для навчання з підкріпленням.

Потенційний зв'язок між цією моделлю та неврологічною функцією ініціював дослідження, в яких намагалися пояснити численні аспекти поведінкових досліджень за допомогою часових різниць. Його також використовували для вивчення таких розладів, як шизофренія або наслідків фармакологічного регулювання дофаміну на навчання.

Див. також

• Q-навчання
• SARSA
• Модель Рескорла-Вагнера
• PVLV