T-розподілене вкладення стохастичної близькості

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Частина з циклу Статистика
Унаочнювання даних
Головні виміри Розвідувальний аналіз Інформаційний дизайн Інтерактивне унаочнення даних Описова статистика Висновувальна статистика Статистичний графік Діаграма залежності Аналіз даних Інфографіка Наука про дані
Лідери думки Джон Тьюкі Едвард Тафті Гедлі Уікгем
Типи інформаційних графіків Лінійна діаграма Стовпчикова діаграма Гістограма Точкова діаграма Коробковий графік Діаграма Парето Секторна діаграма Діаграма з областями Контрольний графік Циклограма Діаграма «стовбур — листя» Картограма Панельна діаграма Іскрографік Таблиця
Пов'язані теми Дані Інформація Великі дані База даних Неінформативні елементи Зір Регресійний аналіз Статистична модель Оманливий графік

T-розподілене вкладення стохастичної близькості (англ. t-distributed Stochastic Neighbor Embedding, t-SNE) — це метод машинного навчання візуалізації даних, розроблений Лоренсом ван дер Маатеном і Джефрі Гінтоном. Це зручний метод нелінійного зниження розмірності шляхом вкладення багатовимірних даних у дво- або тривимірний простір для подальшої візуалізації. Зокрема, він відображає кожну точку багатовимірного простору в дво- або тривимірну точку евклідового простору так, що подібні об'єкти розташовуються поруч, а несхожі об'єкти відповідають віддаленим точкам з високою ймовірністю.

Алгоритм t-SNE складається з двох основних етапів. Спочатку, t-SNE створює розподіл імовірностей по парах багатовимірних об'єктів таким чином, що подібні об'єкти мають високу ймовірність бути вибраними, у той час як несхожі точки мають надзвичайно малу ймовірність бути вибраними разом. Далі, t-SNE визначає подібний розподіл ймовірностей для точок у карті низьковимірного простору та мінімізує розбіжності за відстанню Кульбака–Лейблера між двома розподілами за місцем розташування точок на карті. Зверніть увагу, що хоч оригінальний алгоритм і використовує евклідову відстань між об'єктами, як основну метрику подібності об'єктів, проте, вона може бути змінена при необхідності.

t-SNE використовується для візуалізації в різноманітних застосунках, таких як дослідження по комп'ютерній безпеці, аналізу музики, дослідженнях раку, біоінформатики, та біомедичній обробці сигналів. Він часто використовується для візуалізації високорівневих представлень, отриманих за допомогою штучної нейронної мережі.

Хоча візуалізації отримані за допомогою t-SNE часто використовуються для відображення кластерів, отримане зображення може суттєво залежати від обраної параметризації і тому потрібне глибоке розуміння параметрів, які використовуються для t-SNE. Навіть для некластеризованих даних можуть з'явитись «кластери», що може привести до помилкових висновків. Тим самим, для правильного підбору параметрів і перевірки результатів може бути потрібне інтерактивне дослідження даних. Було продемонстровано, що t-SNE часто здатний відновлювати добре розділені кластери, та зі спеціальним вибором параметрів, він наближається до простої форми спектральної кластеризації.

Деталі

Для даного набору $N$ багатовимірних об'єктів $\mathbf {x} _{1},\dots ,\mathbf {x} _{N}$ t-SNE спочатку обчислює ймовірності $p_{ij}$ пропорційні схожості $\mathbf {x} _{i}$ і $\mathbf {x} _{j}$ наступним чином:

$p_{j\mid i}={\frac {\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{j}\rVert ^{2}/2\sigma _{i}^{2})}{\sum _{k\neq i}\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{k}\rVert ^{2}/2\sigma _{i}^{2})}},$

Ван дер Маатен та Гінтон пояснюють такий вибір відстані наступним чином: «подібність точки даних $x_{j}$ до точки даних $x_{i}$ — це умовна ймовірність, $p_{j|i}$, що $x_{i}$ вибрав би $x_{j}$ як свого сусіда, якби сусіди були обрані пропорційно їх гаусовій густині ймовірності з центром в $x_{i}$.»

$p_{ij}={\frac {p_{j\mid i}+p_{i\mid j}}{2N}}$

Більш того, коли $i=j$, ймовірності дорівнюють нулю: $p_{ij}=0$

Пропускна здатність Гаусового ядра $\sigma _{i}$встановлюється за допомогою методу бісекції так, що перплексивність умовного розподілу дорівнює попередньо визначеній перплексивності. У результаті пропускна здатність адаптується до густини даних: менші значення $\sigma _{i}$ використовуються у більш густих частинах даних.

Через те що Гаусове ядро використовує евклідову відстань $\lVert x_{i}-x_{j}\rVert$, то, у випадку дуже високої розмірності даних, слід мати на увазі ефект прокляття розмірності, коли відстані втрачають здатність до розділення і $p_{ij}$ стають дуже схожими (асимптотично, вони збігаються до константи). Для пом'якшення цього ефекту запропоновано регулювати відстані степеневим перетворенням, спираючись на внутрішню розмірність кожної точки.

t-SNE намагається дізнатись $d$-вимірне відображення $\mathbf {y} _{1},\dots ,\mathbf {y} _{N}$ (де $\mathbf {y} _{i}\in \mathbb {R} ^{d}$), яке відображає подібність $p_{ij}$ наскільки це можливо. З цією метою він вимірює схожість $q_{ij}$ між двома точками відображення $\mathbf {y} _{i}$ та $\mathbf {y} _{j}$ за допомогою аналогічного підходу. Зокрема, $q_{ij}$ визначається як:

$q_{ij}={\frac {(1+\lVert \mathbf {y} _{i}-\mathbf {y} _{j}\rVert ^{2})^{-1}}{\sum _{k\neq l}(1+\lVert \mathbf {y} _{k}-\mathbf {y} _{l}\rVert ^{2})^{-1}}}$

Тут використовується T-розподіл Стьюдента з обважнілим кінцем (з одним ступенем свободи, який є по суті розподілом Коші) для вимірювання подібностей між точками у низьковимірному просторі для того, щоб різнорідні об'єкти були змодельовані далеко один від одного при відображенні. Зверніть увагу, що в даному випадку ми прирівнюємо $q_{ii}=0.$

Координати точок $\mathbf {y} _{i}$ при відображенні визначаються шляхом мінімізації (несиметричної) відмінності по мірі Кульбака–Лейблера розподілу $Q$ від розподілу $P$, тобто:

$KL(P||Q)=\sum _{i\neq j}p_{ij}\log {\frac {p_{ij}}{q_{ij}}}$

Мінімізація розбіжностей Кульбака–Лейблера по точкам $\mathbf {y} _{i}$ здійснюється за допомогою градієнтного спуску. Результатом такої оптимізації є відображення, яке добре зберігає подібність між входовими даними високої розмірності.

Програмне забезпечення

• t-SNE від Лоренса ван дер Маатена https://lvdmaaten.github.io/tsne/ [Архівовано 28 грудня 2018 у Wayback Machine.]
• ELKI містить t-SNE. Див. https://github.com/elki-project/elki/blob/master/elki/src/main/java/de/lmu/ifi/dbs/elki/algorithm/projection/TSNE.java^{[недоступне посилання з жовтня 2019]}

Посилання

• Візуалізація даних за допомогою t-SNE [Архівовано 24 липня 2018 у Wayback Machine.], Google Tech Talk про t-SNE
• Реалізація t-SNE різними мовами програмування [Архівовано 28 грудня 2018 у Wayback Machine.], список посилань підтримує Лоренс ван дер Маатен
• Wattenberg, Martin; Viégas, Fernanda; Johnson, Ian (13 жовтня 2016). How to Use t-SNE Effectively. Distill (англ.). Т. 1, № 10. с. e2. doi:10.23915/distill.00002. ISSN 2476-0757. Архів оригіналу за 3 січня 2021. Процитовано 4 січня 2021.