Розрізнювальна модель

Розрі́знювальні моде́лі (англ. discriminative models), що також називають умо́вними моде́лями (англ. conditional models), є класом моделей, які застосовуються в машинному навчанні для моделювання залежності неспостережуваної змінної $y$ від спостережуваної змінної $x$. В рамках імовірнісної схеми це здійснюється моделюванням умовного розподілу ймовірності $P(y|x)$, який може застосовуватися для передбачення $y$ з $x$.

Розрізнювальні моделі, на противагу до породжувальних, не дозволяють породжувати приклади зі спільного розподілу $x$ та $y$. Проте для таких задач як класифікація та регресія, що не потребують спільного розподілу, розрізнювальні моделі можуть демонструвати чудову продуктивність. З іншого боку, породжувальні моделі є зазвичай гнучкішими за розрізнювальні у вираженні залежностей в складних задачах навчання. До того ж більшість розрізнювальних моделей за своєю природою є керованими, і їх неможливо легко розширити для некерованого навчання. Зрештою вибір між розрізнювальною та породжувальною моделлю диктують особливості конкретного застосування.

Визначення

На відміну від породжувального моделювання, яке вчить спільний розподіл $P(x,y)$, розрізнювальне моделювання навчається $P(y|x)$ або прямому відображенню заданої не спостережуваної (цільової) змінної $x$ в клас міток $y$ в залежності від спостережуваних змінних (тренувальних прикладів). При практичному розпізнаванні об'єктів, $x$, зазвичай, є вектором (наприклад, рядком пікселів або ознаками, отриманими з зображення тощо). З ймовірнісної точки зору, це досягається моделювання умовної ймовірності $P(y|x)$, що використовується для прогнозування $y$ по $x$. Зауважимо, що є різниця між умовною моделлю та дискримінаційною моделлю, хоча найчастіше вони класифікуються як дискримінаційна модель.

Чиста розрізнювальна модель порівнянно з умовною моделлю

Умовна модель моделює умовний ймовірнісний розподіл, а розрізнювальна модель прагне оптимізувати відображення вхідних даних навколо найбільш подібних тренувальних даних.

Приклади

Приклади розрізнювальних моделей, що використовуються в машинному навчанні, включать: логістичну регресію, один із типів узагальненої лінійної регресії, що застосовується для передбачення двійкових або категорійних виходів (відомий також як максимально-ентропійні класифікатори); метод опорних векторів, підсилювання (метаалгоритм), умовні випадкові поля, лінійну регресію, нейронні мережі тощо.

Див. також

• Породжувальна модель