Обирання ознак

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

В машинному навчанні та статистиці обира́ння озна́к, відоме також як обира́ння змі́нних, обира́ння атрибу́тів та обира́ння підмножини́ змі́нних (англ. feature selection, variable selection, attribute selection, variable subset selection) — це процес обирання підмножини доречних ознак (змінних, провісників) для використання в побудові моделі. Методики обирання ознак застосовують із декількома цілями:

• спрощення моделей, щоби зробити їх легшими для інтерпретування дослідниками/користувачами,
• скорочення тривалостей тренування,
• уникання прокляття розмірності,
• покращення узагальнення шляхом зниження перенавчання (формально, зниження дисперсії).

Центральною передумовою при застосуванні методики обирання ознак є те, що дані містять деякі ознаки, що є або надлишковими, або недоречними, і тому їх може бути усунено без спричинення значної втрати інформації. «Надлишкові» та «недоречні» є двома різними поняттями, оскільки одна доречна ознака може бути надлишковою в присутності іншої доречної ознаки, з якою вона сильно корелює.

Методики обирання ознак слід відрізняти від виділяння ознак. Виділяння ознак створює нові ознаки з функцій від первинних ознак, тоді як обирання ознак повертає підмножину ознак. Методики обирання ознак часто використовують у тих областях, де є багато ознак, і порівняно мало зразків (або точок даних). До споконвічних випадків застосування обирання ознак належать аналіз писаних текстів та даних ДНК-мікрочипів, де є багато тисяч ознак, і лише від декількох десятків до сотень зразків.

Введення

Алгоритм обирання ознак можливо розглядати як поєднання методики пошуку для пропонування нових підмножин ознак разом із мірою оцінки, яка встановлює бали різним підмножинам ознак. Найпростішим алгоритмом є перевіряти кожну можливу підмножину ознак, шукаючи таку, яка мінімізує рівень похибки. Це є вичерпним пошуком цим простором, і є обчислювально непіддатливим для будь-яких множин ознак, крім найменших. Вибір оцінювальної метрики сильно впливає на алгоритм, і саме ці оцінювальні метрики відрізняють три основні категорії алгоритмів пошуку ознак: обгорткові, фільтрові та вбудовані методи.

• Обгорткові методи для встановлення балів підмножинам ознак використовують передбачувальну модель. Кожну нову підмножину використовують для тренування моделі, яку перевіряють на притриманій множині. Підрахунок кількості помилок, зроблених на цій притриманій множині (рівень похибки моделі) дає бал цієї підмножини. Оскільки обгорткові методи тренують нову модель для кожної підмножини, вони є дуже обчислювально напруженими, але зазвичай пропонують множину ознак із найкращою продуктивністю для того окремого типу моделі.
• Фільтрові методи для встановлення балів підмножинам ознак замість рівня похибки використовують міру-заступницю. Цю міру обирають такою, щоби вона була швидкою, але все ще схоплювала корисність множини ознак. До поширених мір належать взаємна інформація, поточкова взаємна інформація, коефіцієнт кореляції Пірсона, алгоритми на основі Relief та внутрішньо/міжкласова відстань або бали критеріїв значущості для кожної комбінації клас/ознака. Фільтри зазвичай є менш напруженими обчислювально за обгортки, але вони пропонують набір ознак, що не налаштовано на конкретний тип передбачувальної моделі. Цей брак налаштування означає, що набір ознак від фільтра є загальнішим за набір від обгортки, зазвичай даючи нижчу передбачувальну продуктивність, ніж обгортка. Проте такий набір ознак не містить припущень передбачувальної моделі, і тому є кориснішим для розкриття взаємозв'язків між ознаками. Багато фільтрів пропонують ранжування ознак замість явної найкращої підмножини ознак, а точку відсікання в рангу обирають за допомогою перехресного затверджування. Фільтрові методи також застосовували як передобробний етап для обгорткових методів, роблячи можливим застосування обгорток до більших задач. Одним з інших популярних підходів є алгоритм рекурсивного усунення ознак (англ. Recursive Feature Elimination), зазвичай застосовуваний з методом опорних векторів для повторної побудови моделі та усунення ознак з низькими ваговими коефіцієнтами.
• Вбудовані методи є всеосяжною групою методик, що виконують обирання ознак як частину процесу побудови моделі. Примірником цього підходу є метод побудови лінійних моделей LASSO, який штрафує коефіцієнти регресії штрафом L1, скорочуючи багато з них до нуля. Будь-які ознаки, що мають ненульові коефіцієнти регресії, є «обраними» алгоритмом LASSO. До покращень LASSO належать Bolasso, яке бутстрепує вибірки,, еластично-сіткова регуляризація, яка поєднує штраф L1 LASSO із штрафом L2 гребеневої регресії, та FeaLect, яке встановлює бали всім ознакам на основі комбінаторного аналізу коефіцієнтів регресії. Ці підходи з погляду обчислювальної складності тяжіють до знаходження між фільтрами та обгортками.

У традиційному регресійному аналізі найпопулярнішим видом обирання ознак є поетапна регресія, яка є обгортковою методикою. Це жадібний алгоритм, що під час кожного раунду додає найкращу ознаку (або видаляє найгіршу). Головним питанням у керуванні є вирішування, коли зупинити алгоритм. У машинному навчанні це зазвичай здійснюють за допомогою перехресного затверджування. У статистиці деякі критерії є оптимізованими. Це призводить до проблеми, притаманної вкладеності. Було досліджено надійніші методи, такі як гілки і межі, та кусково-лінійна мережа.

Обирання підмножин

Обирання підмножини оцінює на придатність підмножину ознак як групу. Алгоритми обирання підмножин можливо розділити на обгорткові, фільтрові та вбудовані методи. Обгорткові використовують пошуковий алгоритм для пошуку простором можливих ознак, і оцінки кожної підмножини запуском моделі на ній. Обгортки можуть бути обчислювально витратними, і мати ризик перенавчитися моделі. Фільтри є схожими на обгортки в підході до пошуку, але замість оцінки проти моделі виводять простіший фільтр. Вбудовані методики є вбудованими в модель, і особливими для моделі.

Багато популярних підходів до пошуку використовують жадібний підйом схилом, що ітеративно оцінює кандидата-підмножину ознак, а потім змінює цю підмножину й оцінює, чи є нова підмножина покращенням відносно старої. Оцінка підмножин вимагає оцінкової метрики, що реалізує градацію підмножин ознак. Вичерпний пошук в загальному випадку є непрактичним, тому на певній визначеній реалізатором (або оператором) точці зупинки підмножину ознак із найвищим знайденим до цієї точки балом обирають задовільною підмножиною ознак. Критерій зупинки залежить від алгоритму; до можливих критеріїв належать: перевищення порогу балом підмножини, перевищення максимального допустимого часу виконання програми тощо.

Альтернативні методики на основі пошуку ґрунтуються на націленому пошуку найкращої проєкції, який знаходить низькорозмірні проєкції даних, що мають високий бал: тоді обирають ознаки, що мають найбільші проєкції в низькорозмірному просторі.

До пошукових підходів належать:

• Вичерпний
• Перший-ліпший
• Імітація відпалу
• Генетичний алгоритм
• Жадібне поступальне обирання (англ. Greedy forward selection)
• Жадібне зворотне усунення (англ. Greedy backward elimination)
• Метод рою часток
• Націлений пошук найкращої проєкції
• Пошук врозсип (англ. Scatter Search)
• Пошук змінними околами

Двома популярними фільтровими метриками для задач класифікації є кореляція та взаємна інформація, хоча жодна з них не є справжньою метрикою, або «мірою відстані», в математичному сенсі, оскільки вони не підкоряються нерівності трикутника, і відтак не обчислюють жодної дійсної «відстані» — їх слід було би швидше розглядати як «бали». Ці бали обчислюють між ознаками-кандидатами (або наборами ознак) та бажаною категорією виходу. Проте існують і справжні метрики, що є простою функцією взаємної інформації; див. тут.

До інших доступних фільтрових метрик належать:

• Віддільність класів (англ. class separability)
  • Імовірність похибки (англ. error probability)
  • Міжкласова відстань (англ. inter-class distance)
  • Імовірнісна відстань (англ. probabilistic distance)
  • Інформаційна ентропія
• Обирання ознак на основі узгодженості (англ. consistency-based feature selection)
• Обирання ознак на основі кореляції (англ. correlation-based feature selection)

Критерій оптимальності

Обирання критерію оптимальності є складним, оскільки в завдання обирання ознак є кілька цілей. Багато поширених критеріїв включають міру точності, штрафовану кількістю обраних ознак. До прикладів належать інформаційний критерій Акаіке (ІКА, англ. AIC) та C_p Меллоуза, що мають штраф у $2$ для кожної доданої ознаки. ІКА ґрунтується на теорії інформації, й практично виводиться з принципу максимуму ентропії.

Іншими критеріями є баєсів інформаційний критерій (БІК, англ. BIC), що використовує штраф у ${\sqrt {\log {n}}}$ для кожної доданої ознаки, принцип мінімальної довжини опису (МДО, англ. MDL), що асимптотично використовує ${\sqrt {\log {n}}}$, Бонферроні / КРР (англ. RIC), який використовує ${\sqrt {2\log {p}}}$, обирання ознак максимальної залежності (англ. maximum dependency feature selection) та ряд нових критеріїв, обґрунтованих рівнем хибного виявляння (англ. false discovery rate, FDR), який використовує щось близьке до ${\sqrt {2\log {\frac {p}{q}}}}$. Для обирання найвідповіднішої множини ознак можна також використовувати й критерій максимальної ентропійної швидкості.

Навчання структури

Фільтрове обирання ознак є окремим випадком загальнішої парадигми, що називають навчанням структури. Обирання ознак знаходить доречний набір ознак для конкретної цільової змінної, тоді як навчання структури знаходить взаємозв'язки між усіма змінними, зазвичай виражаючи ці взаємозв'язки як граф. Найпоширеніші алгоритми навчання структури виходять із того, що дані було породжено баєсовою мережею, і тому структурою є орієнтована графова модель. Оптимальним розв'язком задачі фільтрового обирання ознак є марковське покриття цільового вузла, і в баєсовій мережі існує єдине марковське покриття для кожного вузла.

Механізми обирання ознак на основі теорії інформації

Існують різні механізми обирання ознак, що для оцінювання різних ознак використовують взаємну інформацію. Вони зазвичай використовують один і той же алгоритм:

1. Обчислити взаємну інформацію як оцінку між усіма ознаками ($f_{i}\in F$) та цільовим класом ( $c$ )
2. Обрати ознаку з найвищим балом (наприклад, $argmax_{f_{i}\in F}(I(f_{i},c))$), і додати її до набору обраних ознак ($S$)
3. Обчислити похідну оцінку, яку може бути виведено із взаємної інформації
4. Обрати ознаку з найвищим балом, і додати її до набору обраних ознак (наприклад, $argmax_{f_{i}\in F}(I_{derived}(f_{i},c))$ )
5. Повторювати 3. та 4., допоки не буде обрано певне число ознак (наприклад, $|S|=l$ )

Найпростіший підхід як цю «похідну» оцінку використовує власне взаємну інформацію.

Проте існують різні підходи, що намагаються знижувати надлишковість серед ознак.

Обирання ознак мінімальної-надлишковості-максимальної-доречності (mRMR)

Пен та ін. запропонували метод обирання ознак, що може використовувати для обирання ознак або взаємну інформацію, кореляцію, або відстань/бали схожості. Мета полягає у штрафуванні доречності (англ. relevancy) ознаки її надлишковістю (англ. redundancy) в присутності інших обраних ознак. Доречність набору ознак S для класу c визначають усередненим значенням усіх значень взаємної інформації між окремою ознакою f_i та класом c таким чином:

$D(S,c)={\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)$.

Надлишковістю всіх ознак у множині S є усереднене значення всіх значень взаємної інформації між ознакою f_i та ознакою f_j:

$R(S)={\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})$

Критерій мінімальної-надлишковості-максимальної-доречності (англ. minimum-redundancy-maximum-relevance, mRMR) є поєднанням двох наведених вище мір, і його визначено наступним чином:

$\mathrm {mRMR} =\max _{S}\left[{\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)-{\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].$

Припустімо, що є n ознак повної множини. Нехай x_i буде індикаторною функцією членства ознаки f_i в множині, такою, що x_i=1 показує наявність, а x_i=0 показує відсутність ознаки f_i в глобально оптимальній множині ознак. Нехай $c_{i}=I(f_{i};c)$, а $a_{ij}=I(f_{i};f_{j})$. Наведене вище може бути записано як задачу оптимізації:

$\mathrm {mRMR} =\max _{x\in \{0,1\}^{n}}\left[{\frac {\sum _{i=1}^{n}c_{i}x_{i}}{\sum _{i=1}^{n}x_{i}}}-{\frac {\sum _{i,j=1}^{n}a_{ij}x_{i}x_{j}}{(\sum _{i=1}^{n}x_{i})^{2}}}\right].$

Алгоритм mRMR є наближенням теоретично оптимального максимально-залежнісного алгоритму обирання ознак, який максимізує взаємну інформацію між спільним розподілом обраних ознак та змінною класифікації. Оскільки mRMR наближує задачу комбінаторної оцінки рядом набагато менших задач, кожна з яких включає лише дві змінні, він таким чином використовує попарні спільні ймовірності, що є надійнішими. В деяких ситуаціях цей алгоритм може недооцінювати корисність ознак, оскільки він не має способу вимірювати взаємодії між ознаками, що можуть збільшувати доречність. Це може призводити до поганої продуктивності, коли ознаки є марними поодинці, але корисними у поєднанні (патологічний випадок трапляється, коли клас є функцією парності ознак). В цілому цей алгоритм є ефективнішим (у термінах кількості потрібної інформації) за теоретично оптимальне максимально-залежнісне обирання, хоча й виробляє набір ознак із невеликою попарною надлишковістю.

mRMR є примірником більшого класу фільтрових методів, які шукають компроміс між доречністю та надлишковістю відмінними шляхами.

Обирання ознак квадратичним програмуванням

mRMR є типовим прикладом приростової жадібної стратегії обирання ознак: щойно ознаку було обрано, її не може бути виключено на пізнішому етапі. І хоча mRMR може бути оптимізовано застосуванням рухливого пошуку (англ. floating search) для скорочування деяких ознак, його також може бути переформульовано як задачу глобальної оптимізації квадратичного програмування (англ. quadratic programming feature selection, QPFS) таким чином:

$\mathrm {QPFS} :\min _{\mathbf {x} }\left\{\alpha \mathbf {x} ^{T}H\mathbf {x} -\mathbf {x} ^{T}F\right\}\quad$ т. щ. $\ \sum _{i=1}^{n}x_{i}=1,x_{i}\geq 0$

де $F_{n\times 1}=[I(f_{1};c),\ldots ,I(f_{n};c)]^{T}$ є вектором доречності ознак, за припущення, що загалом є n ознак, $H_{n\times n}=[I(f_{i};f_{j})]_{i,j=1\ldots n}$ є матрицею попарної надлишковості ознак, а $\mathbf {x} _{n\times 1}$ представляє відносні ваги ознак. QPFS розв'язується за допомогою квадратичного програмування. Нещодавно було показано, що QPFS має схильність до ознак із меншою ентропією, тому що воно ставить член самонадлишковості ознаки $I(f_{i};f_{i})$ на діагональ H.

Умовна взаємна інформація

Інша оцінка, що виводять із взаємної інформації, ґрунтується на умовній доречності:

$\mathrm {SPEC_{CMI}} :\max _{\mathbf {x} }\left\{\mathbf {x} ^{T}Q\mathbf {x} \right\}\quad$ т. щ. $\ \|\mathbf {x} \|=1,x_{i}\geq 0$

де $Q_{ii}=I(f_{i};c)$, а $Q_{ij}=I(f_{i};c|f_{j}),i\neq j$.

Перевага SPEC_CMI полягає в тому, що воно може розв'язуватися просто знаходженням домінантного власного вектора Q, і тому є дуже масштабовуваним. Також SPEC_CMI обробляє взаємодії ознак другого порядку.

Спільна взаємна інформація

У дослідженні різних балів Браун та ін. рекомендували як добрий бал для обирання ознак спільну взаємну інформацію. Цей бал намагається знайти ознаку, що додає найбільше нової інформації до вже відомих ознак, щоби уникати надмірності. Цей бал сформульовано наступним чином:

${\begin{aligned}JMI(f_{i})&=\sum _{f_{j}\in S}(I(f_{i};c)+I(f_{i};c|f_{j}))\\&=\sum _{f_{j}\in S}{\bigl [}I(f_{j};c)+I(f_{i};c)-{\bigl (}I(f_{i};f_{j})-I(f_{i};f_{j}|c){\bigr )}{\bigr ]}\end{aligned}}$

Цей бал використовує умовну взаємну інформацію для оцінювання надмірності між вже обраними ознаками ($f_{j}\in S$) та досліджуваною ознакою ($f_{i}$).

Обирання ознак на основі LASSO критерію незалежності Гільберта-Шмідта

Для даних із високою розмірністю та малою вибіркою (наприклад, розмірність > 10⁵, а кількість зразків < 10³) корисним є LASSO критерію незалежності Гільберта-Шмідта (англ. Hilbert-Schmidt Independence Criterion Lasso, HSIC Lasso). Задачу оптимізації HSIC Lasso задають як

$\mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\sum _{k,l=1}^{n}x_{k}x_{l}{\mbox{HSIC}}(f_{k},f_{l})-\sum _{k=1}^{n}x_{k}{\mbox{HSIC}}(f_{k},c)+\lambda \|\mathbf {x} \|_{1},\quad$ т. щ. $\ x_{1},\ldots ,x_{n}\geq 0,$

де ${\mbox{HSIC}}(f_{k},c)={\mbox{tr}}({\bar {\mathbf {K} }}^{(k)}{\bar {\mathbf {L} }})$ є мірою незалежності на ядровій основі, що називають (емпіричним) критерієм незалежності Гільберта-Шмідта (англ. Hilbert-Schmidt independence criterion, HSIC), ${\mbox{tr}}(\cdot )$ позначає слід, $\lambda$ є регуляризаційним параметром, ${\bar {\mathbf {K} }}^{(k)}=\mathbf {\Gamma } \mathbf {K} ^{(k)}\mathbf {\Gamma }$ та ${\bar {\mathbf {L} }}=\mathbf {\Gamma } \mathbf {L} \mathbf {\Gamma }$ є центрованими матрицями Ґрама входу та виходу, $K_{i,j}^{(k)}=K(u_{k,i},u_{k,j})$ та $L_{i,j}=L(c_{i},c_{j})$ є матрицями Ґрама, $K(u,u')$ та $L(c,c')$ є ядровими функціями, $\mathbf {\Gamma } =\mathbf {I} _{m}-{\frac {1}{m}}\mathbf {1} _{m}\mathbf {1} _{m}^{T}$ є центрувальною матрицею, $\mathbf {I} _{m}$ є m-вимірною одиничною матрицею (m — кількість зразків), $\mathbf {1} _{m}$ є m-вимірним вектором з усіма одиницями, а $\|\cdot \|_{1}$ є $\ell _{1}$-нормою. HSIC завжди набуває невід'ємного значення, і є нулем тоді й лише тоді, коли дві випадкові змінні є статистично незалежними при використанні універсального відтворювального ядра, такого як ґаусове.

HSIC Lasso також може бути записано як

$\mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\left\|{\bar {\mathbf {L} }}-\sum _{k=1}^{n}x_{k}{\bar {\mathbf {K} }}^{(k)}\right\|_{F}^{2}+\lambda \|\mathbf {x} \|_{1},\quad$ т. щ. $\ x_{1},\ldots ,x_{n}\geq 0,$

де $\|\cdot \|_{F}$ є нормою Фробеніуса. Ця задача оптимізації є задачею LASSO, і відтак її можливо ефективно розв'язувати передовим розв'язувачем LASSO, таким як подвійний метод розширеного Лагранжіана.

Кореляційне обирання ознак

Міра кореляційного обирання ознак (англ. Correlation Feature Selection, CFS) оцінює підможину ознак на основі наступної гіпотези: «Добрі підмножини ознак містять ознаки, високо корельовані з класифікацією, але некорельовані між собою». Наступне рівняння задає якість підмножини ознак S, що складається із k ознак:

$\mathrm {Merit} _{S_{k}}={\frac {k{\overline {r_{cf}}}}{\sqrt {k+k(k-1){\overline {r_{ff}}}}}}.$

Тут ${\overline {r_{cf}}}$ є усередненим значенням усіх кореляцій ознака-класифікація, а ${\overline {r_{ff}}}$ є усередненим значенням усіх кореляцій ознака-ознака. Критерій CFS визначають наступним чином:

$\mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{1}})}}}\right].$

Змінні $r_{cf_{i}}$ та $r_{f_{i}f_{j}}$ називають кореляціями, але вони не обов'язково є коефіцієнтами кореляції Пірсона або ρ Спірмена. Дисертація доктора Марка Голла (англ. Mark Hall) не використовує жодного з цих, але використовує три відмінні міри пов'язаності, мінімальну довжину опису (англ. minimum description length, MDL), симетричну невизначеність та relief.

Нехай x_i буде індикаторною функцією членства ознаки f_i; тоді наведене вище може бути переписано як задачу оптимізації:

$\mathrm {CFS} =\max _{x\in \{0,1\}^{n}}\left[{\frac {(\sum _{i=1}^{n}a_{i}x_{i})^{2}}{\sum _{i=1}^{n}x_{i}+\sum _{i\neq j}2b_{ij}x_{i}x_{j}}}\right].$

Комбінаторні задачі вище є, фактично, задачами змішаного двійкового лінійного програмування, які можливо розв'язувати застосуванням алгоритмів гілок та меж.

Регуляризовані дерева

Ознаки з дерева або ансамблю дерев рішень виявляються надлишковими. Для обирання підмножини ознак можливо застосовувати нещодавній метод, названий регуляризованим деревом. Регуляризовані дерева здійснюють штрафування, використовуючи для розділення поточного вузла змінну, подібну до змінних, вибраних на попередніх вузлах дерева. Регуляризовані дерева потребують побудови лише однієї деревної моделі (або однієї моделі ансамблю дерев), і, отже, є обчислювально ефективними.

Регуляризовані дерева природно обробляють числові та категорійні ознаки, взаємодії та нелінійності. Вони є інваріантними відносно масштабів (одиниць виміру) атрибутів та нечутливими до викидів, і, таким чином, вимагають незначної попередньої обробки даних, такої як нормалізація. Одним із типів регуляризованих дерев є регуляризований випадковий ліс (РВЛ, англ. Regularized random forest, RRF). Цей керований РВЛ є розширеним РВЛ, що керується балами важливості зі звичайного випадкового лісу.

Огляд метаевристичних методів

Метаевристика є загальним описом алгоритму, присвяченого розв'язанню складних (зазвичай, NP-складних) задач оптимізації, для яких не існує класичних методів розв'язання. Загалом, метаевристика є стохастичним алгоритмом, який веде до досягнення глобального оптимуму. Існує багато метаевристик, від простого локального пошуку, і до алгоритму складного глобального пошуку.

Головні принципи

Методи обирання ознак зазвичай представляють трьома класами на основі того, як вони поєднують алгоритм обирання та побудову моделі.

Фільтровий метод

Фільтровий метод обирання ознак

Методи фільтрового типу обирають змінні незалежно від моделі. Вони ґрунтуються лише на загальних ознаках, таких як кореляція з передбачуваною змінною. Фільтрові методи придушують найменш цікаві змінні. Інші змінні будуть частиною моделі класифікації або регресії, яку застосовують для класифікування або передбачення даних. Ці методи є особливо ефективними з точки зору обчислювального часу, та стійкими до перенавчання.

Фільтрові методи схильні обирати надлишкові змінні, коли вони не беруть до уваги взаємовідношення між змінними. Проте більш продумані функції, такі як алгоритм FCBF, намагаються й мінімізують цю проблему шляхом усування сильно корельованих між собою змінних.

Обгортковий метод

Обгортковий метод обирання ознак

Обгорткові методи оцінюють підмножини змінних, що дозволяє, на відміну від фільтрових підходів, виявляти можливі взаємодії між змінними. Двома головними недоліками цих методів є:

• Підвищення ризику перенавчання за недостатньої кількості спостережень.
• Значний обчислювальний час за великої кількості змінних.

Вбудований метод

Вбудований метод обирання ознак

Нещодавно було запропоновано вбудовані методи, які намагаються поєднувати переваги обох попередніх методів. Алгоритм навчання отримує перевагу від свого власного процесу обирання змінних, і виконує обирання ознак та класифікування одночасно, як це робить алгоритм FRMT.

Застосування метаевристик обирання ознак

Це огляд застосувань метаевристик обирання ознак, що останнім часом використовували в літературі. Цей огляд було реалізовано Дж. Геммон (англ. J. Hammon) в її дисертації 2013 року.

Застосування	Алгоритм	Підхід	класифікатор	Оцінна функція	Посилання
ОНП	Обирання ознак за схожістю	Фільтр		r2	Phuong 2005
ОНП	Генетичний алгоритм	Обгортка	Дерево рішень	Точність класифікації (10-кратна)	Shah 2004
ОНП	Підйом схилом	Фільтр + обгортка	Наївний баєсів	Predicted residual sum of squares	Long 2007
ОНП	Імітація відпалу		Наївний баєсів	Точність класифікації (5-кратна)	Ustunkar 2011
Мовна сегментація	Мурашиний алгоритм	Обгортка	Штучна нейронна мережа	СКП	Al-ani 2005 [джерело?]
Маркетинг	Імітація відпалу	Обгортка	Регресія	ІКА, r2	Meiri 2006
Економіка	Імітація відпалу, генетичний алгоритм	Обгортка	Регресія	БІК	Kapetanios 2005
Спектральна маса	Генетичний алгоритм	Обгортка	Множинна лінійна регресія, частинні найменші квадрати	Коренева середньоквадратична похибка передбачення	Broadhurst 2007
Спам	Двійковий МРЧ + мутація	Обгортка	Дерево рішень	Зважені витрати	Zhang 2014
Мікрочипи	Табу-пошук + МРЧ	Обгортка	Метод опорних векторів, k найближчих сусідів	Евклідова відстань	Chuang 2009
Мікрочипи	МРЧ + генетичний алгоритм	Обгортка	Метод опорних векторів	Точність класифікації (10-кратна)	Alba 2007
Мікрочипи	Генетичний алгоритм + ітеративний локальний пошук	Вбудований	Метод опорних векторів	Точність класифікації (10-кратна)	Duval 2009
Мікрочипи	Ітеративний локальний пошук	Обгортка	Регресія	Апостеріорна ймовірність	Hans 2007
Мікрочипи	Генетичний алгоритм	Обгортка	k найближчих сусідів	Точність класифікації (перехресне затверджування з виключенням по одному)	Jirapech-Umpai 2005
Мікрочипи	Гібридний генетичний алгоритм	Обгортка	k найближчих сусідів	Точність класифікації (перехресне затверджування з виключенням по одному)	Oh 2004
Мікрочипи	Генетичний алгоритм	Обгортка	Метод опорних векторів	Чутливість і специфічність	Xuan 2011
Мікрочипи	Генетичний алгоритм	Обгортка	Повноспарований метод опорних векторів	Точність класифікації (перехресне затверджування з виключенням по одному)	Peng 2003
Мікрочипи	Генетичний алгоритм	Вбудований	Метод опорних векторів	Точність класифікації (10-кратна)	Hernandez 2007
Мікрочипи	Генетичний алгоритм	Гібридний	Метод опорних векторів	Точність класифікації (перехресне затверджування з виключенням по одному)	Huerta 2006
Мікрочипи	Генетичний алгоритм		Метод опорних векторів	Точність класифікації (10-кратна)	Muni 2006
Мікрочипи	Генетичний алгоритм	Обгортка	Метод опорних векторів	EH-DIALL, CLUMP	Jourdan 2004
Хвороба Альцгеймера	t-перевірка Велша	Фільтр	Ядровий метод опорних векторів	Точність класифікації (10-кратна)	Zhang 2015
Комп'ютерне бачення	Нескінченне обирання ознак	Фільтр	Незалежний	Усереднена чіткість, ППК РХП	Roffo 2015
Мікрочипи	ВО центральністю власного вектора	Фільтр	Незалежний	Усереднена чіткість, Точність, ППК РХП	Roffo & Melzi 2016
XML	Симетрична Тау (англ. ST)	Фільтр	Структурна асоціативна класифікація	Точність, Покриття	Shaharanee & Hadzic 2014

Обирання ознак, вбудоване до алгоритмів навчання

Деякі алгоритми навчання виконують обирання ознак як частину своєї загальної роботи. До них належать:

• Методики $l_{1}$-регуляризації, такі як розріджена регресія, LASSO, та $l_{1}$-МОВ
• Регуляризовані дерева, наприклад, регуляризований випадковий ліс, втілений у пакеті RRF
• Дерева рішень
• Меметичний алгоритм
• Випадковий поліноміальний логіт (англ. Random multinomial logit, RMNL)
• Автокодувальні мережі з рівнем — вузьким місцем
• Субмодулярне обирання ознак
• Обирання ознак на основі локального навчання. В порівнянні з традиційними методами, він не передбачає жодного евристичного пошуку, може легко впоруватися з полікласовими задачами, і працює як для лінійних, так і для нелінійних задач. Він також підтримується сильним теоретичним підґрунтям. Чисельні експерименти показали, що цей метод може досягати близького до оптимального розв'язку навіть коли дані містять понад мільйон недоречних ознак.

Див. також

• Кластерний аналіз
• Добування даних
• Зниження розмірності
• Виділяння ознак
• Оптимізація гіперпараметрів
• Relief (обирання ознак)

Література

• Harrell, F. (2001), Regression Modeling Strategies, Springer (англ.)
• Liu, Huan; Motoda, Hiroshi (1998), Feature Selection for Knowledge Discovery and Data Mining, Springer (англ.)
• Special Issue on Variable and Feature Selection —Journal of Machine Learning Research (2003) (англ.)
• An Introduction to Variable and Feature Selection (огляд) (англ.)
• Toward integrating feature selection algorithms for classification and clustering (огляд) (англ.)
• Efficient Feature Subset Selection and Subset Size Optimization (огляд 2010 року) (англ.)
• "Searching for Interacting Features" —Zhao & Liu, представлена на IJCAI (2007) (англ.)

Посилання

• Пакет обирання ознак, Університет штату Аризона (код Matlab)
• Змагання NIPS 2003 року (див. також NIPS)
• Реалізація наївного баєсового класифікатора із обиранням ознак на Visual Basic (включає виконуваний та джерельний код)
• Програма обирання ознак мінімальної-надлишковості-максимальної-доречності (minimum-redundancy-maximum-relevance, mRMR)
• FEAST (відкриті алгоритми обирання ознак на C та MATLAB)
• Automated feature selection with boruta. kaggle.com (англ.). Процитовано 4 березня 2023.