Навчання за набором зразків
У машинному навчанні навчання за набором зразків (ННЗ) — це тип керованого навчання. Замість того, щоб отримувати множину екземплярів, кожен з яких розмічений, учень отримує множину мічених мішків, кожен з яких містить багато екземплярів. У простому випадку двійкової класифікації мішок може бути позначений негативним, якщо всі екземпляри в ньому негативні. З іншого боку, мішок позначається позитивним, якщо в ньому є хоча б один екземпляр, який є позитивним. Для множини мішків із мітками, учень намагається або (i) вивести концепцію, яка правильно позначить окремі екземпляри, або (ii) навчитися маркувати мішки, без виведення цього поняття.
Бабенко (2008)[1] наводить простий приклад для ННЗ. Уявіть кілька людей, і кожен з них має брелок з ключами. Деякі з цих людей можуть увійти до певної кімнати, а деякі — ні. Завдання полягає в тому, щоб передбачити, чи певний ключ або певний брелок дозволить Вам потрапити до цієї кімнати. Для вирішення цієї проблеми нам потрібно знайти точний ключ, який є спільним для всіх «позитивних» брелоків. Якщо ми можемо правильно визначити цей ключ, ми також можемо правильно класифікувати будь-який брелок — він буде ідентифікований як позитивний, якщо він містить необхідний ключ, або негативний, якщо такого немає.
Машинне навчання[ред. | ред. код]
Залежно від типу та варіації даних для навчання, машинне навчання може бути умовно класифіковано на три частини: кероване навчання, некероване навчання та навчання з підкріпленням. Навчання за набором зразків (ННЗ) підпадає під визначення керованого навчання, де кожен навчальний екземпляр має мітку — або дискретну або дійснозначну. ННЗ розглядає проблеми з неповними знаннями міток у навчальних наборах. Точніше, у навчанні за набором зразків навчальний набір складається з міток «мішка», кожен з яких є сукупністю нерозмічених екземплярів. Мішок позначається як позитивний, якщо хоча б один екземпляр у ньому є позитивним, і позначається негативно, якщо всі екземпляри в ньому негативні. Мета ННЗ — передбачити розмітку для нових мішків, які раніше не зустрічались.
Історія[ред. | ред. код]
Кєлєр (Keeler) та ін.[2] у своїй роботі на початку 1990-х вперше досліджували ННЗ. Термін навчання за набором зразків був введений у середині 1990-х, Дітріхом (Dietterich) та іншими, коли вони досліджували проблему прогнозування активності медичних препаратів[3]. Вони намагалися створити навчальні системи, які могли б передбачити, чи пасує нова молекула для виготовлення якогось препарату, чи ні, проаналізувавши колекцію відомих молекул. Молекули можуть мати багато змінних взаємовиключних низькоенергетичних станів, але лише одна, або декілька з них, пасують для виготовлення препарату. Проблема виникла через те, що вчені могли лише визначити, чи пасує молекула чи ні, але вони не могли точно сказати, який з її низькоенергетичних станів відповідає за це.
Одним із способів вирішення проблеми використовував кероване навчання та розглядав всі низькоенергетичні форми молекули, яка пасує, у якості позитивних випадків навчання, тоді як усі низькоенергетичні форми молекул, які не пасують, розглядаються як негативні випадки. Дітріх з групою авторів показали, що такий метод матиме високий хибний позитивний шум від усіх низькоенергетичних форм, які неправильно позначаються як позитивні, і таким чином не був дуже корисним[3]. Їх підхід полягав у тому, щоб розцінювати кожну молекулу як мічений мішок, а всі альтернативні низькоенергетичні форми цієї молекули як екземпляри в мішку, без окремих міток. Таким чином формулювалось навчання за набором зразків.
Дітерх та ін. для навчання за набором зразків запропонували алгоритм з використанням прямокутників сторони яких паралельними осям (англ. axis-parallel rectangle, APR)[3]. Алгоритм шукає відповідні прямокутники зі сторонами паралельними вісям, які побудовані шляхом сполучення ознак. Автори алгоритму перевіряли його роботу на наборі даних Musk[4], який є конкретними тестовими даними прогнозування активності медичних препаратів і найбільш популярним еталоном у навчанні з кількома примірниками. Алгоритм APR досягає найкращого результату, але, варто враховувати, що він був розроблений з орієнтацією на набір даних Musk.
Проблема пошуку медичних препаратів, не єдина, яку розв'язують навчанням за набором зразків. У 1998 році Марон і Ратан застосували навчання за набором зразків до класифікації сцен в машинному зорі та розробили каркас Diverse Density[5]. Для заданого зображення, зразком вважається один або декілька його фрагментів фіксованого розміру, а мішком зі зразками є ціле зображення. Зображення позначається позитивним, якщо воно містить цільову сцену — наприклад, водоспад — і негативно в іншому випадку. Навчання за набором зразків може бути використане для вивчення властивостей фрагментів зображення, які характеризують цільову сцену. Відтепер цей каркас використовують у широкому спектрі додатків, починаючи від навчання концепції зображення та категоризації тексту, до прогнозування фондового ринку.
Примітки[ред. | ред. код]
- ↑ Babenko, Boris. «Multiple instance learning: algorithms and applications.» View Article PubMed/NCBI Google Scholar (2008).
- ↑ Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.
- ↑ а б в Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.
- ↑ C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases [недоступне посилання з 01.02.2018], Department of Information and Computer Science, University of California, Irvine, CA, 1998.
- ↑ O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.