Відмінності між версіями «Навчання за набором зразків»

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
[перевірена версія][перевірена версія]
м (Vlasenko D перейменував сторінку з Користувач:Vlasenko D/Навчання за набором зразків на Навчання за набором зразків: переніс в основний простір)
(→‎Історія: стиль)
 
Рядок 8: Рядок 8:
   
 
== Історія ==
 
== Історія ==
Кєлєр (Keeler) та ін.<ref name="Keeler">Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.</ref> у своїй роботі на початку 1990-х вперше досліджували ННЗ. Термін навчання за набором зразків був введений у середині 1990-х, Дітріхом (Dietterich) та іншими, коли вони досліджували проблему прогнозування активності медичних препаратів<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Вони намагалися створити навчальні системи, які могли б передбачити, чи пасує нова молекула для виготовлення якогось препарату, чи ні, проаналізувавши колекцію відомих молекул. Молекули можуть мати багато змінних взаємовиключних низькоенергетичних станів, але лише одна, або деякі з них, пасують для виготовлення препарату. Проблема виникла через те, що вчені могли лише визначити, чи пасує молекула чи ні, але вони не могли точно сказати, який з її низькоенергетичних станів відповідає за це.
+
Кєлєр (Keeler) та ін.<ref name="Keeler">Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.</ref> у своїй роботі на початку 1990-х вперше досліджували ННЗ. Термін навчання за набором зразків був введений у середині 1990-х, Дітріхом (Dietterich) та іншими, коли вони досліджували проблему прогнозування активності медичних препаратів<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Вони намагалися створити навчальні системи, які могли б передбачити, чи пасує нова молекула для виготовлення якогось препарату, чи ні, проаналізувавши колекцію відомих молекул. Молекули можуть мати багато змінних взаємовиключних низькоенергетичних станів, але лише одна, або декілька з них, пасують для виготовлення препарату. Проблема виникла через те, що вчені могли лише визначити, чи пасує молекула чи ні, але вони не могли точно сказати, який з її низькоенергетичних станів відповідає за це.
   
Одним із запропонованих способів вирішити цю проблему було використання керованого навчання та розглядати всі низько енергетичні форми молекули, що пасує, як позитивні випадки навчання, тоді як усі низькоенергетичні форми молекул, які не пасують, як негативні випадки. Дітріх з групою авторів показали, що такий метод матиме високий хибний позитивний шум від усіх низькоенергетичних форм, які неправильно позначаються як позитивні, і таким чином не був дуже корисним<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Їх підхід полягав у тому, щоб розцінювати кожну молекулу як мічений мішок, а всі альтернативні низькоенергетичні форми цієї молекули як екземпляри в мішку, без окремих міток. Таким чином формулювалось навчання за набором зразків.
+
Одним із способів вирішення проблеми використовував кероване навчання та розглядав всі низькоенергетичні форми молекули, яка пасує, у якості позитивних випадків навчання, тоді як усі низькоенергетичні форми молекул, які не пасують, розглядаються як негативні випадки. Дітріх з групою авторів показали, що такий метод матиме високий хибний позитивний шум від усіх низькоенергетичних форм, які неправильно позначаються як позитивні, і таким чином не був дуже корисним<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Їх підхід полягав у тому, щоб розцінювати кожну молекулу як мічений мішок, а всі альтернативні низькоенергетичні форми цієї молекули як екземпляри в мішку, без окремих міток. Таким чином формулювалось навчання за набором зразків.
   
Дітерх та ін. запропонували алгоритм прямокутників зі сторонами паралельними осям (axis-parallel rectangle, APR) для навчання за набором зразків<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Він намагається шукати відповідні прямокутники зі сторонами паралельними вісям, побудовані сполученням ознак. Вони перевірили алгоритм на наборі даних Musk<ref name="Musk">C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases {{Недоступне посилання|date=February 2018}}, Department of Information and Computer Science, University of California, Irvine, CA, 1998.</ref>, який є конкретними тестовими даними прогнозування активності медичних препаратів і найбільш популярним еталоном у навчанні з кількома примірниками. Алгоритм APR досяг найкращого результату, але APR був розроблений з орієнтацією на набір даних Musk.
+
Дітерх та ін. для навчання за набором зразків запропонували алгоритм з використанням прямокутників сторони яких паралельними осям ({{lang-en|axis-parallel rectangle}}, APR)<ref name="Dietterich">Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.</ref>. Алгоритм шукає відповідні прямокутники зі сторонами паралельними вісям, які побудовані шляхом сполучення ознак. Автори алгоритму перевіряли його роботу на наборі даних Musk<ref name="Musk">C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases {{Недоступне посилання|date=February 2018}}, Department of Information and Computer Science, University of California, Irvine, CA, 1998.</ref>, який є конкретними тестовими даними прогнозування активності медичних препаратів і найбільш популярним еталоном у навчанні з кількома примірниками. Алгоритм APR досягає найкращого результату, але, варто враховувати, що він був розроблений з орієнтацією на набір даних Musk.
   
 
Проблема пошуку медичних препаратів, не єдина, яку розв'язують навчанням за набором зразків. У 1998 році Марон і Ратан застосували навчання за набором зразків до класифікації сцен в машинному зорі та розробили каркас Diverse Density<ref name="Maron">O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.</ref>. Для заданого зображення, зразком вважається один або декілька його фрагментів фіксованого розміру, а мішком зі зразками є ціле зображення. Зображення позначається позитивним, якщо воно містить цільову сцену&nbsp;— наприклад, водоспад&nbsp;— і негативно в іншому випадку. Навчання за набором зразків може бути використане для вивчення властивостей фрагментів зображення, які характеризують цільову сцену. Відтепер цей каркас використовують у широкому спектрі додатків, починаючи від навчання концепції зображення та категоризації тексту, до прогнозування фондового ринку.
 
Проблема пошуку медичних препаратів, не єдина, яку розв'язують навчанням за набором зразків. У 1998 році Марон і Ратан застосували навчання за набором зразків до класифікації сцен в машинному зорі та розробили каркас Diverse Density<ref name="Maron">O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.</ref>. Для заданого зображення, зразком вважається один або декілька його фрагментів фіксованого розміру, а мішком зі зразками є ціле зображення. Зображення позначається позитивним, якщо воно містить цільову сцену&nbsp;— наприклад, водоспад&nbsp;— і негативно в іншому випадку. Навчання за набором зразків може бути використане для вивчення властивостей фрагментів зображення, які характеризують цільову сцену. Відтепер цей каркас використовують у широкому спектрі додатків, починаючи від навчання концепції зображення та категоризації тексту, до прогнозування фондового ринку.
 
   
 
== Примітки ==
 
== Примітки ==

Поточна версія на 15:28, 27 вересня 2019

У машинному навчанні навчання за набором зразків (ННЗ) — це тип керованого навчання. Замість того, щоб отримувати множину екземплярів, кожен з яких розмічений, учень отримує множину мічених мішків, кожен з яких містить багато екземплярів. У простому випадку двійкової класифікації мішок може бути позначений негативним, якщо всі екземпляри в ньому негативні. З іншого боку, мішок позначається позитивним, якщо в ньому є хоча б один екземпляр, який є позитивним. Для множини мішків із мітками, учень намагається або (i) вивести концепцію, яка правильно позначить окремі екземпляри, або (ii) навчитися маркувати мішки, без виведення цього поняття.

Бабенко (2008)[1] наводить простий приклад для ННЗ. Уявіть кілька людей, і кожен з них має брелок з ключами. Деякі з цих людей можуть увійти до певної кімнати, а деякі — ні. Завдання полягає в тому, щоб передбачити, чи певний ключ або певний брелок дозволить Вам потрапити до цієї кімнати. Для вирішення цієї проблеми нам потрібно знайти точний ключ, який є спільним для всіх «позитивних» брелоків. Якщо ми можемо правильно визначити цей ключ, ми також можемо правильно класифікувати будь який брелок — він буде ідентифікований як позитивний, якщо він містить необхідний ключ, або негативний, якщо такого немає.

Машинне навчання[ред. | ред. код]

Залежно від типу та варіації даних для навчання, машинне навчання може бути умовно класифіковано на три частини: кероване навчання, навчання без учителя та навчання з підкріпленням. Навчання за набором зразків (ННЗ) підпадає під визначення керованого навчання, де кожен навчальний екземпляр має мітку — або дискретну або дійснозначну. ННЗ розглядає проблеми з неповними знаннями міток у навчальних наборах. Точніше, у навчанні за набором зразків навчальний набір складається з міток «мішка», кожен з яких є сукупністю нерозмічених екземплярів. Мішок позначається як позитивний, якщо хоча б один екземпляр у ньому є позитивним, і позначається негативно, якщо всі екземпляри в ньому негативні. Мета ННЗ — передбачити розмітку для нових мішків, які раніше не зустрічались.

Історія[ред. | ред. код]

Кєлєр (Keeler) та ін.[2] у своїй роботі на початку 1990-х вперше досліджували ННЗ. Термін навчання за набором зразків був введений у середині 1990-х, Дітріхом (Dietterich) та іншими, коли вони досліджували проблему прогнозування активності медичних препаратів[3]. Вони намагалися створити навчальні системи, які могли б передбачити, чи пасує нова молекула для виготовлення якогось препарату, чи ні, проаналізувавши колекцію відомих молекул. Молекули можуть мати багато змінних взаємовиключних низькоенергетичних станів, але лише одна, або декілька з них, пасують для виготовлення препарату. Проблема виникла через те, що вчені могли лише визначити, чи пасує молекула чи ні, але вони не могли точно сказати, який з її низькоенергетичних станів відповідає за це.

Одним із способів вирішення проблеми використовував кероване навчання та розглядав всі низькоенергетичні форми молекули, яка пасує, у якості позитивних випадків навчання, тоді як усі низькоенергетичні форми молекул, які не пасують, розглядаються як негативні випадки. Дітріх з групою авторів показали, що такий метод матиме високий хибний позитивний шум від усіх низькоенергетичних форм, які неправильно позначаються як позитивні, і таким чином не був дуже корисним[3]. Їх підхід полягав у тому, щоб розцінювати кожну молекулу як мічений мішок, а всі альтернативні низькоенергетичні форми цієї молекули як екземпляри в мішку, без окремих міток. Таким чином формулювалось навчання за набором зразків.

Дітерх та ін. для навчання за набором зразків запропонували алгоритм з використанням прямокутників сторони яких паралельними осям (англ. axis-parallel rectangle, APR)[3]. Алгоритм шукає відповідні прямокутники зі сторонами паралельними вісям, які побудовані шляхом сполучення ознак. Автори алгоритму перевіряли його роботу на наборі даних Musk[4], який є конкретними тестовими даними прогнозування активності медичних препаратів і найбільш популярним еталоном у навчанні з кількома примірниками. Алгоритм APR досягає найкращого результату, але, варто враховувати, що він був розроблений з орієнтацією на набір даних Musk.

Проблема пошуку медичних препаратів, не єдина, яку розв'язують навчанням за набором зразків. У 1998 році Марон і Ратан застосували навчання за набором зразків до класифікації сцен в машинному зорі та розробили каркас Diverse Density[5]. Для заданого зображення, зразком вважається один або декілька його фрагментів фіксованого розміру, а мішком зі зразками є ціле зображення. Зображення позначається позитивним, якщо воно містить цільову сцену — наприклад, водоспад — і негативно в іншому випадку. Навчання за набором зразків може бути використане для вивчення властивостей фрагментів зображення, які характеризують цільову сцену. Відтепер цей каркас використовують у широкому спектрі додатків, починаючи від навчання концепції зображення та категоризації тексту, до прогнозування фондового ринку.

Примітки[ред. | ред. код]

  1. Babenko, Boris. «Multiple instance learning: algorithms and applications.» View Article PubMed/NCBI Google Scholar (2008).
  2. Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.
  3. а б в Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.
  4. C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases [недоступне посилання з 01.02.2018], Department of Information and Computer Science, University of California, Irvine, CA, 1998.
  5. O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.