Увага — це все, що вам треба

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
Ілюстрація основних складових трансформерної моделі з цієї статті

«Увага — це все, що вам треба» (англ. Attention Is All You Need) — це наукова стаття 2017 року від Google.[1] Створена вісьмома науковцями, вона була покликана поширити механізми уваги 2014 року, запропоновані Багдановим зі співавт., на нову архітектуру глибокого навчання, відому як трансформер. Цю статтю вважають засадничим документом сучасного штучного інтелекту, оскільки трансформери стали основною архітектурою великих мовних моделей.[2][3] На той час це дослідження зосереджувалося на покращенні методик seq2seq[en] для машинного перекладу, але навіть у своїй статті автори бачили потенціал для інших завдань, як-от відповідання на питання, та для того, що зараз називають мультимодальним породжувальним ШІ.

Станом на 2024 цю статтю процитували понад 100 000 разів. Усі вісім авторів покинули Google.[4]

Примітки[ред. | ред. код]

  1. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF). Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 30.
  2. ↑ Toews, Rob (3 вересня 2023). Transformers Revolutionized AI. What Will Replace Them?. Forbes (англ.). Архів оригіналу за 26 вересня 2023. Процитовано 3 December 2023.
  3. ↑ Murgia, Madhumita (23 липня 2023). Transformers: the Google scientists who pioneered an AI revolution. Financial Times (англ.). Архів оригіналу за 30 листопада 2023. Процитовано 3 грудня 2023.
  4. ↑ Meet the $4 Billion AI Superstars That Google Lost. Bloomberg (англ.). 13 липня 2023 — через www.bloomberg.com.


Штучний інтелект Це незавершена стаття зі штучного інтелекту.
Ви можете допомогти проєкту, виправивши або дописавши її.
Отримано з https://uk.wikipedia.org/w/index.php?title=Увага_—_це_все,_що_вам_треба&oldid=42347507