Прорывы в 2022 г. AI (новая аббревиатура искусственного интеллекта)
В некоторых областях эксперты прогнозируют мощный качественный прогресс ИИ.
Я только один пункт рассмотрю:
Сети типа transformers вытеснят классические рекуррентные нейросети в сфере самообучающихся игровых ботов, смогут адаптироваться в сложных средах и превзойдут человеческие способности.
Вот про эти сети-трансформаторы вот так говорится на вики, причем перевод сделан в яндексе, опять же, высокчайшего качества (я еще помню как просто ужасные переводы были в начале 2000 гг. от всяких там "промтов" и т.п.)!
Трансформатор - это модель глубокого обучения, которая использует механизм самоконтроля, дифференцированно взвешивая значимость каждой части входных данных. Он используется в основном в области обработки естественного языка (NLP)[1] и в компьютерном зрении (CV).[2]
Подобно рекуррентным нейронным сетям (RNN), преобразователи предназначены для обработки последовательных входных данных, таких как естественный язык, для таких задач, как перевод и обобщение текста. Однако, в отличие от RNNS, трансформаторы не обязательно обрабатывают данные по порядку. Скорее всего, механизм внимания обеспечивает контекст для любой позиции во входной последовательности. Например, если входные данные представляют собой предложение на естественном языке, преобразователю не нужно обрабатывать начало предложения до конца. Скорее, он определяет контекст, который придает значение каждому слову в предложении. Эта функция обеспечивает большее распараллеливание, чем RNNS, и, следовательно, сокращает время обучения.[1]
С момента своего дебюта в 2017 году трансформаторы все чаще становятся предпочтительной моделью для решения задач NLP[3], заменяя модели RNN, такие как долговременная кратковременная память (LSTM). Дополнительное распараллеливание обучения позволяет проводить обучение на больших наборах данных, чем когда-то было возможно. Это привело к разработке предварительно обученных систем, таких как BERT (Представления двунаправленного кодера от Трансформаторов) и GPT (Генеративный предварительно обученный трансформатор), которые были обучены с большими языковыми наборами данных, такими как корпус Википедии и Общий обход, и могут быть точно настроены для конкретных задач.Важные моменты я выделил жирным шрифтом.
И кстати, другой прогноз включает:
Нейросети-гибриды с архитектурой transformers позволят при распознавании изображений уменьшить число параметров в моделях обучения в 10 раз, без какой-либо потери точности.
Источник