Программирование нейронных сетей для чайников

Упрощенный вид прямой искусственной нейронной сети

Нейронная сеть-это сеть или цепь нейронов, или. В современном смысле , искусственная нейронная сеть, состоящая из искусственных нейронов или узлов.Таким образом . Нейронная сеть-это либо биологическая нейронная сеть, состоящая из реальных биологических нейронов. Либо искусственная нейронная сеть для решения задач искусственного интеллекта. (AI) проблемы. Связи биологического нейрона моделируются в виде весов. Положительный вес отражает возбуждающую связь. В то время как отрицательные значения означают ингибирующие связи. Все входные данные изменяются на вес и суммируются.

Это действие называется линейной комбинацией. Наконец, функция активации управляет амплитудой выходного сигнала. Например, допустимый диапазон выходных данных обычно находится в диапазоне от 0 до 1 или может быть от -1 до 1.

Эти искусственные сети могут быть использованы для прогнозного моделирования, адаптивного управления и приложений. Где они могут быть обучены с помощью набора данных. Самообучение. Вытекающее из опыта. Может происходить в сетях. Которые могут выводить выводы из сложного и. Казалось бы. Не связанного набора информации.[2]

Биологическая нейронная сеть состоит из групп химически связанных или функционально связанных нейронов.

Один нейрон может быть связан со многими другими нейронами. И общее число нейронов и связей в сети может быть обширным. Соединения, называемые синапсами, обычно формируются от аксонов к дендритам, хотя дендродендритные синапсы[3] и другие соединения возможны. Помимо электрической сигнализации. Существуют и другие формы сигнализации. Возникающие в результате диффузии нейромедиаторов.

Искусственный интеллект. Когнитивное моделирование и нейронные сети-это парадигмы обработки информации. Вдохновленные тем. Как биологические нейронные системы обрабатывают данные.

Искусственный интеллект и когнитивное моделирование пытаются имитировать некоторые свойства биологических нейронных сетей. В области искусственного интеллекта искусственные нейронные сети успешно применяются для распознавания речи, анализа изображений и адаптивного управленияс целью создания программных агентовкомпьютерных и видеоиграх) или автономных роботов.

Исторически цифровые компьютеры эволюционировали от модели фон Нейманаи работают посредством выполнения явных инструкций через доступ к памяти рядом процессоров.

С другой стороны. Происхождение нейронных сетей основано на попытках моделирования обработки информации в биологических системах. В отличие от модели фон Неймана. Нейросетевые вычисления не разделяют память и обработку.

Теория нейронных сетей послужила как для лучшего определения того. Как функционируют нейроны в мозге. Так и для обеспечения основы для усилий по созданию искусственного интеллекта.

Предварительная теоретическая база современных нейронных сетей была независимо предложена Александром Бейном[4] (1873) и Уильямом Джеймсом[5] (1890). В их работе и мысли. И телесная активность были результатом взаимодействия нейронов внутри мозга.

Для Бэйна каждая активность приводила к запуску определенного набора нейронов. Когда действия повторялись. Связи между этими нейронами усиливались. Согласно его теории. Именно это повторение и привело к формированию памяти. Общее научное сообщество в то время скептическиотносилось к теории Бэйна [4], потому что она требовала. Казалось бы. Чрезмерного количества нейронных связей в мозге. Теперь очевидно. Что мозг чрезвычайно сложен и что одна и та же “проводка” мозга может обрабатывать множество проблем и входов.

Теория Джеймса[5] была похожа на теорию Бэйна[4], однако он предположил. Что воспоминания и действия являются результатом электрических токов. Протекающих между нейронами в мозге.

Его модель, фокусируясь на потоке электрических токов. Не требовала индивидуальных нейронных связей для каждого воспоминания или действия.

Шеррингтон[7] (1898) провел эксперименты для проверки теории Джеймса. Он проводил электрические токи по спинным мозгам крыс. Однако вместо того. Чтобы продемонстрировать увеличение электрического тока. Как предсказывал Джеймс. Шеррингтон обнаружил. Что сила электрического тока уменьшается по мере продолжения испытаний с течением времени.

Важно отметить. Что эта работа привела к открытию концепции привыкания.

Маккалох и Питтс[8] (1943) создали вычислительную модель нейронных сетей. Основанную на математике и алгоритмах. Они назвали эту модель пороговой логикой. Модель проложила путь для исследования нейронных сетей. Чтобы разделить на два различных подхода. Один подход был сосредоточен на биологических процессах в мозге. А другой-на применении нейронных сетей к искусственному интеллекту.

В конце 1940-х годов психолог Дональд Хебб[9] создал гипотезу обучения. Основанную на механизме нейронной пластичности. Который теперь известен как

геббианское обучение. Хеббианское обучение считается неконтролируемым правилом обучения. И его более поздние варианты были ранними моделями для долгосрочного потенцирования. Эти идеи начали применяться к вычислительным моделям в 1948 году с помощью машин типа B Тьюринга.

Фарли и Кларк[10] (1954) впервые использовали вычислительные машины. Тогда называемые калькуляторами. Для моделирования сети Хебба в Массачусетском технологическом институте. Другие нейросетевые вычислительные машины были созданы Рочестером, Холландом. Габитом и Дудой[11] (1956).

Розенблатт[12] (1958) создал персептрон-алгоритм распознавания образов . Основанный на двухслойной обучающей компьютерной сети. Использующей простое сложение и вычитание. С помощью математической нотации Розенблатт также описал схемы. Не входящие в базовый персептрон. Такие как схема

исключающего или, схема. Математические вычисления которой не могли быть обработаны до тех пор. Пока алгоритм обратного распространения не был создан Вербосом[13] (1975).

Исследования нейронных сетей застопорились после публикации исследования машинного обучения Марвина Мински и Сеймура Паперта[14] (1969). Они обнаружили две ключевые проблемы с вычислительными машинами. Которые обрабатывали нейронные сети.

Первая проблема заключалась в том. Что однослойные нейронные сети были неспособны обрабатывать схему исключающего или. Вторая существенная проблема заключалась в том. Что компьютеры были недостаточно развиты. Чтобы эффективно справляться с длительным временем работы. Требуемым большими нейронными сетями. Исследования нейронных сетей замедлились до тех пор. Пока компьютеры не достигли большей вычислительной мощности. Также ключевым в более поздних достижениях был алгоритм обратного распространения. Который эффективно решал проблему исключительного или (Werbos 1975).

]

Параллельная распределенная обработка данных середины 1980-х годов стала популярной под названием коннекционизма. Текст Румельхарта и Макклелланда[15] (1986) содержал полное изложение использования коннекционизма в компьютерах для моделирования нейронных процессов.

Нейронные сети. Используемые в искусственном интеллекте. Традиционно рассматривались как упрощенные модели нейронной обработки в мозге. Хотя связь между этой моделью и биологической архитектурой мозга обсуждается. Поскольку неясно. В какой степени искусственные нейронные сети отражают функцию мозга.

[16]

Искусственный интеллект

Нейронная сеть (NN). В случае искусственных нейронов называемая искусственной нейронной сетью (ANN) или имитируемой нейронной сетью (SNN). Представляет собой взаимосвязанную группу естественных или искусственных нейронов, использующую математическую или вычислительную модель для обработки информации, основанную на коннекционистском подходе к вычислениям. В большинстве случаев ИНС-это адаптивная система, которая изменяет свою структуру на основе внешней или внутренней информации. Проходящей через сеть.

В более практическом плане нейронные сети являются

инструментами нелинейного статистического моделирования данных или принятия решений. Они могут использоваться для моделирования сложных отношений между входами и выходами или для поиска закономерностей в данных.

Искусственная нейронная сеть включает в себя сеть простых обрабатывающих элементов (искусственных нейронов), которые могут проявлять сложное глобальное поведение. Определяемое связями между обрабатывающими элементами и параметрами элементов. Искусственные нейроны были впервые предложены в 1943 году нейрофизиологом Уорреном Маккалохоми логиком Уолтером Питтсом, которые впервые сотрудничали в Чикагском

университете.]

Одним из классических типов искусственных нейронных сетей является рекуррентная сеть Хопфилда.

Концепция нейронной сети. По-видимому. Впервые была предложена Аланом Тьюрингом в его статье 1948 года [18]

Полезность моделей искусственных нейронных сетей заключается в том. Что они могут быть использованы для вывода функции из наблюдений. А также для ее использования. Неконтролируемые нейронные сети также могут быть использованы для изучения представлений входных данных. Которые фиксируют характерные характеристики входного распределения. Например, см.

Машину Больцмана (1983). А в последнее время-глубокое обучение алгоритмы. Которые могут неявно изучать функцию распределения наблюдаемых данных. Обучение в нейронных сетях особенно полезно в приложениях. Где сложность данных или задачи делает проектирование таких функций вручную непрактичным.

Приложения

Нейронные сети могут быть использованы в различных областях. Задачи, к которым применяются искусственные нейронные сети. Как правило. Подпадают под следующие широкие категории:

Области применения Инс включают нелинейные системы идентификации[19] и управления (управления транспортным средством. Управление процессами). Игровые и принятия решений (нарды. Шахматы, гонки). Распознавание образов (радиолокационных систем,

идентификации, распознавания объектов). Последовательность распознавания (жест, Речь, рукописный текст признания), медицинской диагностики. Финансовые приложения, интеллектуальный анализ данных (или обнаружение знаний в базах данных электронной почты спам фильтрация. Например, можно создать семантический профиль интересов пользователя. Возникающий из изображений. Обученных распознаванию объектов.[20]

Теоретическая и вычислительная нейробиология-это область. Связанная с анализом и вычислительным моделированием биологических нейронных систем. Поскольку нейронные системы тесно связаны с когнитивными процессами и поведением. Эта область тесно связана с когнитивным и поведенческим моделированием.

Целью этой области является создание моделей биологических нейронных систем. Чтобы понять. Как работают биологические системы. Чтобы получить это понимание. Нейробиологи стремятся установить связь между наблюдаемыми биологическими процессами (данными). Биологически правдоподобными механизмами нейронной обработки и обучения (биологическими моделями нейронных сетей) и теорией (статистической теорией обучения и теорией информации).

Типы моделей

Используется множество моделей. Определенных на разных уровнях абстракции и моделирующих различные аспекты нейронных систем. Они варьируются от моделей краткосрочного поведения отдельных нейронов, через модели динамики нейронных схем. Возникающих в результате взаимодействия между отдельными нейронами. До моделей поведения. Возникающих из абстрактных нейронных модулей. Представляющих собой полные подсистемы. К ним относятся модели долговременной и кратковременной пластичности нейронных систем и ее связи с обучением и памятью. От индивидуального нейрона к системному уровню.

Подключение

В августе 2020 года ученые сообщили. Что двунаправленные связи. Или добавленные соответствующие обратные связи. Могут ускорить и улучшить связь между модулярными нейронными сетями коры головного мозга и снизить порог их успешной коммуникации. Они показали. Что добавление обратных связей между резонансной парой может поддерживать успешное распространение одного импульсного пакета по всей сети.]

Общая критика нейронных сетей. Особенно в робототехнике. Заключается в том. Что они требуют большого разнообразия обучающих выборок для работы в реальном мире. Это неудивительно. Так как любая обучающая машина нуждается в достаточном количестве репрезентативных примеров. Чтобы захватить базовую структуру. Которая позволяет ей обобщать на новые случаи. Дин Померло в своем исследовании. Представленном в статье Большое количество его исследований посвящено (1) экстраполяции нескольких тренировочных сценариев из одного тренировочного опыта и (2) сохранению прошлого тренировочного разнообразия. Чтобы система не перетренировалась (если, например. Она представлена серией правых поворотов—она не должна учиться всегда поворачивать направо). Эти проблемы часто встречаются в нейронных сетях. Которые должны принимать решения из широкого спектра ответов. Но могут быть решены несколькими способами, например. Путем случайной перетасовки обучающих примеров. С помощью алгоритма численной оптимизации. Который не делает слишком больших шагов при изменении сетевых соединений после примера. Или путем группировки примеров в так называемые мини-пакеты.

Дьюдни , бывший обозреватель Scientific American. Писал в 1997 году:

Аргументы в пользу позиции Дьюдни заключаются в том. Что для реализации больших и эффективных программных нейронных сетей требуется много ресурсов обработки и хранения. В то время как мозг имеет аппаратное обеспечение. Приспособленное к задаче обработки сигналов через график нейронов. Моделирование даже самой упрощенной формы по технологии Фон Неймана может заставить проектировщика нейронных сетей заполнять многие миллионы строк базы данных для своих соединений. Что может потреблять огромные объемы компьютерной памяти и хранения данных вместимость. Кроме того, проектировщику нейросетевых систем часто придется моделировать передачу сигналов через многие из этих соединений и связанных с ними нейронов. Что часто должно сопровождаться невероятным количеством вычислительной мощности и времени процессора. Хотя нейронные сети часто дают эффективные программы. Они слишком часто делают это ценой эффективности (они. Как правило. Потребляют значительное количество времени и денег).

Аргументы против позиции Дьюдни сводятся к тому. Что нейронные сети успешно использовались для решения многих сложных и разнообразных задач. Таких как автономные полеты самолетов.]

Технический писатель Роджер Бриджмен прокомментировал высказывания Дьюдни о нейронных сетях:

Нейронные сети, например. Оказались на скамье подсудимых не только потому. Что их раскрутили до небес (а что нет?) но также и потому. Что вы можете создать успешную сеть. Не понимая. Как она работает: набор чисел. Фиксирующий ее поведение. По всей вероятности, будет

Несмотря на свое решительное заявление о том. Что наука-это не технология. Дьюдни, похоже. Считает нейронные сети плохой наукой. Хотя большинство из тех. Кто их разрабатывает. Просто пытаются быть хорошими инженерами. Нечитаемая таблица. Которую могла бы прочитать полезная машина. Все равно стоила бы того.[24]

Хотя верно, что анализ того. Что было изучено искусственной нейронной сетью, труден. Это гораздо легче сделать. Чем анализировать то. Что было изучено биологической нейронной сетью. Кроме того, недавний акцент на объяснимости ИИ способствовал развитию методов. Особенно основанных на механизмах внимания. Для визуализации и объяснения изученных нейронных сетей. Кроме того, исследователи. Занимающиеся изучением алгоритмов обучения нейронных сетей. Постепенно раскрывают общие принципы. Которые позволяют обучающей машине быть успешной. Например, Бенгио и ЛеКун (2007) написали статью о локальном и нелокальном обучении. А также о мелкой и глубокой архитектуре[25]

Некоторые другие критические замечания исходили от сторонников гибридных моделей (сочетающих нейронные сети и символические подходы). Они выступают за смешение этих двух подходов и считают. Что гибридные модели могут лучше охватить механизмы человеческого разума (Sun and Bookman, 1990).]

Последние достижения

Хотя первоначально исследования были связаны в основном с электрическими характеристиками нейронов. Особенно важной частью исследований в последние годы стало изучение роли нейромодуляторов , таких как дофамин, ацетилхолини серотонин, в поведении и обучении.

Биофизические модели. Такие как теория BCM, были важны для понимания механизмов синаптической пластичностии нашли применение как в компьютерных науках . Так и в нейробиологии. Исследования продолжаются в понимании вычислительных алгоритмов. Используемых в мозге. С некоторыми недавними биологическими доказательствами радиальных базисных сетей и нейронной обратной связи как механизмов обработки данных.

В КМОП были созданы вычислительные устройства как для биофизического моделирования. Так и для нейроморфных вычислений. Более недавние усилия перспективны для создания наноустройств для очень больших масштабах основные компоненты анализа и свертки.[26] В случае успеха эти усилия могут вступить в новую эпоху нейронных вычислений , который шаг за пределы вычислительных систем,[27] , потому что это зависит от обучения , а не программирования, а ведь это в корне аналоговые , а не цифровые хотя первые экземпляры могут на самом деле быть с КМОП цифровых устройств.

Между 2009 и 2012 годах, в рекуррентных нейронных сетей и глубокого прямого распространения нейронных сетей , разработанных в научной группы Юргена Шмидхубера в швейцарскую лабораторию ИИ IDSIA победила в восьми международных олимпиадах по распознавания образов и машинного обучения.[28] например. Многомерный долгой краткосрочной памяти (ЛСТМ)[29][30] выиграл три соревнования по подключено распознавание рукописного ввода в 2009 году на международной конференции по документу анализа и распознавания (ICDAR). Без каких-либо предварительных знаний о трех разных языках. Которые можно извлечь.

Варианты алгоритма обратного распространения, а также неконтролируемые методы Джеффа Хинтона и его коллег из Университета Торонто могут быть использованы для обучения глубоких. Сильно нелинейных нейронных архитектур, подобных Неокогнитрону 1980 года Кунихико Фукусимы и «стандартной архитектуре зрения», вдохновленной простыми и сложными клетками, идентифицированными Дэвидом Х. Хьюблом и Торстеном Визелем в первичной зрительной коре.

Также были введены радиальная базисная функция и вейвлет-сети. Можно показать. Что они обладают наилучшими аппроксимационными свойствами и были применены в приложениях идентификации и классификации нелинейных систем.[19]

Сети с прямой связью глубокого обучения чередуют сверточные слои и слои максимального объединения. Увенчанные несколькими чистыми классификационными слоями. Быстрые реализации этого подхода на базе графических процессоров выиграли несколько конкурсов распознавания образов. Включая конкурс распознавания дорожных знаков IJCNN 2011[34] и конкурс ISBI 2012 Segmentation of Neuronal Structures in Electron Microscopy Stacks challenge.Такие нейронные сети также были первыми искусственными распознавателями образов. Достигшими соревновательной или даже сверхчеловеческой производительностичеловека [36] о таких критериях. Как распознавание дорожных знаков (IJCNN 2012) или проблема рукописных цифр MNIST Янна Лекуна и его коллег из Нью-Йоркскогоуниверситета .

См. также

  1. ^
  2. ^ . www.gartner.com.
  3. ^ Арбиб, стр. 666
  4. ^ b c d Бейн (1873). Ум и Тело: Теории их взаимосвязи. Нью-Йорк: Д. Эпплтон и компания.
  5. ^ b Джеймс (1890). Принципы психологии. Нью-Йорк: Х. Холт и компания.
  6. ^ Cuntz, Hermann (2010). Август 2010 года. PLOS Computational Biology. 6 (8): ev06.i08. doi:10.1371/image.pcbi.v06.i08.
  7. ^ Шеррингтон. К. С. (1898). . Труды Лондонского королевского общества. 190: 45-186. doi:10.1098/rstb.1898.0002.
  8. ^ Маккалох, Уоррен; Уолтер Питтс (1943). Вестник математической биофизики. 5 (4): 115-133. doi:10.1007/BF02478259.
  9. ^ Хебб, Дональд (1949). Организация поведения. Нью-Йорк: Уайли.
  10. ^ Farley, B.; W. A. Clark (1954). IRE Transactions on Information Theory. 4 (4): 76-84. doi:10.1109/TIT.1954.1057468.
  11. ^ Рочестер, Н.; J. H. Holland. L. H. Habit and W. L. Duda (1956). IRE Transactions on Information Theory. 2 (3): 80-93. doi:10.1109/TIT.1956.1056810.
  12. ^ Розенблатт, Ф. (1958). Психологический обзор. 65 (6): 386-408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029.
  13. ^ b Werbos, P. J. (1975). За пределами регрессии: Новые инструменты для прогнозирования и анализа в поведенческих науках.
  14. ^ Минский, М.; С. Паперт (1969). Введение в вычислительную геометрию. MIT Press. ISBN 978-0-262-63022-1.
  15. ^ Румельхарт, Д. Э.; Джеймс Макклелланд (1986). Параллельная распределенная обработка: Исследования в микроструктуре познания. Cambridge: MIT Press.
  16. ^ Рассел, Ингрид. . Архивирован с оригинала 29 мая 2014года . Проверено в 2012г.
  17. ^ Маккалох, Уоррен; Питтс, Уолтер (1943). Вестник математической биофизики. 5 (4): 115-133. doi:10.1007/BF02478259.
  18. ^ Copeland, B. Jack. Ed. (2004). Сущностный Тьюринг. Oxford University Press. p. 403. ISBN 978-0-19-825080-7.
  19. ^ b Billings. S. A. (2013). Идентификация нелинейных систем: Методы НАРМАКСА во Временной. Частотной и Пространственно-временной областях. Уайли. ISBN 978-1-119-94359-4.
  20. ^ Wieczorek, Szymon; Filipiak, Dominik; Filipowska, Agata (2018). . Исследования Семантической сети. 36 (Новые темы в Семантических технологиях). doi:10.3233/978-1-61499-894-5-179.
  21. ^ . medicalxpress.com. Получено 6 сентября 2020года .
  22. ^ Резаэй, Хедье; Аэрцен, Ад; Кумар, Арвинд; Вализаде, Алиреза (10 августа 2020 года). . PLOS Computational Biology. 16 (8): e1008033. doi:10.1371/journal.pcbi.1008033. ISSN 1553-7358. PMID 32776924. S2CID 221100528. CC-BY icon.svg Текст и изображения доступны по международной лицензии Creative Commons Attribution 4.0.
  23. ^ Администратор НАСА (5 июня 2013 года). . НАСА.
  24. ^ . Архивирован с оригинала 19 марта 2012года . Извлечено 1 августа 2006года .
  25. ^ . www.iro.umontreal.ca.
  26. ^ Yang, J. J.; et al. (2008). Нат. Нанотехнол. 3 (7): 429-433. doi:10.1038/nnano.2008.160. PMID 18654568.
  27. ^ Струков Д. Б.; и др. (2008). Природа. 453 (7191): 80-83. Bibcode:2008Natur.453…80S. doi:10.1038/nature06932. PMID 18451858.
  28. ^ . Архивирован с оригинала 31 августа 2018года . Извлечено 10 декабря 2012года .
  29. ^ Graves, Alex; Schmidhuber. Jürgen (2008). . В Бенгио, Йошуа; Шуурманс, Дейл; Лафферти, Джон; Уильямс, Крис К. И.; Кюлотта, Арон (ред.). Достижения в области нейронных систем обработки информации 21 (NIPS’21). Фонд нейронных систем обработки информации (NIPS). Стр. 545-552.
  30. ^ Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (5): 855–868. CiteSeerX 10.1.1.139.4502. doi:10.1109/TPAMI.2008.137. PMID 19299860.
  31. ^ Hinton, G. E.; Osindero, S.; Teh, Y. (2006). (PDF). Нейронные вычисления. 18 (7): 1527-1554.  doi:10.1162/neco.2006.18.7.1527. PMID 16764513.
  32. ^ Фукусима, К. (1980). Биологическая кибернетика. 36 (4): 93–202. doi:10.1007/BF00344251. PMID 7370364.
  33. ^ Рисенгубер, М.; Poggio, T. (1999). Нейробиология природы. 2 (11): 1019–1025. doi:10.1038/14819. PMID 10526343.
  34. Ди Сиресан, У. Мейер, Дж.Маши, Дж. Шмидхубер. Многоколоночная глубокая нейронная сеть для классификации дорожных знаков. Нейронные сети, 2012.
  35. ^ Д. Чирезан, А. Джусти. Л. Гамбарделла, Дж. Глубокие нейронные сети Сегментируют мембраны нейронов на изображениях электронной микроскопии. In Advances in Neural Information Processing Systems (NIPS 2012). Lake Tahoe, 2012.
  36. ^ D. C. Ciresan, U. Meier, J. Schmidhuber. Многоколоночные глубокие нейронные сети для классификации изображений. IEEE Conf. on Computer Vision and Pattern Recognition CVPR 2012.

Внешние ссылки

Говорящий значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 27 ноября 2011и не отражает последующих правок.