Простыми словами о сложном: что такое нейронные сети? Нейронные связи головного мозга: формирование, развитие рецепторов, улучшение работы головного мозга и создание новых нейронных связей Величайшая загадка - как функционирует мозг.
Нейронные сети – это одно из направлений исследований в области искусственного интеллекта, основанное на попытках воспроизвести нервную систему человека. А именно: способность нервной системы обучаться и исправлять ошибки, что должно позволить смоделировать, хотя и достаточно грубо, работу человеческого мозга.
или нервная система человека – это сложная сеть структур человека, обеспечивающая взаимосвязанное поведение всех систем организма.Биологический нейрон – это специальная клетка, которая структурно состоит из ядра, тела клетки и отростков. Одной из ключевых задач нейрона является передача электрохимического импульса по всей нейронной сети через доступные связи с другими нейронами. Притом, каждая связь характеризуется некоторой величиной, называемой силой синаптической связи. Эта величина определяет, что произойдет с электрохимическим импульсом при передаче его другому нейрону: либо он усилится, либо он ослабится, либо останется неизменным.
Биологическая нейронная сеть обладает высокой степенью связности: на один нейрон может приходиться несколько тысяч связей с другими нейронами. Но, это приблизительное значение и в каждом конкретном случае оно разное. Передача импульсов от одного нейрона к другому порождает определенное возбуждение всей нейронной сети. Величина этого возбуждения определяет реакцию нейронной сети на какие-то входные сигналы. Например, встреча человека со старым знакомым может привести к сильному возбуждению нейронной сети, если с этим знакомым связаны какие-то яркие и приятные жизненные воспоминания. В свою очередь сильное возбуждение нейронной сети может привести к учащению сердцебиения, более частому морганию глаз и к другим реакциям. Встреча же с незнакомым человеком для нейронной сети пройдет практически незаметной, а значит и не вызовет каких-либо сильных реакций.
Можно привести следующую сильно упрощенную модель биологической нейронной сети:
Каждый нейрон состоит из тела клетки, которое содержит ядро. От тела клетки ответвляется множество коротких волокон, называемых дендритами. Длинные дендриты называются аксонами. Аксоны растягиваются на большие расстояния, намного превышающее то, что показано в масштабе этого рисунка. Обычно аксоны имеют длину 1 см (что превышает в 100 раз диаметр тела клетки), но могут достигать и 1 метра.
В 60-80 годах XX века приоритетным направлением исследований в области искусственного интеллекта были . Экспертные системы хорошо себя зарекомендовали, но только в узкоспециализированных областях. Для создания более универсальных интеллектуальных систем требовался другой подход. Наверное, это привело к тому, что исследователи искусственного интеллекта обратили внимание на биологические нейронные сети, которые лежат в основе человеческого мозга.
Нейронные сети в искусственном интеллекте – это упрощенные модели биологических нейронных сетей.
На этом сходство заканчивается. Структура человеческого мозга гораздо более сложная, чем описанная выше, и поэтому воспроизвести ее хотя бы более менее точно не представляется возможным.
У нейронных сетей много важных свойств, но ключевое из них – это способность к обучению. Обучение нейронной сети в первую очередь заключается в изменении «силы» синаптических связей между нейронами. Следующий пример наглядно это демонстрирует. В классическом опыте Павлова, каждый раз непосредственно перед кормлением собаки звонил колокольчик. Собака достаточно быстро научилась ассоциировать звонок колокольчика с приемом пищи. Это явилось следствием того, что синаптические связи между участками головного мозга, ответственными за слух и слюнные железы, усилились. И в последующем возбуждение нейронной сети звуком колокольчика, стало приводить к более сильному слюноотделению у собаки.
На сегодняшний день нейронные сети являются одним из приоритетных направлений исследований в области искусственного интеллекта.
Искусственный интеллект, нейронные сети, машинное обучение - что на самом деле означают все эти нынче популярные понятия? Для большинства непосвященных людей, коим являюсь и я сам, они всегда казались чем-то фантастическим, но на самом деле суть их лежит на поверхности. У меня давно созревала идея написать простым языком об искусственных нейронных сетях. Узнать самому и рассказать другим, что представляет собой эта технология, как она работает, рассмотреть ее историю и перспективы. В этой статье я постарался не залезать в дебри, а просто и популярно рассказать об этом перспективном направление в мире высоких технологий.
Немного истории
Впервые понятие искусственных нейронных сетей (ИНС) возникло при попытке смоделировать процессы головного мозга. Первым серьезным прорывом в этой сфере можно считать создание модели нейронных сетей МакКаллока-Питтса в 1943 году. Учеными впервые была разработана модель искусственного нейрона. Ими также была предложена конструкция сети из этих элементов для выполнения логических операций. Но самое главное, учеными было доказано, что подобная сеть способна обучаться.
Следующим важным шагом стала разработка Дональдом Хеббом первого алгоритма вычисления ИНС в 1949 году, который стал основополагающем на несколько последующих десятилетий. В 1958 году Фрэнком Розенблаттом был разработан парцептрон - система, имитирующая процессы головного мозга. В свое время технология не имела аналогов и до сих пор является основополагающей в нейронных сетях. В 1986 году практически одновременно, независимо друг от друга американскими и советскими учеными был существенно доработан основополагающий метод обучения многослойного перцептрона . В 2007 году нейронные сети перенесли второе рождение. Британский информатик Джеффри Хинтоном впервые разработал алгоритм глубокого обучения многослойных нейронных сетей, который сейчас, например, используется для работы беспилотных автомобилей.
Коротко о главном
В общем смысле слова, нейронные сети - это математические модели, работающие по принципу сетей нервных клеток животного организма. ИНС могут быть реализованы как в программируемые, так и в аппаратные решения. Для простоты восприятия нейрон можно представить, как некую ячейку, у которой имеется множество входных отверстий и одно выходное. Каким образом многочисленные входящие сигналы формируются в выходящий, как раз и определяет алгоритм вычисления. На каждый вход нейрона подаются действенные значения, которые затем распространяются по межнейронным связям (синопсисам). У синапсов есть один параметр - вес, благодаря которому входная информация изменяется при переходе от одного нейрона к другому. Легче всего принцип работы нейросетей можно представить на примере смешения цветов. Синий, зеленый и красный нейрон имеют разные веса. Информация того нейрона, вес которого больше будет доминирующей в следующем нейроне.
Сама нейросеть представляет собой систему из множества таких нейронов (процессоров). По отдельности эти процессоры достаточно просты (намного проще, чем процессор персонального компьютера), но будучи соединенными в большую систему нейроны способны выполнять очень сложные задачи.
В зависимости от области применения нейросеть можно трактовать по-разному, Например, с точки зрения машинного обучения ИНС представляет собой метод распознавания образов. С математической точки зрения - это многопараметрическая задача. С точки зрения кибернетики - модель адаптивного управления робототехникой. Для искусственного интеллекта ИНС - это основополагающее составляющее для моделирования естественного интеллекта с помощью вычислительных алгоритмов.
Основным преимуществом нейросетей над обычными алгоритмами вычисления является их возможность обучения. В общем смысле слова обучение заключается в нахождении верных коэффициентов связи между нейронами, а также в обобщении данных и выявлении сложных зависимостей между входными и выходными сигналами. Фактически, удачное обучение нейросети означает, что система будет способна выявить верный результат на основании данных, отсутствующих в обучающей выборке.
Сегодняшнее положение
И какой бы многообещающей не была бы эта технология, пока что ИНС еще очень далеки от возможностей человеческого мозга и мышления. Тем не менее, уже сейчас нейросети применяются во многих сферах деятельности человека. Пока что они не способны принимать высокоинтеллектуальные решения, но в состоянии заменить человека там, где раньше он был необходим. Среди многочисленных областей применения ИНС можно отметить: создание самообучающихся систем производственных процессов, беспилотные транспортные средства, системы распознавания изображений, интеллектуальные охранные системы, робототехника, системы мониторинга качества, голосовые интерфейсы взаимодействия, системы аналитики и многое другое. Такое широкое распространение нейросетей помимо прочего обусловлено появлением различных способов ускорения обучения ИНС.
На сегодняшний день рынок нейронных сетей огромен - это миллиарды и миллиарды долларов. Как показывает практика, большинство технологий нейросетей по всему миру мало отличаются друг от друга. Однако применение нейросетей - это очень затратное занятие, которое в большинстве случаев могут позволить себе только крупные компании. Для разработки, обучения и тестирования нейронных сетей требуются большие вычислительные мощности, очевидно, что этого в достатке имеется у крупных игроков на рынке ИТ. Среди основных компаний, ведущих разработки в этой области можно отметить подразделение Google DeepMind, подразделение Microsoft Research, компании IBM, Facebook и Baidu.
Конечно, все это хорошо: нейросети развиваются, рынок растет, но пока что главная задача так и не решена. Человечеству не удалось создать технологию, хотя бы приближенную по возможностям к человеческому мозгу. Давайте рассмотрим основные различия между человеческим мозгом и искусственными нейросетями.
Почему нейросети еще далеки до человеческого мозга?
Самым главным отличием, которое в корне меняет принцип и эффективность работы системы - это разная передача сигналов в искусственных нейронных сетях и в биологической сети нейронов. Дело в том, что в ИНС нейроны передают значения, которые являются действительными значениями, то есть числами. В человеческом мозге осуществляется передача импульсов с фиксированной амплитудой, причем эти импульсы практически мгновенные. Отсюда вытекает целый ряд преимуществ человеческой сети нейронов.
Во-первых, линии связи в мозге намного эффективнее и экономичнее, чем в ИНС. Во-вторых, импульсная схема обеспечивает простоту реализации технологии: достаточно использование аналоговых схем вместо сложных вычислительных механизмов. В конечном счете, импульсные сети защищены от звуковых помех. Действенные числа подвержены влиянию шумов, в результате чего повышается вероятность возникновения ошибки.
Итог
Безусловно, в последнее десятилетие произошел настоящий бум развития нейронных сетей. В первую очередь это связано с тем, что процесс обучения ИНС стал намного быстрее и проще. Также стали активно разрабатываться так называемые «предобученные» нейросети, которые позволяют существенно ускорить процесс внедрения технологии. И если пока что рано говорить о том, смогут ли когда-то нейросети полностью воспроизвести возможности человеческого мозга, вероятность того, что в ближайшее десятилетие ИНС смогут заменить человека на четверти существующих профессий все больше становится похожим на правду.
Для тех, кто хочет знать больше
- Большая нейронная война: что на самом деле затевает Google
- Как когнитивные компьютеры могут изменить наше будущее
В нашем мозгу 100 млрд. нейронов – это больше, чем звезд в нашей галактике! Каждая клетка в свою очередь может дать 200 тыс. ответвлений.
Таким образом, мозг имеет огромные ресурсы, чтоб хранить воспоминания объемом примерно за 3 млн. лет. Учёные называют это «волшебными деревьями разума», потому что нервные клетки мозга похожи на ветвистые деревья.
Мысленные электрические импульсы между нейронами передаются через синапсы – зоны контакта между нейронами. Средний нейрон человеческого мозга имеет от 1000 до 10000 синапсов или контактов с соседними нейронами. Синапсы имеют небольшую щель, которую должен преодолеть импульс.
Когда мы учимся, мы меняем работу мозга, прокладывая новые пути для мысленных электрических импульсов. При этом электрический сигнал должен «перепрыгнуть» через щель синапса для образования новых связей между нервными клетками. Эту дорогу ему труднее всего пройти первый раз, но по мере обучения, когда сигнал преодолевает синапс снова и снова, связи становятся все «шире и прочнее», растет число синапсов и связей между нейронами. Образуются новые нейронные микросети, в которые и «встраиваются» новые знания: убеждения, привычки, модели поведения. И тогда мы, наконец, чему-то научились. Эту способность мозга называют нейропластичностью.
Именно число микросетей в мозгу, а не его объем или масса, имеют определяющее влияние на то, что мы называем интеллект.
Попутно хочу заметить, что в раннем детстве, когда проходит самый интенсивный период обучения, для ребенка крайне важна богатая и разнообразная развивающая среда.
Нейропластика – это одно из самых удивительных открытий последних лет. Раньше считалось, что нервные клетки не восстанавливаются. Но в 1998 году группа американских ученых доказала, что нейрогенез происходит не только до 13-14 лет, но и всю нашу жизнь, и что у взрослых людей тоже могут появляться новые нервные клетки.
Они установили, что причиной уменьшения наших умственных способностей с возрастом является не отмирание нервных клеток, а истощение дендритов, - отростков нервных клеток, через которые проходят импульсы от нейрона к нейрону. Если дендриты постоянно не стимулировать, то они атрофируются, теряя способность к проводимости, словно мышцы без физической нагрузки.
Одни и те же ежедневные действия формируют шаблонное поведение - наши привычки, - при этом используются и укрепляются одни и те же нейронные связи. Так происходит встраивание нашего «автопилота», но при этом страдает гибкость нашего мышления.
Наш мозг нуждается в упражнениях. Необходимо каждый день менять рутинные и шаблонные действия на новые, непривычные вам, которые задействуют несколько органов чувств ; выполнять обычные действия необычным способом, решать новые проекты, стараясь уходить от «автопилота» привычных схем. Привычка ослабляет способности мозга. Для продуктивной работы ему нужны новые впечатления, новые задачи, новая информация, – одним словом – перемены.
До 1998 года считалось, что рост дендритов происходит только в раннем возрасте, но исследования доказали, что и у взрослых людей нейроны способны выращивать дендриты для компенсации потерянных старых. Доказано, что нейронные сети способны меняться в течение всей жизни человека и наш мозг хранит в себе огромные ресурсы нейропластичности – способности менять свою структуру.
Известно, что наш мозг состоит из эмбриональной ткани, то есть той, из которой состоит эмбрион. Поэтому он всегда открыт для развития, обучения и для будущего.
Мозг способен простой мыслью, воображением, визуализацией изменять структуру и функцию серого вещества. Ученые убеждаются, что это может происходить даже без внешних воздействий. Мозг может меняться под властью тех мыслей, которыми он наполнен, ум в силах влиять на мозг. Наш мозг создан природой с расчетом на обучение и подобные изменения.
В Библии сказано: «Преобразуйтесь обновлением ума вашего».
Все вышесказанное подводит нас к пониманию того, что для реального достижения целей требуется фундаментальное изменение способа работы вашего мозга – преодоление генетической программы и прежнего воспитания со всеми многолетними убеждениями. Вы не просто должны лелеять мысли в своем воображении, которые присутствуют не дольше новогоднего «все, больше не пью», а переучивать свой мозг, создавая новые нейронные структуры. Нейрологи говорят: «Нейроны, которые вместе сходятся, вместе и водятся». Новые нейронные структуры вашего мозга будут создавать совершенно новые сети, «блок-схемы», приспособленные для решения новых задач.
«Ваша задача - перекинуть мост через пропасть между вами и желаемыми целями».
Эрл Найтингейл
Метафорически этот процесс можно иллюстрировать на следующем примере. Представьте, что ваш мозг с его ограничивающими убеждениями – это стакан с мутной водой. Если бы вы сразу выплеснули грязную воду, помыли стакан и набрали чистую – это был бы шок для всего организма. Но, подставив стакан по струю чистой воды, вы постепенно замените мутную.
Точно так же для обучения мозга новому образу мыслей нет нужды резко «стирать» старый. Необходимо постепенно «заливать» подсознание новыми позитивными убеждениями, привычками и качествами, которые в свою очередь будут генерировать эффективные решения, приводя вас к нужным результатам.
Для поддержания высокой работоспособности нашему мозгу, как и телу, необходима «физзарядка». Профессор нейробиологии Лоуренс Кац (США) разработал комплекс упражнений для мозга – нейробику, позволяющую нам иметь хорошую «ментальную» форму.
Упражнения нейробики обязательно используют все пять чувств человека - причем, необычным образом и в разных комбинациях. Это помогает создавать в мозгу новые нейронные связи. При этом наш мозг начинает вырабатывать нейротропин, вещество, способствующее росту новых нервных клеток и связей между ними. Ваша задача -каждый день менять привычные и шаблонные действия на новые, непривычные.
Цель упражнений нейробики - стимуляция мозга. Заниматься нейробикой просто - нужно сделать так, чтобы в процессе привычной деятельности по-новому были задействованы ваши органы чувств.
Например:
- проснувшись утром, примите душ закрытыми глазами,
- почистите зубы другой рукой,
- постарайтесь одеться на ощупь,
- отправьтесь на работу новым маршрутом,
- сделайте привычные покупки в новом месте и еще много чего.
Это увлекательная и полезная игра.
Нейробика полезна абсолютно всем. Детям она поможет лучше концентрироваться и усваивать новые знания, а взрослым - поддерживать свой головной мозг в отличной форме и избежать ухудшения памяти.
Главный принцип нейробики - постоянно изменять простые шаблонные действия.
Давайте задание своему мозгу решать привычные задачи непривычным для него образом, и постепенно он отблагодарит вас прекрасной работоспособностью.
Итак, мы способны обучать свой мозг новому образу мышления. Начав менять свои шаблоны и убеждения, вы увидите, что меняясь изнутри, вы начнете менять все вокруг, словно порождая эффект расходящихся волн.
Помните: внешний Успех всегда есть производная от Успеха внутреннего.
Иисус учил: «Как вы мыслите, так вам и будет».
Так создается новая «Матрица» вашего мышления, которая ведет вас к Переменам.
Биологический нейрон состоит из тела диаметром от 3 до 100 мкм, содержащего ядро и отростки. Выделяют два вида отростков. Аксон обычно - длинный отросток, приспособленный для проведения возбуждения от тела нейрона. Дендриты - как правило, короткие и сильно разветвлённые отростки, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов).
Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи с 20-ю тысячами других нейронов. Кора головного мозга человека содержит десятки миллиардов нейронов.
Биологический нейрон является важнейшим элементом клеток нервной системы и строительным материалом мозга. Нейроны существуют в нескольких форма, в зависимости от их назначения и дислокации, но в целом они схожи по структуре.
Рис. 12.4 Схема нейрона
Каждый нейрон является устройством обработки информации, которое получает сигналы от других нейронов через специальную структуру ввода, состоящую из дендритов. Если совокупный входной сигнал превышает пороговый уровень, то клетка передает сигнал далее в аксон, а затем в структуру вывода сигнала, от которой он передается в другие нейроны. Сигналы передается с помощью электрических волн. (В течение жизни у человека число нейронов не увеличивается, но растет число связей между ними, как результат обучения).
Органы чувств человека состоят из большого числа нейронов, соединенных между собой множеством связей. Орган чувств включает в себя рецепторы и проводящие пути. В рецепторах формируются электрохимические сигналы, распространяющиеся со скоростью от 5 до 125 метров в секунду. Рецепторы кодируют различные виды сигналов в единый универсальный частотно-импульсный код.
Число нервных импульсов в единицу времени пропорционально интенсивности воздействия. Органы чувств имеют нижние и верхние пределы чувствительности. Реакция (Е) органов чувств человека на интенсивность (Р) раздражения можно приближенно представить законом Вебера - Фехнера:
Очевидно, если учесть при этом влияние шума, то можно прийти к формуле Шеннона, позволяющей оценить информационную способность такого органа чувств. Путем обучения и тренировки можно повысить разрешающую способность органов чувств. Кроме этого человек может различать сочетание частот и амплитуд , в такой степени, которая недоступна современным техническим устройствам. Но органы чувств функционируют в ограниченном диапазоне по частоте и амплитуде.
При переходе в возбужденное состояние в выходном отростке (аксоне) генерируется импульс возбуждения, распространяющийся по нему со скоростью от 1 до 100 м/с; в основе процесса распространения лежит изменение локальной проводимости мембраны аксона по отношению к ионам натрия и калия. Между нейронами нет прямых электрических связей. Перенос сигнала с аксона на входной отросток (дендрит) другого нейрона осуществляется химическим путем в специальной области – синапсе, где окончания двух нервных клеток подходят близко друг к другу. Некоторые из синапсов являются особыми, вырабатывающие сигналы обратной полярности для гашения сигналов возбуждения.
В настоящее время интенсивно изучаются и глобальные аспекты деятельности мозга – специализация его больших областей, функциональные связи между ними и т.п. В то же время мало известно, как же осуществляется обработка информации на промежуточном уровне, в участках нейронной сети, содержащей всего десятки тысяч нервных клеток.
Иногда мозг уподобляют колоссальной вычислительной машине, отличающейся от привычных компьютеров лишь существенно большим числом составляющих элементов. Считается, что каждый импульс возбуждения переносит единицу информации, а нейроны играют роль логических переключателей по аналогии с ЭВМ. Такая точка зрения ошибочна. Работа мозга основывается на совершенно иных принципах. В нем нет жесткой структуры связей между нейронами, которая была бы подобна электрической схеме ЭВМ. Надежность его отдельных элементов (нейронов) гораздо ниже, чем элементов, используемых для создания современных компьютеров. Разрушение даже таких участков, которые содержат довольно большое число нейронов, зачастую почти не влияет на эффективность обработки информации в этой области мозга. Часть нейронов отмирает при старении организма. Никакая вычислительная машина, построенная на традиционных принципах, не сможет работать при таких обширных повреждениях.
Современные ЭВМ выполняют операции последовательно, по одной операции на такт. Число извлекается из памяти , помещается в процессор , где над ним производится некоторое действие в соответствии с диктуемой программой инструкцией, и результат вновь заносится в память. Вообще говоря, при выполнении отдельной операции электрический сигнал должен пробежать по соединительным проводам определенное расстояние, что может ограничить быстродействие ЭВМ.
Например, если сигнал проходит расстояние в 30 см, то частота следования сигналов при этом не должна превышать 1 ГГц. Если операции выполняются последовательно, то предел быстродействия такой ЭВМ не превысит миллиарда операций в секунду. В действительности быстродействие, кроме того, ограничивается скоростью срабатывания отдельных элементов компьютера. Поэтому быстродействие современных ЭВМ уже довольно близко подошло к своему теоретическому пределу. Но этого быстродействия совершенно недостаточно, чтобы организовать управление сложными системами, решение задач «искусственного интеллекта» и др.
Если распространить приведенные рассуждения на человеческий мозг, то результаты будут абсурдными. Ведь скорость распространения сигналов по нервным волокнам в десятки и сотни миллионов раз меньше чем в ЭВМ. Если бы мозг работал, используя принцип современных ЭВМ, то теоретический предел его быстродействия составлял всего тысячи операций в секунду. Но этого явно недостаточно для объяснения существенно более высокой эффективности работы мозга.
Очевидно, деятельность мозга связана с параллельной обработкой информации. К настоящему времени организация параллельных вычислений уже используется в ЭВМ, например, с матричными процессорами, представляющими собой сеть из более простых процессоров, имеющих собственную память. Техника параллельного вычисления заключается в том, что элементарный процессор «знает» лишь о состоянии своего малого элемента среды. Основываясь на этой информации, каждый процессор вычисляет состояние своего элемента в следующий момент времени. При этом отсутствует ограничение быстродействия, связанное со скоростью распространения сигналов. Работа матричного процессора устойчива по отношению к локальным повреждениям.
Следующим этапом в развитие идеи параллельных вычислений явилось создание вычислительных сетей. Такое своеобразное «сообщество» компьютеров напоминает многоклеточный организм, который «живет своей жизнью». При этом функционирование вычислительной сети как сообщества компьютеров не зависит от того, как именно устроен каждый отдельный компьютер, какими процессами внутри него обеспечена обработка информации. Можно представить себе сеть, состоящую из очень большого числа примитивных компьютеров, способных выполнять всего несколько операций и хранить в своей памяти мгновенные значения нескольких величин.
С математической точки зрения подобные сети, состоящие из элементов с простым репертуаром реакций, принято рассматривать как клеточные автоматы . Мозг гораздо ближе по принципу работы и структуре к матричному процессору, чем к традиционной ЭВМ с последовательным выполнением операций. Однако существует фундаментальное различие между мозгом человека и любым параллельным компьютером. Дело в том, что нейронные сети мозга вообще не заняты никакими вычислениями. Абстрактное мышление (обращение с числами и математическими символами) вторично по отношению к фундаментальным механизмам работы мозга. Трудно себе представить, что когда, например, кошка настигает в прыжке птичку, ее мозг решает в считанные доли секунды системы нелинейных дифференциальных уравнений, описывающих траекторию прыжка и другие действия.
На эту тему можно привести следующее высказывание А. Эйнштейна: «Слова и язык, по-видимому, не играют никакой роли в моем механизме мышления. Физические сущности, которые в действительности, видимо, элементами мышления, - это определенные знаки и более или менее ясные образы, которые могут произвольно воспроизводиться и комбинироваться… Обычные слова приходиться подбирать лишь на второй стадии…».
Мозг работает как колоссальная «аналоговая» машина, где окружающий мир находит отражение в пространственно-временных структурах активности нейронов. Подобный механизм работы мозга мог естественно возникнуть в ходе биологической эволюции.
Для простейшего животного основная функция нервной системы состоит в том, чтобы преобразовать ощущения, вызываемые внешним миром, в определенную двигательную активность. На ранних стадиях эволюции связь между образом-ощущением и образом-движением является прямой, однозначной и наследственно закрепленной в исходной структуре соединений между нейронами. На более поздних стадиях эта связь усложняется, появляется способность к обучению. Образ-ощущение уже не связан жестко с планом действий. Вначале осуществляется его промежуточная обработка и сравнение с хранящимися в памяти картинами. Промежуточная обработка образов становится все более сложной по мере движения вверх по эволюционной лестнице. В конечном счете, после длительного развития, формируется процесс, называемый нами мышлением.
Для распознавания образов может быть использован принцип «клеточного автомата». Система обладает ассоциативной памятью, если при подаче на ее вход некоторой картинки она автоматически отбирает и подает на выход наиболее близкую к ней хранящуюся в памяти картину.
Искусственная нейронная сеть - это модель, имитирующая работу нервных клеток живого организма, и представляющая собой систему из соединённых и взаимодействующих между собой искусственных нейронов. Искусственный нейрон упрощённо моделирует работу биологического нейрона. У каждого искусственного нейрона есть набор входов, передающих входные сигналы разной интенсивности, тело, состоящее из сумматора и функции активации, и единственный выход, интенсивность сигнала которого и есть результат обработки входных сигналов.
Как правило, искусственные нейросети моделируются послойно: на первый слой нейронов передаются входные данные, затем используется один или более скрытых слоёв и, наконец, выходной слой показывает результат. Возвращаясь к примеру с распознаванием цифр: если взять число признаков порядка 100, то входной слой будет состоять из 100 нейронов, затем последуют несколько скрытых слоёв нейросети, а выходной слой может содержать 10 нейронов. Эта простая и изящная схема компоновки достаточно примитивных вычислительных блоков вместе со специальными методами обучения открывает большие возможности для обработки данных.
Как они обучаются?
Обучение с учителем. В этом случае сети подаются на вход данные из некоторого обучающего набора. В нашем примере это признаки объектов, которые преобразуются в интенсивность сигналов входных нейронов. Затем сигналы суммируются и активируют скрытые нейроны. Этот процесс повторяется слой за слоем, пока не будет достигнут выходной слой нейросети. Сигналы нейронов можно трактовать как ответ на некий вопрос, например, о принадлежности изображения какому-то классу. Если это ответ правильный, то переходят к следующему образцу, в противном случае происходит процесс обратного распространения ошибки. Это можно трактовать так: учитель поставил свою оценку за этот ответ, и нужно выучить новое правило. Если параметры нейросети подобраны верно, то, обработав достаточное количество обучающих образцов на входе, нейросеть становится способна классифицировать незнакомые объекты. В нашем примере можно собрать изображения чисел от 0 до 9, написанные множество раз и разными людьми. Это будет обучающий набор. Он делится на две части: одна используется для обучения классификатора, а вторая - контрольный набор - для проверки качества работы классификатора и для вычисления ошибок.
Обучение без учителя. При поступлении нового образца данных нейросеть пытается найти наиболее «похожий» образец из ранее обработанных и «объединяет» своё представление о целой группе образцов. Если встречается что-то действительно уникальное, это можно трактовать как выделение сетью нового кластера. Здесь никто не контролирует результат. Это используется для грубой оценки структуры данных. То есть мы показали сети 10000 изображений рукописных цифр, она сказала, что примерно может разбить их на 20-30 различных типов объектов. Верно ли это? Возможно верно, она уловила закономерности почерка и особенности написания цифр. Можем ли мы использовать это на практике? Не всегда, всё-таки чтобы распознать цифры, нам надо ограничить фантазию классификатора 10 классами цифр. Обучение без учителя используется для поиска зависимостей в больших объёмах необработанных и несистематизированных данных. Например, в медицине. Есть огромное число особенностей каждого пациента: уровень сахара в крови, артериальное давление, рост, вес, возраст, вредные привычки, наследственные болезни. Вручную выявлять закономерности очень сложно и трудоёмко. А так - анализ данных подскажет, что можно связывать сердечно-сосудистые заболевания с приёмом некоторого лекарства, и тому подобное.