Cybernetics wiki

Нейронные сети — универсальные аппроксиматоры[]

Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат. Доказана обобщённая аппроксимационная теорема: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с любой наперед заданной точностью. Это означает, что нелинейная характеристика нейрона может быть произвольной: от сигмоидальной до произвольного волнового пакета или вейвлета, синуса или полинома. От выбора нелинейной функции может зависеть сложность конкретной сети, но с любой нелинейностью сеть остаётся универсальным аппроксиматором и при правильном выборе структуры может сколь угодно точно аппроксимировать функционирование любого непрерывного автомата.

Литература[]

• Винер Н. Кибернетика. — М.: Советское радио, 1968.
• Винер Н. Некоторые моральные и технические последствия автоматизации.
• Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
• Эшби У. Р. Введение в кибернетику. — М.: Изд. иностр. лит., 1959. — 432 с.

• Пекелис В.Д. (сост.) Возможное и невозможное в кибернетике, Наука, 1964, 222 с.
• Пекелис В.Д. (сост.) Кибернетика ожидаемая и кибернетика неожиданная, Наука, 1968, 311 с.
• Пекелис В.Д. (сост.) Кибернетика. Итоги развития, Наука, 1979, 200 с.
• Пекелис В.Д. (сост.) Кибернетика. Современное состояние, Наука, 1980, 208 с.

• Марков А. А. Что такое кибернетика. — В кн.: Кибернетика, мышление, жизнь. — М.: Мысль, 1964
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М.: Наука, 1971
• Кузин Л. Т. Основы кибернетики (в 2-х томах). — М.: Энергия, 1973
• В. М. Глушков, Н. М. Амосов и др. «Энциклопедия кибернетики». Киев. 1975 г.
• Герович В. А. Человеко-машинные метафоры в советской физиологии // Вопросы истории естествознания и техники. № 3, 2002. С. 472—506.
• Гринченко С. Н. История человечества с кибернетических позиций // История и Математика: Проблемы периодизации исторических макропроцессов. — М.: КомКнига, 2006. — С. 38—52.
• Грэхэм, Л. Естествознание, философия и науки о человеческом поведении в Советском Союзе. — М.: Политиздат, 1991. — 480 с.

Клаус Г. Кибернетика и философия = Kybernetik in philosophischer Sicht / Перевод с немецкого И. С. Добронравова, А. П. Куприяна, Л. А. Лейтес; редактор В. Г. Виноградов; Послесловие Л. Б. Баженова, Б. В. Бирюкова, А. Г. Спиркина. — М.: ИЛ, 1963.

Основы кибернетики. Математические основы кибернетики / Под ред. профессора К. А. Пупкова. — М.: Высшая школа.

Основы кибернетики. Теория кибернетических систем / Под ред. профессора К. А. Пупкова. — М.: Высш. школа, 1976. — 408 с. — (Учеб. пособие для вузов). — 25000 экз.

• Поваров Г. Н. Ампер и кибернетика. — М.: Советское радио, 1977.
• Теслер Г. С. Новая кибернетика. — Киев: Логос, 2004. — 401 с.
• Кибернетика и информатика // Сборник научных трудов к 50-летию Секции кибернетики Дома ученых им. М. Горького РАН. — Санкт-Петербург, 2006. — 410 с.
• Игнатьев М. Б. Информационные технологии в микро-, нано- и оптоэлектронике. — изд. ГУАП, Санкт-Петербург, 2008. — 200 с.

Перспективы и будущее

Не зря наше время – период царствования науки кибернетика. Все вокруг получает большую автоматизацию для удобства использования человеком. Это касается как бытовых и развлекательных приборов, так и почти всех производственных процессов.

К области интересов дисциплины можно отнести любые современные контролирующие системы, от таймеров в печках или стиральных машинах, до автоматов, управляющих ядерными реакторами или работой светофоров у переходов через дорогу. К дисциплине относятся и все электронные устройства – принцип их действия непосредственно построен на использовании ее теорий и практик.

Компьютерная техника, как в стационарных ее видах ПК и мэйнфреймах, или перемещаемая в виде сотовых телефонов, фитнес-браслетов, игровых приставок, ноутбуков или планшетов, это вообще ниша, полностью и безраздельно занимаемая кибернетикой, математические методы которой используются в аппаратных частях оборудования и программном его заполнении.
Некоторые виды компьютерной техники

дальнейшее чтение

• Стаффорд Бир (1959), кибернетика и менеджмент , English University Press. 214 стр.
• Стаффорд Бир (1966), Решение и контроль: значение операционных исследований и управленческой кибернетики , 568 страниц.
• Стаффорд Бир (1972), Мозг фирмы: разработка в управленческой кибернетике , Гердер и Гердер.
• Стаффорд Бир (1979), Сердце предприятия , Джон Вили, Лондон и Нью-Йорк.
• Стаффорд Бир (1985), Диагностика системы для организаций , Джон Вили, ISBN  
• Рауль Эспехо (2006), «Что такое системное мышление?», В: System Dynamics Review , Vol 10, Issue 2-3, pp 199–212.
• Майкл С. Джексон (1991), Системная методология для наук управления .
• Майкл С. Джексон (2000), Системные подходы к менеджменту , 465 стр.
• Фрэнсис Хейлиген (2001), «Кибернетика и кибернетика второго порядка» в: Р. А. Мейерс (редактор), Энциклопедия физических наук и технологий (3-е изд.), (Academic Press, New York.
• Джордж Э. Ласкер и Александр Згжива, (ред.) (2003), Исследования информационных систем и кибернетика управления , 65 стр.
• А. Леонард (2002), «Стаффорд Бир: отец кибернетики управления», в: Кибернетика и человеческое знание , том 9, номера 3-4, 2002, стр. 133–136 (4).
• PN Rastogi (1979), Введение в социальную и управленческую кибернетику , Нью-Дели: Affiliated East West Press.
• Ларс Скайттнер (2001), «Множественные перспективы кибернетики управления», в: Общая теория систем: идеи и приложения , стр. 327-336.
• Вольфганг Винтер и Мануэла Турм (2005), «Кибернетика второго порядка! В системном управленческом мышлении?», В: Kybernetes , Vol 34 Issue: 3/4 pp. 419–426.

Немного истории

Термин «кибернетика» в научный оборот ввел французский физик Ампер в 30-х годах XIX века. Согласно определению Ампера, она является наукой об эффективном управлении государством, главная цель которого — обеспечение потребностей его жителей.

Кибернетика как наука зародилась в 1940-е. Она объединила теоретические знания и исследования из нескольких областей:

• машиностроения,
• систем управления,
• логического моделирования,
• теории электрических цепей,
• биологии,
• неврологии.

Несмотря на то, что первым определение дал Ампер, он не тот, кто заложил основы кибернетики. Основателем научного течения считается Норберт Винер, ученый из США. История кибернетики в современном понимании началась в 1948 году, когда была издана работа Винера под одноименным названием, ставшая фундаментом для нового направления в науке.

Вычислительные машины середины XX века отличались низким быстродействием. Норберт Винер, в сферу интересов и исследований которого входили эти машины, сформировал в своем труде общий список требований к ним.

Ученый довольно точно спрогнозировал, как будет развиваться вычислительная техника. В частности, основоположником кибернетики был предсказан переход от десятичной системы к двоичной в вычислительных устройствах.

Он считал это необходимым шагом для увеличения быстродействия ЭВМ, так как двоичная система является более экономичной. Также Норберт Винер настаивал на том, что машины должны быть способны к самообучению и, как следствие, к самостоятельному исправлению допущенных ошибок.

Помимо работы Винера, базовыми для нового научного направления стали труды Уильяма Росса Эшби, Уоррена Мак-Каллока и Уильяма Уолтера. Эти ученые наравне с Винером были теми, кто заложил основы кибернетики.

Примечания[]

1. Мак-Каллок У. С., Питтс В.,Логическое исчисление идей, относящихся к нервной активности // В сб.: «Автоматы» под ред. К. Э. Шеннона и Дж. Маккарти. — М.: Изд-во иностр. лит., 1956. — с.363-384. (Перевод английской статьи 1943 г.)
2. Уидроу Б., Стирнс С., Адаптивная обработка сигналов. — М.: Радио и связь, 1989. — 440 c.
3. Werbos P. J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974.
4. Галушкин А. И. Синтез многослойных систем распознавания образов. — М.: «Энергия», 1974.
5. Rumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986.
6. Барцев С. И., Охонин В. А. Адаптивные сети обработки информации. Красноярск : Ин-т физики СО АН СССР, 1986. Препринт N 59Б. — 20 с.
7. BaseGroup Labs — Практическое применение нейросетей в задачах классификации
8. Такой вид кодирования иногда называют кодом «1 из N»
9. ↑ Открытые системы — введение в нейросети
10. Миркес Е. М.,Логически прозрачные нейронные сети и производство явных знаний из данных, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5020314102
11. Упоминание этой истории в журнале «Популярная механика»
12. http://www.intuit.ru/department/expert/neuro/10/ INTUIT.ru — Рекуррентные сети как ассоциативные запоминающие устройства]
13. Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9

14. Зиновьев А. Ю. Визуализация многомерных данных. — Красноярск: Изд. Красноярского государственного технического университета, 2000. — 180 с.

15. Горбань А. Н., Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей, Сибирский журнал вычислительной математики, 1998. Т.1, № 1. С. 12-24.
16. Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications, Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting : Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.
17. Доррер М. Г., Психологическая интуиция искусственных нейронных сетей, Дисс. … 1998. Другие копии онлайн: ,

Известные применения[]

Распознавание образов и классификация

В качестве образов могут выступать различные по своей природе объекты: символы текста, изображения, образцы звуков и т. д. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор из его признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае, если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно .По окончании обучения сети можно предъявлять неизвестные ей ранее образы и получать от нее ответ о принадлежности к определенному классу. Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из ее выходов должен появится признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается что сеть «не уверена» в своем ответе.

Принятие решений и управление

Эта задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход нейронной сети. На выходе сети при этом должен появится признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системы.

Кластеризация

Под кластеризацией понимается разбиение множества входных сигналов на классы, при том, что ни количество, ни признаки классов заранее неизвестны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Сеть также может сигнализировать о том, что входной сигнал не относится ни к одному из выделенных классов — это является признаком новых, отсутствующих в обучающей выборке, данных. Таким образом, подобная сеть может выявлять новые, неизвестные ранее классы сигналов. Соответствие между классами, выделенными сетью, и классами, существующими в предметной области, устанавливается человеком. Кластеризацию осуществляют, например, нейронные сети Кохонена.

Прогнозирование и аппроксимация

Способности нейронной сети к прогнозированию напрямую следуют из ее способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и/или каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.

Сжатие данных и Ассоциативная память

Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс — восстановление исходного набора данных из части информации — называется (авто)ассоциативной памятью. Ассоциативная память позволяет также восстанавливать исходный сигнал/образ из зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому.

Применение

Как научная дисциплина ее тезисы, математические решения и методы исследования применяются в изготовлении всей окружающей автоматики, включая такие ее виды: распознающие образы на изображениях, нейросистемы искусственного интеллекта, различные контролирующие устройства или их части, медицинское оборудование, вся цифровая техника, роботов, комплексы восприятия и синтеза голоса.

В сущности, в 21 веке сложно найти что-то в окружении человека, которое не содержит тех или иных управляющих элементов в зависимости от поступающих сигналов.
Кибернетика – основа замены человека во всех областях жизни

Медицинская кибернетика

Одной из ниш, которую плотно заняла научная дисциплина кибернетика, стала медицина. Средства контроля и автоматизации используются в миллионах относящихся к этой сфере деятельности приборов и устройств. Сюда входят системы предварительной поддержки жизнедеятельности организма человека – аппараты искусственного дыхания, фибрилляции, контролирующие его состояние приборы (различные анализаторы и индикаторы), а также вживляемые и устанавливаемые протезы.

Все эти ниши важны, но хотелось бы отдельно упомянуть о последних из перечисленных. Наиболее видимо и полно соответствуют понятию кибернетики различные современные протезы конечностей человека. Теперь управление ими осуществляется отдачей команд при помощи мыслей, а не устаревшими механическими способами.

Кроме того, созданы, пока экспериментальные, системы обратной связи, которые позволяют чувствовать искусственную руку или ногу как реальное продолжение человеческого тела с восприятием информации от различных датчиков, размещенных на протезе.
Швейцарский бионический протез с обратной связью по чувствительности и управлению мозговыми волнами

Примечания

1. Словарь по кибернетике / Под редакцией академика В. С. Михалевича. — 2-е. — Киев: Главная редакция Украинской Советской Энциклопедии имени М. П. Бажана, 1989. — С. 259. — 751 с. — (С48). — 50 000 экз. — ISBN 5-88500-008-5.
2. «Энциклопедия кибернетики» под ред. В. М. Глушкова, т.1., Киев, 1974 — с. 440.
3. Norbert Wiener. Cybernetics or Control and Communication in the Animal and the Machine. (Hermann & Cie Editeurs, Paris, The Technology Press, Cambridge, Mass., John Wiley & Sons Inc., New York, 1948)
4. Couffignal, Louis. «Essai d’une définition générale de la cybernétique», The First International Congress on Cybernetics, Namur, Belgium, June 26-29, 1956, Gauthier-Villars, Paris, 1958, pp. 46—54
5. . slovariki.org. Дата обращения: 25 мая 2016.
6. Цитируется по сборнику «Кибернетика ожидаемая. Кибернетика неожиданная». — М.: Наука, 1968. — стр. 152.
7. Jean-Pierre Dupuy. «The autonomy of social reality: on the contribution of systems theory to the theory of society» in: Elias L. Khalil & Kenneth E. Boulding eds., Evolution, Order and Complexity, 1986.
8. Peter Harries-Jones. «The Self-Organizing Polity: An Epistemological Analysis of Political Life by Laurent Dobuzinskis» in: Canadian Journal of Political Science (Revue canadienne de science politique), Vol. 21, No. 2 (Jun., 1988), pp. 431—433.
9. Kenneth D. Bailey. Sociology and the New Systems Theory: Toward a Theoretical Synthesis, 1994, p.163.
10. Kenneth D. Bailey. Sociology and the New Systems Theory: Toward a Theoretical Synthesis, 1994.
11. Kevin Kelly. «Out of control: The new biology of machines, social systems and the economic world», 1994, Addison-Wesley ISBN 0-201-48340-8

Что такое кибернетика?

Кибернетика — это междисциплинарная наука об общих закономерностях получения, хранения, преобразования и передачи информации в сложных управляющих системах, будь то машины, живые организмы или общество. Это попытка ученых создать общую математическую теорию управления сложными системами, совместить на первый взгляд несовместимое и найти общность там, где ее не может быть.

Сло­во «ки­бер­не­ти­ка» впер­вые упот­ребил Пла­то­н в диа­ло­ге «За­ко­ны» (4 в. до н. э.) для обо­зна­че­ния «принципов управ­ле­ния людь­ми». В научный оборот термин «кибернетика» ввел французский физик и математик Андре-Мари Ампер, чьим именем мы измеряем силу электрического тока. В 1834 году в своем фундаментальном труде «Опыт о философии наук, или аналитическое изложение естественной классификации всех человеческих знаний» он определил кибернетику как науку об управлении государством, которая должна обеспечить гражданам разнообразные блага.

В том виде, в каком мы понимаем его сегодня, термин «кибернетика» ввел американский математик Норберт Винер в своей книге «Кибернетика, или Управление и связь в животном и в машине», опубликованной издательством MIT Press/Wiley and Sons в 1948 году. Он создал совершенно новую область исследований и совершенно новый взгляд на мир.

Уникальность его идей в том, что он показал: животные, как и машины, могут быть включены в более обширный класс объектов, отличительной особенностью которого является наличие систем управления.

Винера называют «отцом кибернетики». Однако большой вклад в развитие науки внесли и другие ученые — английский психиатр Уильям Эшби, американский нейрофизиолог Уоррен Маккалок, английский математик Алан Тьюринг, мексиканский физиолог Артуро Розенблют, советские математики Андрей Колмогоров и Виктор Глушков и другие.

Академик Виктор Глушков — ключевая фигура советской кибернетики

(Фото: ТАСС)

Основные принципы кибернетики

Как и в любой науке, у кибернетики есть свои законы и принципы. Основные из них — это принцип «черного ящика» и закон обратной связи.

Принцип «черного ящика» ввел английский психиатр, специалист по кибернетике и пионер в исследовании сложных систем Уильям Эшби. Этот принцип позволяет изучать поведение системы, то, как она реагирует на внешние воздействия, и в то же время абстрагироваться от ее внутреннего устройства. То есть кибернетики соглашаются с когнитивными ограничениями человека и невозможностью понять всех состояний системы, которые она может принимать прямо сейчас.

Закон обратной связи заключается в простом факте: если есть объект управления и субъект управления, то для выработки адекватных управляющих воздействий, имея информацию о состоянии объекта, субъект может принимать адекватное решение по его управлению. То есть манипулируя входными сигналами, мы можем наблюдать некий результат работы системы на выходе. При этом принципы и законы кибернетики одинаково применимы к управлению автомобилем, крупным предприятием, поведением толпы или бионическим протезом.

Одно из важнейших достижений кибернетики — разработка и широкое использование метода математического моделирования. Он позволяет проводить эксперименты не с реальными физическими моделями изучаемых объектов, а с их математическим описанием в виде компьютерных программ.

Ученые-кибернетики

Управление кибернетическими механизмами регулирования было еще заложено в устройствах Ктесибия, жившего в 2-1 веках до нашей эры, и Герона Александрийского (около 1 в. до н.э.).

В средние века основы дисциплины применялись в изготовлении часовых и навигационных приборов или различных видов мельниц, где требовалось автоматическая регулировка работы устройств.

Основной рассвет систематизации кибернетики возник в век пара, относящий к технологическому периоду использования его в устройствах движения. Первый автоматический регулятор работы паровых двигателей запатентован Джеймсом Уаттом (1736-1819), они же, в свою очередь, дали большой толчок процессу индустриализации общества. Теоретические работы по кибернетическим системам тех лет относят к статье Джеймс Клерк Максвелла (1831-1879), посвященной регуляторам.
Фотография Джеймса Клерка Максвелла

Дальнейшее развитие дисциплина получила в трудах И.А. Вышнеградского (1832-1895). Сравнение естественных биологических систем и их реакций изучалось, в рамках кибернетики, И.П. Павловым (1849-1936) и П.К. Анохиным (1898-1974). Окончательное математическое обоснование наука получила в работах А. М. Тьюринга, А. Н. Колмогорова, Э. Л. Поста, В. А. Котельникова, А. Чёрча.

Современное понимание кибернетических систем и информатики было определено в рамках создания первой электронной вычислительной машины, прообраза компьютера, Нобертом Винтером, В. Бушем, Дж. фон Нейманом, У. Мак-Каллок и А. Розенблют. Итог работы этой группы относительно реальных технических и практических задач был опубликован Винтером в его книге «Кибернетика», изданной в 1948 году.
Ноберт Винтер

Для сохранения истины, хотелось бы вспомнить о том, что устройства обработки информации существовали еще до трудов Н. Винтера, только они не получали необходимого теоретического обоснования, требуемого в рамках научной дисциплины. В общность таких приборов входят различные арифмометры, механические вычислительные машины Чарльза Бэббриджа и станки Жозефа Мари Жакара, регуляторы множества изобретателей и созданные Конрадом Эрнст Отто Цузе релейные компьютеры.

Исследование операций

В соответствии с практикой Beer, в исследованиях производственной деятельности участвовали многопрофильные группы, ищущие практическую помощь в решении сложных управленческих вопросов. Это часто вовлекало разработку моделей, заимствованных из фундаментальных наук и помещенных в изоморфную связь с организационной ситуацией. Бир первоначально называл это « операционным исследованием » (OR), но вместе с Расселом Акоффом он все больше разочаровывался в этом термине по мере того, как область переходила в область, в которой предопределенный набор математических инструментов применялся к хорошо сформулированным задачам. Критика традиционного операционного вмешательства Биром, в частности, заключалась в том, что это стало делом экспертов-математиков, ищущих ситуации, которые можно было бы согласовать с их методами. Бир настаивал на том, что для эффективного исследования операций необходимо сначала понять ключевую динамику ситуации и только затем выбрать теорию или методы, которые позволят понять эту ситуацию в деталях. В «Решении и контроле» Бера, особенно в шестой главе, методология обсуждается довольно подробно.