В данной главе описан способ прогнозирования с помощью НС, основанный на методе окон. Также приведен обзор применения НС в финансовой сфере.

3.1. Общий подход к прогнозированию с помощью нейронных сетей

На НС задача прогнозирования формализуется через задачу распознавания образов. Данных о прогнозируемой переменной за некоторый промежуток времени образуют образ, класс которого определяется значением прогнозируемой переменной в некоторый момент времени за пределами данного промежутка т.е. значением переменной через интервал прогнозирования. Метод окон предполагает использование двух окон Wi и Wo с фиксированными размерами n и m соответственно. Эти окна, способны перемещаться с некоторым шагом по временной последовательности исторических данных, начиная с первого элемента, и предназначены для доступа к данным временного ряда, причем первое окно Wi, получив такие данные, передает их на вход нейронной сети, а второе - Wo - на выход. Получающаяся на каждом шаге пара Wi -> Wo (3.1) используется как элемент обучающей выборки (распознаваемый образ, или наблюдение) .

Например, пусть есть данные о еженедельных продажах режущего инструмента (k = 16) : 100 94 90 96 91 94 95 99 95 98 100 97 99 98 96 98 (3.2) Весь ряд смотри приложение 1. Зададим n = 4, m = 1, s = 1. С помощью метода окон для нейронной сети будет сгенерирована следующая обучающая выборка: 100 94 90 96 -> 91 94 90 96 91 -> 94 90 96 91 94 -> 95 (3.3) 96 91 94 95 -> 99 91 94 95 99 -> 95 и т.д.

Каждый следующий вектор получается в результате сдвига окон Wi и Wo вправо на один элемент (s = 1) . Предполагается наличие скрытых зависимостей во временной последовательности как множестве наблюдений. Нейронная сеть, обучаясь на этих наблюдениях и соответственно настраивая свои коэффициенты, пытается извлечь эти закономерности и сформировать в результате требуемую функцию прогноза P.

Прогнозирование осуществляется по тому же принципу, что и формирование обучающей выборки. При этом выделяются две возможности: одношаговое и многошаговое прогнозирование.

МНОГОШАГОВОЕ ПРОГНОЗИРОВАНИЕ.

Используется для осуществления долгосрочного прогноза и предназначено для определения основного тренда и главных точек изменения тренда для некоторого промежутка времени в будущем. При этом прогнозирующая система использует полученные (выходные) данные для моментов времени k+1, k+2 и т.д. в качестве входных данных для прогнозирования на моменты времени k+2, k+3 и т.д.

Предположим, система обучилась на временной последовательности (3.2) . Затем она спрогнозировала k+1 элемент последовательности, например, равный 95, когда на ее вход был подан последний из известных ей образов (99,98,96,98) . После этого она осуществляет дальнейшее прогнозирование и на вход подается следующий образ (98,96,98,95) . Последний элемент этого образа является прогнозом системы. И так далее.

ОДНОШАГОВОЕ ПРОГНОЗИРОВАНИЕ.

Используется для краткосрочных прогнозов, обычно - абсолютных значений последовательности. Осуществляется прогноз только на один шаг вперед, но используется реальное, а не прогнозируемое значение для осуществления прогноза на следующем шаге.

Для временной последовательности 3.2. На шаге k+1 система прогнозирует требование 95, хотя реальное значение (смотри приложение 1) должно быть 96. На шаге k + 2 в качестве входного образа будет использоваться образ (98,96,98,96) .

Как было сказано выше, результатом прогноза на НС является класс к которому принадлежит переменная, а не ее конкретное значение. Формирование классов должно проводиться в зависимости от того каковы цели прогнозирования. Общий подход состоит в том, что область определения прогнозируемой переменной разбивается на классы в соответствии с необходимой точностью прогнозирования. Классы могут представлять качественный или численный взгляд на изменение переменной.

3.2. Применение нейронных сетей в финансовой сфере

Характерный пример успешного применения нейронных вычислений в финансовой сфере управление кредитными рисками. Как известно, до выдачи кредита банки проводят сложные статистические расчеты по финансовой надежности заемщика, чтобы оценить вероятность собственных убытков от несвоевременного возврата финансовых средств. Такие расчеты обычно базируются на оценке кредитной истории, динамике развития компании, стабильности ее основных финансовых показателей и многих других факторов. Один широко известный банк США опробовал метод нейронных вычислений и пришел к выводу, что та же задача по уже проделанным расчетам подобного рода решается быстрее и точнее. Например, в одном из случаев оценки 100 тыс. банковских счетов новая система, построенная на базе нейронных вычислений, определила свыше 90% потенциальных неплательщиков.

Другая очень важная область применения нейронных вычислений в финансовой сфере предсказание ситуации на фондовом рынке. Стандартный подход к этой задаче базируется на жестко фиксированном наборе "правил игры", которые со временем теряют свою эффективность из-за изменения условий торгов на фондовой бирже. Кроме того, системы, построенные на основе такого подхода, оказываются слишком медленными для ситуаций, требующих мгновенного принятия решений. Именно поэтому основные японские компании, оперирующие на рынке ценных бумаг, решили применить метод нейронных вычислений. В типичную систему на базе нейронной сети ввели информацию общим объемом в 33 года деловой активности нескольких организаций, включая оборот, предыдущую стоимость акций, уровни дохода и т.д. Самообучаясь на реальных примерах, система нейронной сети показала большую точность предсказания и лучшее быстродействие: по сравнению со статистическим подходом дала улучшение результативности в целом на 19%.

Следующий пример, довольно близкий к области финансового рынка, - оценка стоимости недвижимости. Решение этой задачи зависит в основном от опыта сотрудника риэлтерской фирмы, учитывающего множество таких неравноценных факторов, как доля собственности, качество постройки, окружающая обстановка и т.д. Группа исследователей из университета г. Портсмут (Великобритания) заложила в вычислительную систему на базе нейронной сети данные по оценке недвижимости из обзоров риэлтеровских фирм и списков аукционных цен. Результат показал, что самообучившаяся система дает оценки стоимости, хорошо коррелируемые с экспертными заключениями специалистов этого профиля.

Пример удачного прогнозирования динамики биржевых курсов по заказу Chemical Bank продемонстрировала фирма Logica. На технической базе Sun SPARCstation LX с помощью нейронных вычислений моделировались рынки валютных курсов доллар/швейцарский франк и немецкая марка/швейцарский франк. Выбор именно этих валют объяснялся высоким уровнем подвижности первого соотношения и малым второго (до кризиса в 1993 году) . Данные о динамике кросс-курсов этих валют собирались с 1 октября 1992 года по 1 октября 1993 года, при этом ценовые прогнозы характеризовались пятью категориями: большой рост, малый рост, без изменений, малый спад, большой спад. В итоге нейронная система предсказала за вышеупомянутый годовой период 55 % реальных данных по первому соотношению валют и 23 % - по второму.

Лондонская фондовая биржа (ЛФБ) начала внедрение автоматизированной системы с элементами искусственного интеллекта на базе нейронных вычислений для контроля внутреннего дилинга. Первый этап инсталляции этой системы, разработанной лондонской фирмой SearchSpace и получившей кодовое наименование MonITARS (Monitoring Insider Trading and Regulatory Surveillance) , успешно завершен.

По оценкам экспертов, бум вокруг систем искусственного интеллекта в финансовой индустрии пришелся на период 1984 - 1989 гг. В основном он затронул США и в меньшей степени Великобританию, где разработчики сложных имитационных систем для военных (типа программы "Звездные войны") решили попытать счастья на Уолл-стрит. Многие разработчики действительно обогатились, чего нельзя сказать о финансовых структурах, чьи завышенные ожидания эффекта от внедрения подобных систем не оправдались. Так, один крупный инвестиционный банк на Уолл-стрит потратил более 1 млн. долл. на разработку системы искусственного интеллекта для финансовых операций, но спустя некоторое время вынужден был вернуться к старой, "неинтеллектуальной". Одной из причин неудачи был недостаточный по сравнению с ожидаемым уровень производительности системы, полученный в результате ее внедрения.

Американская фондовая биржа в Нью-Йорке пошла по аналогичному пути, запустив в 1987 году автоматизированную систему Stockwatch Alert Terminal (SWAT) II. Ее расширенная версия - SWAT III - сейчас проходит бета-тестирование и, видимо, будет внедрена в начале года. Правда, фирма SearchSpace утверждает, что выбрала другую технологию (в отличие от SWAT) , называемую "генетическими алгоритмами", и ведет переговоры о ее внедрении с рядом бирж Европы и Дальнего Востока.

В настоящее время банки пришли к выводу, что прикладные системы, разработанные на базе нейронных сетей, могут принести им пользу. На рынке уже предлагаются продукты подобного рода, определяющие вероятность риска при выдаче кредита, а также пакеты моделирования и прогнозирования банкротства, анализа портфеля ценных бумаг и торговли акциями. Нейронные сети заменяют традиционные системы в таких научно-технических областях, как статистические методы, распознавание образов, линейный и нелинейный математический анализ.

Mellon equity Associates - подразделение Mellon Bank в Питтсбурге (США) - достаточно давно применяло собственную систему анализа линейной регрессии для распределения фондов и специальной селекции акций. В ходе работы они обнаружили, что между различными оценочными параметрами существуют нелинейные связи, не поддающиеся точному учету с помощью имеющегося у них инструментария.

Поскольку данное направление работ составляет примерно половину всего бизнеса компании (под управлением находится около 2.5 млрд. долл. инвестиций) , то поиск более точных средств стал жизненно важной задачей. После тщательного анализа разных систем разработок ПО с помощью нейронных сетей Mellon Equity Associates выбрала пакет Neural-Works Professional II/Plus 5.0 фирмы Neural- Ware (Питтсбург) . Основанием для этого послужило наличие у него таких возможностей, как усиленный темп самообучения на базе "генетического алгоритма", очень важного для моделирования систем "с шумом".

По мнению руководителей NeuralWare Inc., методика линейного статистического анализа имеет следующие недостатки. При финансовых расчетах существует сильная взаимосвязь между отношением цена/доходы одинаковых рынков и темпами изменения дивидендов краткосрочных инвестиций. Когда на кривой, отображающей динамику последних, есть точки экстремума, то линейные методы могут дать переоценку первых.

Neural-Works Professional II/Plus 5.0, инсталлированный в компании Mellon Equity Associates, ориентирован на IBM-совместимый ПК с 486-м процессором (правда, в качестве препроцессора там используется мэйнфрейм VAX) и содержит компилятор языка C и стандартные электронные таблицы. Пакет внедрялся в течение четырех-пяти месяцев и в рабочем режиме функционирует с января 1994 года.

Гораздо более распространены случаи, когда в финансовых структурах применяются уже готовые приложения на базе нейронных сетей, например для автоматического распознавания чеков. Подобная система Quick Strokes-IFPS фирмы Mitek Systems (Сан-Диего, шт. Калифорния) была установлена в 1993 году в Федеральном резервном банке Чикаго. Она позволяет оперативно распознавать сканируемые чеки, используя среду обработки данных на базе мэйнфрейма.

Департамент торговли и индустрии правительства Великобритании спонсирует две программы, направленные на развитие нейронных вычислений в финансовой сфере. Это "Клуб нейропрогнозирования", созданный Лондонской школой бизнеса совместно с университетским колледжем Лондона (UCL) , и "Нейронные сети для финансовых услуг", продвигаемый фирмой TBS Bank Technology с UCL и Центром прогнозирования Henley. Вместе с тем среди множества финансовых институтов, известных как пользователи или исследователи этой технологии, фигурируют такие гиганты, как Chemical Bank, Citibank, JP Morgan и др.

Начав работу в этом направлении сравнительно недавно, программисты Великобритании уже добились ощутимых результатов. Группа специалистов, входящих в "Клуб нейропрогнозирования", создала нейронную систему для выработки тактики распределения фондов на глобальных рынках облигаций. Она охватывает семь отдельных географических регионов: Великобританию, Францию, Германию, Японию, США, Канаду, Австралию, и каждый из них моделируется особой локальной сетью нейронов. Все они проходят своеобразный процесс обучения на исторических данных с целью получения краткосрочных прогнозов ситуации на этом рынке за каждый месяц. Все локальные предсказания затем объединяются в Центре управления единым портфелем ценных бумаг.

Вышеописанная система с ноября 1992 года поступила на вооружение Североамериканской страховой компании в Бостоне (США) . В итоге капитал этой компании быстро увеличился с 25 до 50 млн. долл., а портфель ценных бумаг показал доходность свыше 25 % в первый же год внедрения системы. В этом нет ничего удивительного, так как нейронная сеть представляет собой универсальное средство аппроксимации, способное решить любую задачу.

Одна из наиболее передовых методик нейронных вычислений - генетические алгоритмы, имитирующие эволюцию живых организмов. Поэтому они могут быть использованы как оптимизатор параметров нейронной сети. Подобная система для прогнозирования результатов контрактов по долгосрочным ценным бумагам повышенной надежности была разработана и инсталлирована на рабочей станции Sun в компании Hill Samuel Investment Management. При моделировании нескольких стратегий торгов она достигла точности 57 % в предсказании направления движения рынка. В страховой фирме TSB General Insurance (Ньюпорт) используется сходная методика для прогноза уровня риска при страховании частных кредитов. Данная нейронная сеть самообучается на статистических данных о состоянии безработицы в стране.

ВЫВОДЫ

Прогнозирование на НС обладает рядом недостатков. Вообще говоря, нам необходимо как минимум 50 и лучше 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных и существует много случаев, когда такое количество исторических данных недоступно. Например, при производстве сезонного товара, истории предыдущих сезонов недостаточно для прогноза на текущий сезон, из-за изменения стиля продукта, политики продаж и т.д.

Даже при прогнозировании требования на достаточно стабильный продукт на основе информации о ежемесячных продажах, возможно мы не сможем накопить историю за период от 50 до 100 месяцев. Для сезонных процессов проблема еще более сложна. Каждый сезон истории фактически представляет собой одно наблюдение. То есть, в ежемесячных наблюдениях за пять лет будет только пять наблюдений за январь, пять наблюдений за февраль и т.д. Может потребоваться информация за большее число сезонов для того, чтобы построить сезонную модель. Однако, необходимо отметить, что мы можем построить удовлетворительную модель на НС даже в условиях нехватки данных. Модель может уточняться по мере того, как свежие данные становится доступными.

Другим недостатком нейронных моделей - значительные затраты по времени и другим ресурсам для построения удовлетворительной модели. Эта проблема не очень важна, если исследуется небольшое число временных последовательностей. Тем не менее, обычно прогнозирующая система в области управления производством может включать от нескольких сотен до нескольких тысяч временных последовательностей.

Однако, несмотря на перечисленные недостатки, модель обладает рядом достоинств. Существует удобный способ модифицировать модель по мере того как появляются новые наблюдения. Модель хорошо работает с временными последовательностями, в которых мал интервал наблюдений, т.е. может быть получена относительно длительная временная последовательность. По этой причине модель может быть использована в областях, где нас интересуют ежечасовые, ежедневные или еженедельные наблюдения. Эти модели также используются в ситуациях, когда необходимо анализировать небольшое число временных последовательностей.

НЕЙРОННЫЕ СЕТИ ОСНОВАННЫЕ НА МЕТОДЕ ОБРАТНОГО ФУНКЦИОНИРОВАНИЯ

В данной главе мы приводим детальное описание метода обратного распространения - способа обучения многослойных НС. Подробно описана НС для распознавания рукописных цифр и и процесс ее обучения. В главе также проведена современная оценка метода обратного распространения.

4.1. Обучение нейронных сетей

Мы можем научить трехслойную сеть решать определенную задачу, пользуясь следующей процедурой. Сначала мы предъявляем сети серию тренировочных примеров, которые состоят из паттерна активностей входных элементов вместе с желаемым паттерном активностей выходных элементов [8].

Предположим, что мы хотим научить сеть распознавать рукописные цифры. Можно воспользоваться матрицей, из 256 сенсоров, каждый из которых регистрирует присутствие или отсутствие чернильного пятнышка в пределах маленькой площадки - фрагмента одной цифры. Для сети, таким образом, потребуется 256 входных элементов (по одному на каждый сенсор) , 10 выходных элементов (по одному на каждую возможную цифру) и некоторое количество скрытых элементов. Для каждой цифры, регистрируемой сенсорами, сеть должна генерировать высокую активность в соответствующем выходном элементе и низкую в остальных выходных элементах.

Чтобы натренировать систему, мы предъявляем ей изображение цифры и сравниваем действительную активность на 10 выходных элементах с желаемой активностью. Затем мы подсчитываем ошибку, определяемую как квадрат разности между действительным и желаемым выходом. После этого мы изменяем вес каждой связи, с тем, чтобы уменьшить ошибку. Описанный процесс тренировки мы повторяем со многими различными написаньями каждой цифры, пока сеть не научится правильно распознавать все возможные изображения.

Чтобы реализовать эту процедуру, нам нужно изменять каждый вес на величину, пропорциональную скорости, с которой изменяется ошибка по мере изменения веса [5]. Эта величина (называемая производной ошибки по весу и обозначаемая EW) вычисляется не просто. Один из способов вычисления EW заключается в том, чтобы изменить вес на очень маленькую величину и посмотреть, как изменится ошибка. Однако этот метод не эффективен, поскольку требует отдельных вариаций для каждого из многих весов.

4.2. Алгоритм обратного распространения 4.2.1. Идея создания алгоритма обратного распространения Примерно в 1974 году Поль Дж. Вербос изобрел значительно более эффективную процедуру для вычисления EW, когда работал над своей докторской диссертацией в Гарвардском университете. Процедура, известная теперь как алгоритм обратного распространения (back propagation algorithm) , стала одним из наиболее важных инструментов в обучении нейронных сетей [5,16,27,30,42,48,49].

Алгоритм обратного распространением проще всего понять, когда все элементы сети линейны. Алгоритм вычисляет каждую EW, сначала вычисляя EA - скорость, с которой изменяется ошибка при изменении уровня активности элемента. Для выходных элементов EA является просто разностью между действительным и желаемым выходом. Чтобы вычислить EA для скрытого элемента в слое, непосредственно предшествующем выходному слою, мы сначала идентифицируем все веса между этим скрытым элементом и выходными элементами, с которыми соединен данный скрытый элемент. Затем мы умножаем эти веса на величины EA для этих выходных элементов и складываем полученные произведения. Эта сумма и равна EA для данного скрытого элемента. Вычислив EA для всех элементов скрытого слоя, прилегающего к выходному, мы можем аналогичным образом рассчитать EA и для других слоев, перемещаясь в направлении, обратном тому направлению, в котором активность нейронов распространяется по сети. Отсюда и название алгоритма обратного прослеживания (или обратного распространения) . После того как значение EA для элемента вычислено, подсчитать EW для каждой входной связи элемента уже несложно. Величина EW является произведением EA и активности во входной цепи.

Для нелинейных элементов алгоритм обратного распространением включает дополнительный шаг. Перед перемещением в обратном направлении EA необходимо преобразовать в EI скорость, с которой изменяется ошибка по мере изменения суммарного входа элемента.

4.2.2. Описание НС и алгоритма обратного распространения

Чтобы обучить нейронную сеть решению какой-либо задачи, мы должны подправлять веса каждого элемента таким образом, чтобы уменьшалась ошибка - расхождение между действительным и желаемым выходом. Для этого нужно, чтобы нейронная сеть вычисляла производную от ошибки по весам (EW) . Другими словами, она должна вычислять, как изменяется ошибка при небольшом увеличении или уменьшении каждого веса. Чаще всего для вычисления EW применяется алгоритм обратного распространением.

Чтобы реализовать этот алгоритм, мы сначала должны дать математическое описание нейронной сети. Предположим, что элемент j - типичный элемент выходного слоя, а элемент i - типичный элемент слоя, который предшествует выходному. Активность элемента выходного слоя определяется двухшаговой процедурой. Сначала вычисляется суммарный взвешенный вход Xj с помощью формулы Xj = S (Yi * Wij) , (4.1) i где Yi - уровень активности i-го элемента в предшествующем слое и Wij - вес связи между i-м и j-м элементами.

Далее, элемент вычисляет активность Yj с помощью некоторой функции от суммарного взвешенного входа. Обычно применяется сигма-функция: Yj = 1 / (1 + e^(-Xj) ) . (4.2) После того как активности всех выходных элементов определены, сеть вычисляет ошибку, которая определяется выражением E = 1/2 * S (Yj - Dj) ^2, (4.3) j где Yj - уровень активности j-го элемента в верхнем слое, а Dj желаемый выход j-го элемента.

Алгоритм обратного распространения состоит из четырех шагов.

1) Вычислить, насколько быстро меняется ошибка при изменении выходного элемента. Эта производная ошибки (EA) есть разность между действительной и ожидаемой активностью.

dE EAj = ---- = Yj - Dj. (4.4) dYj 2) Вычислить, насколько быстро изменяется ошибка по мере изменения суммарного входа, получаемого выходным элементом. Эта величина (EI) есть результат шага 1, умноженный на скорость изменения выходного элемента с изменением его суммарного входа.

dE dE dYj EIj = = --- * --= EIj Yj (1 - Yj) . (4.5) dXj dYj dXj 3) Вычислить, как быстро изменяется ошибка по мере изменения веса на входной связи выходного элемента. Эта величина (EW) есть результат шага 2, умноженный на уровень активности элемента, из которого исходит связь.

dE dE dXj EWij = ---- = --- * --- = EIj Yi. (4.6) dWij dXj dXij 4) Вычислить, как быстро изменяется ошибка с изменением активности элемента из предыдущего слоя. Этот ключевой шаг позволяет применять обратное распространение к многослойным сетям. Когда активность элемента из предыдущего слоя изменяется, это влияет на активности всех выходных элементов, с которыми он связан. Поэтому, чтобы подсчитать суммарное воздействие на ошибку, мы складываем все эти воздействия на выходные элементы. Но эти воздействия нетрудно подсчитать. Этот результат шага 2, умноженный на вес связи к соответствующему выходному элементу.

dE dE dXj EAi = ---- = S (--- * ---) = S (EIj Wij) . (4.7) dYi j dXj dYij j Пользуясь шагами 2 и 4, мы можем преобразовать величины EA одного слоя элементов в EA предыдущего слоя. Эту процедуру можно повторять, чтобы вычислять EA стольких предыдущих слоев, сколько их есть. Зная EA для элемента, мы можем воспользоваться шагами 2 и 3, чтобы вычислить EW на его выходных связях.

4.2.3. Современная оценка алгоритма обратного распространения На протяжении нескольких лет после его изобретения алгоритм обратного распространением оставался почти незамеченным, вероятно, потому, что не был в должной мере оценен специалистами. В начале 80-х годов Д. Румельхарт, работавший в то время в Калифорнийском университете в Сан-Диего, и Д. Паркер из Станфордского университете независимо друг от друга вновь открыли алгоритм. В 1986 году Румельхарт, Р. Уильямс, также из Калифорнийского университета в Сан-Диего, и Джеффери Е. Хинтон [5] продемонстрировали способность алгоритма обучить скрытые элементы вырабатывать интересные представления для сложных паттернов на входе и тем самым сделали его известным.

Алгоритм обратного распространения оказался на удивление эффективным в обучении сетей со многими слоями решению широкого класса задач [2,5,15]. Но более всего он эффективен в ситуациях, когда отношения между входом и выходом нелинейны, а количество обучающих данных велико. Применяя алгоритм, исследователи создали нейронные сети, способные распознавать рукописные цифры, предсказывать изменения валютного курса и оптимизировать химические процессы. Они даже воспользовались алгоритмом для обучения сетей, которые идентифицируют переродившиеся пред-раковые клетки в анализируемых образцах ткани и регулируют положение зеркал в телескопах, чтобы исключить атмосферные искажения.

Р. Андерсен из Массачусетского технологического института и Д. Зипсер из Калифорнийского университета в Сан-Диего показали, что алгоритм обратного распространения представляет собой весьма эффективный инструмент для понимания функций некоторых нейронов в коре головного мозга. Они научили нейронную сеть реагировать на зрительные стимулы, применив алгоритм обратного распространения. Затем они обнаружили, что реакция скрытых элементов удивительно схожа с реакцией реальных нейронов, выполняющих преобразование зрительной информации, поступающей от сетчатки, в форму, необходимую для более глубоких областей мозга, перерабатывающих зрительную информацию.

ВЫВОДЫ

Метод обратного распространения достаточно хорош при создании представлений о распознаваемом образе в скрытых элементах сети. Алгоритм обратного распространения показал эффективность процедур обучения НС, в которых веса постепенно изменяются, чтобы уменьшить ошибки. Раньше многие ученые полагали, что подобные методы окажутся безнадежными, поскольку должны неизбежно приводить к локально оптимальным, но в более широком масштабе ужасным решениям. Например, сеть для распознавания цифр может устойчиво сходиться к набору весов, при котором она будет путать единицы с семерками, хотя существует набор весов, позволяющий различать эти цифры наряду с другими. Из-за опасений подобного рода распространилось убеждение, что процедура обучения представляет интерес только в том случае, если она гарантирует сходимость к глобально оптимальному решению. Метод обратного распространения показал, что для многих задач глобальная сходимость не является необходимым условием для того, чтобы достичь хороших результатов.

С другой стороны, с биологической точки зрения, как подобие работы головного мозга, метод обратного распространения выглядит не очень убедительным. Наиболее очевидная трудность заключается в том, что информация должна проходить по тем же самым связям в обратном направлении, от каждого последующего уровня к предыдущему. Ясно, что этого не происходит в реальных нейронах. Однако этот довод на самом деле является довольно поверхностным. В мозге существует множество путей, ведущих от следующих слоев нервных клеток к предыдущим, и эти пути могут использоваться многообразными способами для передачи информации, необходимой для обучения.

Более серьезную проблему представляет собой быстродействие алгоритма обратного распространения. Здесь центральным является вопрос о том, как быстро растет время, необходимое для обучения, по мере возрастания размеров сети. Время, требующееся для вычисления производных от ошибки по весам на заданном тренировочном примере, пропорционально размерам сети, поскольку объем вычислений пропорционален количеству весов. Однако более крупные сети требуют большего количества тренировочных примеров, и им приходится модифицировать веса большее число раз. Следовательно, время обучения растет значительно быстрее, чем размеры сети.

Самая серьезная проблема метода обратного распространения заключается в том, что такая НС требует учителя, предоставляющего желаемый выход для каждого тренировочного примера. В отличие от этого человек обучается большинству вещей без помощи учителя. Никто не дает нам детального описания внутренних представлений мира, которые мы должны научиться извлекать из нашего сенсорного входа. Мы учимся понимать речь или зрительные сцены без каких-либо прямых инструкций.

Если сеть сталкивается с большим набором сочетаний сигналов, но не имеет никакой информации о том, что с ними следует делать, то, очевидно, перед ней нет четко поставленной задачи. Тем не менее, исследователи разработали несколько универсальных, неконтролируемых процедур, которые могут правильно регулировать весовые параметры сети. Все эти процедуры имеют два общих качества: они оперируют, явно или неявно, с некоторым понятием качества представления и работают, изменяя веса, чтобы повысить качество представления, вырабатываемого скрытыми элементами. Не смотря на отмеченные недостатки применение метода обратного распространения в целях прогнозирования требований оправданно, так как при прогнозировании не возникает ситуации неопределенности действий, которые необходимо проделать с информацией поступающей на вход НС.

5. ПРОГНОЗИРОВАНИЕ КУРСА UKB/USD

В данной главе описаны эксперименты по прогнозированию курса американского доллара по отношению к украинскому карбованцу (UKB/USD) . Сначала описаны задачи исследования и общая структура экспериментов. Далее описаны проделанные эксперименты, при этом подробно перечислены особенности каждого из них. Для экспериментов, которые показали удовлетворительные результаты обучения (сеть распознала не менее 80% образов, на которых обучалась) в приложениях приведены таблицы с подробным описанием результатов по каждому образу, который распознавался.

5.1. Общий подход к прогнозированию курса UKB/USD

Исследования проводились на основе модели сети с обратным распространением (подробнее смотри главу 3) . Примененная методика прогнозирования подробно описана в главе 4.

Целью экспериментов было прогнозирование курса UKB/USD. Для достижения данной цели было проведено исследование влияния представления исторических и прогнозируемых данных на ошибку прогнозирования. Также были рассмотрены вопросы влияния структуры НС на скорость обучения сети и ошибку прогнозирования. При этом ставились следующие задачи: - поиск критериев прогнозирования; - поиск оптимального представления исторических данных о курсе; - поиск оптимального представления результата прогнозирования; - поиск оптимального размера окна; - поиск оптимальной структуры сети.

Прогнозирование курса UKB/USD проводилось на основе временной последовательности ежедневных данных о курсе. Такой подход к прогнозированию основан на идее американских экономистов, что для прогнозирования некоторых экономических показателей вполне достаточно исследования истории их изменения. Успешное применение данного подхода другими исследователями [7] для прогнозирования курсов DM/USD и SUR/USD позволяет надеяться на успех прогнозирования UKB/USD.

Исходными данными для экспериментов служили ежедневные измерения курса UKB/USD с 15.06.93 по 26.06.95 всего 842 измерений (данные взяты из архивов банка Porto-Franco) . Прогнозировалось среднее значение курса за день (среднее арифметическое дневных курсов покупки и продажи) .

Каждый из экспериментов, можно разбить на несколько этапов. Первым этапом было формирование обучающей выборки. На этом этапе определяется вид представления исторических и прогнозируемых данных и происходит формирование наборов, подаваемых на входные нейроны и соответствующих им наборов снимаемых с выходов сети (подробнее смотри раздел 2.2.4) . Большинство опытов прогнозировало не фактический курс, а его относительное изменение (ОИК) . Относительное изменение курса определяется по формуле OIKt = (Kt+1 - Kt) /Kt (5.1) Для автоматизации процесса формирования обучающих выборок был использован пакет MS EXCEL 5.0.

Вторым этапом является обучение НС на основе сформированной на первом этапе обучающей выборке. Качество обучения характеризовалось ошибкой обучения, определяемой как суммарное квадратичное отклонение значений на выходах НС в обучающей выборке от реальных значений, полученных на выходах НС. Критерием прекращения обучения было прохождение сетью 1500 итераций или уменьшение ошибки на выходах сети на два порядка, по сравнению с первичной ошибкой. В том случае, если при описании опыта не указано, что произошло снижение ошибки на два порядка, обучение было остановлено по первому критерию.

На третьем этапе проводилось тестирование обучения сети. На вход подавалось порядка 4 - 5% наборов из обучающей выборки и определялось качество распознавания сети. Опыт считался успешным, если относительная достоверность распознавания образов была не менее 80%.

На четвертом этапе проводилась симуляция прогнозирования. На вход сети подавались наборы, которые не были внесены в обучающую выборку, но результат по ним (прогноз) известен.

Результаты успешных опытов приведены в приложениях 2.1-2.3. Каждая из таблиц приложений разделены на две части. В первой расположены результаты тестирования обучения, во второй - результаты симуляции прогнозирования. Первый столбец в таблице описания опытов содержит номер набора в тестовой или симуляционной выборке. Остальные столбцы содержат результаты экспериментов. В них может находиться знак *, или пара цифр. Энак * означает, что данный набор распознан правильно. Цифры в строке обозначают, что при распознавании произошла ошибка. Первая цифра обозначает номер нейрона, который соответствует фактическому значению переменной, а вторая - фактическому.

5.2. Описание экспериментов

ЭКСПЕРИМЕНТ 1 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:

Данные подаются на входы НС в виде временной последовательности ежедневных измерений фактического курса (в тысячах карбованцев) .

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:

Выход НС образует 17 классов прогнозируемого результата - курс с шагом от 5 до 25 тыс. крб.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 7: 13: 17 (количество входных нейронов: количество нейронов в скрытом слое: количество выходных нейронов) . РЕЗУЛЬТАТЫ: Неудача. Не были распознаны образы, на которых обучалась сеть.

ЭКСПЕРИМЕНТ 2 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:

Данные подаются на входы НС в виде временной последовательности ежедневных измерений нормированного десятичного логарифма относительного изменения курса в процентах (ОИК в %) .

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:

Выход НС образует 20 классов прогнозируемого результата - нормированный десятичный логарифма ОИК в % с шагом 0.05 и два класса, определяющих направление изменения курса - рост или падение (см. таблицу 5.1) .

Таблица 5.1. Выходы НС в эксперименте 2.

| 1 | Повышение курса | | 2 | Понижение курса | | 3 | от 0 до 0.05 | | 4 | от 0.05 до 0.10 |............

| 21 | от 0.90 до 0.95 | | 22 | от 0.95 до 1.00 | РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 7: 11: 22 РЕЗУЛЬТАТЫ: Неудача. Не были распознаны образы, на которых обучалась сеть.

В экспериментах с 3 по 8 были проделаны попытки улучшить качество результатов полученных в экспериментах 1 и 2. Предполагалось, что этого можно добиться изменяя ширину окна и структуру нейронной сети (количество нейронов в скрытом слое) . Были проведены эксперименты со структурой сети 14: 11: 22,21: 11: 22,14: 6: 22,21: 6: 22,14: 18: 22,21: 18: 22. Все эксперименты закончились неудачей - не были распознаны образы, на которых обучалась сеть.

ЭКСПЕРИМЕНТ 9 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:

Каждое измерение подавалось на три нейрона: первые два определяли направление изменения курса - рост или падение, на третий подавался нормированный десятичный логарифм ОИК в % с шагом 0.05.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:

Выход НС образует 20 классов прогнозируемого результата - нормированный десятичный логарифм ОИК в % с шагом 0.05 и два класса, определяющих направление изменения курса рост или падение (см. таблицу 5.1) .

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 21: 11: 22 РЕЗУЛЬТАТЫ: Неудача. Не были распознаны образы, на которых обучалась сеть.

В экспериментах с 10 по 13 продолжались попытки улучшить качество результатов. Предполагалось, что этого можно добиться на основе подхода описанного в эксперименте 9, изменяя ширину окна и структуру нейронной сети (количество нейронов в скрытом слое) . Были проведены эксперименты со структурой сети 42: 11: 22,63: 11: 22,42: 18: 22,63: 18: 22. Все эксперименты закончились неудачей - не были распознаны образы, на которых обучалась сеть.

Начиная с 14 эксперимента было предложено работать при прогнозировании со свернутым описанием исторических данных. Единичным измерением при таком подходе считается описание периода времени, в течении которого приращение исследуемой переменной оставалось постоянным. Такой период описывается парой чисел. В это паре первое число обозначает приращение переменной, которое держалось в течении некоторого периода, а второе - длительность периода, в течении которого удерживалось это приращение. Далее рассматриваются различные варианты представления предложенного описания данных. Свертка описания исторических данных проводилось на основе временной последовательности ОИК в % (интервал - один день) .

ЭКСПЕРИМЕНТ 14.

Исследовалось влияние числа прогнозируемых на одной НС переменных на достоверность прогнозирования. Прогнозирование значения и длительности приращения проводилось на двух различных сетях. Окно на входе НС организовано из пар, описывающих промежуток времени (приращение, длительность) .

ЭКСПЕРИМЕНТ 14.1. Прогнозирование значения приращения ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.2. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.3.

Таблица 5.2. Интервалы кластеризации и соответствующая им кодировка входов для данных по ОИК. Эксперимент 14.

Таблица 5.3. Интервалы кластеризации и соответствующая им кодировка входов для данных по времени. Эксперимент 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.2.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 80 % образов, на которых обучалась. Было получено 33.3 % правильных прогнозов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 14.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.3.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4 РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получено 66.7 % правильных прогнозов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 15 Исследовалось влияние числа прогнозируемых на одной НС переменных на достоверность прогнозирования. Прогнозирование значения и длительности приращения проводилось на одной сети.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе приращения в соответствии с интервалами кластеризации приведенными в таблице 5.2. и о распознанном классе промежутка времени в соответствии с интервалами кластеризации приведенными в таблице 5.3.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 12: 11 РЕЗУЛЬТАТЫ: Сеть распознала 70% образов, на которых обучалась, было получено 14.3% правильных прогнозов. По сравнению с экспериментом 14, результаты ухудшились на 30 - 40%. Значительно увеличилось число "соседних" ошибок и нечеткость в распознавании образов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 16 Исследовалось влияние расположения групп описания исторических данных (приращение и длительность) на входах НС. Организованы окно приращений и окно длительности, подаваемые на входы НС последовательно.

ЭКСПЕРИМЕНТ 16.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 80 % образов, на которых обучалась. Было получено 42.9 % правильных прогнозов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 16.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4 РЕЗУЛЬТАТЫ: Сеть распознала 90% образов, на которых обучалась. Было получено 42.9% правильных прогнозов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 17 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 15 РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 11 РЕЗУЛЬТАТЫ: Сеть распознала 70 % образов, на которых она обучалась, было получено 14.3 % правильных прогнозов. По сравнению с экспериментом 16, результаты ухудшились на 20 - 35%. Значительно увеличилось число "соседних" ошибок и нечеткость в распознавании образов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 18 Дальнейшая работа с НС из эксперимента 14 показала, что классы, кодируемые 10 и 100 (-10 и -100) были неразличимы. Фактически - сеть работала с 5 классами приращения и 3 классами длительности приращения. Для повышения точности представления данных, кодировка классов была изменена.

ЭКСПЕРИМЕНТ 18.1. Прогнозирование значения приращения ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.4. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.5.

Таблица 5.4. Интервалы кластеризации и соответствующая им кодировка входов для данных по ОИК. Эксперимент 18.

Таблица 5.5. Интервалы кластеризации и соответствующая им кодировка входов для данных по времени. Эксперимент 18.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.4.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 90 % образов, на которых обучалась, было получено 42.9 % правильных прогнозов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 18.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась. Было получено 47.6 % правильных прогнозов. Результаты приведены в приложении 2.1.

В экспериментах с 19 по 33 проводился подбор оптимального размера окна. Результаты экспериментов с 19 по 21 приведены ниже и в приложениях. Результаты экспериментов с 22 по 33 отображены только в выводах по результатам экспериментов в конце главы.

ЭКСПЕРИМЕНТ 19 ЭКСПЕРИМЕНТ 19.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7 РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых она обучалась, было получено 42.9 % правильных прогнозов. Результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 19.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получено 57.1 % правильных прогнозов. Результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 20 ЭКСПЕРИМЕНТ 20.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.1.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7.

РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получено 50% правильных прогнозов. Результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 20.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.2.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получено 78 % правильных прогнозов. Результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 21 ЭКСПЕРИМЕНТ 21.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.1.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7.

РЕЗУЛЬТАТЫ: Сеть распознала 90 % образов, на которых обучалась, было получено 50 % правильных прогнозов. Результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 21.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.2.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых она обучалась, было получено 64.3 % правильных прогнозов. Результаты приведены в приложении 2.2.

На основании 33 экспериментов для прогнозирования был выбран следующий подход: прогнозирование производится на основе периодов стабильности ОИК в %; величина и длительность приращения прогнозируются на разных НС; оптимальный размер окна 14; окна величины и длительности приращения подаются на входы НС последовательно. Начиная с эксперимента 34 мы исследовали влияние интервалов кластеризации и вида кодирования на достоверность прогнозирования.

ЭКСПЕРИМЕНТ 34 На вход НС подаются пары (значение, длительность) .

ЭКСПЕРИМЕНТ 34.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.6. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.7.

Таблица 5.6. Интервалы кластеризации и соответствующая им кодировка входов для данных по ОИК. Эксперимент 34.

Таблица 5.7. Интервалы кластеризации и соответствующая им кодировка входов для данных по времени. Эксперимент 34.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.4.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 13: 12.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было получено 64 % правильных прогнозов, результаты приведены жены в приложении 2.2.

ЭКСПЕРИМЕНТ 34.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 11: 8.

РЕЗУЛЬТАТЫ: сеть распознала 70 % образов, на которых она обучалась, было получено 35.7 % правильных прогнозов, результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 35 Окна величины и длительности приращения подаются на входы НС последовательно.

ЭКСПЕРИМЕНТ 35.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.1.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 13: 12.

РЕЗУЛЬТАТЫ: сеть распознала 80 % образов, на которых она обучалась, было получено 50 % правильных прогнозов, результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 35.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.2.

РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 11: 8.

РЕЗУЛЬТАТЫ: сеть распознала 70 % образов, на которых обучалась, было получено 42.9 % правильных прогнозов, результаты приведены в приложении 2.2.

ЭКСПЕРИМЕНТ 36 На вход НС подаются пары (значение, длительность) .

ЭКСПЕРИМЕНТ 36.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.8. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.9.

Таблица 5.8. Интервалы кластеризации и соответствующая им кодировка входов для данных по ОИК. Эксперимент 36.

Таблица 5.9. Интервалы кластеризации и соответствующая им кодировка входов для данных по времени. Эксперимент 36.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.8.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было получено 52.6 % правильных прогнозов. Результаты приведены в приложении 2.3.

ЭКСПЕРИМЕНТ 36.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.9.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было получено 47.4 % правильных прогнозов. Результаты приведены в приложении 2.3.

ЭКСПЕРИМЕНТ 37 Окна величины и длительности приращения подаются на входы НС последовательно.

ЭКСПЕРИМЕНТ 37.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.8. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.10.

Таблица 5.10. Интервалы кластеризации и соответствующая им кодировка входов для данных по времени. Эксперимент 37.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.8.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7.

РЕЗУЛЬТАТЫ: сеть распознала 90 % образов, на которых она обучалась, было получено 47.4 % правильных прогнозов, результаты приведены в приложении 2.3.

ЭКСПЕРИМЕНТ 37.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 37.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5.

РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 5.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получено 36.8 % правильных прогнозов. Результаты приведены в приложении 2.3.

ЭКСПЕРИМЕНТ 38 На вход НС подаются пары (значение, длительность) .

ЭКСПЕРИМЕНТ 38.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.11.

Таблица 5.11. Выходы НС в эксперименте 38.1

| 1 | 10 | | 2 | 9 |.......

| 20 | - 9 | | 21 | - 10 | ---СТРУКТУРА СЕТИ: 28: 24: 21.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получено 47.4 % правильных прогнозов. На данной сети было выполнено прогнозирование на 3 месяца. Результаты приведены в приложении 2.3.

ЭКСПЕРИМЕНТ 38.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распознанном классе в соответствии с интервалами кластеризации приведенными в таблице 5.12.

Таблица 5.12. Выходы НС в эксперименте 38.2

| 1 | 15 и дольше | | 2 | 14 |.......

| 14 | 2 | | 15 | 1 | -------СТРУКТУРА СЕТИ: 28: 21: 15.

РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получено 52.6 % правильных прогнозов. На данной сети было выполнено прогнозирование на 3 месяца. Результаты приведены в приложении 2.3.

ВЫВОДЫ Прогнозирование с помощью НС курса UKB/USD показало эффективность предлагаемого подхода. Наилучшие результаты при симуляции прогнозирования были получены в последнем эксперименте данной серии, что позволяет надеяться на серьезное повышение точности прогнозирования.

Исследовалась модель прогнозирования на основе временной последовательности. Первые 13 экспериментов закончились неудачей. В экспериментах с 14 по 35 мы повышали точность прогнозирования в основном за счет изменения структуры сети. Эксперименты показали точность прогнозирования порядка 32%, при 20% "соседних" ошибок. На основании этих экспериментов была выбрана оптимальная структура сети, размер окна и тип представления данных (эксперименты 36,37,38) . Значительное число "соседних" ошибок позволяет повысить точность прогнозирования за счет выделения и распознавания большего числа классов (например, каждый класс - это изменение переменной в пределах 1%) . При таком разбиении "соседняя" ошибка даст максимальную реальную ошибку 2%. Эксперименты также показали, что повышение чувствительности при описании входных данных подаваемых на НС, приводит к повышению точности прогнозирования. При симуляции прогнозирования приращения курса была достигнута достоверность порядка 48% (максимальная ошибка 2%) и при прогнозировании длительности приращения - 52% (при максимальной ошибке 3 дня) . Однако такое качество прогнозирования достигнуто только для одношагового прогнозирования. Для реализации многошагового прогнозирования необходимо применение других моделей и/или изменения периода прогнозирования. Не смотря на данный недостаток и необходимость дальнейшего тестирования и исследований, можно сказать, что на основе предложенной модели возможно создание реального программного продукта прогнозирующего курсы валют даже в условиях нестабильного состояния современной украинской экономики.

- ВМДР 90415 - 01 81 01-1 6. ЭКОНОМИЧЕСКИЕ МЕТОДИКИ ВАЛЮТНОГО ПРОГНОЗИРОВАНИЯ Мировая практика выработала два основных подхода к прогнозированию динамики валютного курса фундаментальный и технический.

Фундаментальный подход связан с построением моделей, отражающих зависимость курса от набора курсообразующих факторов. Однако на деле подобные прогнозы часто не оправдываются, особенно в кратко- и среднесрочных аспектах, наиболее важных для бизнеса. Ненадежность связана с тем, что сами величины курсообразующих факторов зачастую приходится прогнозировать, а это придает шаткость всей экономико-математической конструкции.

Поэтому практики больше склонны применять технический подход, базирующийся на предположении, что сама форма кривой изменения курса может служить ключом к его будущему поведению. Особое внимание при этом уделяется повторяемости определенных фигур и изломов.

В данной работе я описал один из способов валютного прогнозирования - метод циклического прогнозирования, позволяющий синтезировать оба подхода и адаптировать их к нашим условиям. Главная его идея состоит в том, что любая, даже самая несовершенная экономика, благодаря рыночному курообразованию обладает способность восстанавливать равновесие, нарушаемое кредитно-денежными эмиссиями. В основе этой способности лежит тенденция к устойчивости реальной денежной массы, т.е. хотя бы частичное приближение ее к исходному уровню в течение определенного периода, образующего денежный цикл.

- ВМДР 90415 - 01 81 01-1 Характер цикла определяется степенью нарушения равновесия, связанной с объемом эмиссий. Относительно небольшому увеличению денежной массы (до 30 %) соответствует малый денежный цикл, занимающий 2 - 3 месяца. Большой цикл длится около полугода. Но дело не только в продолжительности, но и в том, что их механизмы существенно различаются.

В основе этого различия лежит двойственность реальной денежной массы. С точки зрения национальной экономики реальная денежная масса равна дефлированной номинальной, т.е. общему количеству наличных и безналичных денег, деленному на индекс инфляции. Со стороны валютных отношений реальная денежная масса соответствует номинальной, деленной на индекс изменения курса национальной денежной единицы. В странах с сильной "долларизацией" экономики (к ним, безусловно, относится и Украина) вторая сторона реальной денежной массы приобретает весьма существенное внутриэкономическое значение.

Это проявляется, прежде всего, в ходе малого цикла. Он начинается с относительно небольшого усиления кредитно-денежной эмиссии, когда средний дневной прирост денежной массы не превышает 0.5 процента от ее объема. Примерно через три недели новые деньги поступают на валютный рынок, вызывая постепенный подъем курса доллара (на 150 % - в марте-апреле 1993 г., на 130 % в апреле-мае 1994 г.) . Курс с небольшими колебаниями растет в среднем до величины, соответствующей приросту номинальной денежной массы минус индекс инфляции за этот период.

Пройдя в значительной мере через доллар, имитированные деньги втягиваются в обычный хозяйственный кругооборот и, как - ВМДР 90415 - 01 81 01-1 показывает кривая инфляции, не столько увеличивают ее темп, сколько замедляют его падение, происходящее после предшествовавшего большого цикла (включающего в себя инфляционный всплеск) . Поэтому восстановление дефлированного показателя реальной денежной массы на практике почти не ощущается.

По мере того, как движение новых денег через валютный рынок затихает, спрос на доллары несколько сокращается. Это может вызвать его кратковременное падение (например, в июне 1994 г. - на 116 %) . Снижение курса доллара расширяет реальную денежную массу, сжатую его предыдущим ростом. Она приближается к исходному уровню, существовавшему на начало цикла, после чего наступает кратковременная стабилизация.

Таким образом, зная размеры эмиссии, мы можем с достаточной степенью достоверности определить направление, сроки и величину предстоящего изменения валютного курса.

Если бы эмиссия проводилась равномерно на протяжении финансового года, денежных циклов могло бы не быть. Их истоки в неравномерном, дискретном характере эмиссии. В данном случае источником характерного для весны малого цикла является неравномерность "посевной" эмиссии, после которой устанавливается "затишье", продолжающееся до августа (1994 г.) или середины июля (1993 г.) . Оно прерывается "урожайной" эмиссией, знаменующей начало большого денежного цикла.

Механизм большого цикла основан на взаимодействии процессов изменения курса доллара, инфляции и изменения депозитного процента. Вначале, так же как и при малом цикле, резкий рост номинальной денежной массы вызывает нарастающее повышение курса дол- ВМДР 90415 - 01 81 01-1 лара. Но сразу вслед за этим разворачивается еще более сильная инфляция, перекрывающая это повышение. Ее интенсивность определяется давлением на рыночные цены с двух сторон - и со стороны цен предложения, и со стороны цен спроса.

Сильная эмиссия превышает потребности оборота в деньгах, сложившиеся при достигнутом ранее балансе цен. Новые деньги, расширяя спрос, увеличивают те цены, которые покупатели теперь готовы заплатить за товары и услуги.

Для анализа этих процессов используется не только кривая инфляции, но и такие аналитические инструменты, как линии спроса и предложения. Линия спроса D показывает зависимость спроса от цены. Поскольку при повышении цен спрос падает, линия спроса имеет вид нисходящей кривой. Но и предложение тоже зависит от цены. Эта зависимость выражается линией предложения S, представленной восходящей кривой, поскольку повышение цен стимулирует рост предложения. Имея такую форму, линии спроса и предложения неизбежно пересекаются. В точке пересечения E устанавливается рыночное равновесие, означающее равенство спроса и предложения. Рыночная цена, при которой это достигается, является ценой равновесия.

Интенсивная эмиссия выводит рынок из состояния равновесия. На графике повышение цен спроса отражается сдвигом линии спроса D вправо из положения Do в положение D1. С другой стороны, девальвация карбованца увеличивает цены предложения сначала импортных, а затем и отечественных товаров. Например, рост цен энергоносителей усиливает так называемую инфляцию издержек. Это отражается на графике смещением линии предложения S вверх из положения So в положение S1. В результате, при неизменном физическом объеме товарооборота Q, рыночные цены повышаются с уровня Po до уровня P1. Компьютерное моделирование этих процессов позволяет рассчитывать интенсивность инфляции в зависимости от объема эмиссии.

Темп инфляции имеет существенно важное значение для валютного прогнозирования по нескольким причинам, связанным с выполнением деньгами двух основных функций - средства обращения и средства сбережения (сохранения стоимости) .

Инфляция увеличивает потребность в карбованцах, прежде всего для осуществления сделок и соответственно несколько сокращает спрос на доллары. Поскольку для удовлетворения этой потребности начинают "сбрасываться" доллары, увеличивается рыночное предложение последних. Тем самым относительное сокращение спроса и рост предложения долларов способствуют снижению или стабилизации валютного курса.

Но этим влияние инфляции не ограничено. Примерно через два месяца после начала гиперинфляции наступает перелом в динамике дипозитного процента, и в дальнейшем процент следует за изменением индекса инфляции. В свою очередь рост депозитного процента увеличивает склонность к сбережениям в карбованцах и относительно сокращает спрос на доллары для сбережения, оказывая сдерживающее воздействие на валютный курс.

Правда, сейчас это воздействие значительно слабее, чем было раньше, в силу пошатнувшегося доверия к банкам, не говоря уже о трастах и страховых компаниях. Поэтому с конца 1994 г. более ощутимой становится не зависимость валютного курса от депозитного - ВМДР 90415 - 01 81 01-1 процента, а, напротив, зависимость процента от динамики курса. Так, снижение и стабилизация курса, начавшиеся с ноября прошлого года, внесли свою лепту в наступивший через три недели аналогичный перелом в динамике депозитного процента.

Таким образом, несмотря на всю сложность взаимодействия факторов, определяющих динамику курса, вполне реально проследить их причинно-следственную зависимость и учесть ее при прогнозировании не только малого, но и большого денежного цикла. Тем более что в основе и того, и другого лежит, по существу, одно и то же явление устойчивость реальной денежной массы.

Главное различие между ними состоит в том, что в рамках малого цикла восстанавливается валютный показатель реальной денежной массы, в то время как сложный цикл восстанавливает и дефлированный показатель. Более того, восстановление дефлированного показателя в силу описанного выше взаимодействия цен предложения и цен спроса происходит интенсивней, чем валютного. В целом за период большого цикла рост валютного курса, несмотря на свою интенсивность, отстает от инфляции, и тем более - от роста номинальной денежной массы.

Одна из причин этого состоит в том, что ставшая уже традиционной осенняя гиперинфляция, повышая спрос на карбованцы, тормозит тем самым дальнейший рост курса и дополняется инфляцией доллара. К этому же времени дает о себе знать сокращение эмиссии, происходящее обычно к концу октября - началу ноября. Кроме того, под впечатлением гиперинфляции правительство и Нацбанк каждый год принимают в ноябре-декабре еще и сдерживающие меры административного характера, демонстрируя в этой области немалую - ВМДР 90415 - 01 81 01-1 изобретательность. Если добавить к этому увеличение спроса на карбованцы, связанное с окончанием хозяйственного года, то станет совершенно очевидной закономерность стабилизации валютного курса, завершающей денежный цикл. Недооценка этой цикличности стала одной из причин краха трастовых и страховых компаний, рассчитывавших на более равномерный рост доллара, и именно по этой причине многие фирмы зимой 1993-94 года оказались в тяжелом положении. Кроме того, в циклическом анализе необходимо обязательно учитывать новые веяния в монетарной политике государства. Очевидна, например, направленность нынешней весенней валютно-финансовой политики на сглаживание "посевного" цикла и стабилизацию курса карбованца. Поэтому, предполагая, что соответствующим должностным лицам уже более или менее известен механизм денежного цикла, легче предугадать поведение правительства и Нацбанка.

ПРИЛОЖЕНИЯ ПРИЛОЖЕНИЕ 1. Еженедельные продажи режущего инструмента (100 наблюдений, читать сверху вниз, слева направо)

ПРИЛОЖЕНИЕ 2.1 Результаты экспериментов 14-18

ПРИЛОЖЕНИЕ 2.2 Результаты экспериментов 19-21,34,35

ПРИЛОЖЕНИЕ 2.3 Результаты экспериментов 36-38

ЛИТЕРАТУРА

1. Aбу-Мустафа Я. С., Псалтис Д. Оптические нейронно-сетевые компьютеры//В мире науки, 1987. N 5. С. 42-50.

2. Барцев С. И. Некоторые свойства адаптивных сетей (программная реализация) . - Красноярск: Институт физики СО АН СССР, 1987.

3. Барцев С. И., Охонин В. А. Адаптивные сети обработки информации. - Красноярск: Институт физики СО АН СССР, 1986.

4. Гольцев А. Д. Яркостная сегментация изображения при помощи нейроподобной сети.//Автоматика 1965 - N 5 - с. 40-50.

5. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки - 1992 - N 11 - N 12 - c. 103-107.

6. Иванченко А. Г. Персептрон - системы распознавания образов.// К.: Наукова думка, 1972.

7. Картавцев В. В. Нейронная сеть предсказывает курс доллара? // Компьютеры + программы - 1993 - N 6(7) - с. 10-13.

8. Куссуль В. М., Байдык Т. Н. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении.//Автоматика - 1990 - N 5 - с. 56-61.

9. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

10. Масалович А. И. От нейрона к нейрокомпьютеру.// Журнал доктора Добба - 1992 - N 1 - с. 20-23.

11. Минский М., Пейперт С. Персептроны. М.: МИР, 1971. С. 261.

12. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежная радиоэлектроника. - 1965 - N 5 - с. 40-50.

13. Розенблат Ф. Принципы нейродинамики.// М.: МИР, 1965.

14. Соколов Е. Н., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. - М.: Наука, 1989. С. 283.

15. Суворов С. В., Матихина Н. Ю. Программное моделирование нейроподобных структур.//Распределенная обработка информации. - Улан-Уде, 1989, - с. 28.

16. Трикоз Д. В. Нейронные сети: как это делается? // Компьютеры + программы - 1993 - N 4(5) с. 14-20.

17. Тэнк Д. У., Хопфилд Д. Д. Коллективные вычисления в нейроноподобных электронных схемах.//В мире науки. 1988. N 2. С. 44-53.

18. Цуприков С. Нейронные вычисления берутся на вооружение финансистами.// Computerworld Moscow - 1985 - N 7 - с. 57-58.

- 19. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские деловые новости 1995 - май N 16 - с. 4.

20. Aarts E. H. L., Korst J. H. M. Boltzmann machines and their applications//Lect. Notes Comput. Sci. 1987. V. 258. P. 34-50.

21. Aarts E. H. L., Korst J. H. M. Boltzmann machines for travelling salesman problem//European J. Oper. Res. 1989. V. 39. P. 79-95.

22. Abu-Mostafa Y. S., Jaques J. N. St. Information capacity of the Hopfield model//IEEE Trans. Inform. Theory. 1985. V. 31. P.

461.

23. Ackley D. H., Hinton G. E., Sejnowski T. J. A learning algorithm for Bolzmann machines//Cognit. Sci. 1985. V. 9. N 1. P. 147-169.

24. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741.

25. Artificial Intelligence.// Amsterdam: Time - Life - Books, 1986.

26. Athale R., Stirk C. W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V. 28. N 4.

27. Bardcev S. I., Okhonin V. A. The algorithm of dual functioning (back-propagation) : general approach, vesions and applications. Krasnojarsk: Inst. of biophysics SB AS USSA - 1989.

28. Carpenter G. A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine.//Comput. Vision Graphics Image Process. 1986. V. 37. p. 54-115.

29. Cohen M. A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. N 5.

P. 815-826.

30. Computing with neural circuits: a model.//Science, 1986. V. 233. p. 625-633.

31. Cross Michael. Brain ware hits Japanese computers.// New Sci. - 1988 - 120, # 1640 - p. 33.

32. Dayhoff J. Neural network architectures.//New-York: Van Nostrand reinhold, 1991.

33. Fogelman Soulie F. Neural networks, state of the art, neural computing.// London: IBC Technical Services, 1991.

- 34. Fox G. C., Koller J. G. Code generation by a generalized neural networks: general principles and elementary examples.//J. Parallel Distributed Comput. 1989. V. 6. N 2. P. 388-410.

35. Hecht-Nielsen R. Neurocomputing: picking the human brain.// IEEE SPECTRUM 1988 - V. 25. N 3 - p. 36-41.

36. Hebb D. O. The organization of behaviour. N. Y.: Wiley, 1949.

37. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities.//Proc. Natl. Acad. Sci. 1984. V. 9. p. 147-169.

38. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems.//Biol. Cybernet. 1985. V. 52. p.

39. Hopfield J. J., Feinstein D. I., Palmer F. G. Unlearning has a stabilizing effect in collective memories//Nature. 1983. V. 304. P. 141-152.

40. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems//Biol. Cybernet. 1985. V. 52. P. 141-152.

41. Jeffery W., Rosner R. Neural network processing as a tool for friction optimization.//Neuronet Comput. Conf., Snowbird, Utah, Apr. 13-16,1986. New York, N. Y., 1986 - p. 241-246.

42. Kuzewski Robert M., Myers Michael H., Grawford William J. Exploration of fourword error propagation as self organization structure.//IEEE Ist. Int. Conf. Neural Networks, San Diego, Calif., June 21-24,1987. V. 2. - San Diego, Calif., 1987. - p. 89-95.

43. Lippmonn Richard P. Gold Ben Neuronet classifiers useful for speech recognition.// IEEE Ist. Conf. Neural Networks, San Diego, (Calif) , 1987 - p. 417-425.

44. Montgomery, Douglas C. Forecasting and time series analysis./Douglas C. Montgomery, Lynwood A. Johnson, John S. Gard iner. - 2nd ed. - ISBN 0-07-042858-1.

45. Neural Computing.// London: IBE Technical Services, 1991.

46. Rosenblatt F. The peseptron: a probabilistic model for information storage and organization in the brain//Psychol. Rev.

1958. V. 65. P. 386.

- 47. Rosenblatt F. Principles of neurodynamics. Spartan., Washington, D. C., 1962.

48. Rumelhart B. E., Minton G. E., Williams R. J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028.

49. Takefuji D. Y. A new model of neural networks for error correction.//Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc., Boston, Mass., Nov. 13-16,1987. V. 3, New York, N. Y., 1987 - p. 1709-1710.

50. Treliven P. Neurocomputers.// London: University college, 1989.