История развития нейросетей

В этой небольшой статье, я бы хотел показать как чудо математической мысли переросло в грандиозный инструмент, который упрощает и автоматизирует нашу с вами жизнь!

Вот краткое содержание, для тех кто очень ценит своё время. ЛЕНТЯИ!

Структура:

• Нейросети и их появление в нашей жизни.

1. Рождение идеи. (1943г.)

2. Первый бум. (1958г.)

3. Крах и зима. (1969 – 1980-е)

4. Возрождение (1980-е - 2000-е).

5. Современная революция (2006- Наше время).

• Краткое содержание.
• Интересные факты о нейросетях.
• Выводы

Нейросети и их появление в нашей жизни.

Формула нейрона.

1943 год является отправной точкой. Нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс опубликовали научную статью «Логическое исчисление идей, относящихся к нервной активности». Они предложили первую математическую модель искусственного нейрона - простого порогового элемента, который мог принимать двоичные решения (да/нет), имитируя работу биологического нейрона. Это была чисто теоретическая модель, без какой-либо возможности её обучения.

Формула модели:

 если Σ (w_i * x_i) ≥ θ, то y = 1;
 иначе y = 0.

Объяснение на простом языке:
Представьте, что нейрон - это совет директоров компании, ему нужно вынести решение "Да/Нет".

Выход (y) - это и есть решение совета директоров.

Входы (x_i) - это голоса членов совета. Каждый голос может быть либо "За" (1), либо "Против" (0).

Веса (w_i) - это "авторитет" каждого совета. Голос одного человека может быть очень важен (вес +1), а голос другого - вообще иметь отрицательный вес (вес -1, т.е. его "За" на самом деле считается как "Против" итогового решения, и наоборот).

Порог (θ) - это правило большинства. Например, правило может гласить: "Решение считается принятым (y=1), если итоговый суммарный "авторитет" всех голосов "За" превышает значение 2".

Реализация в коде:

python

def neuron(inputs, weights, threshold):
    total = 0
    for i in range(len(inputs)):
        total += inputs[i] * weights[i]
    return 1 if total >= threshold else 0
    

Перцептрон и первый нейро-компьютер.

Фрэнк Розенблатт - ключевая фигура следующего шага. В 1958 году он изобрел перцептрон - первую в мире практическую и обучаемую нейронную сеть. Это была аппаратная, а не программная реализация (Mark I Perceptron - настоящий нейро-компьютер). Перцептрон мог решать задачи классификации, например, отличать треугольники от квадратов.

• Разработка перцептрона была щедро профинансирована Управлением военно-морских исследований США. В то время был огромный интерес к созданию "мыслящих машин" и систем распознавания образов для военных и научных целей.

Работа М-П являлась теоретической моделью нейрона, в свою очередь Перцептрон - практический алгоритм обучения. Обучение происходило благодаря правилу обновления весов (В модели М-П они были статичны)

Этот переод в развитии и называют и есть первый бум нейросетей, Розенблатт и журналисты делали громкие заявления о скором появлении истинного искусственного интеллекта, что создавало огромный ажиотаж.

Зима ИИ.

Эйфория длилась недолго. В 1969 году видные учёные в области ИИ Марвин Минский и Сеймур Пейперт выпустили книгу «Перцептроны». В ней они математически доказали ключевое ограничение перцептрона Розенблатта: он не мог решать задачи, не являющиеся линейно разделимыми (классический пример - логическая функция «исключающее ИЛИ» (XOR)).

Их авторитет был настолько высок, а доказательства настолько убедительными, что это практически полностью остановило финансирование и академические исследования в области нейронных сетей на долгие годы. Этот период известен как зима ИИ. Инвесторы и государственные фонды потеряли веру в направление и переключились на символьные системы и экспертные системы.

Второй бум. Нейросетевой ренессанс.

«После долгих зим всегда приходит лето...» (MACAN - БРАТ, 29.03.2024)

А тут уже интереснее! Данный этап послужил архитектурной основой для современных нейросетей. После периода зимы ИИ, вызванной ограничениями перцептронов, исследователи нашли решения ключевых проблем, что позволило нейросетям выйти на новый уровень возможностей.

Ключевое открытие: Алгоритм обратного распространения ошибки (backpropagation).

Были заложены основы для современных фреймворков:

• Библиотеки линейной алгебры: BLAS, LAPACK для эффективных матричных вычислений
• Специализированные инструменты: Torch, Theano, Caffe - предшественники современных фреймворков
• Автоматическое дифференцирование: Ключевая технология, позволяющая автоматически вычислять градиенты

Прорывными нейросетями являлись LeNet-5 и LSTM (Long Short-Term Memory)

LeNet-5 - Первая Сверточная Нейронная Сеть

1. Сущность: Первая успешная и практически примененная сверточная нейронная сеть (CNN, Convolutional Neural Network). Архитектура-прародитель всех современных CNN.

Сверточная нейросеть (CNN) - это вид глубоких нейронных сетей, специально разработанный для анализа данных с сеточной структурой, в первую очередь изображений и видео.

2. Автор и год: Ян Лекун, 1998 год.

3. Цель: Распознавание рукописных цифр.

4. Ключевые архитектурные принципы (шаблон, используемый до сих пор):

• Чередование сверточных и субдискретирующих слоев:
• Свертка (Convolution): Использование ядер 5x5 для извлечения пространственных признаков (граней, контуров).
• Субдискретизация (Subsampling / Пулинг): Операция усреднения (average pooling) по области 2x2 для уменьшения размерности и придания инвариантности к малым сдвигам и искажениям.
• Иерархичность: Низкие слои обнаруживают простые признаки (углы, линии), а высокие — комбинируют их в более сложные (части цифр, сами цифры).
• Финал: Выравнивание и использование полносвязных слоев для финальной классификации.

5. Значение: Доказала, что CNN - мощный инструмент для компьютерного зрения. Заложила архитектурный шаблон, который стал бессмертной классикой.

LSTM (Long Short-Term Memory)

1. Сущность: Специальный тип рекуррентной нейронной сети (RNN), разработанный для решения проблемы затухающего градиента в обычных RNN.

Рекуррентная нейронная сеть (RNN) - это тип нейронной сети, предназначенный для обработки последовательных данных (например, текста, речи, временных рядов), который обладает внутренней «памятью» (скрытым состоянием), позволяющей сохранять информацию о предыдущих входных данных и учитывать её при обработке текущих, что обеспечивает понимание контекста и зависимостей во времени

2. Автор и год: Хохрейтер и Шмидхубер, 1997 год.

3. Цель: Эффективная обработка последовательностей (текст, речь, временные ряды) и запоминание долгосрочных зависимостей.

4. Ключевой механизм - "Врата" и "Клеточная память":

• Клеточное состояние (Cell State): Горизонтальная "магистраль", по которой информация проходит на long distances практически неизменной. Решает проблему затухания градиента.
• Система врат (Gates): Нейросетевые слои с сигмоидальной активацией (выдают число от 0 до 1), которые регулируют поток информации:
• Forget Gate: Решает, какую информацию забыть.
• Input Gate: Решает, какую новую информацию записать.
• Output Gate: Решает, какую информацию передать на выход.

5. Значение: Совершила революцию в обработке последовательностей. До появления трансформеров была основой для машинного перевода (Google Translate), распознавания речи, генерации текста и анализа временных рядов.

Обе архитектуры являются краеугольными камнями современного глубокого обучения. LeNet-5 показала путь для обработки изображений, а LSTM решила фундаментальную проблему работы с последовательностями, открыв эру мощных языковых моделей.

Глубокое обучение. Современная эра.

Переломный момент наступил в 2006 году, когда Джеффри Хинтон, Ян Лекун (изобретатель свёрточных сетей в 1998-м) и Йошуа Бенжио опубликовали основополагающие работы, положившие начало глубокому обучению (Deep Learning). Они предложили методы эффективной предварительной обучения и инициализации весов для глубоких сетей, решавшие проблему исчезающих градиентов.

Но настоящий взрывной рост начался в 2012 году, когда группа Хинтона (Алекс Крижевский и др.) представила свёрточную нейросеть AlexNet на конкурсе распознавания изображений ImageNet. AlexNet кардинально, с огромным отрывом превзошла все традиционные алгоритмы, уменьшив ошибку почти в два раза.

Это была «демонстрация силы», которая переломила скепсис сообщества. Этому успеху способствовали три фактора:

1. Данные: Появление огромных датасетов вроде ImageNet.
2. Алгоритмы: Развитие глубоких архитектур (свёрточные сети, LSTM).
3. Аппаратное обеспечение: Использование GPU (графических процессоров) для вычислений. Оказалось, что видеокарты от NVIDIA идеально подходят для матричных операций, лежащих в основе обучения нейросетей. Это дало необходимое ускорение в десятки и сотни раз.

Краткая хронология и основные этапы развития.

• 1943: Математическая модель искусственного нейрона (Маккаллок и Питтс).
• 1958: Первая практическая нейросеть - перцептрон (Розенблатт). Первый бум.
• 1969: Критика перцептрона (Минский и Пейперт). Начало «зимы ИИ».
• 1980-е: Изобретение алгоритма обратного распространения ошибки. Второй бум.
• 1990-е: Снова спад интереса, конкуренция с другими методами.
• 2006: Зарождение глубокого обучения (Хинтон и др.). Начало третьего бума.
• 2012: Глубокие сети побеждают в конкурсе ImageNet (Катсье и др.).
• 2010-е по н.в.: Взрывное развитие, интеграция в продукты, ChatGPT и т.д.

Интересные факты.

1. Нейросеть-художник, которая обманула искусствоведов.
В 2018 году на аукционе Christie's картина «Портрет Эдмона Белами» была продана за $432,500. Её создала нейросеть GAN (генеративно-состязательная сеть), обученная на 15 000 портретах XIV-XX веков. Критики и искусствоводы спорили о «манере художника», не подозревая, что автора в привычном понимании вообще не существует.

2. Предсказание вкуса еды, которую никто не пробовал.
Компания NotCo использует ИИ для создания vegan-альтернатив мясным и молочным продуктам. Нейросеть анализирует молекулярную структуру тысяч растений и находит комбинации, которые по вкусу, запаху и текстуре будут максимально похожи на, скажем, курицу или молоко. Так создаются продукты, которые невозможно было бы изобрести интуитивно.

3. «Цифровой оракул» для предсказания будущих материалов.
Учёные используют нейросети для открытия новых материалов с заданными свойствами. ИИ анализирует огромные базы данных известных химических соединений и предсказывает, как будут вести себя новые, ещё не синтезированные комбинации. Это ускоряет разработку в разы: от новых эффективных лекарств и батарей до сверхпроводников.

4. Нейросеть - каппер в покере.
В 2019 году нейросеть Pluribus от Facebook обыграла в шестисторонний техасский холдем (самая сложная и непредсказуемая версия покера) ведущих профессионалов мира. В отличие от шахмат или го, покер - это игра с неполной информацией (игроки не видят карты друг друга), где crucial важны блеф и психология. То есть ИИ научился не просто считать, а эффективно обманывать.

5. Детектор китов по спутниковым снимкам... из космоса.
Экологи используют нейросети для анализа спутниковых фотографий океана, чтобы подсчитывать популяции китов. Раньше это делали вручную с самолётов — дорого, долго и неэффективно. Теперь же ИИ за несколько минут «просматривает» тысячи снимков, точно находя и идентифицируя китов, что позволяет гораздо лучше защищать these уязвимые виды.

А к чему все это?

История нейронных сетей - это путь от простых математических моделей одиночного нейрона к сложным многослойным архитектурам. Этот прогресс наглядно демонстрирует, почему для современного программиста так важна математическая база. Сегодня нейросети стали ключевым инструментом, преобразующим работу как разработчиков, так и всех, кто взаимодействует с цифровым миром. Для меня же они остаются не просто технологией, а источником бесконечного вдохновения и восхищения мощью человеческого интеллекта.

Не забудьте подписаться на наш телеграм канал