Синаптическая пластичность и правило Хебба

Обучение в мозге — это изменение силы синапсов. Минимальное правило этого изменения сформулировал Дональд Хебб.

Правило Хебба: «нейроны, которые возбуждаются вместе, связываются сильнее» — синапс усиливается, когда пре- и постсинаптический нейроны активны одновременно.

Формула обновления веса

Сила синапса (вес $w$) меняется пропорционально произведению активностей входа $x$ и выхода $y$:

$$ \Delta w = \eta\, x\, y $$

где $\eta$ — скорость обучения. Если оба активны ($x=1, y=1$) — вес растёт; если один молчит — изменения нет. Это и есть LTP (long-term potentiation, долговременное усиление). Обратный процесс — LTD (ослабление).

Зачем это нужно

Так формируются ассоциации: если звонок ($x_1$) часто совпадает с едой ($x_2 \to$ слюна $y$), синапс от «звонка» к «слюне» усиливается. Это нейронная основа условного рефлекса Павлова и фундамент искусственных нейросетей.

Как работает под капотом

Обучим «нейрон-И»: выход активен, только когда оба входа активны. Веса по Хеббу растут лишь на совпадениях:

import random
random.seed(1)

w = [0.0, 0.0]   # веса двух входов
lr = 0.1         # скорость обучения

for _ in range(20):
    x = [random.choice([0, 1]) for _ in range(2)]
    y = 1 if (x[0] and x[1]) else 0       # целевой выход = И
    for i in range(2):
        w[i] += lr * x[i] * y             # правило Хебба

print("Вес входа 1:", round(w[0], 2))
print("Вес входа 2:", round(w[1], 2))

Вывод:

Вес входа 1: 0.3
Вес входа 2: 0.3

Оба веса выросли только на тех примерах, где входы и выход были активны одновременно — синапс «запомнил» совпадение.

Проблема и её решение

Чистое правило Хебба только усиливает веса — они растут без предела. В мозге и в моделях добавляют нормировку или член затухания (правило Ойи, STDP), чтобы веса оставались ограниченными. Это уже основа современного обучения сетей.

Частые ошибки

Считать, что вес меняется при любой активности входа. Нет — нужно совпадение входа и выхода (произведение $xy$).
Забывать про ограничение роста: без нормировки веса уходят в бесконечность.
Путать LTP (усиление) и LTD (ослабление) — это противоположные процессы.

Итог

Обучение = изменение силы синапсов (пластичность).
Правило Хебба: $\Delta w = \eta\,x\,y$ — усиление при совместной активности.
LTP усиливает, LTD ослабляет; для устойчивости нужна нормировка весов.