От нейрона к нейросетям

Строительный кирпичик глубокого обучения — искусственный нейрон — оказывается совсем простым.

Искусственный нейрон — простой вычислительный элемент: берёт входы, складывает их с весами, прибавляет сдвиг и пропускает результат через функцию активации.

Что делает один нейрон

Нейрон выполняет три шага:

1. Взвешенная сумма. Каждый вход умножается на свой вес и всё складывается, плюс сдвиг (bias): s = w1·x1 + w2·x2 + ... + b. Это та же взвешенная сумма, что и в линейных моделях.
2. Активация. Сумма пропускается через функцию активации, которая решает, «срабатывает» нейрон или нет. В простейшем случае — порог: если сумма больше нуля, на выходе 1, иначе 0.
3. Выход. Результат идёт дальше — либо как ответ, либо на вход следующим нейронам.

Такой нейрон с пороговой активацией называют перцептроном — это исторически первая модель нейрона (1950-е). Веса в нём подбираются обучением — как k и b в линейной регрессии.

Нейрон руками: логика AND

Один нейрон с правильными весами умеет вычислять логическое И. Код запускается:

# Один нейрон: взвешенная сумма + порог
def neuron(inputs, weights, bias):
    s = bias
    for x, w in zip(inputs, weights):
        s += x * w
    return 1 if s > 0 else 0     # пороговая активация

weights = [0.5, 0.5]
bias = -0.7

print("Логика AND через один нейрон:")
for a in (0, 1):
    for b in (0, 1):
        out = neuron([a, b], weights, bias)
        print(f"  {a} AND {b} = {out}")

Вывод:

Логика AND через один нейрон:
  0 AND 0 = 0
  0 AND 1 = 0
  1 AND 0 = 0
  1 AND 1 = 1

Только когда оба входа равны 1, сумма 0.5+0.5−0.7 = 0.3 превышает порог, и нейрон выдаёт 1. Подобрав другие веса, тот же нейрон вычислит OR. Магия не в формуле, а в подобранных весах — и подбирает их обучение.

Почему одного нейрона мало

Один нейрон проводит лишь прямую границу (как логистическая регрессия) и не справляется со сложными зависимостями. Знаменитый пример — функция XOR: её один нейрон вычислить не может. Решение — соединить нейроны в сеть.

Из нейронов — сеть

Нейроны выстраивают слоями: выходы одного слоя становятся входами следующего.

Каждый следующий слой комбинирует найденное предыдущим, и сеть учится описывать очень сложные, нелинейные зависимости. Веса всех нейронов настраиваются обучением — оно автоматически распределяет «ответственность» по сети (этот механизм называют обратным распространением ошибки). Что получается, когда слоёв много, — тема следующего урока.

Итог

• Искусственный нейрон: взвешенная сумма входов плюс сдвиг, затем функция активации.
• Перцептрон — нейрон с пороговой активацией; его веса подбирает обучение.
• Один нейрон даёт лишь прямую границу и не решает, например, XOR.
• Нейроны соединяют в слои — так получается нейросеть, способная на сложные зависимости.