acos()

Возвращает угол в радианах, косинус которого равен x. Аргумент в [-1, 1], результат в [0, PI]. Часто применяется для угла между нормированными векторами.

float angle = acos(clamp(dot(a, b), -1.0, 1.0));