Откуда берутся формулы для k и b
Сумма квадратов Q зависит от двух чисел, k и b. Если зафиксировать b и менять k, то Q растет как парабола в обе стороны от лучшего значения: каждое слагаемое (yᵢ − kxᵢ − b)² это квадрат, а сумма парабол снова парабола. У параболы одна низшая точка, и в ней наклон касательной равен нулю.
Поэтому берем производные Q по k и по b и приравниваем их к нулю. Получаются два простых уравнения: k·Σx² + b·Σx = Σxy и k·Σx + b·n = Σy. Решаем их, как обычную систему из двух уравнений, и получаем формулы из второй карточки.
Второе уравнение, если поделить его на n, говорит: ȳ = k·x̄ + b. Лучшая прямая всегда проходит через среднюю точку облака. А из того, что остатки возводятся в квадрат, следует и слабость метода: точка, которая промахнулась в 5 раз сильнее остальных, весит в 25 раз больше. Один выброс может повернуть всю прямую.
- ∂Q/∂b = 0
- сумма остатков равна нулю: плюсы и минусы уравновешены
- ∂Q/∂k = 0
- сумма остатков, умноженных на xᵢ, тоже ноль
- ȳ = k·x̄ + b
- прямая проходит через среднюю точку
- квадрат
- большие промахи наказываются сильнее, выбросы опасны