Метод найменших квадратів: від геодезії до машинного навчання

Як влаштований кожен розділ

1. Проблема. Конкретна задача, яку не вдається розв'язати «в лоб».
2. Інтуїція та інтерактив. Рухайте повзунки й точки та дивіться, що відбувається.
3. Рішення. Метод і пояснення, чому обираємо саме його, зокрема тому, що його легко запрограмувати.
4. 🔍 Хочете більше подробиць? Розгорнутий блок з виведеннями та тонкощами. Основний текст можна читати без нього.
5. Зв'язок з ML. Як те саме називається і використовується в машинному навчанні.
6. Код на Python і JavaScript (JS можна запустити просто на сторінці).
7. Місток до наступного розділу: яке питання лишилося відкритим.

Потрібна шкільна алгебра і поняття похідної. Лінійну алгебру (матриці, ранг, проєкції) пояснюємо по ходу, в міру потреби.

Зміст

1. 1 Коли рівнянь більше, ніж невідомих Надлишкові виміри, нев'язка, несумісні системи. Пряма через три точки.
2. 2 Що означає «найкращий» розв'язок? Критерії якості: сума модулів, максимум, сума квадратів. Функції втрат.
3. 3 Мінімум помилки: чаша Поверхня S(a, b) — параболоїд з єдиним мінімумом. Ландшафт функції втрат.
4. 4 Нормальні рівняння Прирівнюємо похідні до нуля й отримуємо лінійну систему.
5. 5 Матричний погляд і геометрія AᵀAθ = Aᵀy. Розв'язок як ортогональна проєкція.
6. 6 Програмуємо МНК Алгоритм, QR та SVD, чому не варто обертати AᵀA.
7. 7 Не лише прямі Лінійність за параметрами: поліноми, коло, експонента. Перенавчання.
8. 8 Геодезія всерйоз Ваги, зрівнювання нівелірної мережі, трилатерація і метод Гаусса–Ньютона.
9. 9 Чому саме квадрати: статистика Гауссів шум, максимальна правдоподібність, теорема Гаусса–Маркова, еліпс похибок.
10. 10 МНК і машинне навчання MSE, градієнтний спуск, ridge-регресія, викиди, Huber і RANSAC.
11. 11 Підсумок Шпаргалка, вправи, куди рухатися далі: фільтр Калмана, bundle adjustment.