Metode kuadrat terkecil (OLS, eng. Kuadrat Terkecil Biasa, OLS) -- metode matematis yang digunakan untuk memecahkan berbagai masalah, berdasarkan meminimalkan jumlah deviasi kuadrat dari beberapa fungsi dari variabel yang diinginkan. Ini dapat digunakan untuk "menyelesaikan" sistem persamaan yang ditentukan lebih (ketika jumlah persamaan melebihi jumlah yang tidak diketahui), untuk menemukan solusi dalam kasus sistem persamaan nonlinier biasa (tidak ditentukan lebih), untuk memperkirakan nilai titik dengan beberapa fungsi. OLS adalah salah satu metode dasar analisis regresi untuk memperkirakan parameter model regresi yang tidak diketahui dari data sampel.

Inti dari metode kuadrat terkecil

Membiarkan menjadi satu set variabel yang tidak diketahui (parameter), menjadi satu set fungsi dari set variabel. Tugasnya adalah memilih nilai x sedemikian rupa sehingga nilai fungsi-fungsi ini sedekat mungkin dengan beberapa nilai. Intinya, kita berbicara tentang "solusi" dari sistem persamaan yang ditentukan secara berlebihan dalam arti yang ditunjukkan dari kedekatan maksimum bagian kiri dan kanan sistem. Inti dari LSM adalah memilih sebagai "ukuran kedekatan" jumlah deviasi kuadrat dari bagian kiri dan kanan - . Dengan demikian, esensi LSM dapat diungkapkan sebagai berikut:

Jika sistem persamaan memiliki solusi, maka jumlah kuadrat minimum akan sama dengan nol dan solusi eksak dari sistem persamaan dapat ditemukan secara analitik atau, misalnya, dengan berbagai metode optimasi numerik. Jika sistem ditentukan lebih, yaitu, secara longgar, jumlah persamaan independen lebih besar dari jumlah variabel yang tidak diketahui, maka sistem tidak memiliki solusi yang tepat dan metode kuadrat terkecil memungkinkan menemukan beberapa vektor "optimal" dalam arti kedekatan maksimum vektor dan atau kedekatan maksimum vektor deviasi ke nol (kedekatan dipahami dalam arti jarak Euclidean).

Contoh - sistem persamaan linear

Secara khusus, metode kuadrat terkecil dapat digunakan untuk "menyelesaikan" sistem persamaan linear

dimana matriksnya bukan bujur sangkar, melainkan persegi panjang (lebih tepatnya rank matriks A lebih besar dari jumlah variabel yang dibutuhkan).

Sistem persamaan seperti itu, dalam kasus umum, tidak memiliki solusi. Oleh karena itu, sistem ini dapat "dipecahkan" hanya dalam arti memilih vektor seperti itu untuk meminimalkan "jarak" antara vektor dan. Untuk melakukan ini, Anda dapat menerapkan kriteria untuk meminimalkan jumlah perbedaan kuadrat dari bagian kiri dan kanan persamaan sistem, yaitu. Sangat mudah untuk menunjukkan bahwa solusi dari masalah minimasi ini mengarah ke solusi dari sistem persamaan berikut:

Menggunakan operator pseudo-inversi, solusinya dapat ditulis ulang seperti ini:

di mana adalah matriks pseudoinverse untuk.

Masalah ini juga dapat “dipecahkan” dengan menggunakan apa yang disebut LSM berbobot (lihat di bawah), ketika persamaan sistem yang berbeda menerima bobot yang berbeda dari pertimbangan teoritis.

Pembuktian yang ketat dan penentuan batas penerapan metode yang bermakna diberikan oleh A. A. Markov dan A. N. Kolmogorov.

OLS dalam analisis regresi (perkiraan data)[sunting | edit teks wiki] Biarkan ada nilai dari beberapa variabel (bisa hasil pengamatan, percobaan, dll) dan variabel yang sesuai. Tugasnya adalah memperkirakan hubungan antara dan oleh beberapa fungsi yang diketahui hingga beberapa parameter yang tidak diketahui, yaitu, pada kenyataannya, untuk menemukan nilai parameter terbaik yang membawa nilai sedekat mungkin dengan nilai sebenarnya. Faktanya, ini bermuara pada kasus "menyelesaikan" sistem persamaan yang terlalu ditentukan sehubungan dengan:

Dalam analisis regresi, dan khususnya dalam ekonometrika, model probabilistik dari hubungan antar variabel digunakan.

di mana yang disebut kesalahan model acak.

Dengan demikian, penyimpangan nilai yang diamati dari nilai model sudah diasumsikan dalam model itu sendiri. Inti dari LSM (biasa, klasik) adalah untuk menemukan parameter seperti itu di mana jumlah deviasi kuadrat (kesalahan, untuk model regresi mereka sering disebut residual regresi) akan menjadi minimal:

di mana bahasa Inggris. Jumlah Sisa Kuadrat didefinisikan sebagai:

Dalam kasus umum, masalah ini dapat diselesaikan dengan metode numerik optimasi (minimalisasi). Dalam hal ini, seseorang berbicara tentang kuadrat terkecil non-linear (NLS atau NLLS - Non-Linear Least Squares). Dalam banyak kasus, solusi analitis dapat diperoleh. Untuk memecahkan masalah minimisasi, perlu untuk menemukan titik stasioner dari fungsi dengan membedakannya terhadap parameter yang tidak diketahui, menyamakan turunan dengan nol dan menyelesaikan sistem persamaan yang dihasilkan:

OLS dalam kasus regresi linier[sunting | sunting sumber] edit teks wiki]

Biarkan ketergantungan regresi menjadi linier:

Biarkan y menjadi vektor kolom pengamatan variabel yang dijelaskan, dan menjadi matriks pengamatan faktor (baris matriks adalah vektor nilai faktor dalam pengamatan yang diberikan, kolom adalah vektor nilai dari nilai yang diberikan faktor dalam semua pengamatan). Representasi matriks dari model linier memiliki bentuk:

Maka vektor penduga dari variabel yang dijelaskan dan vektor residu regresi akan sama dengan

karenanya, jumlah kuadrat dari residual regresi akan sama dengan

Membedakan fungsi ini terhadap vektor parameter dan menyamakan turunannya dengan nol, kita memperoleh sistem persamaan (dalam bentuk matriks):

Dalam bentuk matriks yang diuraikan, sistem persamaan ini terlihat seperti ini:

di mana semua jumlah diambil alih semua nilai yang dapat diterima.

Jika sebuah konstanta dimasukkan dalam model (seperti biasa), maka untuk semua, oleh karena itu, di sudut kiri atas matriks sistem persamaan adalah jumlah pengamatan, dan di elemen yang tersisa dari baris pertama dan kolom pertama - hanya jumlah dari nilai variabel: dan elemen pertama dari sisi kanan sistem -- .

Solusi dari sistem persamaan ini memberikan rumus umum untuk taksiran kuadrat terkecil untuk model linier:

Untuk tujuan analitis, representasi terakhir dari rumus ini ternyata berguna (dalam sistem persamaan ketika dibagi dengan n, sarana aritmatika muncul alih-alih jumlah). Jika data dipusatkan pada model regresi, maka dalam representasi ini matriks pertama memiliki arti matriks kovarians sampel faktor, dan yang kedua adalah vektor kovarians faktor dengan variabel terikat. Jika, selain itu, data juga dinormalisasi ke simpangan baku (yaitu, akhirnya distandarisasi), maka matriks pertama memiliki arti matriks korelasi sampel faktor, vektor kedua - vektor sampel korelasi faktor dengan variabel tak bebas.

Properti penting dari perkiraan LLS untuk model dengan konstanta adalah bahwa garis regresi yang dibangun melewati pusat gravitasi data sampel, yaitu, persamaan terpenuhi:

Secara khusus, dalam kasus ekstrim, ketika satu-satunya regressor adalah konstanta, kami menemukan bahwa estimasi OLS dari parameter tunggal (konstanta itu sendiri) sama dengan nilai rata-rata dari variabel yang dijelaskan. Artinya, rata-rata aritmatika, yang dikenal karena sifat-sifat baiknya dari hukum bilangan besar, juga merupakan perkiraan kuadrat terkecil - memenuhi kriteria untuk jumlah deviasi kuadrat minimum darinya.

Kasus khusus yang paling sederhana[sunting | edit teks wiki]

Dalam kasus regresi linier berpasangan, ketika ketergantungan linier satu variabel pada variabel lain diperkirakan, rumus perhitungan disederhanakan (Anda dapat melakukannya tanpa aljabar matriks). Sistem persamaan memiliki bentuk:

Dari sini mudah untuk menemukan perkiraan untuk koefisien:

Meskipun model konstan umumnya lebih disukai, dalam beberapa kasus diketahui dari pertimbangan teoritis bahwa konstanta harus nol. Misalnya, dalam fisika, hubungan antara tegangan dan arus memiliki bentuk; mengukur tegangan dan arus, perlu untuk memperkirakan resistansi. Dalam hal ini, kita berbicara tentang model. Dalam hal ini, alih-alih sistem persamaan, kami memiliki persamaan tunggal

Oleh karena itu, rumus untuk memperkirakan koefisien tunggal memiliki bentuk

Sifat statistik perkiraan OLS[sunting | sunting sumber] edit teks wiki]

Pertama-tama, kami mencatat bahwa untuk model linier, perkiraan kuadrat terkecil adalah perkiraan linier, sebagai berikut dari rumus di atas. Untuk estimasi OLS yang tidak bias, perlu dan cukup untuk memenuhi kondisi terpenting dari analisis regresi: ekspektasi matematis dari kesalahan acak yang bersyarat pada faktor harus sama dengan nol. Kondisi ini, khususnya, terpenuhi jika ekspektasi matematis dari kesalahan acak sama dengan nol, dan faktor dan kesalahan acak adalah variabel acak independen.

Kondisi pertama dapat dianggap selalu terpenuhi untuk model dengan konstanta, karena konstanta mengambil ekspektasi matematis yang tidak nol dari kesalahan (oleh karena itu, model dengan konstanta umumnya lebih disukai). kovarians regresi kuadrat terkecil

Kondisi kedua - kondisi faktor eksogen - adalah fundamental. Jika properti ini tidak terpenuhi, maka kita dapat mengasumsikan bahwa hampir semua perkiraan akan sangat tidak memuaskan: mereka bahkan tidak akan konsisten (yaitu, bahkan sejumlah besar data tidak memungkinkan untuk memperoleh perkiraan kualitatif dalam kasus ini). Dalam kasus klasik, asumsi yang lebih kuat dibuat tentang determinisme faktor, berbeda dengan kesalahan acak, yang secara otomatis berarti bahwa kondisi eksogen terpenuhi. Dalam kasus umum, untuk konsistensi pendugaan, cukup untuk memenuhi kondisi eksogenitas bersama-sama dengan konvergensi matriks ke beberapa matriks non-singular dengan peningkatan ukuran sampel hingga tak terhingga.

Agar, selain konsistensi dan ketidakberpihakan, estimasi kuadrat terkecil (biasa) juga efisien (yang terbaik di kelas estimasi tak bias linier), properti tambahan dari kesalahan acak harus dipenuhi:

Varians kesalahan acak yang konstan (sama) di semua pengamatan (tidak ada heteroskedastisitas):

Kurangnya korelasi (autokorelasi) kesalahan acak dalam pengamatan yang berbeda di antara mereka sendiri

Asumsi ini dapat dirumuskan untuk matriks kovarians dari vektor kesalahan acak

Sebuah model linier yang memenuhi kondisi ini disebut klasik. Estimasi LLS untuk regresi linier klasik adalah estimasi yang tidak bias, konsisten dan paling efisien di kelas semua estimasi linier yang tidak bias (dalam literatur bahasa Inggris mereka terkadang menggunakan singkatan BLUE (Best Linear Unbiased Estimator) - estimasi linier terbaik; dalam literatur domestik, teorema Gauss lebih sering diberikan - Markov). Karena mudah ditunjukkan, matriks kovarians dari vektor penduga koefisien akan sama dengan:

Efisiensi berarti bahwa matriks kovarians ini "minimal" (setiap kombinasi linier dari koefisien, dan khususnya koefisien itu sendiri, memiliki varians minimum), yaitu, di kelas estimasi linier yang tidak bias, estimasi OLS adalah yang terbaik. Elemen diagonal dari matriks ini, varians dari estimasi koefisien, merupakan parameter penting dari kualitas estimasi yang diperoleh. Namun, tidak mungkin menghitung matriks kovarians karena varian galat acak tidak diketahui. Dapat dibuktikan bahwa penduga tak bias dan konsisten (untuk model linier klasik) dari variansi galat acak bernilai:

Mengganti nilai ini ke dalam rumus untuk matriks kovarians, kami memperoleh perkiraan matriks kovarians. Estimasi yang dihasilkan juga tidak bias dan konsisten. Hal ini juga penting bahwa estimasi varians kesalahan (dan karenanya varians dari koefisien) dan estimasi parameter model adalah variabel acak independen, yang memungkinkan untuk memperoleh statistik uji untuk menguji hipotesis tentang koefisien model.

Perlu dicatat bahwa jika asumsi klasik tidak terpenuhi, estimasi parameter kuadrat terkecil bukanlah estimasi yang paling efisien (tetap tidak bias dan konsisten). Namun, perkiraan matriks kovarians semakin memburuk - menjadi bias dan tidak konsisten. Ini berarti bahwa kesimpulan statistik tentang kualitas model yang dibangun dalam kasus ini bisa sangat tidak dapat diandalkan. Salah satu cara untuk menyelesaikan masalah terakhir adalah dengan menggunakan estimasi khusus dari matriks kovarians, yang konsisten di bawah pelanggaran asumsi klasik (kesalahan standar dalam bentuk Putih dan kesalahan standar dalam bentuk Newey-Barat). Pendekatan lain adalah dengan menggunakan apa yang disebut kuadrat terkecil umum.

Kuadrat terkecil umum[sunting | edit teks wiki]

Artikel utama: Kuadrat terkecil yang digeneralisasi

Metode kuadrat terkecil memungkinkan generalisasi yang luas. Alih-alih meminimalkan jumlah kuadrat dari residu, seseorang dapat meminimalkan beberapa bentuk kuadrat positif-pasti dari vektor residu, di mana beberapa matriks bobot pasti-positif simetris. Kuadrat terkecil biasa adalah kasus khusus dari pendekatan ini, ketika matriks bobot sebanding dengan matriks identitas. Seperti diketahui dari teori matriks simetris (atau operator), ada dekomposisi untuk matriks tersebut. Oleh karena itu, fungsional ini dapat direpresentasikan sebagai berikut:

yaitu, fungsi ini dapat direpresentasikan sebagai jumlah kuadrat dari beberapa "sisa" yang diubah. Dengan demikian, kita dapat membedakan kelas metode kuadrat terkecil - metode LS (Kuadrat Terkecil).

Terbukti (teorema Aitken) bahwa untuk model regresi linier umum (di mana tidak ada batasan yang dikenakan pada matriks kovarians kesalahan acak), yang paling efektif (di kelas estimasi tak bias linier) adalah estimasi yang disebut. kuadrat terkecil umum (GLS, GLS - Kuadrat Terkecil Umum) - LS-metode dengan matriks bobot sama dengan matriks kovarians terbalik kesalahan acak: .

Dapat ditunjukkan bahwa rumus untuk pendugaan GLS dari parameter model linier memiliki bentuk

Matriks kovarians dari perkiraan ini, masing-masing, akan sama dengan

Faktanya, esensi OLS terletak pada transformasi (linier) (P) tertentu dari data asli dan penerapan kuadrat terkecil biasa pada data yang diubah. Tujuan dari transformasi ini adalah bahwa untuk data yang ditransformasi, kesalahan acak sudah memenuhi asumsi klasik.

OLS tertimbang[sunting | edit teks wiki]

Dalam kasus matriks bobot diagonal (dan karenanya matriks kovarians kesalahan acak), kami memiliki apa yang disebut kuadrat terkecil tertimbang (WLS - Kuadrat Terkecil Tertimbang). Dalam hal ini, jumlah kuadrat dari residual model diminimalkan, yaitu, setiap pengamatan menerima "bobot" yang berbanding terbalik dengan varians kesalahan acak dalam pengamatan ini:

Faktanya, data ditransformasikan dengan pembobotan pengamatan (dibagi dengan jumlah yang sebanding dengan standar deviasi yang diasumsikan dari kesalahan acak), dan kuadrat terkecil normal diterapkan pada data berbobot.

Setelah penyelarasan, kita mendapatkan fungsi dari bentuk berikut: g (x) = x + 1 3 + 1 .

Kita dapat memperkirakan data ini dengan hubungan linier y = a x + b dengan menghitung parameter yang sesuai. Untuk melakukan ini, kita perlu menerapkan apa yang disebut metode kuadrat terkecil. Anda juga perlu membuat gambar untuk memeriksa garis mana yang paling tepat untuk menyelaraskan data eksperimen.

Yandex.RTB R-A-339285-1

Apa sebenarnya OLS (metode kuadrat terkecil)

Hal utama yang perlu kita lakukan adalah menemukan koefisien ketergantungan linier di mana nilai fungsi dua variabel F (a, b) = i = 1 n (y i - (a x i + b)) 2 akan menjadi yang terkecil . Dengan kata lain, untuk nilai a dan b tertentu, jumlah simpangan kuadrat dari data yang disajikan dari garis lurus yang dihasilkan akan memiliki nilai minimum. Demikianlah apa yang dimaksud dengan metode kuadrat terkecil. Yang harus kita lakukan untuk menyelesaikan contoh ini adalah menemukan ekstrem dari fungsi dua variabel.

Cara mendapatkan rumus untuk menghitung koefisien

Untuk mendapatkan rumus untuk menghitung koefisien, perlu untuk membuat dan menyelesaikan sistem persamaan dengan dua variabel. Untuk melakukan ini, kami menghitung turunan parsial dari ekspresi F (a , b) = i = 1 n (y i - (a x i + b)) 2 terhadap a dan b dan menyamakannya dengan 0 .

F (a , b) a = 0 F (a , b) b = 0 - 2 i = 1 n (y i - (a x i + b)) x i = 0 - 2 i = 1 n ( y i - (a x i + b)) = 0 a i = 1 n x i 2 + b i = 1 n x i = i = 1 n x i y i a i = 1 n x i + i = 1 n b = i = 1 n y i i = 1 n x i 2 + b i = 1 n x i = i = 1 n x i y i a i = 1 n x i + n b = i = 1 n y i

Untuk menyelesaikan sistem persamaan, Anda dapat menggunakan metode apa pun, seperti substitusi atau metode Cramer. Akibatnya, kita harus mendapatkan rumus yang menghitung koefisien menggunakan metode kuadrat terkecil.

n i = 1 n x i y i - i = 1 n x i i = 1 n y i n i = 1 n - i = 1 n x i 2 b = i = 1 n y i - a i = 1 n x i n

Kami telah menghitung nilai variabel yang fungsinya
F (a , b) = i = 1 n (y i - (a x i + b)) 2 akan mengambil nilai minimum. Di paragraf ketiga, kami akan membuktikan mengapa demikian.

Ini adalah penerapan metode kuadrat terkecil dalam praktik. Rumusnya, yang digunakan untuk mencari parameter a , meliputi i = 1 n x i , i = 1 n y i , i = 1 n x i y i , i = 1 n x i 2 , dan parameter
n - ini menunjukkan jumlah data eksperimen. Kami menyarankan Anda untuk menghitung setiap jumlah secara terpisah. Nilai koefisien b dihitung segera setelah a .

Mari kita kembali ke contoh awal.

Contoh 1

Di sini kita memiliki n sama dengan lima. Untuk membuatnya lebih mudah untuk menghitung jumlah yang diperlukan yang termasuk dalam rumus koefisien, kami mengisi tabel.

	saya = 1	saya = 2	saya = 3	saya = 4	saya = 5	saya = 1 5
x saya	0	1	2	4	5	12
aku	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x saya y saya	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x saya 2	0	1	4	16	25	46

Keputusan

Baris keempat berisi data yang diperoleh dengan mengalikan nilai dari baris kedua dengan nilai ketiga untuk setiap individu i . Baris kelima berisi data dari kuadrat kedua. Kolom terakhir menunjukkan jumlah nilai dari masing-masing baris.

Mari kita gunakan metode kuadrat terkecil untuk menghitung koefisien a dan b yang kita butuhkan. Untuk melakukan ini, gantikan nilai yang diinginkan dari kolom terakhir dan hitung jumlahnya:

n i = 1 n x i y i - i = 1 n x i i = 1 n y i n i = 1 n - i = 1 n x i 2 b = i = 1 n y i - a i = 1 n x i = 5 33 , 8 a - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 a 0, 165 b 2, 184

Kami mendapatkan bahwa garis lurus aproksimasi yang diinginkan akan terlihat seperti y = 0 , 165 x + 2 , 184 . Sekarang kita perlu menentukan garis mana yang paling mendekati data - g (x) = x + 1 3 + 1 atau 0 , 165 x + 2 , 184 . Mari kita membuat perkiraan menggunakan metode kuadrat terkecil.

Untuk menghitung galat, kita perlu mencari jumlah simpangan kuadrat data dari garis 1 = i = 1 n (y i - (a x i + b i)) 2 dan 2 = i = 1 n (y i - g (x i)) 2 , nilai minimum akan sesuai dengan garis yang lebih cocok.

1 = i = 1 n (y i - (a x i + b i)) 2 = = i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 2 = i = 1 n (y i - g (x i)) 2 = = i = 1 5 (y i - (x i + 1 3 + 1)) 2 0 , 096

Menjawab: sejak 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2 , 184 .

Metode kuadrat terkecil ditunjukkan dengan jelas dalam ilustrasi grafik. Garis merah menandai garis lurus g (x) = x + 1 3 + 1, garis biru menandai y = 0, 165 x + 2, 184. Data mentah ditandai dengan titik-titik merah muda.

Mari kita jelaskan mengapa persisnya perkiraan jenis ini diperlukan.

Mereka dapat digunakan dalam masalah yang membutuhkan pemulusan data, serta di mana data perlu diinterpolasi atau diekstrapolasi. Misalnya, dalam masalah yang dibahas di atas, seseorang dapat menemukan nilai besaran yang diamati y pada x = 3 atau pada x = 6 . Kami telah mendedikasikan artikel terpisah untuk contoh-contoh seperti itu.

Bukti metode LSM

Agar fungsi dapat mengambil nilai minimum untuk a dan b yang dihitung, perlu bahwa pada suatu titik tertentu matriks bentuk kuadrat dari diferensial dari fungsi bentuk F (a, b) = i = 1 n ( y i - (a x i + b)) 2 pasti positif. Mari kita tunjukkan bagaimana seharusnya terlihat.

Contoh 2

Kami memiliki diferensial orde kedua dari bentuk berikut:

d 2 F (a ; b) = 2 F (a ; b) a 2 d 2 a + 2 2 F (a ; b) a b d a d b + 2 F (a ; b) δ b 2 d 2b

Keputusan

2 F (a ; b) a 2 = δ F (a ; b) a a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 i = 1 n (x i) 2 2 F (a ; b) a b = F (a ; b) a b = = - 2 i = 1 n (y i - (a x i + b) ) x i b = 2 i = 1 n x i 2 F (a ; b) b 2 = F (a ; b) b δ b = - 2 ∑ i = 1 n (y i - (a x i + b)) b = 2 i = 1 n (1) = 2 n

Dengan kata lain dapat ditulis sebagai berikut: d 2 F (a ; b) = 2 i = 1 n (x i) 2 d 2 a + 2 2 x i i = 1 n d a d b + (2 n) d 2 b .

Kami telah memperoleh matriks bentuk kuadrat M = 2 i = 1 n (x i) 2 2 i = 1 n x i 2 i = 1 n x i 2 n .

Dalam hal ini, nilai elemen individu tidak akan berubah tergantung pada a dan b . Apakah matriks ini pasti positif? Untuk menjawab pertanyaan ini, mari kita periksa apakah sudut minornya positif.

Hitung minor sudut orde pertama: 2 i = 1 n (x i) 2 > 0 . Karena titik x i tidak bertepatan, pertidaksamaannya ketat. Kami akan mengingat hal ini dalam perhitungan lebih lanjut.

Kami menghitung minor sudut orde kedua:

d e t (M) = 2 i = 1 n (x i) 2 2 i = 1 n x i 2 i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Setelah itu, lanjutkan ke pembuktian pertidaksamaan n i = 1 n (x i) 2 - i = 1 n x i 2 > 0 menggunakan induksi matematika.

1. Mari kita periksa apakah ketidaksetaraan ini valid untuk n arbitrer. Mari kita ambil 2 dan hitung:

2 i = 1 2 (x i) 2 - i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Kami mendapat kesetaraan yang benar (jika nilai x 1 dan x 2 tidak cocok).

1. Mari kita asumsikan bahwa pertidaksamaan ini akan benar untuk n , yaitu. n i = 1 n (x i) 2 - i = 1 n x i 2 > 0 – benar.
2. Sekarang mari kita buktikan validitas untuk n + 1 , yaitu. bahwa (n + 1) i = 1 n + 1 (x i) 2 - i = 1 n + 1 x i 2 > 0 jika n ∑ i = 1 n (x i) 2 - i = 1 n x i 2 > 0 .

Kami menghitung:

(n + 1) i = 1 n + 1 (x i) 2 - i = 1 n + 1 x i 2 = = (n + 1) i = 1 n (x i) 2 + x n + 1 2 - i = 1 n x i + x n + 1 2 = = n i = 1 n (x i) 2 + n x n + 1 2 + i = 1 n (x i) 2 + x n + 1 2 - - i = 1 n x i 2 + 2 x n + 1 i = 1 n x i + x n + 1 2 = = i = 1 n (x i) 2 - i = 1 n x i 2 + n x n + 1 2 - x n + 1 i = 1 n x i + i = 1 n (x i) 2 = = i = 1 n (x i) 2 - i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Ekspresi yang terlampir dalam kurung kurawal akan lebih besar dari 0 (berdasarkan apa yang kita asumsikan pada langkah 2), dan suku-suku lainnya akan lebih besar dari 0 karena semuanya adalah bilangan kuadrat. Kami telah membuktikan ketidaksetaraan.

Menjawab: a dan b yang ditemukan akan sesuai dengan nilai terkecil dari fungsi F (a, b) = i = 1 n (y i - (a x i + b)) 2, yang berarti bahwa mereka adalah parameter yang diinginkan dari metode kuadrat terkecil (LSM).

Jika Anda melihat kesalahan dalam teks, harap sorot dan tekan Ctrl+Enter

Metode kuadrat terkecil (OLS, eng. Ordinary Least Squares, OLS)- metode matematika yang digunakan untuk memecahkan berbagai masalah, berdasarkan meminimalkan jumlah deviasi kuadrat dari beberapa fungsi dari variabel yang diinginkan. Ini dapat digunakan untuk "menyelesaikan" sistem persamaan yang ditentukan lebih (ketika jumlah persamaan melebihi jumlah yang tidak diketahui), untuk menemukan solusi dalam kasus sistem persamaan nonlinier biasa (tidak ditentukan lebih), untuk mendekati nilai titik dari beberapa fungsi. OLS adalah salah satu metode dasar analisis regresi untuk memperkirakan parameter model regresi yang tidak diketahui dari data sampel.

YouTube ensiklopedis

1 / 5

Metode kuadrat terkecil. Subjek

Mitin I. V. - Mengolah hasil fisik. eksperimen - Metode kuadrat terkecil (Kuliah 4)

Kuadrat terkecil, pelajaran 1/2. Fungsi linear

Ekonometrika. Kuliah 5. Metode kuadrat terkecil

Metode kuadrat terkecil. jawaban

Subtitle

Cerita

Sampai awal abad XIX. ilmuwan tidak memiliki aturan tertentu untuk memecahkan sistem persamaan di mana jumlah yang tidak diketahui kurang dari jumlah persamaan; Sampai saat itu, metode tertentu digunakan, tergantung pada jenis persamaan dan kecerdikan kalkulator, dan oleh karena itu kalkulator yang berbeda, mulai dari data pengamatan yang sama, sampai pada kesimpulan yang berbeda. Gauss (1795) dikreditkan dengan penerapan pertama metode ini, dan Legendre (1805) secara independen menemukan dan menerbitkannya dengan nama modernnya (fr. Metode des moindres quarres) . Laplace menghubungkan metode tersebut dengan teori probabilitas, dan matematikawan Amerika Adrain (1808) mempertimbangkan aplikasi probabilistiknya. Metode ini tersebar luas dan ditingkatkan dengan penelitian lebih lanjut oleh Encke, Bessel, Hansen dan lain-lain.

Inti dari metode kuadrat terkecil

Biarlah x (\gaya tampilan x)- kit n (\gaya tampilan n) variabel yang tidak diketahui (parameter), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- set fungsi dari set variabel ini. Masalahnya adalah memilih nilai seperti itu x (\gaya tampilan x) sehingga nilai-nilai fungsi ini sedekat mungkin dengan beberapa nilai y i (\displaystyle y_(i)). Intinya, kita berbicara tentang "solusi" dari sistem persamaan yang ditentukan lebih f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) dalam arti yang ditunjukkan, kedekatan maksimum bagian kiri dan kanan sistem. Inti dari LSM adalah memilih sebagai "ukuran kedekatan" jumlah deviasi kuadrat dari bagian kiri dan kanan | f i (x) y i | (\displaystyle |f_(i)(x)-y_(i)|). Dengan demikian, esensi LSM dapat diungkapkan sebagai berikut:

i e i 2 = i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\panah kanan \min _(x)).

Jika sistem persamaan memiliki solusi, maka jumlah kuadrat minimum akan sama dengan nol dan solusi eksak dari sistem persamaan dapat ditemukan secara analitik atau, misalnya, dengan berbagai metode optimasi numerik. Jika sistem ditentukan lebih, yaitu, secara longgar, jumlah persamaan independen lebih besar dari jumlah variabel yang tidak diketahui, maka sistem tidak memiliki solusi eksak dan metode kuadrat terkecil memungkinkan kita untuk menemukan beberapa vektor "optimal" x (\gaya tampilan x) dalam arti kedekatan maksimum dari vektor y (\gaya tampilan y) dan f (x) (\gaya tampilan f(x)) atau kedekatan maksimum dari vektor deviasi e (\gaya tampilan e) ke nol (kedekatan dipahami dalam arti jarak Euclidean).

Contoh - sistem persamaan linear

Secara khusus, metode kuadrat terkecil dapat digunakan untuk "menyelesaikan" sistem persamaan linear

A x = b (\displaystyle Ax=b),

di mana A (\gaya tampilan A) matriks ukuran persegi panjang m × n , m > n (\displaystyle m\kali n,m>n)(yaitu jumlah baris matriks A lebih besar dari jumlah variabel yang diperlukan).

Sistem persamaan seperti itu umumnya tidak memiliki solusi. Oleh karena itu, sistem ini dapat "dipecahkan" hanya dalam arti memilih vektor seperti itu x (\gaya tampilan x) untuk meminimalkan "jarak" antara vektor A x (\displaystyle Axe) dan b (\gaya tampilan b). Untuk melakukan ini, Anda dapat menerapkan kriteria untuk meminimalkan jumlah perbedaan kuadrat dari bagian kiri dan kanan persamaan sistem, yaitu (A x b) T (A x b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Sangat mudah untuk menunjukkan bahwa solusi dari masalah minimasi ini mengarah ke solusi dari sistem persamaan berikut:

A T A x = A T b x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Panah kanan x=(A^(T)A)^(-1)A^ (T)b).

OLS dalam analisis regresi (perkiraan data)

Biarkanlah terjadi begitu n (\gaya tampilan n) nilai dari beberapa variabel y (\gaya tampilan y)(ini mungkin hasil pengamatan, eksperimen, dll.) dan variabel yang sesuai x (\gaya tampilan x). Tantangannya adalah membuat hubungan antara y (\gaya tampilan y) dan x (\gaya tampilan x) perkiraan oleh beberapa fungsi yang diketahui hingga beberapa parameter yang tidak diketahui b (\gaya tampilan b), yaitu, benar-benar menemukan nilai terbaik dari parameter b (\gaya tampilan b), secara maksimal mendekati nilai f (x , b) (\gaya tampilan f(x,b)) ke nilai sebenarnya y (\gaya tampilan y). Faktanya, ini mengurangi kasus "solusi" dari sistem persamaan yang ditentukan lebih terhadap b (\gaya tampilan b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Dalam analisis regresi, dan khususnya dalam ekonometrika, model probabilistik dari hubungan antar variabel digunakan.

Y t = f (x t , b) + t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

di mana t (\displaystyle \varepsilon _(t))- disebut kesalahan acak model.

Dengan demikian, penyimpangan dari nilai-nilai yang diamati y (\gaya tampilan y) dari model f (x , b) (\gaya tampilan f(x,b)) sudah diasumsikan dalam model itu sendiri. Inti dari LSM (biasa, klasik) adalah menemukan parameter seperti itu b (\gaya tampilan b), di mana jumlah deviasi kuadrat (kesalahan, untuk model regresi mereka sering disebut residual regresi) e t (\gaya tampilan e_(t)) akan minimal:

b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

di mana R S S (\ gaya tampilan RSS)- Bahasa inggris. Jumlah Sisa Kuadrat didefinisikan sebagai:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Dalam kasus umum, masalah ini dapat diselesaikan dengan metode numerik optimasi (minimalisasi). Dalam hal ini, seseorang berbicara tentang kuadrat terkecil nonlinier(NLS atau NLLS - ind. Non-Linear Least Squares). Dalam banyak kasus, solusi analitis dapat diperoleh. Untuk menyelesaikan masalah minimasi, perlu untuk menemukan titik stasioner dari fungsi R S S (b) (\displaystyle RSS(b)), membedakannya sehubungan dengan parameter yang tidak diketahui b (\gaya tampilan b), menyamakan turunan ke nol dan menyelesaikan sistem persamaan yang dihasilkan:

t = 1 n (y t − f (x t , b)) f (x t , b) b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\sebagian f(x_(t),b))(\sebagian b))=0).

LSM dalam kasus regresi linier

Biarkan ketergantungan regresi menjadi linier:

y t = j = 1 k b j x t j + = x t T b + t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Biarlah kamu adalah vektor kolom pengamatan dari variabel yang dijelaskan, dan X (\gaya tampilan X)- Ini (n × k) (\displaystyle ((n\kali k)))- matriks pengamatan faktor (baris matriks - vektor nilai faktor dalam pengamatan tertentu, menurut kolom - vektor nilai faktor tertentu dalam semua pengamatan). Representasi matriks dari model linier memiliki bentuk:

y = Xb + (\displaystyle y=Xb+\varepsilon ).

Maka vektor penduga dari variabel yang dijelaskan dan vektor residu regresi akan sama dengan

y ^ = X b , e = y y ^ = y X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

karenanya, jumlah kuadrat dari residual regresi akan sama dengan

R S S = e T e = (y X b) T (y X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Membedakan fungsi ini sehubungan dengan vektor parameter b (\gaya tampilan b) dan menyamakan turunannya dengan nol, kita memperoleh sistem persamaan (dalam bentuk matriks):

(X T X) b = X T y (\gaya tampilan (X^(T)X)b=X^(T)y).

Dalam bentuk matriks yang diuraikan, sistem persamaan ini terlihat seperti ini:

(∑ x t 1 2 x t 1 x t 2 x t 1 x t 3 … x t 1 x t k ∑ x t 2 x t 1 x t 2 2 x t 2 x t 3 … x t 2 x t k x t 3 x t 1 x t x t 3 … x t 3 x t k ⋮ ⋮ ⋱ ⋮ x t k x t 1 ∑ x t k x t 2 x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 b k) = (∑ x t 1 y x t ∑ 3 y \ t ) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\jumlah x_(t2)x_(t1)&\jumlah x_(t2)^(2)&\jumlah x_(t2)x_(t3)&\ldots &\ jumlah x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatriks))=(\begin(pmatriks)\jumlah x_(t1)y_(t)\\\jumlah x_(t2)y_(t)\\ \jumlah x_(t3)y_(t )\\\vdots \\\jumlah x_(tk)y_(t)\\\end(pmatriks))) di mana semua jumlah diambil alih semua nilai yang dapat diterima t (\gaya tampilan t).

Jika sebuah konstanta dimasukkan dalam model (seperti biasa), maka x t 1 = 1 (\displaystyle x_(t1)=1) untuk semua t (\gaya tampilan t), oleh karena itu, di sudut kiri atas matriks sistem persamaan adalah jumlah pengamatan n (\gaya tampilan n), dan di elemen yang tersisa dari baris pertama dan kolom pertama - hanya jumlah nilai variabel: x t j (\displaystyle \sum x_(tj)) dan elemen pertama dari sisi kanan sistem - y t (\displaystyle \sum y_(t)).

Solusi dari sistem persamaan ini memberikan rumus umum untuk taksiran kuadrat terkecil untuk model linier:

b ^ O L S = (X T X) 1 X T y = (1 n X T X) 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Untuk tujuan analitis, representasi terakhir dari rumus ini ternyata berguna (dalam sistem persamaan ketika dibagi dengan n, sarana aritmatika muncul alih-alih jumlah). Jika data dalam model regresi terpusat, maka dalam representasi ini matriks pertama memiliki arti matriks kovarians sampel faktor, dan yang kedua adalah vektor kovarians faktor dengan variabel terikat. Jika, selain itu, datanya juga dinormalisasi di SKO (yaitu, pada akhirnya terstandarisasi), maka matriks pertama memiliki arti matriks korelasi sampel faktor, vektor kedua - vektor sampel korelasi faktor dengan variabel terikat.

Properti penting dari perkiraan LLS untuk model dengan konstanta- garis regresi yang dibangun melewati pusat gravitasi data sampel, yaitu persamaan terpenuhi:

y = b 1 ^ + ∑ j = 2 k b ^ j x j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

Secara khusus, dalam kasus ekstrim, ketika satu-satunya regressor adalah konstanta, kami menemukan bahwa estimasi OLS dari parameter tunggal (konstanta itu sendiri) sama dengan nilai rata-rata dari variabel yang dijelaskan. Artinya, rata-rata aritmatika, yang dikenal karena sifat-sifat baiknya dari hukum bilangan besar, juga merupakan perkiraan kuadrat terkecil - memenuhi kriteria untuk jumlah minimum deviasi kuadrat darinya.

Kasus khusus paling sederhana

Dalam kasus regresi linier berpasangan y t = a + b x t + t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), ketika ketergantungan linier satu variabel pada variabel lain diperkirakan, rumus perhitungan disederhanakan (Anda dapat melakukannya tanpa aljabar matriks). Sistem persamaan memiliki bentuk:

(1 x x x 2 ) (a b) = (y x y ) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Dari sini mudah untuk menemukan perkiraan untuk koefisien:

( b ^ = Cov (x , y) Var (x) = x y ¯ x ¯ y ¯ x 2 ¯ − x 2 , a ^ = y b x .(\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(kasus)))

Terlepas dari kenyataan bahwa, secara umum, model dengan konstanta lebih disukai, dalam beberapa kasus diketahui dari pertimbangan teoritis bahwa konstanta a (\gaya tampilan a) harus sama dengan nol. Misalnya, dalam fisika, hubungan antara tegangan dan arus memiliki bentuk U = I R (\displaystyle U=I\cdot R); mengukur tegangan dan arus, perlu untuk memperkirakan resistansi. Dalam hal ini, kita berbicara tentang model y = b x (\displaystyle y=bx). Dalam hal ini, alih-alih sistem persamaan, kami memiliki persamaan tunggal

(∑ x t 2) b = x t y t (\displaystyle \left(\sum x_(t)^(2)\kanan)b=\sum x_(t)y_(t)).

Oleh karena itu, rumus untuk memperkirakan koefisien tunggal memiliki bentuk

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y x 2 (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Kasus model polinomial

Jika data dilengkapi dengan fungsi regresi polinomial dari satu variabel f (x) = b 0 + i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), kemudian, memahami derajat x i (\gaya tampilan x^(i)) sebagai faktor independen untuk masing-masing i (\gaya tampilan i) dimungkinkan untuk memperkirakan parameter model berdasarkan rumus umum untuk memperkirakan parameter model linier. Untuk melakukan ini, cukup memperhitungkan dalam rumus umum bahwa dengan interpretasi seperti itu x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) dan x t j y t = x t j y t (\gaya tampilan x_(tj)y_(t)=x_(t)^(j)y_(t)). Oleh karena itu, persamaan matriks dalam hal ini akan berbentuk:

(n n x t ... n x t k ∑ n x t ∑ n x i 2 ... m x i k + 1 ⋱ ⋮ n x t k n x t k + 1 ... n x t 2 k) [b 0 b 1 b k] = t n x t y t n x t k y t] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ jumlah \batas _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatriks)).)

Sifat Statistik Estimasi OLS

Pertama-tama, kami mencatat bahwa untuk model linier, perkiraan kuadrat terkecil adalah perkiraan linier, sebagai berikut dari rumus di atas. Untuk ketidak biasan dari estimasi kuadrat terkecil, perlu dan cukup untuk memenuhi kondisi yang paling penting dari analisis regresi: ekspektasi matematis dari kesalahan acak yang dikondisikan pada faktor harus sama dengan nol. Kondisi ini dipenuhi, khususnya, jika

1. harapan matematis dari kesalahan acak adalah nol, dan
2. faktor dan kesalahan acak adalah nilai-nilai independen-acak.

Kondisi kedua - kondisi faktor eksogen - adalah fundamental. Jika properti ini tidak terpenuhi, maka kita dapat mengasumsikan bahwa hampir semua perkiraan akan sangat tidak memuaskan: mereka bahkan tidak akan konsisten (yaitu, bahkan sejumlah besar data tidak memungkinkan untuk memperoleh perkiraan kualitatif dalam kasus ini). Dalam kasus klasik, asumsi yang lebih kuat dibuat tentang determinisme faktor, berbeda dengan kesalahan acak, yang secara otomatis berarti bahwa kondisi eksogen terpenuhi. Dalam kasus umum, untuk konsistensi pendugaan, cukup memenuhi kondisi eksogenitas bersama-sama dengan konvergensi matriks. V x (\gaya tampilan V_(x)) untuk beberapa matriks nonsingular sebagai ukuran sampel meningkat hingga tak terhingga.

Agar, selain konsistensi dan ketidakberpihakan, estimasi kuadrat terkecil (biasa) juga efektif (yang terbaik di kelas estimasi tak bias linier), properti tambahan dari kesalahan acak harus dipenuhi:

Asumsi-asumsi ini dapat dirumuskan untuk kovarians matriks vektor kesalahan acak V (ε) = 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Sebuah model linier yang memenuhi kondisi ini disebut klasik. Estimasi OLS untuk regresi linier klasik adalah estimasi yang tidak bias, konsisten dan paling efisien di kelas semua estimasi linier yang tidak bias (dalam literatur bahasa Inggris, singkatan kadang-kadang digunakan biru (Penaksir Tak Bias Linier Terbaik) - estimasi tak bias linier terbaik; dalam literatur domestik, teorema Gauss - Markov lebih sering dikutip). Karena mudah ditunjukkan, matriks kovarians dari vektor penduga koefisien akan sama dengan:

V (b ^ O L S) = 2 (X T X) 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efisiensi berarti bahwa matriks kovarians ini "minimal" (setiap kombinasi linier dari koefisien, dan khususnya koefisien itu sendiri, memiliki varians minimum), yaitu, di kelas estimasi linier yang tidak bias, estimasi OLS adalah yang terbaik. Elemen diagonal dari matriks ini - varians dari estimasi koefisien - adalah parameter penting dari kualitas estimasi yang diperoleh. Namun, tidak mungkin menghitung matriks kovarians karena varian galat acak tidak diketahui. Dapat dibuktikan bahwa penduga tak bias dan konsisten (untuk model linier klasik) dari variansi galat acak bernilai:

S 2 = R S S / (n k) (\displaystyle s^(2)=RSS/(n-k)).

Mengganti nilai ini ke dalam rumus untuk matriks kovarians, kami memperoleh perkiraan matriks kovarians. Estimasi yang dihasilkan juga tidak bias dan konsisten. Hal ini juga penting bahwa estimasi varians kesalahan (dan karenanya varians dari koefisien) dan estimasi parameter model adalah variabel acak independen, yang memungkinkan untuk memperoleh statistik uji untuk menguji hipotesis tentang koefisien model.

Perlu dicatat bahwa jika asumsi klasik tidak terpenuhi, estimasi parameter kuadrat terkecil bukanlah yang paling efisien dan, di mana W (\gaya tampilan W) adalah beberapa matriks bobot pasti positif simetris. Kuadrat terkecil biasa adalah kasus khusus dari pendekatan ini, ketika matriks bobot sebanding dengan matriks identitas. Seperti diketahui, untuk matriks simetris (atau operator) ada dekomposisi W = P T P (\displaystyle W=P^(T)P). Oleh karena itu, fungsional ini dapat direpresentasikan sebagai berikut: e T P T P e = (P e) T P e = e T e (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), yaitu, fungsi ini dapat direpresentasikan sebagai jumlah kuadrat dari beberapa "sisa" yang diubah. Dengan demikian, kita dapat memilih kelas metode kuadrat terkecil - metode LS (Kuadrat Terkecil).

Terbukti (teorema Aitken) bahwa untuk model regresi linier umum (di mana tidak ada batasan yang dikenakan pada matriks kovarians kesalahan acak), yang paling efektif (di kelas estimasi tak bias linier) adalah estimasi yang disebut. OLS umum (OMNK, GLS - Kuadrat Terkecil Umum)- Metode LS dengan matriks bobot sama dengan matriks kovarians terbalik dari kesalahan acak: W = V 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Dapat ditunjukkan bahwa rumus untuk pendugaan GLS dari parameter model linier memiliki bentuk

B ^ G L S = (X T V 1 X) 1 X T V 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Matriks kovarians dari perkiraan ini, masing-masing, akan sama dengan

V (b ^ G L S) = (X T V 1 X) 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- satu)).

Faktanya, esensi OLS terletak pada transformasi (linier) (P) tertentu dari data asli dan penerapan kuadrat terkecil biasa pada data yang diubah. Tujuan dari transformasi ini adalah bahwa untuk data yang ditransformasi, kesalahan acak sudah memenuhi asumsi klasik.

Kuadrat terkecil berbobot

Dalam kasus matriks bobot diagonal (dan karenanya matriks kovarians kesalahan acak), kami memiliki apa yang disebut kuadrat terkecil tertimbang (WLS - Kuadrat Terkecil Tertimbang). Dalam hal ini, jumlah kuadrat dari residual model diminimalkan, yaitu, setiap pengamatan menerima "bobot" yang berbanding terbalik dengan varians kesalahan acak dalam pengamatan ini: e T W e = t = 1 n e t 2 t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Faktanya, data ditransformasikan dengan pembobotan pengamatan (dibagi dengan jumlah yang sebanding dengan standar deviasi yang diasumsikan dari kesalahan acak), dan kuadrat terkecil normal diterapkan pada data berbobot.

ISBN 978-5-7749-0473-0.

ekonometrika. Buku teks / Ed. Eliseeva I. I. - edisi ke-2. - M. : Keuangan dan statistik, 2006. - 576 hal. - ISBN 5-279-02786-3.

Alexandrova N.V. Sejarah istilah matematika, konsep, sebutan: buku referensi kamus. - Edisi ke-3 - M. : LKI, 2008. - 248 hal. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Analisis dan pengolahan data eksperimen - edisi ke-5 - 24p.

• tutorial

pengantar

Saya seorang pemrogram komputer. Saya membuat lompatan terbesar dalam karir saya ketika saya belajar mengatakan: "Aku tidak mengerti apapun!" Sekarang saya tidak malu untuk memberi tahu ahli ilmu pengetahuan bahwa dia memberi saya kuliah, bahwa saya tidak mengerti apa yang dibicarakan oleh orang yang termasyhur itu kepada saya. Dan itu sangat sulit. Ya, sulit dan memalukan untuk mengaku bodoh. Siapa yang suka mengakui bahwa dia tidak tahu dasar-dasar sesuatu yang ada. Karena profesi saya, saya harus menghadiri banyak presentasi dan kuliah, di mana, saya akui, dalam sebagian besar kasus saya merasa mengantuk, karena saya tidak mengerti apa-apa. Dan saya tidak mengerti karena masalah besar dari situasi saat ini dalam sains terletak pada matematika. Ini mengasumsikan bahwa semua siswa akrab dengan semua bidang matematika (yang tidak masuk akal). Mengakui bahwa Anda tidak tahu apa itu turunan (bahwa ini sedikit lebih lambat) adalah hal yang memalukan.

Tetapi saya telah belajar untuk mengatakan bahwa saya tidak tahu apa itu perkalian. Ya, saya tidak tahu apa itu subaljabar di atas aljabar Lie. Ya, saya tidak tahu mengapa persamaan kuadrat diperlukan dalam kehidupan. Omong-omong, jika Anda yakin bahwa Anda tahu, maka kami memiliki sesuatu untuk dibicarakan! Matematika adalah serangkaian trik. Matematikawan mencoba membingungkan dan mengintimidasi publik; di mana tidak ada kebingungan, tidak ada reputasi, tidak ada otoritas. Ya, sangat bergengsi untuk berbicara dalam bahasa yang paling abstrak, yang sama sekali tidak masuk akal.

Tahukah kamu apa itu turunan? Kemungkinan besar Anda akan memberi tahu saya tentang batas hubungan perbedaan. Pada tahun pertama matematika di Universitas Negeri St. Petersburg, Viktor Petrovich Khavin me ditentukan turunan sebagai koefisien suku pertama deret Taylor dari fungsi di titik (itu adalah senam terpisah untuk menentukan deret Taylor tanpa turunan). Saya menertawakan definisi ini untuk waktu yang lama, sampai akhirnya saya mengerti tentang apa itu. Turunan tidak lebih dari sekedar ukuran seberapa mirip fungsi yang kita bedakan dengan fungsi y=x, y=x^2, y=x^3.

Saya sekarang mendapat kehormatan untuk mengajar siswa yang takut matematika. Jika Anda takut matematika - kami sedang dalam perjalanan. Segera setelah Anda mencoba membaca beberapa teks dan tampaknya bagi Anda itu terlalu rumit, ketahuilah bahwa itu ditulis dengan buruk. Saya berpendapat bahwa tidak ada satu bidang matematika pun yang tidak dapat dibicarakan "dengan jari" tanpa kehilangan akurasi.

Tantangan untuk waktu dekat: Saya menginstruksikan siswa saya untuk memahami apa itu pengontrol linier-kuadrat. Jangan malu, buang tiga menit hidup Anda, ikuti tautannya. Jika Anda tidak mengerti apa-apa, maka kami sedang dalam perjalanan. Saya (ahli matematika-programmer profesional) juga tidak mengerti apa-apa. Dan saya jamin, ini bisa diselesaikan "dengan jari." Saat ini saya tidak tahu apa itu, tetapi saya meyakinkan Anda bahwa kami akan dapat mengetahuinya.

Jadi, kuliah pertama yang akan saya berikan kepada siswa saya setelah mereka datang kepada saya dengan ngeri dengan kata-kata bahwa pengontrol linier-kuadrat adalah bug mengerikan yang tidak akan pernah Anda kuasai dalam hidup Anda adalah metode kuadrat terkecil. Bisakah kamu menyelesaikan persamaan linear? Jika Anda membaca teks ini, kemungkinan besar tidak.

Jadi, diberikan dua titik (x0, y0), (x1, y1), misalnya, (1,1) dan (3,2), tugasnya adalah menemukan persamaan garis lurus yang melalui dua titik ini:

ilustrasi

Garis lurus ini harus memiliki persamaan seperti berikut:

Di sini alfa dan beta tidak kita ketahui, tetapi dua titik dari garis ini diketahui:

Anda dapat menulis persamaan ini dalam bentuk matriks:

Di sini kita harus membuat penyimpangan liris: apa itu matriks? Matriks tidak lain adalah array dua dimensi. Ini adalah cara menyimpan data, tidak ada lagi nilai yang harus diberikan padanya. Terserah kita bagaimana tepatnya menafsirkan matriks tertentu. Secara berkala, saya akan menafsirkannya sebagai pemetaan linier, secara berkala sebagai bentuk kuadrat, dan kadang-kadang hanya sebagai kumpulan vektor. Ini semua akan diklarifikasi dalam konteks.

Mari kita ganti matriks tertentu dengan representasi simbolisnya:

Kemudian (alfa, beta) dapat dengan mudah ditemukan:

Lebih khusus untuk data kami sebelumnya:

Yang mengarah ke persamaan garis lurus berikut melalui titik (1,1) dan (3,2):

Oke, semuanya jelas di sini. Dan mari kita cari persamaan garis lurus yang melalui tiga poin: (x0,y0), (x1,y1) dan (x2,y2):

Oh-oh-oh, tapi kita punya tiga persamaan untuk dua yang tidak diketahui! Ahli matematika standar akan mengatakan bahwa tidak ada solusi. Apa yang akan programmer katakan? Dan dia pertama-tama akan menulis ulang sistem persamaan sebelumnya dalam bentuk berikut:

Dalam kasus kami, vektor i, j, b adalah tiga dimensi, oleh karena itu, (dalam kasus umum) tidak ada solusi untuk sistem ini. Setiap vektor (alpha\*i + beta\*j) terletak pada bidang yang direntang oleh vektor (i, j). Jika b tidak termasuk dalam bidang ini, maka tidak ada solusi (persamaan dalam persamaan tidak dapat dicapai). Apa yang harus dilakukan? Mari kita mencari kompromi. Mari dilambangkan dengan e(alfa, beta) bagaimana tepatnya kami tidak mencapai kesetaraan:

Dan kami akan mencoba meminimalkan kesalahan ini:

Mengapa persegi?

Kami tidak hanya mencari norma minimum, tetapi juga kuadrat minimum norma. Mengapa? Titik minimum itu sendiri bertepatan, dan bujur sangkar memberikan fungsi halus (fungsi kuadrat dari argumen (alfa, beta)), sedangkan hanya panjangnya yang memberikan fungsi dalam bentuk kerucut, tidak terdiferensiasi pada titik minimum. br. Persegi lebih nyaman.

Jelas, kesalahan diminimalkan ketika vektor e ortogonal terhadap bidang yang direntang oleh vektor saya dan j.

Ilustrasi

Dengan kata lain: kami mencari garis sedemikian rupa sehingga jumlah kuadrat panjang jarak dari semua titik ke garis ini minimal:

UPDATE: di sini saya punya kusen, jarak ke garis harus diukur secara vertikal, bukan proyeksi ortografis. Komentator ini benar.

Ilustrasi

Dengan kata-kata yang sangat berbeda (hati-hati, diformalkan dengan buruk, tetapi harus jelas di jari): kami mengambil semua garis yang mungkin di antara semua pasangan titik dan mencari garis rata-rata di antara semua:

Ilustrasi

Penjelasan lain di jari: kami memasang pegas di antara semua titik data (di sini kami memiliki tiga) dan garis yang kami cari, dan garis keadaan ekuilibrium persis seperti yang kami cari.

Bentuk kuadrat minimum

Jadi, mengingat vektor b dan bidang yang direntang oleh kolom-vektor matriks A(dalam hal ini (x0,x1,x2) dan (1,1,1)), kami mencari vektor e dengan panjang persegi minimal. Jelas, minimum hanya dapat dicapai untuk vektor e, ortogonal terhadap bidang yang direntang oleh kolom-vektor matriks A:

Dengan kata lain, kita mencari vektor x=(alpha, beta) sedemikian rupa sehingga:

Saya ingatkan Anda bahwa vektor ini x=(alfa, beta) adalah minimum dari fungsi kuadrat ||e(alfa, beta)||^2:

Di sini perlu diingat bahwa matriks dapat diinterpretasikan seperti halnya bentuk kuadrat, misalnya matriks identitas ((1,0),(0,1)) dapat diinterpretasikan sebagai fungsi dari x^2 + y ^2:

bentuk kuadrat

Semua senam ini dikenal sebagai regresi linier.

Persamaan Laplace dengan syarat batas Dirichlet

Sekarang masalah nyata yang paling sederhana: ada permukaan segitiga tertentu, perlu untuk menghaluskannya. Sebagai contoh, mari kita muat model wajah saya:

Komit asli tersedia. Untuk meminimalkan ketergantungan eksternal, saya mengambil kode penyaji perangkat lunak saya, yang sudah ada di Habré. Untuk menyelesaikan sistem linier, saya menggunakan OpenNL , ini adalah pemecah yang hebat, tetapi sangat sulit untuk menginstal: Anda perlu menyalin dua file (.h + .c) ke folder proyek Anda. Semua smoothing dilakukan dengan kode berikut:

Untuk (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&wajah = wajah[i]; untuk (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Koordinat X, Y dan Z dapat dipisahkan, saya menghaluskannya secara terpisah. Artinya, saya memecahkan tiga sistem persamaan linier, masing-masing dengan jumlah variabel yang sama dengan jumlah simpul dalam model saya. N baris pertama dari matriks A hanya memiliki satu 1 per baris, dan n baris pertama dari vektor b memiliki koordinat model asli. Artinya, saya mengikat pegas antara posisi simpul baru dan posisi simpul lama - yang baru tidak boleh terlalu jauh dari yang lama.

Semua baris berikutnya dari matriks A (faces.size()*3 = jumlah rusuk semua segitiga dalam kisi) memiliki satu kemunculan 1 dan satu kemunculan -1, sedangkan vektor b memiliki komponen nol yang berlawanan. Ini berarti saya meletakkan pegas di setiap tepi jaring segitiga kami: semua tepi mencoba untuk mendapatkan titik yang sama dengan titik awal dan akhir mereka.

Sekali lagi: semua simpul adalah variabel, dan mereka tidak dapat menyimpang jauh dari posisi semula, tetapi pada saat yang sama mereka mencoba untuk menjadi serupa satu sama lain.

Inilah hasilnya:

Semuanya akan baik-baik saja, modelnya benar-benar halus, tetapi menjauh dari tepi aslinya. Mari kita ubah sedikit kodenya:

Untuk (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Dalam matriks A kita, untuk simpul yang berada di tepi, saya menambahkan bukan baris dari kategori v_i = simpul[i][d], tetapi 1000*v_i = 1000*vert[i][d]. Apa yang berubah? Dan ini mengubah bentuk kuadrat kesalahan kita. Sekarang satu penyimpangan dari atas di tepi tidak akan menelan biaya satu unit, seperti sebelumnya, tetapi 1000 * 1000 unit. Artinya, kami menggantung pegas yang lebih kuat di simpul ekstrem, solusinya lebih suka meregangkan yang lain lebih kuat. Inilah hasilnya:

Mari kita gandakan kekuatan pegas di antara simpul:
nlCoefisien(wajah[ j ], 2); nlKoefisien(wajah[(j+1)%3], -2);

Adalah logis bahwa permukaan menjadi lebih halus:

Dan sekarang bahkan seratus kali lebih kuat:

Apa itu? Bayangkan kita telah mencelupkan cincin kawat ke dalam air sabun. Akibatnya, film sabun yang dihasilkan akan mencoba memiliki kelengkungan sesedikit mungkin, menyentuh batas yang sama - cincin kawat kami. Inilah yang kami dapatkan dengan memperbaiki perbatasan dan meminta permukaan yang halus di dalamnya. Selamat, kita baru saja menyelesaikan persamaan Laplace dengan syarat batas Dirichlet. Terdengar keren? Namun pada kenyataannya, hanya satu sistem persamaan linier yang harus dipecahkan.

persamaan Poison

Ayo punya nama keren lainnya.

Katakanlah saya memiliki gambar seperti ini:

Semua orang baik, tapi saya tidak suka kursi itu.

Saya memotong gambar menjadi dua:

Dan saya akan memilih kursi dengan tangan saya:

Kemudian saya akan menyeret semua yang berwarna putih di topeng ke sisi kiri gambar, dan pada saat yang sama saya akan mengatakan di seluruh gambar bahwa perbedaan antara dua piksel tetangga harus sama dengan perbedaan antara dua piksel tetangga dari gambar kanan:

Untuk (int i=0; i

Inilah hasilnya:

Kode dan gambar tersedia

Metode kuadrat terkecil

Metode kuadrat terkecil ( MNK, OLS, Kuadrat Terkecil Biasa) - salah satu metode dasar analisis regresi untuk memperkirakan parameter model regresi yang tidak diketahui dari data sampel. Metode ini didasarkan pada meminimalkan jumlah kuadrat dari residual regresi.

Perlu dicatat bahwa metode kuadrat terkecil itu sendiri dapat disebut metode untuk memecahkan masalah di area mana pun jika solusinya terdiri dari atau memenuhi kriteria tertentu untuk meminimalkan jumlah kuadrat dari beberapa fungsi dari variabel yang tidak diketahui. Oleh karena itu, metode kuadrat terkecil juga dapat digunakan untuk representasi perkiraan (perkiraan) dari fungsi yang diberikan oleh fungsi lain (yang lebih sederhana), ketika menemukan sekumpulan besaran yang memenuhi persamaan atau batasan, yang jumlahnya melebihi jumlah besaran ini. , dll.

Inti dari MNC

Biarkan beberapa model (parametrik) ketergantungan probabilistik (regresi) antara variabel (dijelaskan) kamu dan banyak faktor (variabel penjelas) x

di mana adalah vektor parameter model yang tidak diketahui

- Kesalahan model acak.

Biarkan juga ada sampel pengamatan dari nilai-nilai variabel yang ditunjukkan. Membiarkan menjadi nomor pengamatan (). Kemudian adalah nilai-nilai variabel pada pengamatan ke-. Kemudian, untuk nilai parameter b yang diberikan, dimungkinkan untuk menghitung nilai teoretis (model) dari variabel yang dijelaskan y:

Nilai residual tergantung pada nilai parameter b.

Inti dari LSM (biasa, klasik) adalah untuk menemukan parameter seperti b yang jumlah kuadrat dari residual (eng. Jumlah Sisa Kuadrat) akan minimal:

Dalam kasus umum, masalah ini dapat diselesaikan dengan metode numerik optimasi (minimalisasi). Dalam hal ini, seseorang berbicara tentang kuadrat terkecil nonlinier(NLS atau NLLS - Bahasa Inggris. Kuadrat Terkecil Non Linier). Dalam banyak kasus, solusi analitis dapat diperoleh. Untuk menyelesaikan masalah minimisasi, perlu untuk menemukan titik stasioner dari fungsi dengan membedakannya terhadap parameter yang tidak diketahui b, menyamakan turunannya dengan nol, dan menyelesaikan sistem persamaan yang dihasilkan:

Jika kesalahan acak model terdistribusi normal, memiliki varians yang sama, dan tidak berkorelasi satu sama lain, estimasi parameter kuadrat terkecil sama dengan estimasi metode kemungkinan maksimum (MLM).

LSM dalam kasus model linier

Biarkan ketergantungan regresi menjadi linier:

Biarlah kamu- vektor kolom pengamatan variabel yang dijelaskan, dan - matriks pengamatan faktor (baris matriks - vektor nilai faktor dalam pengamatan tertentu, menurut kolom - vektor nilai faktor tertentu dalam semua pengamatan) . Representasi matriks dari model linier memiliki bentuk:

Maka vektor penduga dari variabel yang dijelaskan dan vektor residu regresi akan sama dengan

karenanya, jumlah kuadrat dari residual regresi akan sama dengan

Membedakan fungsi ini terhadap vektor parameter dan menyamakan turunannya dengan nol, kita memperoleh sistem persamaan (dalam bentuk matriks):

.

Solusi dari sistem persamaan ini memberikan rumus umum untuk taksiran kuadrat terkecil untuk model linier:

Untuk tujuan analitis, representasi terakhir dari rumus ini ternyata bermanfaat. Jika data dalam model regresi terpusat, maka dalam representasi ini matriks pertama memiliki arti matriks kovarians sampel faktor, dan yang kedua adalah vektor kovarians faktor dengan variabel terikat. Jika, selain itu, datanya juga dinormalisasi di SKO (yaitu, pada akhirnya terstandarisasi), maka matriks pertama memiliki arti matriks korelasi sampel faktor, vektor kedua - vektor sampel korelasi faktor dengan variabel terikat.

Properti penting dari perkiraan LLS untuk model dengan konstanta- garis regresi yang dibangun melewati pusat gravitasi data sampel, yaitu persamaan terpenuhi:

Secara khusus, dalam kasus ekstrim, ketika satu-satunya regressor adalah konstanta, kami menemukan bahwa estimasi OLS dari parameter tunggal (konstanta itu sendiri) sama dengan nilai rata-rata dari variabel yang dijelaskan. Artinya, rata-rata aritmatika, yang dikenal karena sifat-sifat baiknya dari hukum bilangan besar, juga merupakan perkiraan kuadrat terkecil - memenuhi kriteria untuk jumlah minimum deviasi kuadrat darinya.

Contoh: regresi sederhana (berpasangan)

Dalam kasus regresi linier berpasangan, rumus perhitungan disederhanakan (Anda dapat melakukannya tanpa aljabar matriks):

Properti perkiraan OLS

Pertama-tama, kami mencatat bahwa untuk model linier, perkiraan kuadrat terkecil adalah perkiraan linier, sebagai berikut dari rumus di atas. Untuk perkiraan OLS yang tidak bias, perlu dan cukup untuk memenuhi kondisi paling penting dari analisis regresi: tergantung pada faktor-faktornya, ekspektasi matematis dari kesalahan acak harus sama dengan nol. Kondisi ini dipenuhi, khususnya, jika

1. harapan matematis dari kesalahan acak adalah nol, dan
2. faktor dan kesalahan acak adalah variabel acak independen.

Kondisi kedua - kondisi faktor eksogen - adalah fundamental. Jika properti ini tidak terpenuhi, maka kita dapat mengasumsikan bahwa hampir semua perkiraan akan sangat tidak memuaskan: mereka bahkan tidak akan konsisten (yaitu, bahkan sejumlah besar data tidak memungkinkan untuk memperoleh perkiraan kualitatif dalam kasus ini). Dalam kasus klasik, asumsi yang lebih kuat dibuat tentang determinisme faktor, berbeda dengan kesalahan acak, yang secara otomatis berarti bahwa kondisi eksogen terpenuhi. Dalam kasus umum, untuk konsistensi pendugaan, cukup untuk memenuhi kondisi eksogenitas bersama-sama dengan konvergensi matriks ke beberapa matriks non-singular dengan peningkatan ukuran sampel hingga tak terhingga.

Agar, selain konsistensi dan ketidakberpihakan, estimasi kuadrat terkecil (biasa) juga efektif (yang terbaik di kelas estimasi tak bias linier), properti tambahan dari kesalahan acak harus dipenuhi:

Asumsi ini dapat dirumuskan untuk matriks kovarians dari vektor kesalahan acak

Sebuah model linier yang memenuhi kondisi ini disebut klasik. Estimasi OLS untuk regresi linier klasik adalah estimasi yang tidak bias, konsisten dan paling efisien di kelas semua estimasi linier yang tidak bias (dalam literatur bahasa Inggris, singkatan kadang-kadang digunakan biru (Penaksir Tak Berbasis Linier Terbaik) - estimasi tak bias linier terbaik; dalam literatur domestik, teorema Gauss-Markov lebih sering dikutip). Karena mudah ditunjukkan, matriks kovarians dari vektor penduga koefisien akan sama dengan:

Kuadrat terkecil yang digeneralisasikan

Metode kuadrat terkecil memungkinkan generalisasi yang luas. Alih-alih meminimalkan jumlah kuadrat dari residu, seseorang dapat meminimalkan beberapa bentuk kuadrat pasti positif dari vektor residual , di mana beberapa matriks bobot pasti positif simetris. Kuadrat terkecil biasa adalah kasus khusus dari pendekatan ini, ketika matriks bobot sebanding dengan matriks identitas. Seperti diketahui dari teori matriks simetris (atau operator), ada dekomposisi untuk matriks tersebut. Oleh karena itu, fungsi yang ditentukan dapat direpresentasikan sebagai berikut, yaitu, fungsi ini dapat direpresentasikan sebagai jumlah kuadrat dari beberapa "sisa" yang ditransformasikan. Dengan demikian, kita dapat memilih kelas metode kuadrat terkecil - metode LS (Kuadrat Terkecil).

Terbukti (teorema Aitken) bahwa untuk model regresi linier umum (di mana tidak ada batasan yang dikenakan pada matriks kovarians kesalahan acak), yang paling efektif (di kelas estimasi tak bias linier) adalah estimasi yang disebut. OLS umum (OMNK, GLS - Kuadrat Terkecil Umum)- Metode LS dengan matriks bobot sama dengan matriks kovarians terbalik dari kesalahan acak: .

Dapat ditunjukkan bahwa rumus untuk pendugaan GLS dari parameter model linier memiliki bentuk

Matriks kovarians dari perkiraan ini, masing-masing, akan sama dengan

Faktanya, esensi OLS terletak pada transformasi (linier) (P) tertentu dari data asli dan penerapan kuadrat terkecil biasa pada data yang diubah. Tujuan dari transformasi ini adalah bahwa untuk data yang ditransformasi, kesalahan acak sudah memenuhi asumsi klasik.

Kuadrat terkecil berbobot

Dalam kasus matriks bobot diagonal (dan karenanya matriks kovarians kesalahan acak), kami memiliki apa yang disebut kuadrat terkecil tertimbang (WLS - Kuadrat Terkecil Tertimbang). Dalam hal ini, jumlah kuadrat dari residual model diminimalkan, yaitu, setiap pengamatan menerima "bobot" yang berbanding terbalik dengan varians kesalahan acak dalam pengamatan ini: . Faktanya, data ditransformasikan dengan pembobotan pengamatan (dibagi dengan jumlah yang sebanding dengan standar deviasi yang diasumsikan dari kesalahan acak), dan kuadrat terkecil normal diterapkan pada data berbobot.

Beberapa kasus khusus penerapan LSM dalam praktik

Pendekatan Linier

Pertimbangkan kasus ketika, sebagai hasil dari mempelajari ketergantungan besaran skalar tertentu pada besaran skalar tertentu (Ini dapat, misalnya, ketergantungan tegangan pada kekuatan arus: , di mana adalah nilai konstan, resistansi konduktor ), jumlah ini diukur, sebagai akibatnya diperoleh nilai dan nilai yang sesuai. Data pengukuran harus dicatat dalam sebuah tabel.

Meja. Hasil pengukuran.

Pengukuran No.
1
2
3
4
5
6

Pertanyaannya terdengar seperti ini: berapa nilai koefisien yang dapat dipilih untuk menggambarkan ketergantungan yang paling baik? Menurut kuadrat terkecil, nilai ini harus sedemikian rupa sehingga jumlah deviasi kuadrat dari nilai-nilai dari nilai-nilai

sangat minim

Jumlah deviasi kuadrat memiliki satu ekstrem - minimum, yang memungkinkan kita untuk menggunakan rumus ini. Mari kita cari nilai koefisien dari rumus ini. Untuk melakukan ini, kami mengubah sisi kirinya sebagai berikut:

Rumus terakhir memungkinkan kita untuk menemukan nilai koefisien , yang diperlukan dalam masalah.

Cerita

Sampai awal abad XIX. ilmuwan tidak memiliki aturan tertentu untuk memecahkan sistem persamaan di mana jumlah yang tidak diketahui kurang dari jumlah persamaan; Sampai saat itu, metode tertentu digunakan, tergantung pada jenis persamaan dan kecerdikan kalkulator, dan oleh karena itu kalkulator yang berbeda, mulai dari data pengamatan yang sama, sampai pada kesimpulan yang berbeda. Gauss (1795) dikreditkan dengan penerapan pertama metode ini, dan Legendre (1805) secara independen menemukan dan menerbitkannya dengan nama modernnya (fr. Metode des moindres quarres ) . Laplace menghubungkan metode ini dengan teori probabilitas, dan matematikawan Amerika Adrain (1808) mempertimbangkan aplikasi probabilistiknya. Metode ini tersebar luas dan ditingkatkan dengan penelitian lebih lanjut oleh Encke, Bessel, Hansen dan lain-lain.

Penggunaan alternatif MNC

Ide metode kuadrat terkecil juga dapat digunakan dalam kasus lain yang tidak terkait langsung dengan analisis regresi. Faktanya adalah bahwa jumlah kuadrat adalah salah satu ukuran kedekatan yang paling umum untuk vektor (metrik Euclidean dalam ruang dimensi hingga).

Salah satu aplikasinya adalah "menyelesaikan" sistem persamaan linier di mana jumlah persamaan lebih besar daripada jumlah variabel

dimana matriksnya bukan persegi, melainkan persegi panjang.

Sistem persamaan seperti itu, dalam kasus umum, tidak memiliki solusi (jika peringkat sebenarnya lebih besar dari jumlah variabel). Oleh karena itu, sistem ini dapat "dipecahkan" hanya dalam arti memilih vektor seperti itu untuk meminimalkan "jarak" antara vektor dan . Untuk melakukan ini, Anda dapat menerapkan kriteria untuk meminimalkan jumlah perbedaan kuadrat dari bagian kiri dan kanan persamaan sistem, yaitu . Sangat mudah untuk menunjukkan bahwa solusi dari masalah minimasi ini mengarah ke solusi dari sistem persamaan berikut: