უმცირესი კვადრატების მეთოდი (OLS, ინგ. ჩვეულებრივი უმცირესი კვადრატები, OLS) -- მათემატიკური მეთოდი, რომელიც გამოიყენება სხვადასხვა ამოცანების გადასაჭრელად, რომელიც ეფუძნება სასურველი ცვლადებიდან ზოგიერთი ფუნქციის კვადრატული გადახრების ჯამის მინიმიზაციას. მისი გამოყენება შესაძლებელია განტოლებათა ზედმეტად განსაზღვრული სისტემების „გადასაჭრელად“ (როდესაც განტოლებათა რაოდენობა აღემატება უცნობთა რაოდენობას), გამოსავლის მოსაძებნად ჩვეულებრივი (არა ზედმეტად განსაზღვრული) განტოლებათა არაწრფივი სისტემების შემთხვევაში, წერტილოვანი მნიშვნელობების მიახლოებით. რაღაც ფუნქცია. OLS არის რეგრესიული ანალიზის ერთ-ერთი ძირითადი მეთოდი რეგრესიის მოდელების უცნობი პარამეტრების შეფასების ნიმუშის მონაცემებიდან.
უმცირესი კვადრატების მეთოდის არსი
მოდით იყოს უცნობი ცვლადების სიმრავლე (პარამეტრები), იყოს ფუნქციების ნაკრები ცვლადების ამ ნაკრებიდან. ამოცანაა აირჩიოთ x-ის ისეთი მნიშვნელობები, რომ ამ ფუნქციების მნიშვნელობები რაც შეიძლება ახლოს იყოს ზოგიერთ მნიშვნელობებთან. არსებითად, ჩვენ ვსაუბრობთ განტოლებათა ზედმეტად განსაზღვრული სისტემის "გადაწყვეტაზე" სისტემის მარცხენა და მარჯვენა ნაწილების მაქსიმალური სიახლოვის მითითებული გაგებით. LSM-ის არსი არის „სიახლოვის საზომად“ ავირჩიოთ მარცხენა და მარჯვენა ნაწილების კვადრატული გადახრების ჯამი - . ამრიგად, LSM-ის არსი შეიძლება გამოიხატოს შემდეგნაირად:
თუ განტოლებათა სისტემას აქვს ამონახსნი, მაშინ კვადრატების ჯამის მინიმალური ტოლი იქნება ნულის ტოლი და განტოლებათა სისტემის ზუსტი ამონახსნები შეიძლება მოიძებნოს ანალიტიკურად ან, მაგალითად, სხვადასხვა რიცხვითი ოპტიმიზაციის მეთოდით. თუ სისტემა ზედმეტად არის განსაზღვრული, ანუ, თავისუფლად რომ ვთქვათ, დამოუკიდებელი განტოლებების რაოდენობა მეტია უცნობი ცვლადების რაოდენობაზე, მაშინ სისტემას არ აქვს ზუსტი ამონახსნები და უმცირესი კვადრატების მეთოდი საშუალებას გაძლევთ იპოვოთ რაიმე "ოპტიმალური" ვექტორი ამ გაგებით. ვექტორების მაქსიმალური სიახლოვის და ან გადახრის ვექტორის მაქსიმალური სიახლოვის ნულთან (სიახლოვე გაგებული ევკლიდური მანძილის გაგებით).
მაგალითი - წრფივი განტოლებათა სისტემა
კერძოდ, უმცირესი კვადრატების მეთოდის გამოყენება შესაძლებელია წრფივი განტოლებათა სისტემის „გადასაჭრელად“.
სადაც მატრიცა არ არის კვადრატული, არამედ მართკუთხა ზომის (უფრო ზუსტად, A მატრიცის რანგი მეტია საჭირო ცვლადების რაოდენობაზე).
განტოლებათა ასეთ სისტემას, ზოგად შემთხვევაში, გამოსავალი არ აქვს. მაშასადამე, ამ სისტემის „გადაჭრა“ შესაძლებელია მხოლოდ ისეთი ვექტორის არჩევის გაგებით, რათა მინიმუმამდე დაიყვანოს „მანძილი“ ვექტორებს შორის და. ამისათვის შეგიძლიათ გამოიყენოთ კრიტერიუმი სისტემის განტოლებების მარცხენა და მარჯვენა ნაწილების კვადრატული განსხვავებების ჯამის მინიმიზაციისთვის, ანუ. ადვილია იმის ჩვენება, რომ ამ მინიმიზაციის პრობლემის ამოხსნა იწვევს განტოლებათა შემდეგი სისტემის ამოხსნას
ფსევდო-ინვერსიის ოპერატორის გამოყენებით, გამოსავალი შეიძლება გადაიწეროს შემდეგნაირად:
სად არის ფსევდოინვერსიული მატრიცა.
ამ პრობლემის გადაჭრა ასევე შესაძლებელია ეგრეთ წოდებული შეწონილი LSM-ის გამოყენებით (იხ. ქვემოთ), როდესაც სისტემის სხვადასხვა განტოლებები თეორიული მოსაზრებებიდან განსხვავებულ წონებს იღებენ.
მკაცრი დასაბუთება და მეთოდის არსებითი გამოყენების საზღვრების დადგენა მისცეს A.A. Markov-მა და A.N. Kolmogorov-მა.
OLS რეგრესიულ ანალიზში (მონაცემთა დაახლოება)[რედაქტირება | ვიკი ტექსტის რედაქტირება] მოდით იყოს რაიმე ცვლადის მნიშვნელობები (ეს შეიძლება იყოს დაკვირვების შედეგები, ექსპერიმენტები და ა.შ.) და შესაბამისი ცვლადები. ამოცანაა მიახლოებით დავაახლოოთ ურთიერთობა ზოგიერთ უცნობ პარამეტრამდე ცნობილ ფუნქციებს შორის, ანუ, ფაქტობრივად, იპოვოთ პარამეტრის საუკეთესო მნიშვნელობები, რომლებიც მნიშვნელობებს რაც შეიძლება უახლოვდება რეალურ მნიშვნელობებს. სინამდვილეში, ეს მთავრდება განტოლებათა ზედმეტად განსაზღვრული სისტემის „ამოხსნის“ შემთხვევასთან დაკავშირებით:
რეგრესიულ ანალიზში და კერძოდ ეკონომეტრიაში გამოიყენება ცვლადებს შორის ურთიერთობის ალბათური მოდელები.
სად არის ეგრეთ წოდებული შემთხვევითი მოდელის შეცდომები.
შესაბამისად, დაკვირვებული მნიშვნელობების გადახრები მოდელის მნიშვნელობებისგან უკვე დაშვებულია თავად მოდელში. LSM-ის არსი (ჩვეულებრივი, კლასიკური) არის ისეთი პარამეტრების პოვნა, რომლის მიხედვითაც კვადრატული გადახრების ჯამი (შეცდომები, რეგრესიული მოდელებისთვის მათ ხშირად რეგრესიის ნარჩენებს უწოდებენ) მინიმალური იქნება:
სად არის ინგლისური. კვადრატების ნარჩენი ჯამი განისაზღვრება როგორც:
ზოგადად, ამ პრობლემის გადაჭრა შესაძლებელია ოპტიმიზაციის (მინიმიზაციის) რიცხვითი მეთოდებით. ამ შემთხვევაში, საუბარია არაწრფივ უმცირეს კვადრატებზე (NLS ან NLLS - არაწრფივი უმცირესი კვადრატები). ხშირ შემთხვევაში, შესაძლებელია ანალიტიკური გადაწყვეტის მიღება. მინიმიზაციის პრობლემის გადასაჭრელად აუცილებელია ფუნქციის სტაციონარული წერტილების პოვნა უცნობი პარამეტრების მიხედვით მისი დიფერენცირებით, წარმოებულების ნულამდე გათანაბრებით და მიღებული განტოლებათა სისტემის ამოხსნით:
OLS წრფივი რეგრესიის შემთხვევაში[რედაქტირება | ვიკი ტექსტის რედაქტირება]
დაე, რეგრესიის დამოკიდებულება იყოს წრფივი:
მოდით y იყოს ახსნილი ცვლადის დაკვირვების სვეტის ვექტორი და იყოს ფაქტორებზე დაკვირვების მატრიცა (მატრიცის რიგები არის მოცემულ დაკვირვებაში ფაქტორების მნიშვნელობების ვექტორები, სვეტები არის მოცემული მნიშვნელობების ვექტორი. ფაქტორი ყველა დაკვირვებაში). ხაზოვანი მოდელის მატრიცულ წარმოდგენას აქვს ფორმა:
მაშინ ახსნილი ცვლადის შეფასების ვექტორი და რეგრესიის ნარჩენების ვექტორი ტოლი იქნება
შესაბამისად, რეგრესიის ნარჩენების კვადრატების ჯამი ტოლი იქნება
ამ ფუნქციის დიფერენცირებით პარამეტრის ვექტორთან მიმართებაში და წარმოებულების ნულამდე გათანაბრება, ჩვენ ვიღებთ განტოლებათა სისტემას (მატრიცის სახით):
გაშიფრული მატრიცის ფორმით, განტოლებების ეს სისტემა ასე გამოიყურება:
სადაც ყველა ჯამი აღებულია ყველა დასაშვებ მნიშვნელობაზე.
თუ მუდმივი შედის მოდელში (როგორც ყოველთვის), მაშინ ყველასთვის, შესაბამისად, განტოლებათა სისტემის მატრიცის ზედა მარცხენა კუთხეში არის დაკვირვებების რაოდენობა, ხოლო პირველი რიგისა და პირველი სვეტის დანარჩენ ელემენტებში - მხოლოდ ცვლადების მნიშვნელობების ჯამი: და სისტემის მარჯვენა მხარის პირველი ელემენტი -- .
განტოლებათა ამ სისტემის ამოხსნა იძლევა ხაზოვანი მოდელის უმცირესი კვადრატების შეფასების ზოგად ფორმულას:
ანალიტიკური მიზნებისათვის, ამ ფორმულის ბოლო წარმოდგენა გამოდის სასარგებლო (განტოლებათა სისტემაში n-ზე გაყოფისას არითმეტიკული საშუალებები ჩნდება ჯამების ნაცვლად). თუ მონაცემები ორიენტირებულია რეგრესიულ მოდელში, მაშინ ამ წარმოდგენაში პირველ მატრიცას აქვს ფაქტორების კოვარიანტების ნიმუშის მატრიცის მნიშვნელობა, ხოლო მეორე არის ფაქტორების კოვარიანტობის ვექტორი დამოკიდებული ცვლადთან. თუ, გარდა ამისა, მონაცემები ასევე ნორმალიზდება სტანდარტულ გადახრებამდე (ანუ საბოლოოდ სტანდარტიზებული), მაშინ პირველ მატრიცას აქვს ფაქტორების ნიმუშის კორელაციის მატრიცის მნიშვნელობა, მეორე ვექტორს - ფაქტორების ნიმუშის კორელაციის ვექტორს. დამოკიდებული ცვლადი.
LLS-ის შეფასებების მნიშვნელოვანი თვისება მუდმივის მქონე მოდელებისთვის არის ის, რომ აგებული რეგრესიის ხაზი გადის ნიმუშის მონაცემების სიმძიმის ცენტრში, ანუ სრულდება თანასწორობა:
კერძოდ, უკიდურეს შემთხვევაში, როდესაც ერთადერთი რეგრესორი არის მუდმივი, აღმოვაჩენთ, რომ ერთი პარამეტრის OLS შეფასება (თვითონ მუდმივი) უდრის ახსნილი ცვლადის საშუალო მნიშვნელობას. ანუ არითმეტიკული საშუალო, რომელიც ცნობილია თავისი კარგი თვისებებით დიდი რიცხვების კანონებიდან, ასევე არის უმცირესი კვადრატების შეფასება - ის აკმაყოფილებს მისგან კვადრატული გადახრების ჯამის მინიმუმის კრიტერიუმს.
უმარტივესი სპეციალური შემთხვევები[რედაქტირება | ვიკი ტექსტის რედაქტირება]
დაწყვილებული წრფივი რეგრესიის შემთხვევაში, როდესაც ფასდება ერთი ცვლადის წრფივი დამოკიდებულება მეორეზე, გამოთვლის ფორმულები გამარტივებულია (შეგიძლიათ გააკეთოთ მატრიცული ალგებრის გარეშე). განტოლებათა სისტემას აქვს ფორმა:
აქედან ადვილია კოეფიციენტების შეფასებების პოვნა:
მიუხედავად იმისა, რომ მუდმივი მოდელები ზოგადად სასურველია, ზოგიერთ შემთხვევაში თეორიული მოსაზრებებიდან ცნობილია, რომ მუდმივი უნდა იყოს ნული. მაგალითად, ფიზიკაში ძაბვასა და დენს შორის ურთიერთობას აქვს ფორმა; ძაბვისა და დენის გაზომვისას აუცილებელია წინააღმდეგობის შეფასება. ამ შემთხვევაში, ჩვენ ვსაუბრობთ მოდელზე. ამ შემთხვევაში განტოლებათა სისტემის ნაცვლად გვაქვს ერთი განტოლება
ამრიგად, ერთი კოეფიციენტის შეფასების ფორმულას აქვს ფორმა
OLS შეფასებების სტატისტიკური თვისებები[რედაქტირება | ვიკი ტექსტის რედაქტირება]
უპირველეს ყოვლისა, ჩვენ აღვნიშნავთ, რომ წრფივი მოდელებისთვის, უმცირესი კვადრატების შეფასებები არის წრფივი შეფასებები, როგორც ზემოთ მოყვანილი ფორმულიდან ჩანს. OLS-ის მიკერძოებული შეფასებისთვის, აუცილებელია და საკმარისია რეგრესიის ანალიზის ყველაზე მნიშვნელოვანი პირობის შესრულება: ფაქტორებზე განპირობებული შემთხვევითი შეცდომის მათემატიკური მოლოდინი უნდა იყოს ნულის ტოლი. ეს პირობა, კერძოდ, დაკმაყოფილებულია, თუ შემთხვევითი შეცდომების მათემატიკური მოლოდინი ნულის ტოლია, ხოლო ფაქტორები და შემთხვევითი შეცდომები დამოუკიდებელი შემთხვევითი ცვლადებია.
პირველი პირობა შეიძლება ჩაითვალოს ყოველთვის დაკმაყოფილებულად მუდმივის მქონე მოდელებისთვის, რადგან მუდმივი იღებს შეცდომის არანულოვან მათემატიკურ მოლოდინს (აქედან გამომდინარე, მუდმივის მქონე მოდელები ზოგადად სასურველია). უმცირესი კვადრატული რეგრესიის კოვარიანსი
მეორე პირობა - ეგზოგენური ფაქტორების მდგომარეობა - ფუნდამენტურია. თუ ეს თვისება არ არის დაკმაყოფილებული, მაშინ შეგვიძლია ვივარაუდოთ, რომ თითქმის ნებისმიერი შეფასება იქნება უკიდურესად არადამაკმაყოფილებელი: ისინი არც კი იქნება თანმიმდევრული (ანუ, მონაცემთა ძალიან დიდი რაოდენობაც კი არ იძლევა ხარისხობრივი შეფასებების მიღებას ამ შემთხვევაში). კლასიკურ შემთხვევაში, უფრო ძლიერი ვარაუდი კეთდება ფაქტორების დეტერმინიზმის შესახებ, შემთხვევითი შეცდომისგან განსხვავებით, რაც ავტომატურად ნიშნავს, რომ ეგზოგენური მდგომარეობა დაკმაყოფილებულია. ზოგად შემთხვევაში, შეფასებების თანმიმდევრულობისთვის საკმარისია ეგზოგენურობის პირობის შესრულება მატრიცის კონვერგენციასთან ერთად ზოგიერთ არასიგნოლურ მატრიცასთან ერთად ნიმუშის ზომის გაზრდით უსასრულობამდე.
იმისთვის, რომ თანმიმდევრულობისა და მიუკერძოებლობის გარდა, (ჩვეულებრივი) უმცირესი კვადრატების შეფასებები ასევე ეფექტური იყოს (საუკეთესო ხაზოვანი მიუკერძოებელი შეფასებების კლასში), შემთხვევითი შეცდომის დამატებითი თვისებები უნდა დაკმაყოფილდეს:
შემთხვევითი შეცდომების მუდმივი (იგივე) ვარიაცია ყველა დაკვირვებაში (ჰეტეროსკედასტიურობის გარეშე):
შემთხვევითი შეცდომების კორელაციის (ავტოკორელაციის) ნაკლებობა სხვადასხვა დაკვირვებებში ერთმანეთთან
ეს დაშვებები შეიძლება ჩამოყალიბდეს შემთხვევითი შეცდომის ვექტორის კოვარიანტული მატრიცისთვის
ხაზოვან მოდელს, რომელიც აკმაყოფილებს ამ პირობებს, ეწოდება კლასიკური. კლასიკური ხაზოვანი რეგრესიის LLS შეფასებები არის მიუკერძოებელი, თანმიმდევრული და ყველაზე ეფექტური შეფასებები ყველა ხაზოვანი მიუკერძოებელი შეფასების კლასში (ინგლისურ ლიტერატურაში ისინი ზოგჯერ იყენებენ აბრევიატურას BLUE (საუკეთესო ხაზოვანი მიუკერძოებელი შემფასებელი) - საუკეთესო წრფივი მიუკერძოებელი შეფასება; შიდა ლიტერატურაში, უფრო ხშირად მოცემულია გაუსის თეორემა - მარკოვი). როგორც ადვილი საჩვენებელია, კოეფიციენტის შეფასების ვექტორის კოვარიანტული მატრიცა ტოლი იქნება:
ეფექტურობა ნიშნავს, რომ ეს კოვარიანტული მატრიცა არის "მინიმალური" (კოეფიციენტების ნებისმიერი წრფივი კომბინაცია და, კერძოდ, თავად კოეფიციენტებს აქვთ მინიმალური განსხვავება), ანუ ხაზოვანი მიუკერძოებელი შეფასებების კლასში OLS შეფასებები საუკეთესოა. ამ მატრიცის დიაგონალური ელემენტები, კოეფიციენტების შეფასებების ვარიაციები, მიღებული შეფასებების ხარისხის მნიშვნელოვანი პარამეტრებია. თუმცა, შეუძლებელია კოვარიანტული მატრიცის გამოთვლა, რადგან შემთხვევითი შეცდომის ვარიაცია უცნობია. შეიძლება დადასტურდეს, რომ შემთხვევითი შეცდომების დისპერსიის მიუკერძოებელი და თანმიმდევრული (კლასიკური ხაზოვანი მოდელისთვის) შეფასება არის მნიშვნელობა:
ამ მნიშვნელობის ჩანაცვლებით კოვარიანტული მატრიცის ფორმულაში, ჩვენ ვიღებთ კოვარიანტობის მატრიცის შეფასებას. შედეგად მიღებული შეფასებები ასევე მიუკერძოებელი და თანმიმდევრულია. ასევე მნიშვნელოვანია, რომ შეცდომის დისპერსიის შეფასება (და შესაბამისად კოეფიციენტების ვარიაციები) და მოდელის პარამეტრების შეფასება დამოუკიდებელი შემთხვევითი ცვლადებია, რაც შესაძლებელს ხდის მოდელის კოეფიციენტების შესახებ ჰიპოთეზების შესამოწმებლად ტესტის სტატისტიკის მიღებას.
უნდა აღინიშნოს, რომ თუ კლასიკური დაშვებები არ არის დაკმაყოფილებული, უმცირესი კვადრატების პარამეტრების შეფასება არ არის ყველაზე ეფექტური შეფასებები (დარჩება მიუკერძოებელი და თანმიმდევრული). თუმცა, კოვარიანტული მატრიცის შეფასება კიდევ უფრო უარესდება - ხდება მიკერძოებული და არათანმიმდევრული. ეს ნიშნავს, რომ სტატისტიკური დასკვნები აგებული მოდელის ხარისხის შესახებ ამ შემთხვევაში შეიძლება იყოს უკიდურესად არასანდო. ბოლო პრობლემის გადაჭრის ერთ-ერთი გზაა კოვარიანტული მატრიცის სპეციალური შეფასებების გამოყენება, რომლებიც თანმიმდევრულია კლასიკური დაშვებების დარღვევის შემთხვევაში (სტანდარტული შეცდომები თეთრი ფორმაში და სტანდარტული შეცდომები ნიუი-ვესტის ფორმაში). კიდევ ერთი მიდგომა არის ეგრეთ წოდებული განზოგადებული უმცირესი კვადრატების გამოყენება.
განზოგადებული უმცირესი კვადრატები[რედაქტირება | ვიკი ტექსტის რედაქტირება]
მთავარი სტატია: განზოგადებული უმცირესი კვადრატები
უმცირესი კვადრატების მეთოდი ფართო განზოგადების საშუალებას იძლევა. ნარჩენების კვადრატების ჯამის მინიმიზაციის ნაცვლად, შეიძლება მინიმუმამდე დავიყვანოთ ნარჩენების ვექტორის გარკვეული დადებით-განსაზღვრული კვადრატული ფორმა, სადაც არის რაღაც სიმეტრიული დადებითი-განსაზღვრული წონის მატრიცა. ჩვეულებრივი უმცირესი კვადრატები ამ მიდგომის განსაკუთრებული შემთხვევაა, როდესაც წონის მატრიცა არის იდენტურობის მატრიცის პროპორციული. როგორც ცნობილია სიმეტრიული მატრიცების (ან ოპერატორების) თეორიიდან, ასეთი მატრიცების დაშლა ხდება. მაშასადამე, ეს ფუნქცია შეიძლება წარმოდგენილი იყოს შემდეგნაირად
ანუ ეს ფუნქციონალი შეიძლება წარმოდგენილი იყოს როგორც ზოგიერთი გარდაქმნილი „ნარჩენების“ კვადრატების ჯამი. ამრიგად, ჩვენ შეგვიძლია გამოვყოთ უმცირესი კვადრატების მეთოდების კლასი - LS- მეთოდები (უმცირესი კვადრატები).
დადასტურებულია (აიტკენის თეორემა), რომ განზოგადებული წრფივი რეგრესიის მოდელისთვის (რომელშიც არ არის დაწესებული შეზღუდვები შემთხვევითი შეცდომების კოვარიანსულ მატრიცაზე), ყველაზე ეფექტური (წრფივი მიუკერძოებელი შეფასებების კლასში) შეფასებებია ე.წ. განზოგადებული უმცირესი კვადრატები (GLS, GLS - განზოგადებული უმცირესი კვადრატები) - LS-მეთოდი წონის მატრიცით, რომელიც ტოლია შემთხვევითი შეცდომების შებრუნებული კოვარიანციული მატრიცის: .
შეიძლება აჩვენოს, რომ ხაზოვანი მოდელის პარამეტრების GLS-შეფასების ფორმულას აქვს ფორმა
ამ შეფასებების კოვარიანტული მატრიცა, შესაბამისად, ტოლი იქნება
სინამდვილეში, OLS-ის არსი მდგომარეობს თავდაპირველი მონაცემების გარკვეულ (წრფივ) ტრანსფორმაციაში (P) და ჩვეულებრივ უმცირეს კვადრატების გამოყენებაში ტრანსფორმირებულ მონაცემებზე. ამ ტრანსფორმაციის მიზანია ის, რომ ტრანსფორმირებული მონაცემებისთვის შემთხვევითი შეცდომები უკვე აკმაყოფილებს კლასიკურ დაშვებებს.
შეწონილი OLS[რედაქტირება | ვიკი ტექსტის რედაქტირება]
დიაგონალური წონის მატრიცის (და, შესაბამისად, შემთხვევითი შეცდომების კოვარიანტული მატრიცის) შემთხვევაში, ჩვენ გვაქვს ეგრეთ წოდებული შეწონილი უმცირესი კვადრატები (WLS - Weighted Least Squares). ამ შემთხვევაში, მოდელის ნარჩენების კვადრატების შეწონილი ჯამი მინიმუმამდეა დაყვანილი, ანუ თითოეული დაკვირვება იღებს „წონას“, რომელიც უკუპროპორციულია ამ დაკვირვებაში შემთხვევითი შეცდომის დისპერსიასთან:
ფაქტობრივად, მონაცემები გარდაიქმნება დაკვირვებების წონით (გაყოფა ოდენობით, რომელიც პროპორციულია შემთხვევითი შეცდომების სავარაუდო სტანდარტული გადახრის პროპორციულად), ხოლო ნორმალური უმცირესი კვადრატები გამოიყენება შეწონილ მონაცემებზე.
გასწორების შემდეგ ვიღებთ შემდეგი ფორმის ფუნქციას: g (x) = x + 1 3 + 1 .
ამ მონაცემის მიახლოება შეგვიძლია წრფივი დამოკიდებულებით y = a x + b შესაბამისი პარამეტრების გამოთვლით. ამისათვის ჩვენ დაგვჭირდება ეგრეთ წოდებული უმცირესი კვადრატების მეთოდის გამოყენება. თქვენ ასევე დაგჭირდებათ ნახაზის გაკეთება, რათა შეამოწმოთ რომელი ხაზი საუკეთესოდ ასწორებს ექსპერიმენტულ მონაცემებს.
Yandex.RTB R-A-339285-1
რა არის ზუსტად OLS (უმცირესი კვადრატების მეთოდი)
მთავარი, რაც უნდა გავაკეთოთ არის ისეთი წრფივი დამოკიდებულების კოეფიციენტების პოვნა, რომლებშიც ორი ცვლადის ფუნქციის მნიშვნელობა F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 იქნება ყველაზე პატარა. . სხვა სიტყვებით რომ ვთქვათ, a და b-ის გარკვეული მნიშვნელობებისთვის, წარმოდგენილი მონაცემების კვადრატული გადახრების ჯამს მიღებული სწორი ხაზიდან ექნება მინიმალური მნიშვნელობა. ეს არის უმცირესი კვადრატების მეთოდის მნიშვნელობა. მაგალითის ამოსახსნელად ყველაფერი რაც უნდა გავაკეთოთ არის ორი ცვლადის ფუნქციის ექსტრემის პოვნა.
როგორ გამოვიტანოთ ფორმულები კოეფიციენტების გამოსათვლელად
კოეფიციენტების გამოთვლის ფორმულების გამოსატანად საჭიროა ორი ცვლადის მქონე განტოლებათა სისტემის შედგენა და ამოხსნა. ამისათვის გამოვთვალოთ F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 გამოთქმის ნაწილობრივი წარმოებულები a და b-ის მიმართ და ვატოლებთ 0-ს.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ a i = ∑ i = ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
განტოლებათა სისტემის ამოსახსნელად შეგიძლიათ გამოიყენოთ ნებისმიერი მეთოდი, მაგალითად, ჩანაცვლება ან კრამერის მეთოდი. შედეგად, უნდა მივიღოთ ფორმულები, რომლებიც გამოთვლიან კოეფიციენტებს უმცირესი კვადრატების მეთოდით.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n
ჩვენ გამოვთვალეთ იმ ცვლადების მნიშვნელობები, რომლებისთვისაც არის ფუნქცია
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 მიიღებს მინიმალურ მნიშვნელობას. მესამე აბზაცში დავამტკიცებთ, რატომ არის ასე.
ეს არის უმცირესი კვადრატების მეთოდის გამოყენება პრაქტიკაში. მისი ფორმულა, რომელიც გამოიყენება a პარამეტრის საპოვნელად, მოიცავს ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 და პარამეტრს
n - აღნიშნავს ექსპერიმენტული მონაცემების რაოდენობას. გირჩევთ, თითოეული თანხა ცალკე გამოთვალოთ. კოეფიციენტის მნიშვნელობა b გამოითვლება a-ს შემდეგ დაუყოვნებლივ.
დავუბრუნდეთ თავდაპირველ მაგალითს.
მაგალითი 1
აქ გვაქვს n უდრის ხუთს. იმისათვის, რომ უფრო მოსახერხებელი იყოს კოეფიციენტების ფორმულებში შეტანილი საჭირო თანხების გამოთვლა, ჩვენ ვავსებთ ცხრილს.
| i = 1 | მე = 2 | მე = 3 | მე = 4 | მე = 5 | ∑ i = 1 5 | |
| x i | 0 | 1 | 2 | 4 | 5 | 12 |
| y მე | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i y i | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x i 2 | 0 | 1 | 4 | 16 | 25 | 46 |
გამოსავალი
მეოთხე სტრიქონი შეიცავს მონაცემებს, რომლებიც მიიღება მეორე რიგის მნიშვნელობების გამრავლებით მესამის მნიშვნელობებზე თითოეული ინდივიდისთვის i. მეხუთე სტრიქონი შეიცავს მონაცემებს მეორე კვადრატიდან. ბოლო სვეტი აჩვენებს ცალკეული რიგების მნიშვნელობების ჯამს.
გამოვიყენოთ უმცირესი კვადრატების მეთოდი ჩვენთვის საჭირო a და b კოეფიციენტების გამოსათვლელად. ამისათვის შეცვალეთ სასურველი მნიშვნელობები ბოლო სვეტიდან და გამოთვალეთ ჯამები:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 3 a, ∑ i = 1 n - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
მივიღეთ, რომ სასურველი მიახლოებითი სწორი ხაზი გამოიყურება y = 0, 165 x + 2, 184. ახლა ჩვენ უნდა განვსაზღვროთ, რომელი ხაზი იქნება საუკეთესოდ მიახლოებული მონაცემებს - g (x) = x + 1 3 + 1 ან 0 , 165 x + 2 , 184 . მოდით შევაფასოთ უმცირესი კვადრატების მეთოდის გამოყენებით.
შეცდომის გამოსათვლელად უნდა ვიპოვოთ მონაცემების კვადრატული გადახრების ჯამები σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 და σ 2 = ∑ i = 1 n (y i - g (x i)) 2, მინიმალური მნიშვნელობა შეესაბამება უფრო შესაფერის ხაზს.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096
პასუხი:σ 1 წლიდან< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.
უმცირესი კვადრატების მეთოდი ნათლად არის ნაჩვენები გრაფიკულ ილუსტრაციაზე. წითელი ხაზი აღნიშნავს სწორ ხაზს g (x) = x + 1 3 + 1, ლურჯი ხაზი აღნიშნავს y = 0, 165 x + 2, 184. ნედლი მონაცემები მონიშნულია ვარდისფერი წერტილებით.
მოდით განვმარტოთ, რატომ არის საჭირო ზუსტად ამ ტიპის მიახლოებები.
მათი გამოყენება შესაძლებელია იმ პრობლემებში, რომლებიც საჭიროებენ მონაცემთა გამარტივებას, ასევე იმ პრობლემებში, სადაც მონაცემთა ინტერპოლაცია ან ექსტრაპოლაციაა საჭირო. მაგალითად, ზემოთ განხილულ პრობლემაში შეიძლება ვიპოვოთ დაკვირვებული y სიდიდის მნიშვნელობა x = 3-ზე ან x = 6-ზე. ასეთ მაგალითებს ცალკე სტატია მივუძღვენით.
LSM მეთოდის დადასტურება
იმისათვის, რომ ფუნქციამ მიიღოს მინიმალური მნიშვნელობა a და b გამოთვლისთვის, აუცილებელია მოცემულ წერტილში F (a, b) ფორმის ფუნქციის დიფერენციალური კვადრატული ფორმის მატრიცა = ∑ i = 1 n ( y i - (a x i + b)) 2 იყოს დადებითი განსაზღვრული. მოდით გაჩვენოთ, როგორ უნდა გამოიყურებოდეს.
მაგალითი 2
ჩვენ გვაქვს შემდეგი ფორმის მეორე რიგის დიფერენციალი:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; ბ) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2ბ
გამოსავალი
δ 2 F (a ; ბ) δ a 2 = δ δ F (a ; ბ) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + ბ)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; ბ) δ a δ b = δ δ F (a ; ბ) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; ბ) δ b 2 = δ δ F (a ; ბ) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + ბ)) δ b = 2 ∑ i = 1 n (1) = 2 n
სხვა სიტყვებით რომ ვთქვათ, ის შეიძლება დაიწეროს შემდეგნაირად: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .
მივიღეთ M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n კვადრატული ფორმის მატრიცა.
ამ შემთხვევაში, ცალკეული ელემენტების მნიშვნელობები არ შეიცვლება a და b-ის მიხედვით. ეს მატრიცა დადებითია გარკვეული? ამ კითხვაზე პასუხის გასაცემად შევამოწმოთ დადებითია თუ არა მისი კუთხური მინორები.
გამოთვალეთ პირველი რიგის კუთხური მინორი: 2 ∑ i = 1 n (x i) 2 > 0 . ვინაიდან x i წერტილები არ ემთხვევა, უტოლობა მკაცრია. ამას გავითვალისწინებთ შემდგომ გამოთვლებში.
ჩვენ ვიანგარიშებთ მეორე რიგის კუთხური მცირეს:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2
ამის შემდეგ ვაგრძელებთ n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 უტოლობის მტკიცებას მათემატიკური ინდუქციის გამოყენებით.
- მოდით შევამოწმოთ, მოქმედებს თუ არა ეს უტოლობა თვითნებური n-ისთვის. ავიღოთ 2 და გამოვთვალოთ:
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
მივიღეთ სწორი თანასწორობა (თუ მნიშვნელობები x 1 და x 2 არ ემთხვევა).
- მოდით დავუშვათ, რომ ეს უტოლობა იქნება ჭეშმარიტი n-ისთვის, ე.ი. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – მართალია.
- ახლა დავამტკიცოთ n + 1-ის მართებულობა, ე.ი. რომ (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 თუ n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
ჩვენ ვიანგარიშებთ:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
ხვეული ბრეკეტებში ჩასმული გამოხატულება იქნება 0-ზე მეტი (იმზე დაყრდნობით, რასაც ჩვენ ვივარაუდეთ მე-2 საფეხურზე), ხოლო დანარჩენი ტერმინები იქნება 0-ზე მეტი, რადგან ისინი ყველა რიცხვების კვადრატია. ჩვენ დავამტკიცეთ უთანასწორობა.
პასუხი:ნაპოვნი a და b შეესაბამება F ფუნქციის უმცირეს მნიშვნელობას (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, რაც ნიშნავს, რომ ისინი ყველაზე მცირე კვადრატების მეთოდის სასურველი პარამეტრებია. (LSM).
თუ შეამჩნევთ შეცდომას ტექსტში, მონიშნეთ იგი და დააჭირეთ Ctrl+Enter
უმცირესი კვადრატების მეთოდი (OLS, eng. Ordinary Least Squares, OLS)- მათემატიკური მეთოდი, რომელიც გამოიყენება სხვადასხვა ამოცანების გადასაჭრელად, რომელიც ეფუძნება სასურველი ცვლადებიდან ზოგიერთი ფუნქციის კვადრატული გადახრების ჯამის მინიმიზაციას. ის შეიძლება გამოყენებულ იქნას განტოლებათა ზედმეტად განსაზღვრული სისტემების "გადასაჭრელად" (როდესაც განტოლებათა რაოდენობა აღემატება უცნობთა რაოდენობას), გამოსავლის პოვნა განტოლებათა ჩვეულებრივი (არა ზედმეტად განსაზღვრული) არაწრფივი სისტემების შემთხვევაში, წერტილოვანი მნიშვნელობების მიახლოებისთვის. რაღაც ფუნქციით. OLS არის რეგრესიული ანალიზის ერთ-ერთი ძირითადი მეთოდი რეგრესიის მოდელების უცნობი პარამეტრების შეფასების ნიმუშის მონაცემებიდან.
ენციკლოპედიური YouTube
1 / 5
✪ უმცირესი კვადრატების მეთოდი. Თემა
✪ Mitin I. V. - შედეგების დამუშავება ფიზიკური. ექსპერიმენტი - უმცირესი კვადრატების მეთოდი (ლექცია 4)
✪ უმცირესი კვადრატები, გაკვეთილი 1/2. ხაზოვანი ფუნქცია
✪ ეკონომეტრია. ლექცია 5. უმცირესი კვადრატების მეთოდი
✪ უმცირესი კვადრატების მეთოდი. პასუხები
სუბტიტრები
ამბავი
XIX საუკუნის დასაწყისამდე. მეცნიერებს არ ჰქონდათ გარკვეული წესები განტოლებათა სისტემის ამოხსნისთვის, რომელშიც უცნობის რაოდენობა განტოლებათა რაოდენობაზე ნაკლებია; მანამდე გამოიყენებოდა კონკრეტული მეთოდები, რაც დამოკიდებულია განტოლებების ტიპზე და კალკულატორების ინტელექტუალურობაზე და, შესაბამისად, სხვადასხვა კალკულატორები, ერთი და იგივე დაკვირვების მონაცემებიდან დაწყებული, სხვადასხვა დასკვნამდე მივიდნენ. გაუსს (1795) მიეწერება მეთოდის პირველი გამოყენება, ხოლო ლეჟანდრმა (1805) დამოუკიდებლად აღმოაჩინა და გამოაქვეყნა იგი მისი თანამედროვე სახელით (fr. Methode des moindres quarres) . ლაპლასმა მეთოდი დააკავშირა ალბათობის თეორიასთან და ამერიკელმა მათემატიკოსმა ადრეინმა (1808) განიხილა მისი ალბათური აპლიკაციები. მეთოდი ფართოდ არის გავრცელებული და გაუმჯობესებულია ენკეს, ბესელის, ჰანსენის და სხვათა შემდგომი კვლევებით.
უმცირესი კვადრატების მეთოდის არსი
დაე x (\displaystyle x)- ნაკრები n (\displaystyle n)უცნობი ცვლადები (პარამეტრები), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- ფუნქციების ნაკრები ცვლადების ამ ნაკრებიდან. პრობლემა ასეთი ღირებულებების არჩევაა x (\displaystyle x)ისე, რომ ამ ფუნქციების მნიშვნელობები რაც შეიძლება ახლოს იყოს ზოგიერთ მნიშვნელობებთან y i (\displaystyle y_(i)). არსებითად, ჩვენ ვსაუბრობთ ზედმეტად განსაზღვრული განტოლებათა სისტემის „გადაწყვეტაზე“. f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)მითითებული გაგებით, სისტემის მარცხენა და მარჯვენა ნაწილების მაქსიმალური სიახლოვე. LSM-ის არსი არის „სიახლოვის საზომად“ აირჩიოს მარცხენა და მარჯვენა ნაწილების კვადრატული გადახრები. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). ამრიგად, LSM-ის არსი შეიძლება გამოიხატოს შემდეგნაირად:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\მარჯვენა ისარი \წთ _(x)).თუ განტოლებათა სისტემას აქვს ამონახსნი, მაშინ კვადრატების ჯამის მინიმალური ტოლი იქნება ნულის ტოლი და განტოლებათა სისტემის ზუსტი ამონახსნები შეიძლება მოიძებნოს ანალიტიკურად ან, მაგალითად, სხვადასხვა რიცხვითი ოპტიმიზაციის მეთოდით. თუ სისტემა ზედმეტად განსაზღვრულია, ანუ, თავისუფლად რომ ვთქვათ, დამოუკიდებელი განტოლებების რაოდენობა უცნობი ცვლადების რაოდენობაზე მეტია, მაშინ სისტემას არ აქვს ზუსტი ამონახსნები და უმცირესი კვადრატების მეთოდი საშუალებას გვაძლევს ვიპოვოთ რაიმე „ოპტიმალური“ ვექტორი. x (\displaystyle x)ვექტორების მაქსიმალური სიახლოვის მნიშვნელობით y (\displaystyle y)და f (x) (\displaystyle f(x))ან გადახრის ვექტორის მაქსიმალური სიახლოვე e (\displaystyle e)ნულამდე (სიახლოვე გაგებულია ევკლიდური მანძილის მნიშვნელობით).
მაგალითი - წრფივი განტოლებათა სისტემა
კერძოდ, უმცირესი კვადრატების მეთოდის გამოყენება შესაძლებელია წრფივი განტოლებათა სისტემის „გადასაჭრელად“.
A x = b (\displaystyle Ax=b),სადაც A (\displaystyle A)მართკუთხა ზომის მატრიცა m × n, m > n (\displaystyle m\ჯერ n,m>n)(ანუ A მატრიცის რიგების რაოდენობა მეტია საჭირო ცვლადების რაოდენობაზე).
განტოლებათა ასეთ სისტემას საერთოდ არ აქვს გამოსავალი. მაშასადამე, ამ სისტემის „გადაჭრა“ მხოლოდ ასეთი ვექტორის არჩევის გაგებით შეიძლება x (\displaystyle x)ვექტორებს შორის „მანძილის“ მინიმიზაციისთვის A x (\displaystyle Axe)და b (\displaystyle b). ამისათვის შეგიძლიათ გამოიყენოთ კრიტერიუმი სისტემის განტოლებების მარცხენა და მარჯვენა ნაწილების კვადრატული განსხვავებების ჯამის მინიმიზაციისთვის, ე.ი. (A x − b) T (A x − b) → წთ (\displaystyle (Ax-b)^(T)(Ax-b)\მარჯვენა ისარი \წთ). ადვილია იმის ჩვენება, რომ ამ მინიმიზაციის პრობლემის ამოხსნა იწვევს განტოლებათა შემდეგი სისტემის ამოხსნას
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\მარჯვენა ისარი x=(A^(T)A)^(-1)A^ (T)b).OLS რეგრესიულ ანალიზში (მონაცემთა დაახლოება)
დაე იყოს n (\displaystyle n)ზოგიერთი ცვლადის მნიშვნელობები y (\displaystyle y)(ეს შეიძლება იყოს დაკვირვების, ექსპერიმენტების და ა.შ. შედეგები) და შესაბამისი ცვლადები x (\displaystyle x). გამოწვევა არის ურთიერთობის დამყარება y (\displaystyle y)და x (\displaystyle x)მიახლოებით ზოგიერთი უცნობი პარამეტრამდე ცნობილი ფუნქციით b (\displaystyle b), ანუ რეალურად იპოვნეთ პარამეტრების საუკეთესო მნიშვნელობები b (\displaystyle b), მნიშვნელობების მაქსიმალური მიახლოებით f (x, b) (\displaystyle f(x,b))რეალურ ღირებულებებს y (\displaystyle y). ფაქტობრივად, ეს მცირდება განტოლებათა ზედმეტად განსაზღვრული სისტემის „ამოხსნის“ შემთხვევამდე. b (\displaystyle b):
F (x t , b) = y t , t = 1 , ... , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
რეგრესიულ ანალიზში და კერძოდ ეკონომეტრიაში გამოიყენება ცვლადებს შორის ურთიერთობის ალბათური მოდელები.
Y t = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
სადაც ε t (\displaystyle \varepsilon _(t))- ე. წ შემთხვევითი შეცდომებიმოდელები.
შესაბამისად, დაკვირვებული სიდიდეების გადახრები y (\displaystyle y)მოდელიდან f (x, b) (\displaystyle f(x,b))უკვე ვარაუდობენ თავად მოდელში. LSM-ის (ჩვეულებრივი, კლასიკური) არსი ასეთი პარამეტრების პოვნაა b (\displaystyle b), რომლის დროსაც არის კვადრატული გადახრების ჯამი (შეცდომებს, რეგრესიული მოდელებისთვის მათ ხშირად უწოდებენ რეგრესიის ნარჩენებს) e t (\displaystyle e_(t))მინიმალური იქნება:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),სადაც R S S (\displaystyle RSS)- ინგლისური. კვადრატების ნარჩენი ჯამი განისაზღვრება როგორც:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t, b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).ზოგადად, ამ პრობლემის გადაჭრა შესაძლებელია ოპტიმიზაციის (მინიმიზაციის) რიცხვითი მეთოდებით. ამ შემთხვევაში საუბარია არაწრფივი უმცირესი კვადრატები(NLS ან NLLS - ინგ. არაწრფივი უმცირესი კვადრატები). ხშირ შემთხვევაში, შესაძლებელია ანალიტიკური გადაწყვეტის მიღება. მინიმიზაციის პრობლემის გადასაჭრელად აუცილებელია ფუნქციის სტაციონარული წერტილების პოვნა R S S (b) (\displaystyle RSS(b)), მისი დიფერენცირება უცნობი პარამეტრების მიმართ b (\displaystyle b), წარმოებულების გათანაბრება ნულთან და შედეგად მიღებული განტოლებათა სისტემის ამოხსნა:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).LSM წრფივი-რეგრესიის შემთხვევაში
დაე, რეგრესიის დამოკიდებულება იყოს წრფივი:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).დაე წარის ახსნილი ცვლადის დაკვირვების სვეტის ვექტორი და X (\displaystyle X)- ეს არის (n × k) (\ჩვენების სტილი ((n\ჯერ k)))- ფაქტორების დაკვირვების მატრიცა (მატრიცის რიგები - ფაქტორების მნიშვნელობების ვექტორები ამ დაკვირვებაში, სვეტების მიხედვით - ამ ფაქტორის მნიშვნელობების ვექტორი ყველა დაკვირვებაში). ხაზოვანი მოდელის მატრიცულ გამოსახულებას აქვს ფორმა:
y = Xb + ε (\displaystyle y=Xb+\varepsilon).მაშინ ახსნილი ცვლადის შეფასების ვექტორი და რეგრესიის ნარჩენების ვექტორი ტოლი იქნება
y ^ = X b, e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).შესაბამისად, რეგრესიის ნარჩენების კვადრატების ჯამი ტოლი იქნება
R S S = e T e = (y − X ბ) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).ამ ფუნქციის დიფერენცირება პარამეტრის ვექტორთან მიმართებაში b (\displaystyle b)და წარმოებულების ნულის ტოლფასი, ჩვენ ვიღებთ განტოლებათა სისტემას (მატრიცის სახით):
(X T X) b = X T y (\ჩვენების სტილი (X^(T)X)b=X^(T)y).გაშიფრული მატრიცის ფორმით, განტოლებების ეს სისტემა ასე გამოიყურება:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t k ∑ x 3 x 2 ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b x t 3 ⋮ b x t) = (\y) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk) \\\ ჯამი x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ ჯამი x_(t2)x_(tk) \\\ ჯამი x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3)\\\vdots \\b_( ლ) \\\ დასასრული (პმატრიცა)) = (\ დასაწყისი (პმატრიცა)\ ჯამი x_(t1) y_(t) \\\ ჯამი x_(t2) y_(t) \\ \ ჯამი x_(t3) y_(t )\\\vdots \\\ ჯამი x_(tk)y_(t) \\\ბოლო (პმატრიცა)))სადაც ყველა ჯამი აღებულია ყველა დასაშვებ მნიშვნელობაზე t (\displaystyle t).
თუ მუდმივი შედის მოდელში (როგორც ყოველთვის), მაშინ x t 1 = 1 (\displaystyle x_(t1)=1)ყველასთვის t (\displaystyle t)მაშასადამე, განტოლებათა სისტემის მატრიცის ზედა მარცხენა კუთხეში არის დაკვირვებების რაოდენობა n (\displaystyle n)და პირველი რიგისა და პირველი სვეტის დანარჩენ ელემენტებში - მხოლოდ ცვლადების მნიშვნელობების ჯამი: ∑ x t j (\displaystyle \sum x_(tj))და სისტემის მარჯვენა მხარის პირველი ელემენტი - ∑ y t (\displaystyle \sum y_(t)).
განტოლებათა ამ სისტემის ამოხსნა იძლევა ხაზოვანი მოდელის უმცირესი კვადრატების შეფასების ზოგად ფორმულას:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\მარცხნივ((\frac (1)(n))X^(T)X\მარჯვნივ)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).ანალიტიკური მიზნებისათვის, ამ ფორმულის ბოლო წარმოდგენა გამოდის სასარგებლო (განტოლებათა სისტემაში n-ზე გაყოფისას არითმეტიკული საშუალებები ჩნდება ჯამების ნაცვლად). თუ მონაცემები რეგრესიის მოდელში ორიენტირებული, მაშინ ამ წარმოდგენაში პირველ მატრიცას აქვს ფაქტორების ნიმუშური კოვარიანტების მატრიცის მნიშვნელობა, ხოლო მეორე არის ფაქტორების კოვარიანტების ვექტორი დამოკიდებული ცვლადთან. თუ გარდა ამისა, მონაცემები ასევე ნორმალიზებული SKO-ში (ეს არის საბოლოო ჯამში სტანდარტიზებული), მაშინ პირველ მატრიცას აქვს ფაქტორების ნიმუშის კორელაციის მატრიცის მნიშვნელობა, მეორე ვექტორს - ფაქტორების ნიმუშის კორელაციის ვექტორს დამოკიდებულ ცვლადთან.
LLS შეფასებების მნიშვნელოვანი თვისება მოდელებისთვის მუდმივთან ერთად- აგებული რეგრესიის ხაზი გადის ნიმუშის მონაცემების სიმძიმის ცენტრში, ანუ სრულდება თანასწორობა:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\ქუდი (ბ))_(j)(\ბარი (x))_(j)).კერძოდ, უკიდურეს შემთხვევაში, როდესაც ერთადერთი რეგრესორი არის მუდმივი, აღმოვაჩენთ, რომ ერთი პარამეტრის OLS შეფასება (თვითონ მუდმივი) უდრის ახსნილი ცვლადის საშუალო მნიშვნელობას. ანუ არითმეტიკული საშუალო, რომელიც ცნობილია თავისი კარგი თვისებებით დიდი რიცხვების კანონებიდან, ასევე არის უმცირესი კვადრატების შეფასება - ის აკმაყოფილებს მისგან კვადრატული გადახრების მინიმალური ჯამის კრიტერიუმს.
უმარტივესი სპეციალური შემთხვევები
წყვილი წრფივი რეგრესიის შემთხვევაში y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), როდესაც ერთი ცვლადის წრფივი დამოკიდებულება ფასდება მეორეზე, გამოთვლის ფორმულები გამარტივებულია (შეგიძლიათ გააკეთოთ მატრიცული ალგებრის გარეშე). განტოლებათა სისტემას აქვს ფორმა:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\ბოლო(პმატრიცა))(\ დასაწყისი(პმატრიცა)a\\b\\\ბოლო(პმატრიცა))=(\ დასაწყისი(პმატრიცა)(\ბარი (y))\\ (\ overline (xy)) \\\ end (pmatrix))).აქედან ადვილია კოეფიციენტების შეფასებების პოვნა:
(b ^ = Cov (x, y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x ¯ . (\ჩვენების სტილი (\ დასაწყისი (შემთხვევები) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\ overline (xy))-(\ ბარი (x))(\ ბარი (y)))((\ overline (x^(2)))-(\ overline (x))^(2)), \\( \ქუდი (ა))=(\ბარი (y))-b(\ბარი (x)).\ბოლო(შემთხვევები)))მიუხედავად იმისა, რომ ზოგადად, მუდმივი მოდელების უპირატესობაა, ზოგიერთ შემთხვევაში თეორიული მოსაზრებებიდან ცნობილია, რომ მუდმივი a (\displaystyle a)უნდა იყოს ნულის ტოლი. მაგალითად, ფიზიკაში ძაბვასა და დენს შორის ურთიერთობას აქვს ფორმა U = I ⋅ R (\displaystyle U=I\cdot R); ძაბვისა და დენის გაზომვისას აუცილებელია წინააღმდეგობის შეფასება. ამ შემთხვევაში ჩვენ ვსაუბრობთ მოდელზე y = b x (\displaystyle y=bx). ამ შემთხვევაში განტოლებათა სისტემის ნაცვლად გვაქვს ერთი განტოლება
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
ამრიგად, ერთი კოეფიციენტის შეფასების ფორმულას აქვს ფორმა
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\ overline (xy))(\ overline (x^(2)) ))).
პოლინომიური მოდელის შემთხვევა
თუ მონაცემები შეესაბამება ერთი ცვლადის პოლინომიური რეგრესიული ფუნქციით f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), შემდეგ, გრადუსების აღქმა x i (\displaystyle x^(i))როგორც დამოუკიდებელი ფაქტორები თითოეულისთვის მე (\displaystyle i)მოდელის პარამეტრების შეფასება შესაძლებელია ხაზოვანი მოდელის პარამეტრების შეფასების ზოგადი ფორმულის საფუძველზე. ამისათვის საკმარისია ზოგად ფორმულაში გავითვალისწინოთ, რომ ასეთი ინტერპრეტაციით x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))და x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). ამრიგად, მატრიცული განტოლებები ამ შემთხვევაში მიიღებს ფორმას:
(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t ∑ k 2 k] [b] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ ჯამი \ლიმიტები _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
OLS შეფასებების სტატისტიკური თვისებები
უპირველეს ყოვლისა, ჩვენ აღვნიშნავთ, რომ წრფივი მოდელებისთვის, უმცირესი კვადრატების შეფასებები არის წრფივი შეფასებები, როგორც ზემოთ მოყვანილი ფორმულიდან ჩანს. უმცირესი კვადრატების შეფასებების მიუკერძოებლობისთვის აუცილებელია და საკმარისია შესრულდეს რეგრესიის ანალიზის ყველაზე მნიშვნელოვანი პირობა: ფაქტორებით განპირობებული შემთხვევითი შეცდომის მათემატიკური მოლოდინი უნდა იყოს ნულის ტოლი. ეს პირობა დაკმაყოფილებულია, კერძოდ, თუ
- შემთხვევითი შეცდომების მათემატიკური მოლოდინი არის ნული და
- ფაქტორები და შემთხვევითი შეცდომები დამოუკიდებელი შემთხვევითი მნიშვნელობებია.
მეორე პირობა - ეგზოგენური ფაქტორების მდგომარეობა - ფუნდამენტურია. თუ ეს თვისება არ არის დაკმაყოფილებული, მაშინ შეგვიძლია ვივარაუდოთ, რომ თითქმის ნებისმიერი შეფასება იქნება უკიდურესად არადამაკმაყოფილებელი: ისინი არც კი იქნება თანმიმდევრული (ანუ, მონაცემთა ძალიან დიდი რაოდენობაც კი არ იძლევა ხარისხობრივი შეფასებების მიღებას ამ შემთხვევაში). კლასიკურ შემთხვევაში, უფრო ძლიერი ვარაუდი კეთდება ფაქტორების დეტერმინიზმის შესახებ, შემთხვევითი შეცდომისგან განსხვავებით, რაც ავტომატურად ნიშნავს, რომ ეგზოგენური მდგომარეობა დაკმაყოფილებულია. ზოგად შემთხვევაში, შეფასებების თანმიმდევრულობისთვის საკმარისია ეგზოგენურობის პირობის დაკმაყოფილება მატრიცის კონვერგენციასთან ერთად. V x (\displaystyle V_(x))ზოგიერთ არადეგენერაციულ მატრიცას, როდესაც ნიმუშის ზომა იზრდება უსასრულობამდე.
იმისათვის, რომ, გარდა თანმიმდევრულობისა და მიუკერძოებლობისა, (ჩვეულებრივი) უმცირესი კვადრატების შეფასებაც ეფექტური იყოს (საუკეთესო ხაზოვანი მიუკერძოებელი შეფასებების კლასში), შემთხვევითი შეცდომის დამატებითი თვისებები უნდა დაკმაყოფილდეს:
ეს დაშვებები შეიძლება ჩამოყალიბდეს შემთხვევითი შეცდომების ვექტორის კოვარიანტობის მატრიცისთვის V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
ხაზოვანი მოდელი, რომელიც აკმაყოფილებს ამ პირობებს ეწოდება კლასიკური. კლასიკური წრფივი რეგრესიის OLS შეფასებები არის მიუკერძოებელი, თანმიმდევრული და ყველაზე ეფექტური შეფასებები ყველა ხაზოვანი მიუკერძოებელი შეფასების კლასში (ინგლისურ ლიტერატურაში, შემოკლება ზოგჯერ გამოიყენება ლურჯი (საუკეთესო ხაზოვანი მიუკერძოებელი შემფასებელი) არის საუკეთესო ხაზოვანი მიუკერძოებელი შეფასება; საშინაო ლიტერატურაში უფრო ხშირად ციტირებულია გაუსის - მარკოვის თეორემა). როგორც ადვილი საჩვენებელია, კოეფიციენტის შეფასების ვექტორის კოვარიანტული მატრიცა ტოლი იქნება:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
ეფექტურობა ნიშნავს, რომ ეს კოვარიანტული მატრიცა არის "მინიმალური" (კოეფიციენტების ნებისმიერი წრფივი კომბინაცია და, კერძოდ, თავად კოეფიციენტებს აქვთ მინიმალური განსხვავება), ანუ ხაზოვანი მიუკერძოებელი შეფასებების კლასში OLS შეფასებები საუკეთესოა. ამ მატრიცის დიაგონალური ელემენტები - კოეფიციენტების შეფასებების ვარიაციები - მიღებული შეფასებების ხარისხის მნიშვნელოვანი პარამეტრებია. თუმცა, შეუძლებელია კოვარიანტული მატრიცის გამოთვლა, რადგან შემთხვევითი შეცდომის ვარიაცია უცნობია. შეიძლება დადასტურდეს, რომ შემთხვევითი შეცდომების დისპერსიის მიუკერძოებელი და თანმიმდევრული (კლასიკური ხაზოვანი მოდელისთვის) შეფასება არის მნიშვნელობა:
S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).
ამ მნიშვნელობის ჩანაცვლებით კოვარიანტული მატრიცის ფორმულაში, ჩვენ ვიღებთ კოვარიანტობის მატრიცის შეფასებას. შედეგად მიღებული შეფასებები ასევე მიუკერძოებელი და თანმიმდევრულია. ასევე მნიშვნელოვანია, რომ შეცდომის დისპერსიის შეფასება (და შესაბამისად კოეფიციენტების ვარიაციები) და მოდელის პარამეტრების შეფასება დამოუკიდებელი შემთხვევითი ცვლადებია, რაც შესაძლებელს ხდის მოდელის კოეფიციენტების შესახებ ჰიპოთეზების შესამოწმებლად ტესტის სტატისტიკის მიღებას.
უნდა აღინიშნოს, რომ თუ კლასიკური დაშვებები არ არის დაკმაყოფილებული, უმცირესი კვადრატების პარამეტრების შეფასება არ არის ყველაზე ეფექტური და, სადაც W (\displaystyle W)არის რაღაც სიმეტრიული დადებითი განსაზღვრული წონის მატრიცა. ჩვეულებრივი უმცირესი კვადრატები ამ მიდგომის განსაკუთრებული შემთხვევაა, როდესაც წონის მატრიცა არის იდენტურობის მატრიცის პროპორციული. როგორც ცნობილია, სიმეტრიული მატრიცებისთვის (ან ოპერატორებისთვის) ხდება დაშლა W = P T P (\displaystyle W=P^(T)P). მაშასადამე, ეს ფუნქცია შეიძლება წარმოდგენილი იყოს შემდეგნაირად e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), ანუ ეს ფუნქციონალი შეიძლება წარმოდგენილი იყოს როგორც ზოგიერთი გარდაქმნილი "ნარჩენების" კვადრატების ჯამი. ამრიგად, ჩვენ შეგვიძლია გამოვყოთ უმცირესი კვადრატების მეთოდების კლასი - LS- მეთოდები (უმცირესი კვადრატები).
დადასტურებულია (აიტკენის თეორემა), რომ განზოგადებული წრფივი რეგრესიის მოდელისთვის (რომელშიც არ არის დაწესებული შეზღუდვები შემთხვევითი შეცდომების კოვარიანსულ მატრიცაზე), ყველაზე ეფექტური (წრფივი მიუკერძოებელი შეფასებების კლასში) შეფასებებია ე.წ. განზოგადებული OLS (OMNK, GLS - გენერალიზებული უმცირესი კვადრატები)- LS- მეთოდი წონის მატრიცით, რომელიც ტოლია შემთხვევითი შეცდომების შებრუნებული კოვარიანტული მატრიცის: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
შეიძლება აჩვენოს, რომ ხაზოვანი მოდელის პარამეტრების GLS-შეფასების ფორმულას აქვს ფორმა
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
ამ შეფასებების კოვარიანტული მატრიცა, შესაბამისად, ტოლი იქნება
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- ერთი )).
სინამდვილეში, OLS-ის არსი მდგომარეობს თავდაპირველი მონაცემების გარკვეულ (წრფივ) ტრანსფორმაციაში (P) და ჩვეულებრივ უმცირეს კვადრატების გამოყენებაში ტრანსფორმირებულ მონაცემებზე. ამ ტრანსფორმაციის მიზანია ის, რომ ტრანსფორმირებული მონაცემებისთვის შემთხვევითი შეცდომები უკვე აკმაყოფილებს კლასიკურ დაშვებებს.
შეწონილი უმცირესი კვადრატები
დიაგონალური წონის მატრიცის (და, შესაბამისად, შემთხვევითი შეცდომების კოვარიანტული მატრიცის) შემთხვევაში, ჩვენ გვაქვს ეგრეთ წოდებული შეწონილი უმცირესი კვადრატები (WLS - Weighted Least Squares). ამ შემთხვევაში, მოდელის ნარჩენების კვადრატების შეწონილი ჯამი მინიმუმამდეა დაყვანილი, ანუ თითოეული დაკვირვება იღებს „წონას“, რომელიც უკუპროპორციულია ამ დაკვირვებაში შემთხვევითი შეცდომის დისპერსიასთან: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ სიგმა _(ტ)^(2)))). ფაქტობრივად, მონაცემები გარდაიქმნება დაკვირვებების წონით (გაყოფა ოდენობით, რომელიც პროპორციულია შემთხვევითი შეცდომების სავარაუდო სტანდარტული გადახრის პროპორციულად), ხოლო ნორმალური უმცირესი კვადრატები გამოიყენება შეწონილ მონაცემებზე.
ISBN 978-5-7749-0473-0.
- სახელმძღვანელო
შესავალი
ვარ კომპიუტერული პროგრამისტი. ჩემს კარიერაში ყველაზე დიდი ნახტომი გავაკეთე, როდესაც ვისწავლე მეთქვა: "Ვერაფერი გავიგე!"ახლა არ მრცხვენია, მეცნიერების მნათობს ვუთხრა, რომ ლექციას მაკითხავს, რომ არ მესმის, რაზე მელაპარაკება ის, მნათობი. და ძალიან რთულია. დიახ, ძნელი და უხერხულია იმის აღიარება, რომ არ იცი. ვისაც უყვარს იმის აღიარება, რომ მან არ იცის რაღაცის საფუძვლები - იქ. ჩემი პროფესიიდან გამომდინარე, უამრავ პრეზენტაციას და ლექციას მიწევს დასწრება, სადაც, ვაღიარებ, უმეტეს შემთხვევაში მეძინება, რადგან არაფერი მესმის. და მე არ მესმის, რადგან მეცნიერებაში არსებული ვითარების უზარმაზარი პრობლემა მათემატიკაშია. იგი ვარაუდობს, რომ ყველა სტუდენტი იცნობს მათემატიკის აბსოლუტურად ყველა სფეროს (რაც აბსურდია). იმის აღიარება, რომ არ იცი რა არის წარმოებული (რომ ეს ცოტა მოგვიანებით არის) სირცხვილია.
მაგრამ მე ვისწავლე იმის თქმა, რომ არ ვიცი რა არის გამრავლება. დიახ, მე არ ვიცი რა არის სუბალგებრა ტყუილის ალგებრაზე. დიახ, არ ვიცი, რატომ არის საჭირო კვადრატული განტოლებები ცხოვრებაში. სხვათა შორის, თუ დარწმუნებული ხართ, რომ იცით, მაშინ სალაპარაკო გვაქვს! მათემატიკა არის ხრიკების სერია. მათემატიკოსები ცდილობენ საზოგადოების დაბნევას და დაშინებას; სადაც არ არის დაბნეულობა, რეპუტაცია, ავტორიტეტი. დიახ, პრესტიჟულია ყველაზე აბსტრაქტული ენით საუბარი, რაც თავისთავად სრული სისულელეა.
წარმოებული იცი რა არის? დიდი ალბათობით თქვენ მეტყვით სხვაობის ურთიერთობის ზღვარზე. პეტერბურგის სახელმწიფო უნივერსიტეტის მათემატიკის პირველ კურსზე ვიქტორ პეტროვიჩ ხავინი მე განსაზღვრულიწარმოებული, როგორც ფუნქციის ტეილორის სერიის პირველი წევრის კოეფიციენტი წერტილში (ეს იყო ცალკე ტანვარჯიში ტეილორის სერიის დადგენა წარმოებულების გარეშე). დიდხანს ვიცინოდი ამ განსაზღვრებაზე, სანამ საბოლოოდ მივხვდი რაში იყო საქმე. წარმოებული სხვა არაფერია, თუ არა უბრალოდ საზომი იმისა, თუ რამდენად ჰგავს ფუნქციას, რომელსაც ჩვენ განვასხვავებთ y=x, y=x^2, y=x^3 ფუნქციის.
ახლა მაქვს პატივი ლექციების წაკითხვა სტუდენტებს, რომლებიც შიშიმათემატიკა. თუ მათემატიკის გეშინია - გზაში ვართ. როგორც კი რაიმე ტექსტის წაკითხვას შეეცდებით და მოგეჩვენებათ, რომ ის ზედმეტად რთულია, მაშინ იცოდეთ, რომ ცუდად არის დაწერილი. მე ვამტკიცებ, რომ არ არსებობს მათემატიკის არც ერთი სფერო, რომელზეც არ შეიძლება საუბარი "თითებზე" სიზუსტის დაკარგვის გარეშე.
გამოწვევა უახლოესი მომავლისთვის: მე დავავალე ჩემს სტუდენტებს გაერკვნენ, რა არის წრფივი-კვადრატული მაკონტროლებელი. ნუ გეშინია, დაკარგე შენი ცხოვრების სამი წუთი, მიჰყევით ბმულს. თუ არაფერი გესმით, მაშინ ჩვენ გზაში ვართ. მეც (პროფესიონალი მათემატიკოსი პროგრამისტი) ვერაფერი გავიგე. და გარწმუნებთ, ეს შეიძლება დალაგდეს "თითებზე". ამჟამად არ ვიცი რა არის, მაგრამ გარწმუნებთ, რომ ჩვენ შევძლებთ ამის გარკვევას.
ასე რომ, პირველი ლექცია, რომელსაც ვაპირებ ჩემს სტუდენტებს ჩავატარო მას შემდეგ, რაც ისინი შეშინებულები მოდიან ჩემთან სიტყვებით, რომ ხაზოვანი-კვადრატული კონტროლერი არის საშინელი შეცდომა, რომელსაც ვერასოდეს დაეუფლები შენს ცხოვრებაში, არის მინიმალური კვადრატების მეთოდები. შეგიძლიათ ამოხსნათ წრფივი განტოლებები? თუ თქვენ კითხულობთ ამ ტექსტს, მაშინ დიდი ალბათობით არა.
ასე რომ, ორი წერტილიდან (x0, y0), (x1, y1), მაგალითად, (1,1) და (3,2), ამოცანაა ვიპოვოთ სწორი ხაზის განტოლება, რომელიც გადის ამ ორ წერტილში:
ილუსტრაცია
ამ სწორ ხაზს უნდა ჰქონდეს შემდეგი განტოლება:
აქ ალფა და ბეტა ჩვენთვის უცნობია, მაგრამ ცნობილია ამ ხაზის ორი წერტილი:
თქვენ შეგიძლიათ დაწეროთ ეს განტოლება მატრიცის სახით:
აქ უნდა გავაკეთოთ ლირიკული გადახრა: რა არის მატრიცა? მატრიცა სხვა არაფერია, თუ არა ორგანზომილებიანი მასივი. ეს არის მონაცემთა შენახვის გზა, მას აღარ უნდა მიეცეს მნიშვნელობები. ჩვენზეა დამოკიდებული, როგორ განვმარტოთ კონკრეტული მატრიცა. პერიოდულად, მე განვიხილავ მას, როგორც ხაზოვან რუქას, პერიოდულად, როგორც კვადრატულ ფორმას და ზოგჯერ უბრალოდ, როგორც ვექტორთა ერთობლიობას. ეს ყველაფერი კონტექსტში გაირკვევა.
მოდით შევცვალოთ კონკრეტული მატრიცები მათი სიმბოლური გამოსახულებით:
შემდეგ (ალფა, ბეტა) შეგიძლიათ მარტივად იპოვოთ:
უფრო კონკრეტულად ჩვენი წინა მონაცემებისთვის:
რაც იწვევს (1,1) და (3,2) წერტილებში გამავალი სწორი ხაზის შემდეგ განტოლებას:
კარგი, აქ ყველაფერი გასაგებია. და ვიპოვოთ გამავალი სწორი ხაზის განტოლება სამიქულები: (x0,y0), (x1,y1) და (x2,y2):
ოჰ-ო-ო, მაგრამ ჩვენ გვაქვს სამი განტოლება ორი უცნობისთვის! სტანდარტული მათემატიკოსი იტყვის, რომ გამოსავალი არ არის. რას იტყვის პროგრამისტი? და ის ჯერ გადაწერს განტოლებათა წინა სისტემას შემდეგი სახით:
ჩვენს შემთხვევაში, i, j, b ვექტორები სამგანზომილებიანია, შესაბამისად, (ზოგად შემთხვევაში) ამ სისტემის ამოხსნა არ არსებობს. ნებისმიერი ვექტორი (ალფა\*ი + ბეტა\*j) დევს ვექტორების (i, j) მიერ დაფარულ სიბრტყეში. თუ b არ მიეკუთვნება ამ სიბრტყეს, მაშინ არ არის ამონახსნი (განტოლებაში თანასწორობა ვერ მიიღწევა). Რა უნდა ვქნა? მოდი ვეძიოთ კომპრომისი. მოდი აღვნიშნოთ e (ალფა, ბეტა)ზუსტად როგორ ვერ მივაღწიეთ თანასწორობას:
და ჩვენ შევეცდებით მინიმუმამდე დავიყვანოთ ეს შეცდომა:
რატომ მოედანი?
ჩვენ ვეძებთ არა მხოლოდ ნორმის მინიმუმს, არამედ ნორმის კვადრატის მინიმუმს. რატომ? მინიმალური წერტილი თავისთავად ემთხვევა და კვადრატი იძლევა გლუვ ფუნქციას (არგუმენტების კვადრატული ფუნქცია (ალფა, ბეტა)), ხოლო მხოლოდ სიგრძე იძლევა ფუნქციას კონუსის სახით, რომელიც არ არის დიფერენცირებადი მინიმალურ წერტილში. ბრრ. მოედანი უფრო მოსახერხებელია.
ცხადია, შეცდომა მინიმუმამდეა დაყვანილი, როდესაც ვექტორი ეორთოგონალური სიბრტყეზე, რომელიც გადაფარავს ვექტორებს მედა ჯ.
ილუსტრაცია
სხვა სიტყვებით რომ ვთქვათ: ჩვენ ვეძებთ ისეთ წრფეს, რომ ყველა წერტილიდან ამ წრფემდე მანძილების კვადრატული სიგრძის ჯამი მინიმალური იყოს:
განახლება: აქ მე მაქვს ჯამი, მანძილი ხაზამდე უნდა გაიზომოს ვერტიკალურად და არა ორთოგრაფიული პროექცია. ეს კომენტატორი მართალია.
ილუსტრაცია
სრულიად განსხვავებული სიტყვებით (ფრთხილად, ცუდად ფორმალიზებული, მაგრამ ეს თითებზე უნდა იყოს ნათელი): ჩვენ ვიღებთ ყველა შესაძლო ხაზს ყველა წყვილ წერტილს შორის და ვეძებთ საშუალო ხაზს ყველა შორის:
ილუსტრაცია
კიდევ ერთი ახსნა თითებზე: ჩვენ ვამაგრებთ ზამბარას ყველა მონაცემთა წერტილს შორის (აქ გვაქვს სამი) და იმ ხაზს, რომელსაც ვეძებთ და წონასწორობის მდგომარეობის ხაზი არის ზუსტად ის, რასაც ვეძებთ.
კვადრატული ფორმის მინიმუმი
ასე რომ, ვექტორის გათვალისწინებით ბდა მატრიცის სვეტები-ვექტორებით გაშლილი სიბრტყე ა(ამ შემთხვევაში (x0,x1,x2) და (1,1,1)), ჩვენ ვეძებთ ვექტორს ესიგრძის მინიმალური კვადრატით. ცხადია, მინიმალური მიღწევა მხოლოდ ვექტორისთვისაა შესაძლებელი ე, ორთოგონალური სიბრტყის მიმართ, რომელიც გადაჭიმულია მატრიცის სვეტები-ვექტორებით ა:სხვა სიტყვებით რომ ვთქვათ, ჩვენ ვეძებთ ვექტორს x=(ალფა, ბეტა), რომ:
შეგახსენებთ, რომ ეს ვექტორი x=(ალფა, ბეტა) არის კვადრატული ფუნქციის მინიმალური ||e(ალფა, ბეტა)||^2:
აქ სასარგებლოა გვახსოვდეს, რომ მატრიცის ინტერპრეტაცია შესაძლებელია ისევე როგორც კვადრატული ფორმა, მაგალითად, იდენტობის მატრიცა ((1,0),(0,1)) შეიძლება ინტერპრეტირებული იყოს x^2 + y-ის ფუნქციის სახით. ^2:
კვადრატული ფორმა
მთელი ეს ტანვარჯიში ცნობილია როგორც ხაზოვანი რეგრესია.
ლაპლასის განტოლება დირიხლეს სასაზღვრო პირობით
ახლა უმარტივესი რეალური პრობლემა: არსებობს გარკვეული სამკუთხა ზედაპირი, აუცილებელია მისი გასწორება. მაგალითად, ავტვირთოთ ჩემი სახის მოდელი:
ორიგინალური ვალდებულება ხელმისაწვდომია. გარე დამოკიდებულებების შესამცირებლად, მე ავიღე ჩემი პროგრამული უზრუნველყოფის რენდერის კოდი, უკვე Habré-ზე. ხაზოვანი სისტემის გადასაჭრელად, მე ვიყენებ OpenNL-ს, ის შესანიშნავი ამომხსნელია, მაგრამ მისი ინსტალაცია ძალიან რთულია: თქვენ უნდა დააკოპიროთ ორი ფაილი (.h + .c) თქვენი პროექტის საქაღალდეში. ყველა გამარტივება ხდება შემდეგი კოდით:
ამისთვის (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X, Y და Z კოორდინატები განცალკევებულია, მე მათ ცალკე ვასწორებ. ანუ, მე ვხსნი წრფივი განტოლებების სამ სისტემას, თითოეულს აქვს იგივე რაოდენობის ცვლადი, როგორც წვეროების რაოდენობა ჩემს მოდელში. A მატრიცის პირველ n სტრიქონს აქვს მხოლოდ ერთი 1 რიგზე, ხოლო b ვექტორის პირველ n სტრიქონს აქვს ორიგინალური მოდელის კოორდინატები. ანუ, მე ვაკავშირებ ახალ წვეროსა და ძველ წვეროს პოზიციას - ახლები არ უნდა იყოს ძალიან დაშორებული ძველებისგან.
A მატრიცის ყველა მომდევნო მწკრივს (faces.size()*3 = ბადის ყველა სამკუთხედის კიდეების რაოდენობა) აქვს 1-ის ერთი და -1, ხოლო b ვექტორს აქვს ნულოვანი კომპონენტი საპირისპირო. ეს ნიშნავს, რომ მე დავაყენე ზამბარა ჩვენი სამკუთხა ბადის თითოეულ კიდეზე: ყველა კიდე ცდილობს მიიღოს იგივე წვერო, როგორც მათი საწყისი და დასასრული წერტილები.
კიდევ ერთხელ ვიმეორებ: ყველა წვერო ცვლადია და ისინი ვერ შორდებიან თავდაპირველი პოზიციიდან, მაგრამ ამავე დროს ცდილობენ დაემსგავსონ ერთმანეთს.
აი შედეგი:
ყველაფერი კარგად იქნებოდა, მოდელი მართლაც გათლილი იყო, მაგრამ ის გადავიდა თავდაპირველ ზღვარს. მოდით ცოტათი შევცვალოთ კოდი:
ამისთვის (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
ჩვენს მატრიცაში A, წვეროებისთვის, რომლებიც კიდეზეა, მე ვამატებ არა სტრიქონს v_i = verts[i][d] კატეგორიიდან, არამედ 1000*v_i = 1000* verts[i][d]. რას ცვლის? და ეს ცვლის შეცდომის ჩვენს კვადრატულ ფორმას. ახლა კიდეზე ზემოდან ერთი გადახრა ეღირება არა ერთი ერთეული, როგორც ადრე, არამედ 1000 * 1000 ერთეული. ანუ უკიდურეს წვეროებზე უფრო ძლიერი ზამბარა დავკიდეთ, გამოსავალი ამჯობინებს სხვების უფრო ძლიერად დაჭიმვას. აი შედეგი:
გავაორმაგოთ ზამბარების სიძლიერე წვეროებს შორის:
nlCoefficient(face[j], 2); nlCoefficient(face[(j+1)%3], -2);
ლოგიკურია, რომ ზედაპირი უფრო გლუვი გახდა:
ახლა კი ასჯერ უფრო ძლიერი:
Რა არის ეს? წარმოიდგინეთ, რომ მავთულის რგოლი საპნიან წყალში ჩავყარეთ. შედეგად, მიღებული საპნის ფილმი შეეცდება ჰქონდეს რაც შეიძლება ნაკლები გამრუდება, შეეხოს იმავე საზღვარს - ჩვენს მავთულის რგოლს. ეს არის ზუსტად ის, რაც მივიღეთ საზღვრის დაფიქსირებით და შიგნით გლუვი ზედაპირის მოთხოვნით. გილოცავთ, ჩვენ ახლახან მოვაგვარეთ ლაპლასის განტოლება დირიხლეს სასაზღვრო პირობებით. Კარგად ჟღერს? მაგრამ სინამდვილეში, წრფივი განტოლებების მხოლოდ ერთი სისტემა ამოსახსნელია.
პუასონის განტოლება
მოდი სხვა მაგარი სახელი დავარქვა.ვთქვათ, მაქვს ასეთი სურათი:
ყველა კარგია, მაგრამ მე არ მომწონს სკამი.
სურათი გავანახევრე: 
და სკამს ავირჩევ ჩემი ხელებით: 
შემდეგ ყველაფერს, რაც ნიღაბში თეთრია, სურათის მარცხენა მხარეს გადავათრევ და ამავდროულად მთელ სურათზე ვიტყვი, რომ ორ მეზობელ პიქსელს შორის განსხვავება უნდა იყოს ტოლი სხვაობის ორ მეზობელ პიქსელს შორის. მარჯვენა სურათი:
ამისთვის (int i=0; i აი შედეგი: კოდი და სურათები ხელმისაწვდომია მინიმალური კვადრატის მეთოდი უმცირესი კვადრატის მეთოდი ( MNK, OLS, ჩვეულებრივი უმცირესი კვადრატები)
- რეგრესიული ანალიზის ერთ-ერთი ძირითადი მეთოდი რეგრესიის მოდელების უცნობი პარამეტრების შეფასების ნიმუშის მონაცემებიდან. მეთოდი ეფუძნება რეგრესიის ნარჩენების კვადრატების ჯამის მინიმიზაციას. უნდა აღინიშნოს, რომ უმცირესი კვადრატების მეთოდს თავისთავად შეიძლება ეწოდოს მეთოდი პრობლემის გადასაჭრელად ნებისმიერ სფეროში, თუ ამოხსნა შედგება ან აკმაყოფილებს გარკვეულ კრიტერიუმს უცნობი ცვლადის ზოგიერთი ფუნქციის კვადრატების ჯამის მინიმიზაციისთვის. მაშასადამე, უმცირესი კვადრატების მეთოდი ასევე შეიძლება გამოვიყენოთ მოცემული ფუნქციის მიახლოებით წარმოდგენისთვის (დაახლოებით) სხვა (უმარტივესი) ფუნქციებით, სიდიდეების სიმრავლის პოვნისას, რომლებიც აკმაყოფილებს განტოლებებს ან შეზღუდვებს, რომელთა რაოდენობა აღემატება ამ სიდიდეების რაოდენობას. და ა.შ. მოდით (ახსნა) ცვლადს შორის ალბათური (რეგრესიის) დამოკიდებულების (პარამეტრული) მოდელი. წდა მრავალი ფაქტორი (ახსნა ცვლადები) x სად არის უცნობი მოდელის პარამეტრების ვექტორი დაე, ასევე იყოს მითითებული ცვლადების მნიშვნელობების ნიმუშის დაკვირვება. მოდით იყოს დაკვირვების ნომერი (). შემდეგ არის ცვლადების მნიშვნელობები --ე დაკვირვებაში. შემდეგ, b პარამეტრების მოცემული მნიშვნელობებისთვის, შესაძლებელია ახსნილი ცვლადის y თეორიული (მოდელური) მნიშვნელობების გამოთვლა: ნარჩენების მნიშვნელობა დამოკიდებულია b პარამეტრების მნიშვნელობებზე. LSM-ის (ჩვეულებრივი, კლასიკური) არსი არის ისეთი b პარამეტრების პოვნა, რომლებისთვისაც ნარჩენების კვადრატების ჯამი (ინგლ. კვადრატების ნარჩენი ჯამი) მინიმალური იქნება: ზოგადად, ამ პრობლემის გადაჭრა შესაძლებელია ოპტიმიზაციის (მინიმიზაციის) რიცხვითი მეთოდებით. ამ შემთხვევაში საუბარია არაწრფივი უმცირესი კვადრატები(NLS ან NLLS - ინგლისური. არაწრფივი უმცირესი კვადრატები). ხშირ შემთხვევაში, შესაძლებელია ანალიტიკური გადაწყვეტის მიღება. მინიმიზაციის ამოცანის გადასაჭრელად აუცილებელია ფუნქციის სტაციონარული წერტილების პოვნა უცნობი პარამეტრების მიხედვით b დიფერენცირებით, წარმოებულების ნულამდე გათანაბრებით და მიღებული განტოლებათა სისტემის ამოხსნით: თუ მოდელის შემთხვევითი შეცდომები ჩვეულებრივ განაწილებულია, აქვთ იგივე ვარიაცია და არ არის დაკავშირებული ერთმანეთთან, მინიმალური კვადრატების პარამეტრების შეფასება იგივეა, რაც მაქსიმალური ალბათობის მეთოდის (MLM) შეფასებები. დაე, რეგრესიის დამოკიდებულება იყოს წრფივი: დაე წ- ახსნილი ცვლადის დაკვირვებების სვეტის ვექტორი და - ფაქტორების დაკვირვების მატრიცა (მატრიცის რიგები - ფაქტორების მნიშვნელობების ვექტორები მოცემულ დაკვირვებაში, სვეტების მიხედვით - მოცემული ფაქტორის მნიშვნელობების ვექტორი ყველა დაკვირვებაში). ხაზოვანი მოდელის მატრიცულ წარმოდგენას აქვს ფორმა: მაშინ ახსნილი ცვლადის შეფასების ვექტორი და რეგრესიის ნარჩენების ვექტორი ტოლი იქნება შესაბამისად, რეგრესიის ნარჩენების კვადრატების ჯამი ტოლი იქნება ამ ფუნქციის დიფერენცირებით პარამეტრის ვექტორთან მიმართებაში და წარმოებულების ნულამდე გათანაბრება, ჩვენ ვიღებთ განტოლებათა სისტემას (მატრიცის სახით): განტოლებათა ამ სისტემის ამოხსნა იძლევა ხაზოვანი მოდელის უმცირესი კვადრატების შეფასების ზოგად ფორმულას: ანალიტიკური მიზნებისთვის, ამ ფორმულის ბოლო წარმოდგენა სასარგებლო აღმოჩნდება. თუ მონაცემები რეგრესიის მოდელში ორიენტირებული, მაშინ ამ წარმოდგენაში პირველ მატრიცას აქვს ფაქტორების ნიმუშური კოვარიანტების მატრიცის მნიშვნელობა, ხოლო მეორე არის ფაქტორების კოვარიანტების ვექტორი დამოკიდებული ცვლადთან. თუ გარდა ამისა, მონაცემები ასევე ნორმალიზებული SKO-ში (ეს არის საბოლოო ჯამში სტანდარტიზებული), მაშინ პირველ მატრიცას აქვს ფაქტორების ნიმუშის კორელაციის მატრიცის მნიშვნელობა, მეორე ვექტორს - ფაქტორების ნიმუშის კორელაციის ვექტორს დამოკიდებულ ცვლადთან. LLS შეფასებების მნიშვნელოვანი თვისება მოდელებისთვის მუდმივთან ერთად- აგებული რეგრესიის ხაზი გადის ნიმუშის მონაცემების სიმძიმის ცენტრში, ანუ სრულდება თანასწორობა: კერძოდ, უკიდურეს შემთხვევაში, როდესაც ერთადერთი რეგრესორი არის მუდმივი, აღმოვაჩენთ, რომ ერთი პარამეტრის OLS შეფასება (თვითონ მუდმივი) უდრის ახსნილი ცვლადის საშუალო მნიშვნელობას. ანუ არითმეტიკული საშუალო, რომელიც ცნობილია თავისი კარგი თვისებებით დიდი რიცხვების კანონებიდან, ასევე არის უმცირესი კვადრატების შეფასება - ის აკმაყოფილებს მისგან კვადრატული გადახრების მინიმალური ჯამის კრიტერიუმს. დაწყვილებული წრფივი რეგრესიის შემთხვევაში, გაანგარიშების ფორმულები გამარტივებულია (შეგიძლიათ გააკეთოთ მატრიცული ალგებრის გარეშე): უპირველეს ყოვლისა, ჩვენ აღვნიშნავთ, რომ წრფივი მოდელებისთვის, უმცირესი კვადრატების შეფასებები არის წრფივი შეფასებები, როგორც ზემოთ მოყვანილი ფორმულიდან ჩანს. OLS-ის მიუკერძოებელი შეფასებისთვის, აუცილებელია და საკმარისია რეგრესიის ანალიზის ყველაზე მნიშვნელოვანი პირობის შესრულება: ფაქტორების გათვალისწინებით, შემთხვევითი შეცდომის მათემატიკური მოლოდინი უნდა იყოს ნულის ტოლი. ეს პირობა დაკმაყოფილებულია, კერძოდ, თუ მეორე პირობა - ეგზოგენური ფაქტორების მდგომარეობა - ფუნდამენტურია. თუ ეს თვისება არ არის დაკმაყოფილებული, მაშინ შეგვიძლია ვივარაუდოთ, რომ თითქმის ნებისმიერი შეფასება იქნება უკიდურესად არადამაკმაყოფილებელი: ისინი არც კი იქნება თანმიმდევრული (ანუ, მონაცემთა ძალიან დიდი რაოდენობაც კი არ იძლევა ხარისხობრივი შეფასებების მიღებას ამ შემთხვევაში). კლასიკურ შემთხვევაში, უფრო ძლიერი ვარაუდი კეთდება ფაქტორების დეტერმინიზმის შესახებ, შემთხვევითი შეცდომისგან განსხვავებით, რაც ავტომატურად ნიშნავს, რომ ეგზოგენური მდგომარეობა დაკმაყოფილებულია. ზოგად შემთხვევაში, შეფასებების თანმიმდევრულობისთვის საკმარისია ეგზოგენურობის პირობის შესრულება მატრიცის კონვერგენციასთან ერთად ზოგიერთ არასიგნოლურ მატრიცასთან ერთად ნიმუშის ზომის გაზრდით უსასრულობამდე. იმისათვის, რომ, გარდა თანმიმდევრულობისა და მიუკერძოებლობისა, (ჩვეულებრივი) უმცირესი კვადრატების შეფასებაც ეფექტური იყოს (საუკეთესო ხაზოვანი მიუკერძოებელი შეფასებების კლასში), შემთხვევითი შეცდომის დამატებითი თვისებები უნდა დაკმაყოფილდეს: ეს დაშვებები შეიძლება ჩამოყალიბდეს შემთხვევითი შეცდომის ვექტორის კოვარიანტული მატრიცისთვის ხაზოვანი მოდელი, რომელიც აკმაყოფილებს ამ პირობებს ეწოდება კლასიკური. კლასიკური წრფივი რეგრესიის OLS შეფასებები არის მიუკერძოებელი, თანმიმდევრული და ყველაზე ეფექტური შეფასებები ყველა ხაზოვანი მიუკერძოებელი შეფასების კლასში (ინგლისურ ლიტერატურაში, შემოკლება ზოგჯერ გამოიყენება ლურჯი (საუკეთესო ხაზოვანი უსაფუძვლო შემფასებელი) არის საუკეთესო ხაზოვანი მიუკერძოებელი შეფასება; საშინაო ლიტერატურაში უფრო ხშირად ციტირებულია გაუს-მარკოვის თეორემა). როგორც ადვილი საჩვენებელია, კოეფიციენტის შეფასების ვექტორის კოვარიანტული მატრიცა ტოლი იქნება: უმცირესი კვადრატების მეთოდი ფართო განზოგადების საშუალებას იძლევა. ნარჩენების კვადრატების ჯამის მინიმიზაციის ნაცვლად, შეიძლება მინიმუმამდე დავიყვანოთ ნარჩენი ვექტორის გარკვეული დადებითი განსაზღვრული კვადრატული ფორმა, სადაც არის რაღაც სიმეტრიული დადებითი განსაზღვრული წონის მატრიცა. ჩვეულებრივი უმცირესი კვადრატები ამ მიდგომის განსაკუთრებული შემთხვევაა, როდესაც წონის მატრიცა არის იდენტურობის მატრიცის პროპორციული. როგორც ცნობილია სიმეტრიული მატრიცების (ან ოპერატორების) თეორიიდან, ასეთი მატრიცების დაშლა ხდება. მაშასადამე, მითითებული ფუნქციონალი შეიძლება წარმოდგენილი იყოს შემდეგნაირად, ანუ ეს ფუნქციონალი შეიძლება იყოს წარმოდგენილი, როგორც ზოგიერთი გარდაქმნილი „ნარჩენების“ კვადრატების ჯამი. ამრიგად, ჩვენ შეგვიძლია გამოვყოთ უმცირესი კვადრატების მეთოდების კლასი - LS- მეთოდები (უმცირესი კვადრატები). დადასტურებულია (აიტკენის თეორემა), რომ განზოგადებული წრფივი რეგრესიის მოდელისთვის (რომელშიც არ არის დაწესებული შეზღუდვები შემთხვევითი შეცდომების კოვარიანსულ მატრიცაზე), ყველაზე ეფექტური (წრფივი მიუკერძოებელი შეფასებების კლასში) შეფასებებია ე.წ. განზოგადებული OLS (OMNK, GLS - გენერალიზებული უმცირესი კვადრატები)- LS-მეთოდი წონის მატრიცით, რომელიც ტოლია შემთხვევითი შეცდომების შებრუნებული კოვარიანტული მატრიცის: . შეიძლება აჩვენოს, რომ ხაზოვანი მოდელის პარამეტრების GLS-შეფასების ფორმულას აქვს ფორმა ამ შეფასებების კოვარიანტული მატრიცა, შესაბამისად, ტოლი იქნება სინამდვილეში, OLS-ის არსი მდგომარეობს თავდაპირველი მონაცემების გარკვეულ (წრფივ) ტრანსფორმაციაში (P) და ჩვეულებრივ უმცირეს კვადრატების გამოყენებაში ტრანსფორმირებულ მონაცემებზე. ამ ტრანსფორმაციის მიზანია ის, რომ ტრანსფორმირებული მონაცემებისთვის შემთხვევითი შეცდომები უკვე აკმაყოფილებს კლასიკურ დაშვებებს. დიაგონალური წონის მატრიცის (და, შესაბამისად, შემთხვევითი შეცდომების კოვარიანტული მატრიცის) შემთხვევაში, ჩვენ გვაქვს ეგრეთ წოდებული შეწონილი უმცირესი კვადრატები (WLS - Weighted Least Squares). ამ შემთხვევაში, მოდელის ნარჩენების კვადრატების შეწონილი ჯამი მინიმუმამდეა დაყვანილი, ანუ თითოეული დაკვირვება იღებს „წონას“, რომელიც უკუპროპორციულია ამ დაკვირვებაში შემთხვევითი შეცდომის დისპერსიასთან: . ფაქტობრივად, მონაცემები გარდაიქმნება დაკვირვებების წონით (გაყოფა ოდენობით, რომელიც პროპორციულია შემთხვევითი შეცდომების სავარაუდო სტანდარტული გადახრის პროპორციულად), ხოლო ნორმალური უმცირესი კვადრატები გამოიყენება შეწონილ მონაცემებზე. განვიხილოთ შემთხვევა, როდესაც გარკვეული სკალარული რაოდენობის დამოკიდებულების შესწავლის შედეგად გარკვეულ სკალარული სიდიდეზე (ეს შეიძლება იყოს, მაგალითად, ძაბვის დამოკიდებულება მიმდინარე სიძლიერეზე: , სადაც არის მუდმივი მნიშვნელობა, გამტარის წინააღმდეგობა ), გაზომეს ეს რაოდენობები, რის შედეგადაც მიიღეს მნიშვნელობები და მათი შესაბამისი მნიშვნელობები. გაზომვის მონაცემები უნდა ჩაიწეროს ცხრილში. მაგიდა. გაზომვის შედეგები. კითხვა ასე ჟღერს: კოეფიციენტის რომელი მნიშვნელობა შეიძლება ავირჩიოთ დამოკიდებულების საუკეთესოდ აღსაწერად? უმცირესი კვადრატების მიხედვით, ეს მნიშვნელობა უნდა იყოს ისეთი, რომ მნიშვნელობების კვადრატული გადახრების ჯამი მნიშვნელობებისგან მინიმალური იყო კვადრატული გადახრების ჯამს აქვს ერთი უკიდურესი - მინიმუმი, რაც საშუალებას გვაძლევს გამოვიყენოთ ეს ფორმულა. მოდით ვიპოვოთ კოეფიციენტის მნიშვნელობა ამ ფორმულიდან. ამისათვის ჩვენ ვცვლით მის მარცხენა მხარეს შემდეგნაირად: ბოლო ფორმულა საშუალებას გვაძლევს ვიპოვოთ კოეფიციენტის მნიშვნელობა, რომელიც საჭირო იყო პრობლემაში. XIX საუკუნის დასაწყისამდე. მეცნიერებს არ ჰქონდათ გარკვეული წესები განტოლებათა სისტემის ამოხსნისთვის, რომელშიც უცნობის რაოდენობა განტოლებათა რაოდენობაზე ნაკლებია; მანამდე გამოიყენებოდა კონკრეტული მეთოდები, რაც დამოკიდებულია განტოლებების ტიპზე და კალკულატორების ინტელექტუალურობაზე და, შესაბამისად, სხვადასხვა კალკულატორები, ერთი და იგივე დაკვირვების მონაცემებიდან დაწყებული, სხვადასხვა დასკვნამდე მივიდნენ. გაუსს (1795) მიეწერება მეთოდის პირველი გამოყენება, ხოლო ლეჟანდრმა (1805) დამოუკიდებლად აღმოაჩინა და გამოაქვეყნა იგი მისი თანამედროვე სახელით (fr. Methode des moindres quarres
) . ლაპლასმა მეთოდი დააკავშირა ალბათობის თეორიას და ამერიკელმა მათემატიკოსმა ადრეინმა (1808) განიხილა მისი ალბათური აპლიკაციები. მეთოდი ფართოდ არის გავრცელებული და გაუმჯობესებულია ენკეს, ბესელის, ჰანსენის და სხვათა შემდგომი კვლევებით. უმცირესი კვადრატების მეთოდის იდეა ასევე შეიძლება გამოყენებულ იქნას სხვა შემთხვევებში, რომლებიც პირდაპირ არ არის დაკავშირებული რეგრესიის ანალიზთან. ფაქტია, რომ კვადრატების ჯამი არის ერთ-ერთი ყველაზე გავრცელებული სიახლოვის საზომი ვექტორებისთვის (ევკლიდური მეტრიკა სასრულ განზომილებიან სივრცეებში). ერთ-ერთი პროგრამაა წრფივი განტოლებების სისტემების „გადაწყვეტა“, რომლებშიც განტოლებების რაოდენობა ცვლადების რაოდენობაზე მეტია. სადაც მატრიცა არ არის კვადრატული, არამედ მართკუთხა. განტოლებათა ასეთ სისტემას, ზოგად შემთხვევაში, არ აქვს ამონახსნი (თუ რანგი რეალურად მეტია ცვლადების რაოდენობაზე). მაშასადამე, ამ სისტემის „გადაჭრა“ შესაძლებელია მხოლოდ ასეთი ვექტორის არჩევის მნიშვნელობით, რათა მინიმუმამდე დაიყვანოს „მანძილი“ ვექტორებსა და . ამისათვის შეგიძლიათ გამოიყენოთ კრიტერიუმი სისტემის განტოლებების მარცხენა და მარჯვენა ნაწილების კვადრატული განსხვავებების ჯამის მინიმიზაციისთვის, ანუ . ადვილია იმის ჩვენება, რომ ამ მინიმიზაციის პრობლემის ამოხსნა იწვევს განტოლებათა შემდეგი სისტემის ამოხსნას
MNC-ის არსი
LSM ხაზოვანი მოდელის შემთხვევაში
მაგალითი: მარტივი (წყვილი) რეგრესია
OLS შეფასების თვისებები
განზოგადებული უმცირესი კვადრატები
შეწონილი უმცირესი კვადრატები
LSM-ის პრაქტიკაში გამოყენების რამდენიმე განსაკუთრებული შემთხვევა
ხაზოვანი მიახლოება
გაზომვა No.
1
2
3
4
5
6
ამბავი
MNC-ების ალტერნატიული გამოყენება
