Metoda najmniejszych kwadratow ( Dokladniej "linear least squares" bo przeciez mamy tez nieliniowe minimalne kwadraty. Mowa o liniowosci dla parametrow hiperplaszczyzny ) jest najczesciej stosowana metoda estymacji nieznanych parametrow modelu. Metoda jest podstawa statystyki. Karl Gauss twierdzil ze metode wynalazl w 1794 roku ale jej nie opublikowal. Francuz Legendre opublikowal ja w 1805 roku natomiast Gauss w 1809 roku dal analize metody z rozkladem normalnym bledow "Gaussa". Metode stosowano poczatkowo w geodezji ( rozne pomiary dawaly rozne wyniki i trzeba bylo wyliczyc najlepsza wartosc ) i astronomi a pozniej we wszelkich pomiarach.
Obecnie metoda najmniejszych kwadratow oprocz statystyki i pomiarow jest koniem roboczym w adaptacyjnym przetwarzaniu sygnalow oraz w dziedzinie regulatorow adaptacyjnych i samonastrajajacych sie.
Co ciekawe rownania normalne mozna wyprowadzic na kilka sposobow.
Znajomośc przekatnej macierzy kowariancji pozwala w oparciu o rozklad t Studenta (William Gosset mial ksywe Student) okreslic przedzialy ufnosci dla estymat przy okreslonym poziomie istotnosci przy podanych stopniach swobody. Jest to istotne gdy estymaty parametrow maja konkretny wymiar techniczny lub ekonomiczny lub finansowy. Przy pracy recznej poslugujemy sie tablicami rozkladu t Studenta jako ze wyliczenie rozkladu wymaga uzycia funkcji Gamma Eulera, ktorej wyliczenia sa czasochlonne. Dla malej wartosci liczby stopni swobody n roznica z gestościa standardowego rozkladu normalnego jest spora by przy n>30 zupelnie zaniknac.
Jesli wymagania na dokladnosc okreslenia przedzialow ufnosci estymat sa niewielkie ich wyliczenie jest wzglednie proste i szybkie a udzial tablic i czlowieka jest wyeliminowany. Programem ( algorytm ) mozemy dokonac chocby kolejnego, innego sprytnego wyboru zmiennych objasniajacych i ocenic jakosc objasniania i w koncu dotrzec do "najlepszego" modelu objasniajacego dane zjawisko. Program robi cos co dawniej bylo zarezerowane dla czlowieka ! Sam szuka zwiazkow. Majac odpowiednio duza baze danych statystycznych mozna automatycznie poszukiwac przeroznych zwiazkow w gospodarce.
Twierdzenie Gaussa-Markowa zaklada ze bledy-residua kolejnych obserwacji modelu sa nieskorelowane, maja zerowa wartosc oczekiwana i taka sama wariancje. Nie jest wymagany normalny rozklad bledow ! Jesli jednak bledy maja rozklad normalny to estymator minimalnokwadratowy jest jednoczesnie estymatorem o najwiekszej wiarygodnosci: Margenau H., Murphy G., "The Mathematics of Physics and Chemistry". Princeton, Van Nostrand NY 1956.
Metoda najmniejszych kwadratow jest krytykowana wlasnie z punktu wystepowania nie-normalnosci rozkladu bledow.
Wedle fundamentalnego twierdzenia Gaussa-Markowa estymator metody najmniejszych kwadratow jest:
- zgodny czyli zbiezny wraz z kolejnymi obserwacjami do prawdziwej wartosci parametru
- nieobciazony gdyz wartosc oczekiwana jest rowna prawdziwej wartosci
- najefektywniejszy w klasie nieobciazonych estymatorow liniowych to znaczy ma najmniejsza wariancje .
Spelnienie restrykcyjnych warunkow do zgodnosci, nieobciazonosci i efektywnosci estymacji jest bardzo trudne.
- Struktura rzeczywistego obiektu / zjawiska jest nieznana i model ja tylko przybliza co przekresla zalozenia
- Istnienie sprzezen zwrotnych miedzy wejsciami a wyjsciem niweczy niezaleznosc wejsc i wyjscia.
Naiwna proba odwrocenie macierzy rownan normalnych stwarza problemy ( tym wieksze im wiecej jest obserwacji a przeciez estymaty maja byc tym lepsze im wiecej jest obserwacji ! ) jako ze zadanie jest zle uwarunkowane numerycznie. Wyznaczniki bywaja bliskie zeru a elementy rozne sa o cale wielkosci rzedow. Pionierska jest praca: Wilkinson, J.H. 1963. Chapter 3: "Matrix Computations", Rounding Errors in Algebraic Processes, London. National Physical Laboratory, Notes in Applied Science, No.32).
Zadanie daje sie jednak latwo rozwiazac.
- Zmodyfikowana metoda eliminacji Gaussa jest stabilna numerycznie i daje dodatkowo uzyteczna macierz kowariancji
- Metoda Cholesky’ego czyli rozklad LU jest prosta i obie operacje podstawiania ( od gory i od dolu) sa dobrze uwarunkowane numerycznie.
- Przeksztalcenie Housholdera daje podwojenie dokladności ( ilosci cyfr znaczacych) kosztem podwojenia ilosci operacji.
Kazda metode i algorytm trzeba przetestowac aby wiedziec czego mozna i nalezy sie spodziewac. Koncern IBM i inne dla swoich bibliotek udostepniaja zestawy danych testowych. Dobrze jest przed wlasciwym uzyciem procedury w konstruowanym programie uzyc jej testowo aby przekonac sie ze o to wlasnie konkretnie nam chodzi. Ta "zabawa" w testowanie oszczedzi nam pozniej kupe czasu.
Zwykle metoda najmniejszych kwadratow znajdujemy przyblizenie ( estymaty) parametrow rozwiazan nadokreślonych ukladow rownan liniowych. To znaczy zestawow rownan ( jedna obserwacja to jedno rownanie), jest duzo wiecej niz parametrow i zmiennych.
Powstaje pytanie - czy metoda najmniejszych kwadratow zadziala bez nadokreslenia gdy rownan jest tyle co parametrow ? Oczywiscie dziala. Po wyliczeniu parametrow ( w tym przypadku to nie sa estymaty ale rozwiazania ukladow rownan liniowych ) residua maja byc idealnie zerowe a ich niezerowosc daje nam obraz dokladnosci algorytmu podobnie jak dokladnosc rozwiazan.
W sytuacji rosnacego nadokreslania zobaczymy zbieznosc estymat, ktora w pewnym momencie sie konczy wlasnie z racji zlego uwarunkowania numerycznego. Dodanie kolejnych obserwacji nie polepsza estymat. Nie powinno jednak dojsc ( przy planowanej ilosci obserwacji) do rozbierznosci estymat !
Przyklad.
Wspolczynnik umieralnosci niemowlat to liczba zgonow niemowlat ( dziecko do ukonczenia pierwszego roku zycia ) przypadajaca na 1000 urodzen zywych. Smierc noworodkow ( pierwszy miesiac zycia ) to mniej wiecej 2/3 tej umieralnosci. W Afryce wspolczynnik umieralnosci przekracza 100 a w Japonii wynosi 2. W historii umieralnosc niemowlat byla potworna a i obecnie w krajach nedzy jest wysoka.
Profesor-anestezjolog Virginia Apgar w 1953 roku podala sposob APGAR (Appearance, Pulse, Grimace, Activity, Respiration) okreslenia stanu noworodka w 1, 5 i 15 minucie zycia w skali od 0 do 10 punktow. Ocenia sie ( kazda pozycja 0..2 punktow ):
- Appearance czyli kolor skory
- Pulse czyli puls
- Grimace czyli reakcja na bodzce
- Activity czyli napiecie miesni
- Respiration czyli oddychanie
Wynik 10-8 oznacza stan dobry, 7-4 stan sredni a 3-0 rokowanie niepomyslne. Mankamentem APGAR jest spora subiektywnosc ocen lakarzy.
Metoda najmniejszych kwadratow mozna sie przekonac ze stan noworodaka APGAR to:
bieda, zla_woda, region_skazony, obciazenie_genetyczne, matka_chora, matka_pali, matka_pije, wczesniactwo.
Radykalna poprawe zdrowotnosci przyniosly w XIX wieku wodociagi i kanalizacja. Sytuacje poprawila publiczna sluzba zdrowia i masowe szczepienia.
Wielki kryzys mial tragiczny przebieg w przedwojennej Polsce. Glodzenie dzieci negatywnie wplywalo na rozwoj fizyczny i umyslowy dzieci. Badania przeprowadzone przez lekarzy w 1934 roku wskazywaly , ze niemowleta wiejskich biedakow i bezrobotnych mialy 0,58 kg niedoboru wagi i 1,9 cm niedoboru wzrostu. Dzieciom w wieku 2- 7 lat odpowiednio brakowalo 0,97 kg i az 4,2 cm wzrostu. Dzieci te sa opoznione umyslowo.
Atakujacy nas w 1939 roku niemieccy zolnierze byli srednio wyzsi i mieli wieksza wage. NB Byli pod wplywem narkotykow maskujacych zmeczenie i strach.
Karl Gauss rekurencyjna metode najmniejszych kwadratow odkryl w 1821 roku po czym jako bezuzyteczna byla zapomniana a przynajmniej ignorowana. Ponownie metode "odkryto" w latach piecdziesiatych tego wieku. Metoda znana jest w literaturze i jej trywialne przytaczanie jest zbedne. Skupmy uwage na rzeczach istotnych.
Rekursja dla macierzy kowariancji P nastepuje zgodnie z rownaniem algebraicznym Riccatiego i tym samym przypomina filtr Kalmana !
Pare rzeczy zbiega sie w jednym miejscu i ladnie sie one wzajemnie intuicyjnie tlumacza.
Algebraiczne rownanie Riccatiego podaje rozwiazanie dla stacjonarnego regulatora liniowo-kwadratowego (LQR) i stacjonarnego regulatora liniowo-kwadratowego-Gaussa (LQG) z nieskonczonym horyzontem (oba).
Problem zlego uwarunkowania numerycznego jak najbardziej wystepuje w wersji rekurencyjnej. Krotko omowiony w artykule - "Stabilny numerycznie algorytm identyfikacji", Pomiary, Automatyka,Kontrola, 11/1988 s 251-253 - algorytm Biermana dziala calkiem niezle. Pokazano przyklad identyfikacji obiektu dynamicznego bez regulatora a to z uwagi na nieprzekraczalne wymogi objetosci artykulu, ktory pierwotnie mial byc szerszy.
Uzyto obiektow: dwuinwercyjny, trojinercyjny, oscylacyjny z zerem, oscylacyjny z zerem i opoznieniem, nieminimalnofazowy, calkujacy, niestabilny oscylacyjnie, niestabilny monotonicznie.
Przy regulacji nadaznej ( Czyli zmieniany jest sygnal zadany jako zrodlo zmian w obiekcie pozwalajace dokonac identyfikacji. Bez zmian identyfikacja dynamiczna jest niewykonalna ) w pelni satysfakcjonujacy ( z obiektem nieminimalnofazowym jest srednio ) wynik uzyskuje sie tylko z regulatorem minimalnowariancyjnym z kosztem sterowania ale takze wyniki z regulatorem czasoptymalnym i PID sa dobre ale nie z obiektami niestabilnymi.
W przypadku zaklocanej szumem regulacji stalowartosciowej tylko regulator minimalnowariancyjny z kosztem sterowania daje dobre wyniki.
W obu wypadkach nie ma zadnej roznicy miedzy identyfikacja metoda najmniejszych kwadratow i trudniejsza najwiekszej wiarygodnosci.
Symulacje pokazuja ze wybor czasu opoznienia modelu wiekszego od czasu obiektu bardzo pogarsza regulacje.
Autor na zasadzie pracy odtworczej dokonal z uzyciem algorytmu Biermana takich samych symulacji jak Kurtz uzyskujac identyczne wyniki !
Czy regulatory samonastrajajace i adaptacyjne sa juz dojrzale i co moze dac ich zastosowanie ?
Koniem roboczym automatyki przemyslowej jest obecnie regulator PI i PID obsadzajacy ponad 95% zadan. Norma jest wadliwe nastrojenie nastaw regulatorow lub w ogole nie podjecie nastawienia i pozostawienie nowego stanu fabrycznego. W dominujacej czesci obiektow regulatory przelaczone sa na Manual i operator recznie prowadzi proces. Co jest powodem tego stanu rzeczy ? Nastrojenie regulatora PI-PID jest czasochlonne i bardzo kosztowne. Potrzebna wiedze i doswiadczenie maja tylko koncerny co stawia je w bardzo uprzywilejowanej pozycji. Zatem nastrojenie regulatorow PI-PID daloby konkretna korzysc ale poniewaz operator i tak musi byc obecny, wymierna w pieniadzu korzysc jest nieduza.
Ale jeszcze wiekszych korzysci trzeba upatrywac w regulacji owych 5% trudnych obiektow z ktorymi absolutnie nie daje sobie rady regulator PID i ludzie. Te obiekty to reaktory w przemysle chemicznym i petrochemicznym gdzie wytwarza sie poszukiwane substancje czyli pieniadze. Bardzo klopotliwe sa takze kolumny destylacyjne.
Polska chemia jest bardzo zapozniona. Szczegolnie malo produkujemy tworzyw sztucznych i to nawet na tle NRD i Czechoslowacji.
Komputer PC AT autora ma karta przetwornikow A/D - D/A. Realny obiekt dwuinercyjny to po prostu dwa rezystory i dwa kondensatory. Rzeczywisty, powazny obiekt to czajnik elektryczny sterowany sterownikiem z triakiem i sensor PT100 z prosciutkim wzmacniaczem.
Regulator adaptacyjny z symulowanymi obiektami dziala identycznie z rzeczywistymi - fizycznymi obiektami ale na widzach robi jednak duzo wieksze wrazenie ! Identyfikacja sterowanego obiektu dwuinercyjnego jest momentalna z racji praktycznego braku szumow jako ze przetworniki sa 12 bitowe.
To informacje z najwyższej półki. Szok. Nie do uwierzenia że to było w Polsce.
OdpowiedzUsuńAz trudno uwierzyć ze bo było w Polsce. Bardziej pasuje MIT albo NASA.
OdpowiedzUsuń