Regression

Die Regressionsrechnung dient der Ermittlung oder Schätzung von Modellparametern. Ausgangspunkt sind Messwerte und ein Modell, dass den Messwerten zugrunde liegen soll. Da die Messwerte im allgemeinen Störungen unterliegen optimiert die Regressionsrechnung die Modellparameter zu einer optimalen Anpassung. Das grundlegende Verfahren ist die Methode der kleinsten Quadrate.

Methode der kleinsten Quadrate

Die Methode der kleinsten Quadrate ist ein Verfahren der Ausgleichsrechnung. Mit der Methode wird ein optimaler Kompromiss berechnet, bei dem die Quadrate der Abweichungen von der Modellfunktion minimiert werden.

Bezüglich der Messwerte (x_i,y_i) und der Modellfunktion f soll die quadratische Abweichung minimiert werden. Um das zu erreichen, werden die Parameter a_i der Modellfunktion so bestimmt, dass die folgende Bedingung erfüllt wird.

$$\sum _{i=1}^n{(f(x_i,\overrightarrow{a})-y_i)}^2\to \text{min}$$

Modellfunktion: Lineare Ausgleichsgerade

Zur Bestimmung der Ausgleichsgeraden wird eine lineare Modellfunktion f bei der Methode der kleinsten Quadrate verwendet.

$f(x,\overrightarrow{a})=a_0+a_{1}x$

Die Abweichung der Ausgleichsgeraden zu den Messwerten ist dann folgendermaßen gegeben.

$\begin{array}{c}{a}_0+a_1{x}_1-y_1=r_1\\ a_0+a_1{x}_2-y_2=r_2\\ ⋮\\ a_0+a_1{x}_n-y_n=r_n\end{array}$

Das Ziel beteht nun darin die Quadratsumme der Abweichungen r von der Geraden so klein wie möglich zu machen.

$\sum _{i=1}^n{r}_i^2$ $={(a_0+a_1{x}_1-y_1)}^2+\dots$ $+{(a_0+a_1{x}_n-y_n)}^2$ $\to \text{min}$

Das Extremum wird bestimmt, indem die partiellen Ableitungen nach a₀ und a₁ Null gesetzt werden.

$\frac{\partial }{\partial a_0}{(a_0+a_1{x}_1-y_1)}^2+\dots$ $+{(a_0+a_1{x}_n-y_n)}^2=0$

$\frac{\partial }{\partial a_1}{(a_0+a_1{x}_1-y_1)}^2+\dots$ $+{(a_0+a_1{x}_n-y_n)}^2=0$

Die Auflösung des Gleichungssystems liefert die Parameter a₀ und a₁ der Ausgleichsgeraden.

$$a_0=\bar{y}-a_1\bar{x}$$

$$a_1=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n{(x_i-\bar{x})}^2}$$

Online-Rechner:

Online-Rechner: Ausgleichs­gerade

Ausgleichsgerade bei Exponentialfunktionen

Liegt den Messwerten eine Exponentialfunktion zugrunde kann ebenfalls das lineare Modell für die Ausgleichsgerade verwendet werden. Dazu ist es erforderlich die Messwerte zu logarithmieren, weil sich dann durch Substitution wieder eine lineare Gleichung ergibt.

$y=b\cdot a^x$

Logarithmieren führt auf eine lineare Gleichung.

$\ln y=\ln b+x\ln a$

Mit den logarithmierten Messwerten y' und den Substitutionen a'= ln a und b'= ln b liegt das lineare Modell vor.

$\mathrm{y\text{'}}=\mathrm{b\text{'}}+\mathrm{a\text{'}}x$

Modellfunktion: Potenzfunktionen

Die Approximation einer Potenzfunktion erfolgt durch Rückführung auf die lineare Modellfunktion.

$y=a\cdot x^b$

Logarithmieren führt auf eine lineare Gleichung.

$\ln y=\ln a+b\ln x$

Mit den logarithmierten Messwerten y' und den Substitutionen a'= ln a und x'= ln x liegt das lineare Modell vor.

$\mathrm{y\text{'}}=\mathrm{a\text{'}}+b\mathrm{x\text{'}}$

Online-Rechner:

Online-Rechner: Potenz­approximation

Approximation (fit) der Gauß-Verteilung an Messwerte

Die Gauß-Verteilung auch Normalverteilung genannt ist folgendermaßen definiert:

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}\frac{{(x-\mu )}^2}{{\sigma }^2}}$

Die Anpassung (fit) der Gaussverteilung an die Messwerte erfolgt, indem der gewichtete Mittelwert der Messwerte gebildet wird. Der gewichtete Mittelwert entspricht dem μ in der Gaussverteilung. Die Standartabweichung der Messwerte von dem Mittelwert ist das σ in der Normalverteilung.

$\mu =\frac{\sum _{i=1}^n{x}_i{y}_i}{\sum _{i=1}^n{y}_i}$

$$\sigma =\sqrt{\frac{\sum _{i=1}^n{(x_i-\mu )}^2{y}_i}{\sum _{i=1}^n{y}_i}}$$

Online-Rechner:

Online-Rechner: Normal­verteilung Gauß­verteilung Plotter

Modellfunktion: Periodisch (Fourierreihe)

Messwerte können auch durch periodische Funktionen angenähert werden. Das Verfahren dazu ist die Entwicklung einer Fourierreihe. Die Elemente der Fourierreihe sind die Sinus- und Cosinusfunktionen. Die Entwicklung erfolgt nach aufsteigenden Frequenzen.

Die Fourierreihe lautet:

$$s_n(x)=\frac{a_0}{2}+\sum _{k=1}^n(a_{k}cos(k\omega x)+b_{k}sin(k\omega x))$$

mit den Fourierkoeffizienten a_k und b_k und ω = 2π/T. Dabei ist Periode T = b - a mit dem Intervallanfang a und dem Intervallende b.

Die Fourierkoeffizienten a_k und b_k erfüllen die kleinste Quadrate Bedingung für die zugehörige Sinus- bzw. Cosinusfunktion. Die Koeffizienten berechnen sich wie folgt.

$$a_k=\frac{2}{l}\underset{a}{\overset{\mathrm{b}}{\int }}f(x)cos(k\omega x)dx$$

$$b_k=\frac{2}{l}\underset{a}{\overset{\mathrm{b}}{\int }}f(x)sin(k\omega x)dx$$

Online-Rechner:

Online-Rechner: Fourier­approximation

Polynom-Approximation mit der QR-Methode

Das lineare Ausgleichsproblem wird mittels der QR-Zerlegung gelöst. Der Rechner bestimmt die Koeffizienten des Ausgleichspolynoms n-ten Grades.

Ausgangspunkt ist das überbestimmte Gleichungssystem:

$Ax=b$

$\text{mit}x\in {\mathbb{R}}^n\text{und}A\in {\mathbb{R}}^{n\mathrm{x}m}$

Die QR-Zerlegung führt auf die Faktorisierung der Matrix A:

$A=QR$

Damit gilt für das Ausgleichsproblem:

${\mathrm{||}Ax-b\mathrm{||}}_2^2={\mathrm{||}QRx-b\mathrm{||}}_2^2={\mathrm{||}{R}^{*}x-Q^{\mathrm{T*}}b\mathrm{||}}_2^2$

dabei sind R und Q auf den relevanten Anteil reduziert. D.h. R^* ist die obere Dreiecksmatrix von R und Q^T* enthält die zugehörigen Zeilen von Q.

Ersetzten von A durch die Vandermond-Matrix mit den entsprechenden Messwerten x_i und b durch die Messwerte y_i ergibt als Lösung des Gleichungssystems die Koeffizienten des Ausgleichspolynoms.

Online-Rechner:

Online-Rechner: Polynom­approximation

Mittelwerte und Standardabweichung

Die arithmetischen Mittel

$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

$$\bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i$$

Standardabweichung vom Mittelwert

$$\sigma =\sqrt{\frac{1}{n-1}\sum _{i=1}^n{(x_i-\bar{x})}^2}$$

Für die Standardabweichung von der Ausgleichsgeraden ist der Mittelwert von x durch den jeweiligen Funktionswert der Geraden zu ersetzen. D.h. es wird die Abweichung der Messwerte von der Geraden verwendet.

Gewichteter Mittelwert und Standardabweichung

Der gewichtete Mittelwert μ wird gebildet, indem die Messwerte mit ihrem jeweiligen Gewicht y_i multipliziert werden.

$\mu =\frac{\sum _{i=1}^n{x}_i{y}_i}{\sum _{i=1}^n{y}_i}$

In der Standardabweichung sind ebenfalls die jeweiligen Gewichte y_i zu berücksichtigen.

$$\sigma =\sqrt{\frac{\sum _{i=1}^n{(x_i-\mu )}^2{y}_i}{\sum _{i=1}^n{y}_i}}$$

Weitere Seiten

Rechner

Der Online-Rechner führt eine Ausgleichsrechnung nach der Methode der kleinsten Quadrate für folgende Funktionen durch: Ausgleichs­gerade, Potenz­approximation, Ausgleichs­polynom, Normal­verteilung und Fourier­approximation. Die Eingabe der Messwerte kann mittels einer Tabelle erfolgen oder alternativ können die Daten aus einer Datei eingelesen werden. Es werden die Parameter der Ausgleichsfunktion berechnet und die Funktion wird grafisch dargestellt.

Hier gehts zum Online-Rechner:

Online-Rechner: Ausgleichs­gerade, Potenz­approximation, Ausgleichs­polynom, Normal­verteilung, Fourier­approximation

Liste weiterer Seiten:

Index

Trigonometrie Gauß­verteilung Plotter Ableitungs­regeln Lineares Gleichungssystem NxN Gauss Rechner Fourierreihe