מבוא לשיטות נומריות/התאמת עקומים - רגרסיה

• הקדמה: נרצה להתאים עקום המתאים ביותר לנקודות נתונות. העקום עובר בין ולא בהכרח דרך הנקודות.

• מתי:

- בניית מודלים לקשרים בין משתנים - תוצאות ניסוי וכיוב'.

- מערכות משוואות overdetermined.

- נתונים עם שגיאות משמעותיות.

- אינטרפולציה אינה מתאימה - overfitting.

• הגדרות:

- נקודות נתונות:

$\ (x_{n},y_{n})\quad n=1,2,3,...,N$

משתנה בלתי תלוי - $\ x_{n}$

משתנה תלוי - $\ y_{n}$

- העקום המתאים ביותר לנקודות הנתונות: $\ {\hat {y}}(x)$

- שגיאת העקום (שארית): $\ \epsilon _{n}=y_{n}-{\hat {y}}(x_{n})$ -שגיאה

- קריטריון התאמה: least squares (סכום השגיאות הריבועיות המזערי)

$\ minSSR=\Sigma _{n=1}^{N}\epsilon _{n}^{2}=\Sigma _{n=1}^{N}(y_{n}-{\hat {y}}(x_{n}))^{2}$

ע"י קריטריון זה קובעים מהו העקום המתאים ביותר. עקום מסדר כלשהו שיתן ערך מינימלי של SSR יהיה המתאים ביותר.

- SSR של קו ישר: רגרסיה לינארית.

$\ {\hat {y}}_{n}=b_{0}+b_{1}x_{n}$

אמידת קו הרגרסיה

• עבור רגרסיה לינארית קריטריון ההתאמה הוא:

$\ min_{b_{0},b_{1}}SSR=\Sigma _{n=1}^{N}\epsilon _{n}^{2}=\Sigma _{n=1}^{N}(y_{n}-b_{0}-b_{1}x_{n})^{2}$

$\ b_{0},b_{1}$ הם מקדמי הרגרסיה. כדי למצוא אותם, נגזור ונשווה לאפס:

$\ {\frac {\partial SSR}{\partial b_{0}}}=-2\Sigma _{n=1}^{N}(y_{n}-b_{0}-b_{1}x_{n})=0$

$\ {\frac {\partial SSR}{\partial b_{1}}}=-2\Sigma _{n=1}^{N}(y_{n}-b_{0}-b_{1}x_{n})\cdot x_{n}=0$

• מתקבלת מערכת משוואות לינאריות עם פתרון יחיד:

$\ \left\{{\begin{matrix}Nb_{0}+(\Sigma _{n=1}^{N}x_{n})b_{1}=\Sigma _{n=1}^{N}y_{n}\\(\Sigma _{n=1}^{N}x_{n})b_{0}+(\Sigma _{n=1}^{N}x_{n}^{2})b_{1}=\Sigma _{n=1}^{N}y_{n}x_{n}\end{matrix}}\right.$

הפתרון:

$\ \left\{{\begin{matrix}b_{1}={\frac {N\Sigma x_{n}y_{n}-\Sigma x_{n}\Sigma y_{n}}{N\Sigma x_{n}^{2}-(\Sigma x_{n})^{2}}}\\b_{0}={\frac {\Sigma y_{n}}{N}}-b_{1}{\frac {\Sigma x_{n}}{N}}={\bar {y}}-b_{1}{\bar {x}}\end{matrix}}\right.$

אלה הם $\ b_{0},b_{1}$ האופטימליים.

השגיאה במודל הרגרסיה

שגיאה סטטיסטית - לא נומרית. $\ b_{0},b_{1}$ בעצמם הם חישוב של תוצאות מדגם או ניסוי. תוצאות אלו לכשעצמן אינן מדוייקות באופן מוחלט ולכן קיימת שגיאה סטטיסטית.

סטיית תקן - התפלגות הנקודה סביב הקו.

פיזור רחב יותר של נקודות סביב קו הרגרסיה ייתן סטיית תקן גדולה יותר.

$\ Se(y)={\sqrt {\frac {SSR}{N-2}}}={\sqrt {\frac {\Sigma (y-{\hat {y}})^{2}}{N-2}}}$ - שגיאת התקן של y.

איכות התאמת העקום

$\ SSR=\Sigma (y_{n}-{\hat {y}}_{n})^{2}$ - השגיאה (ככל שיותר קטנה - המודל מתאים טוב יותר)

=> תמיד $\ SSR\leq SST$

$\ SST=\Sigma (y_{n}-{\bar {y}})^{2}$ - שגיאות נתונים במודל הנאיבי. ($\ {\bar {y}}$ הוא הממוצע)

$\ SSE=SST-SSR=\Sigma ({\hat {y}}_{n}-{\bar {y}})^{2}$ - ההפרש

$\ R^{2}={\frac {SSE}{SST}}={\frac {\Sigma ({\hat {y}}_{n}-{\bar {y}})^{2}}{\Sigma (y_{n}-{\bar {y}})^{2}}}$

כשאר $\ {\frac {SSE}{SST}}$ היא השגיאה היחסית בין ההפרש למודל הנאיבי.

ככל ש- $\ R^{2}$ גדול יותר - ההתאמה יותר טובה. זה מעיד על כמה המודל שלנו טוב בהשוואה למודל הנאיבי. אם ההתאמה מושלמת אז $\ R^{2}=1$ אם אין קשר בין המשתנה התלוי והמשתנים הבלתי תלויים אז $\ R^{2}=0$.

רגרסיה במשתנים מרובים

$\ y_{n}=b_{0}+b_{1}x_{n1}+b_{2}X_{n2}+\cdots +b_{k-1}x_{nk-1}+\epsilon _{n}$

בכתיב מטריציוני: $\ y_{[Nx1]}=x_{[NxK]}\cdot b_{[kx1]}+\epsilon _{[Nx1]}$

• Least square:

$\ min_{[b]}SSR=\epsilon '\epsilon =(y-xb)'(y-xb)$

$\ {\frac {\partial SSR}{\partial b}}=-2x'(y-xb)=0\quad \Rightarrow \quad x'y=x'xb$

זהו b האופטימלי בכתיב מטריציוני:  $\ b=(x'x)^{-1}x'y$

• סטיית התקן ו- $\ R^{2}$:

$\ Se={\sqrt {\frac {SSR}{N-K}}}={\sqrt {\frac {\Sigma (y-{\hat {y}})^{2}}{n-k}}}$

$\ R^{2}={\frac {SSE}{SST}}={\frac {\Sigma ({\hat {y}}_{n}-{\bar {y}})^{2}}{\Sigma (y_{n}-{\bar {y}})^{2}}}$

• אם מוסיפים משתנים אז $\ R^{2}$ גם כן משתנה:

$\ {\bar {R}}^{2}=1-{\frac {SSR/N-K-1}{SSR/N-1}}=1-{\frac {(1-R^{2})(N-1)}{N-K-1}}$

התאמת עקומים לא לינאריים

עקום לא לינארי יהיה כזה שהפרמטרים שלו $\ b_{0},b_{1},b_{2},...,b_{n}$ אינם בקשר לינארי.

- לינארית: $\ ln(y)=b_{0}+b_{1}\cdot {\frac {1}{x}}$

- לא לינארית: $\ y=b_{0}+b_{1}\cdot x^{b_{2}}$

- כשאנו מחפשים עקום מתאים ביותר עלינו למצוא את [b] (הפרמטרים) האופטימליים ולכן הפרמטרים הם הנעלמים שלנו ולא המשתנים x, y .

שיטות פתרון אפשריות:

1) לינאריזציה של משתנים.

2) רגרסיה לא לינארית.

1) לינאריזציה של משתנים

• נשנה את המשתנים כך שהמודל יהיה לינארי בפרמטרים.

דוגמאות:

$\ y=b_{0}x^{b_{1}}\Leftrightarrow ln(y)=ln(b_{0})+b_{1}ln(x)$

$\ y=b_{0}e^{b_{1}x}\Leftrightarrow ln(y)=ln(b_{0})+b_{1}x$

$\ y=b_{0}{\frac {x}{b_{1}+x}}\Leftrightarrow {\frac {1}{y}}={\frac {b_{1}}{b_{0}}}\cdot {\frac {1}{x}}+{\frac {1}{b_{0}}}$

2) רגרסיה לא לינארית

סכום הריבועים $\ min_{b}SSR=\epsilon '\epsilon =(y-f(x,b)))'(y-f(x,b))=$

כאשר $\ (y-f(x,b)))'$ הוא וקטור עמודה ו- $\ (y-f(x,b))$ הוא וקטור שורה.

$\ {\frac {\partial SSR}{\partial b}}=0$

• מתקבלת מערכת משוואות לא לינאריות. פותרים ע"י:

- פתרון איטרטיבי למערכת משוואות לא לינאריות.

-לינאריזציה של המערכת סביב הפתרון הקיים.