לדלג לתוכן

מבוא לשיטות נומריות/התאמת עקומים - רגרסיה

מתוך ויקיספר, אוסף הספרים והמדריכים החופשי
  • הקדמה: נרצה להתאים עקום המתאים ביותר לנקודות נתונות. העקום עובר בין ולא בהכרח דרך הנקודות.
  • מתי:

- בניית מודלים לקשרים בין משתנים - תוצאות ניסוי וכיוב'.

- מערכות משוואות overdetermined.

- נתונים עם שגיאות משמעותיות.

- אינטרפולציה אינה מתאימה - overfitting.


  • הגדרות:

- נקודות נתונות:

 (xn,yn)n=1,2,3,...,N

משתנה בלתי תלוי -  xn

משתנה תלוי -  yn


- העקום המתאים ביותר לנקודות הנתונות:  ŷ(x)


- שגיאת העקום (שארית):  ϵn=yn−ŷ(xn) -שגיאה

- קריטריון התאמה: least squares (סכום השגיאות הריבועיות המזערי)

 minSSR=Σn=1Nϵn2=Σn=1N(yn−ŷ(xn))2

ע"י קריטריון זה קובעים מהו העקום המתאים ביותר. עקום מסדר כלשהו שיתן ערך מינימלי של SSR יהיה המתאים ביותר.

- SSR של קו ישר: רגרסיה לינארית.

 ŷn=b0+b1xn


אמידת קו הרגרסיה

  • עבור רגרסיה לינארית קריטריון ההתאמה הוא:

 minb0,b1SSR=Σn=1Nϵn2=Σn=1N(yn−b0−b1xn)2

 b0,b1 הם מקדמי הרגרסיה. כדי למצוא אותם, נגזור ונשווה לאפס:

 ∂SSR∂b0=−2Σn=1N(yn−b0−b1xn)=0

 ∂SSR∂b1=−2Σn=1N(yn−b0−b1xn)⋅xn=0

  • מתקבלת מערכת משוואות לינאריות עם פתרון יחיד:


 {Nb0+(Σn=1Nxn)b1=Σn=1Nyn(Σn=1Nxn)b0+(Σn=1Nxn2)b1=Σn=1Nynxn

הפתרון:

 {b1=NΣxnyn−ΣxnΣynNΣxn2−(Σxn)2b0=ΣynN−b1ΣxnN=y¯−b1x¯

אלה הם  b0,b1 האופטימליים.


השגיאה במודל הרגרסיה

שגיאה סטטיסטית - לא נומרית.  b0,b1 בעצמם הם חישוב של תוצאות מדגם או ניסוי. תוצאות אלו לכשעצמן אינן מדוייקות באופן מוחלט ולכן קיימת שגיאה סטטיסטית.

סטיית תקן - התפלגות הנקודה סביב הקו.

פיזור רחב יותר של נקודות סביב קו הרגרסיה ייתן סטיית תקן גדולה יותר.

 Se(y)=SSRN−2=Σ(y−ŷ)2N−2 - שגיאת התקן של y.

איכות התאמת העקום

 SSR=Σ(yn−ŷn)2 - השגיאה (ככל שיותר קטנה - המודל מתאים טוב יותר)

=> תמיד  SSR≤SST

 SST=Σ(yn−y¯)2 - שגיאות נתונים במודל הנאיבי. ( y¯ הוא הממוצע)

 SSE=SST−SSR=Σ(ŷn−y¯)2 - ההפרש

 R2=SSESST=Σ(ŷn−y¯)2Σ(yn−y¯)2

כשאר  SSESST היא השגיאה היחסית בין ההפרש למודל הנאיבי.


ככל ש-  R2 גדול יותר - ההתאמה יותר טובה. זה מעיד על כמה המודל שלנו טוב בהשוואה למודל הנאיבי. אם ההתאמה מושלמת אז  R2=1 אם אין קשר בין המשתנה התלוי והמשתנים הבלתי תלויים אז  R2=0.

רגרסיה במשתנים מרובים

 yn=b0+b1xn1+b2Xn2+⋯+bk−1xnk−1+ϵn

בכתיב מטריציוני:  y[Nx1]=x[NxK]⋅b[kx1]+ϵ[Nx1]

  • Least square:

 min[b]SSR=ϵ′ϵ=(y−xb)′(y−xb)

 ∂SSR∂b=−2x′(y−xb)=0⇒x′y=x′xb

זהו b האופטימלי בכתיב מטריציוני:   b=(x′x)−1x′y
  • סטיית התקן ו-  R2:

 Se=SSRN−K=Σ(y−ŷ)2n−k

 R2=SSESST=Σ(ŷn−y¯)2Σ(yn−y¯)2

  • אם מוסיפים משתנים אז  R2 גם כן משתנה:

 R¯2=1−SSR/N−K−1SSR/N−1=1−(1−R2)(N−1)N−K−1


התאמת עקומים לא לינאריים

עקום לא לינארי יהיה כזה שהפרמטרים שלו  b0,b1,b2,...,bn אינם בקשר לינארי.

- לינארית:  ln(y)=b0+b1⋅1x

- לא לינארית:  y=b0+b1⋅xb2

- כשאנו מחפשים עקום מתאים ביותר עלינו למצוא את [b] (הפרמטרים) האופטימליים ולכן הפרמטרים הם הנעלמים שלנו ולא המשתנים x, y .

שיטות פתרון אפשריות:

1) לינאריזציה של משתנים.

2) רגרסיה לא לינארית.


1) לינאריזציה של משתנים

  • נשנה את המשתנים כך שהמודל יהיה לינארי בפרמטרים.

דוגמאות:

 y=b0xb1⇔ln(y)=ln(b0)+b1ln(x)

 y=b0eb1x⇔ln(y)=ln(b0)+b1x

 y=b0xb1+x⇔1y=b1b0⋅1x+1b0


2) רגרסיה לא לינארית

סכום הריבועים  minbSSR=ϵ′ϵ=(y−f(x,b)))′(y−f(x,b))=

כאשר  (y−f(x,b)))′ הוא וקטור עמודה ו-  (y−f(x,b)) הוא וקטור שורה.

 ∂SSR∂b=0


  • מתקבלת מערכת משוואות לא לינאריות. פותרים ע"י:

- פתרון איטרטיבי למערכת משוואות לא לינאריות.

-לינאריזציה של המערכת סביב הפתרון הקיים.