בדיקת השערה

מדריך פשוט וקצר לבדיקת השערה באמצעות Python

תמונה מתוך: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

בבלוג זה אתן הדרכה קצרה לבדיקת השערה בשיטות סטטיסטיות בפיתון. בדיקת השערה היא חלק מהשיטה המדעית שכולנו מכירים, דבר שלמדנו כנראה בשנות החינוך המוקדמות שלנו. עם זאת, בסטטיסטיקה ניסויים רבים נעשים על מדגם של אוכלוסייה.

"קביעת מה שמערכת תצפיות מדגימות מספרת לנו על הסבר מוצע, באופן כללי, מחייבת אותנו להסיק, או כפי שאנו מכנים זאת הסטטיסטים, לסיבה בוודאות. הנמקה באי וודאות היא ליבת ההשלכה הסטטיסטית והיא נעשית בדרך כלל בשיטה המכונה בדיקת משמעות להיפותזה של Null. " -תנורים.

כדוגמה לבלוג זה, אשתמש במערך נתוני כדורגל אירופאי שנמצא ב- Kaggle, ואבצע בדיקות השערה. את מערך הנתונים ניתן למצוא כאן.

שלב 1

ערכו תצפית

הצעד הראשון הוא התבוננות בתופעות. במקרה זה, יהיה זה: האם ישנה השפעה של תוקפנות הגנתית על יעדים המותרים בממוצע?

שלב 2

בחן את המחקר

הלך רוח טוב לעבור הוא עבודה חכמה ולא קשה יותר. דבר טוב לעשות הוא לבדוק אם כבר קיים מחקר הנוגע לתצפית שלך. אם כן הדבר עשוי לסייע במענה על שאלתנו. היכרות עם מחקרים או ניסויים קיימים שכבר יעזרו לנו לבנות טוב יותר את הניסוי שלנו, או אולי אפילו לענות על השאלה שלנו ולא נצטרך לבצע את הניסוי מלכתחילה.

שלב 3

טופס השערה אפסית והשערה אלטרנטיבית

השערה חלופית היא הניחוש המשכיל שלנו והשערת אפס היא פשוט ההפך. אם ההשערה האלטרנטיבית קובעת שיש קשר משמעותי בין שני משתנים, ההשערה האפסית קובעת כי אין קשר משמעותי.

ההשערה האפסית שלנו תהיה: אין הבדל סטטיסטי ביעדים המותרים בקבוצות עם דירוג תוקפנות הגנה גדול או שווה ל 65 לעומת קבוצות מתחת לגיל 65.

השערה אלטרנטיבית: יש הבדל סטטיסטי ביעדים המותרים עם קבוצות עם דירוג תוקפני הגנה גדול או שווה ל 65 לעומת קבוצות מתחת לגיל 65.

שלב 4

קבע אם ההשערה שלנו היא מבחן חד-זנב או מבחן דו-זנב.

מבחן חד זנב

"אם אתה משתמש ברמת משמעות של 0.05, מבחן חד-זנב מאפשר לכל האלפא שלך לבדוק את המשמעות הסטטיסטית בכיוון האחד של העניין." דוגמה למבחן חד זנב הייתה "קבוצות כדורגל עם דירוג תוקפנות נמוך מ -65 מאפשרות סטטיסטית משמעותית יותר יעדים מאשר קבוצות עם דירוג נמוך מ -65."

מבחן דו-זנב

"אם אתה משתמש ברמת משמעות של 0.05, מבחן דו-זנב מאפשר למחצית האלפא שלך לבדוק את המשמעות הסטטיסטית בכיוון אחד ומחצית האלפא שלך לבדוק את המשמעות הסטטיסטית בכיוון השני. המשמעות היא ש- 0.025 נמצא בכל זנב של חלוקת נתוני הבדיקה שלך. "

בעזרת מבחן דו-זנב אתה בודק את המשמעות הסטטיסטית בשני הכיוונים. במקרה שלנו אנו בודקים את המשמעות הסטטיסטית בשני הכיוונים.

שלב 5

קבע רמת סף משמעות (אלפא)

(ערך אלפא): הסף השולי בו אנו בסדר עם דחיית השערת האפס. ערך אלפא יכול להיות כל ערך שקבענו בין 0 ל -1. עם זאת, ערך האלפא הנפוץ ביותר במדע הוא 0.05. אלפא שנקבע ל- 0.05 פירושו שאנחנו בסדר לדחות את השערת האפס למרות שיש סיכוי של 5% ומטה שהתוצאות נובעות מאקראיות.

ערך P: ההסתברות המחושבת להגיע לנתונים אלה באופן אקראי.

אם אנו מחשבים ערך p וזה מסתכם ב- 0.03, נוכל לפרש זאת באומרו "יש סיכוי של 3% שהתוצאות שאני רואה נובעות למעשה מאקראיות או מזל טהור".

תמונה מ- Learn.co

המטרה שלנו היא לחשב את ערך ה- p ולהשוות אותו לאלפא שלנו. ככל שהאלפא נמוכה יותר כך הבדיקה מחמירה יותר.

שלב 6

בצע דגימה

כאן יש לנו את מערך הנתונים שלנו שנקרא כדורגל. לצורך הבדיקה שלנו, אנו זקוקים רק לשתי עמודות בערכת הנתונים שלנו: team_def_aggr_rating ו יעדים_מותר. נסנן את זה לשתי עמודות אלה ואז ניצור שתי קבוצות משנה לקבוצות עם דירוג תוקפנות הגנתית גבוה או שווה ל 65 ולקבוצות עם דירוג תוקפנות הגנתית מתחת ל 65.

רק כדי לסכם מחדש את מבחן ההשערה שלנו:

השפעת תוקפנות הגנה על שערים מותרים בממוצע. השערה אפסית: אין הבדל סטטיסטי ביעדים המותרים בקבוצות עם דירוג תוקפני הגנה גדול או שווה ל 65 לעומת קבוצות מתחת לגיל 65. השערה אלטרנטיבית: יש הבדל סטטיסטי ביעדים שמותר לצוותים עם דירוג תוקפני הגנה גדול יותר מאשר או שווה ל 65 לעומת קבוצות מתחת לגיל 65. אלפא מבחן דו-זנב: 0.05

כעת יש לנו שתי רשימות של דוגמאות עליהן נוכל לבצע בדיקות סטטיסטיות. לפני אותו שלב, אני אתווה את שתי ההפצות כדי לקבל חזותית.

שלב 7

בצע מבחן T דו-מדגם

מבחן ה- T הדגימה משמש לשימוש כדי לקבוע אם שני אמצעי אוכלוסיה שווים. לשם כך נשתמש במודול Python הנקרא statsmodels. אני לא אפרט יותר מדי על מודלים סטטיסטיים אבל אתה יכול לראות את התיעוד כאן.

שלב 8

העריכו והסיקו

נזכיר כי האלפא שקבענו היה = 0.05. כפי שאנו יכולים לראות מתוצאות הבדיקה כי ערך ה- p הוא פחות מאלפא שלנו. אנו יכולים לדחות את השערת האפס שלנו ובביטחון של 95% לקבל את ההשערה האלטרנטיבית שלנו.

תודה שקראת! לקבלת מידע מעמיק יותר על בדיקות השערה, תוכלו לבדוק את הפרויקט הקבוצתי הזה ב- GitHub בו הייתי מעורב בבדיקת השערה כאן.

משאבים:

תנורים, מתיו. "סטטיסטיקה ו"השיטה המדעית" נשלח מ- YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

מבוא ל- SAS. UCLA: קבוצת ייעוץ סטטיסטי. מ https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (ניגש למאי 16, 2019).

ספר סטטיסטי להנדסה. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm