1 · Regresi linier sederhana: model
- Model hubungan dependensi 2 variabel: 1 prediktor (X) & 1 dependen (Y). Hubungan tidak deterministik (statistikal: estimasi rata-rata Y)
Model: Y = α + βx + ε
garis regresi: μY|x = α + βx
garis fitted: ŷ = a + bx ; residual ei = yi − ŷi
garis regresi: μY|x = α + βx
garis fitted: ŷ = a + bx ; residual ei = yi − ŷi
- α intercept (ŷ saat x=0), β slope (perubahan rata-rata Y per 1 satuan x); tanda b = arah hubungan
- ε variabel random, E(ε) = 0, berdistribusi normal, var = σ²
- Random error (ε) ≠ residual (e); a, b = estimator α, β
- a dan b variabel random (dihitung dari y yang random; berubah antar sampel) → dasar inferensi
2 · Least squares & langkah hitung
Pilih a, b yang meminimalkan SSE = Σe² = Σ(y − a − bx)² (turunan thd a, b = 0). Σe biasa selalu 0, jadi tidak jadi kriteria.
b = Sxy/Sxx = Σ(x−x̄)(y−ȳ) / Σ(x−x̄)²
b = [nΣxy − ΣxΣy] / [nΣx² − (Σx)²]
a = ȳ − b x̄
b = [nΣxy − ΣxΣy] / [nΣx² − (Σx)²]
a = ȳ − b x̄
(1,2)(2,4)(3,5)(4,4)(5,5): x̄=3, ȳ=4; Sxy=6; Sxx=10 → b=0,6; a=4−1,8=2,2; ŷ(6)=2,2+3,6=5,8. Cek: ŷ=2+3x, x=4 → 14.
SSE=2,4; SSR=3,6; SST=6 → r²=0,60; s²=2,4/3=0,80; t=2,12; F=4,5=t².
3 · Penguraian variasi & r²
SST = SSR + SSE
Σ(y−ȳ)² = Σ(ŷ−ȳ)² + Σ(y−ŷ)²
r² = SSR/SSTpersen variasi Y yang dijelaskan X; 0 ≤ r² ≤ 1
Σ(y−ȳ)² = Σ(ŷ−ȳ)² + Σ(y−ŷ)²
r² = SSR/SSTpersen variasi Y yang dijelaskan X; 0 ≤ r² ≤ 1
- Tanpa X, prediksi = ȳ (error y−ȳ); dengan regresi, error berkurang sebesar (ŷ−ȳ)
- s² = SSE/(n−2) = MSE; s = Std. Error of the Estimate. d.o.f. residual = n−2 (2 parameter a, b diestimasi)
- SSR = 60, SSE = 40 → r² = 60/100 = 0,60
4 · Inferensi β dan α
σ²B = σ² / Σ(x−x̄)²
σ²A = Σx² σ² / [nΣ(x−x̄)²]
s² = Σ(y−ŷ)² / (n−2) (MSE)
σ²A = Σx² σ² / [nΣ(x−x̄)²]
s² = Σ(y−ŷ)² / (n−2) (MSE)
β: CI: b ± tα/2 s/√Sxx
uji: T = (b − β) / (s/√Sxx)
α: CI: a ± tα/2 s √(Σx²) / √(nSxx)
uji: T = (a − α) / [ s √(Σx²/(nSxx)) ]
- t Student, d.o.f n−2; H0: β=0
- Sig. < α → tolak H0; CI tidak memuat 0 ↔ signifikan
- Regresi sederhana: F = t² (uji F ≡ uji t slope)
5 · Contoh output: investasi vs pajak (n=10)
| Output | Nilai | Hitungan |
|---|---|---|
| (Const.) B | 5033,884 | ŷ saat pajak 0 |
| Pajak B (SE) | −55,104 (4,385) | t = −55,104/4,385 = −12,57 |
| Beta; CI B | −0,976; (−65,2; −45,0) | Beta = r; CI tak memuat 0 |
| ANOVA | SSR 1.951.721,8; SSE 98.855,1; SST 2.050.576,9 | df 1; 8; 9 |
| F | 157,946 | = t² = 157,95; Sig. 0,000 |
| R, R² | 0,976; 0,952 | r² = SSR/SST = 0,952 |
| Adj. R² | 0,946 | |
| MSE; s | 12.356,9; 111,16 | 98.855,1/8 (bukan 10) |
- Tafsir: pajak +1 poin % → rata-rata investasi turun ≈ 55,1 ribu US$; 95,2% variasi dijelaskan; signifikan
- Prediksi pajak 10%: 5033,884 − 551,04 = 4482,8 ribu US$ (x di dalam rentang 5–30%)
6 · Prediksi dengan regresi
CI rataan μY|x0: ŷ0 ± tα/2 s √[1/n + (x0−x̄)²/Sxx]
Selang prediksi Y0: ŷ0 ± tα/2 s √[1 + 1/n + (x0−x̄)²/Sxx]
Selang prediksi Y0: ŷ0 ± tα/2 s √[1 + 1/n + (x0−x̄)²/Sxx]
- t, d.o.f n−2. Selang prediksi respons tunggal lebih lebar (ada suku “1+”); makin jauh x0 dari x̄, makin lebar
- Jangan prediksi di luar rentang x (ekstrapolasi)
7 · Analisis korelasi
- Mengukur kekuatan hubungan dua variabel random (koefisien korelasi ρ; asosiasi linier)
r = b √(Sxx/Syy)
H0: ρ=0 → t = b/(s/√Sxx) atau t = r√(n−2)/√(1−r²)
H0: ρ=ρ0 → z = (√(n−3)/2) [ ln((1+r)/(1−r)) − ln((1+ρ0)/(1−ρ0)) ]
H0: ρ=0 → t = b/(s/√Sxx) atau t = r√(n−2)/√(1−r²)
H0: ρ=ρ0 → z = (√(n−3)/2) [ ln((1+r)/(1−r)) − ln((1+ρ0)/(1−ρ0)) ]
- r bertanda sama dengan b, −1 ≤ r ≤ 1, tak bergantung satuan; b bergantung satuan
- Regresi sederhana: Beta terstandar = r; r² = koefisien determinasi
- Signifikan (p kecil) ≠ prediksi bagus: cek r² (mis. p<0,001 tetapi r² = 0,12 → hubungan nyata, daya prediksi rendah)
8 · Linierisasi data nonlinier
| Fungsi | Transformasi | Regresikan |
|---|---|---|
| Eksponensial y=αeβx | y*=ln y | y* thd x |
| Power y=αxβ | y*=log y; x*=log x | y* thd x* |
| Resiprokal y=α+β(1/x) | x*=1/x | y thd x* |
| Hiperbola y=x/(α+βx) | y*=1/y; x*=1/x | y* thd x* |
- Pertumbuhan relatif konstan (mis. 20%/tahun) → eksponensial: ln y thd x
- X skewed (0–100, tapi 80% data di 0–10): pakai log X, Y tetap skala awal → tafsir diminishing return X
9 · Regresi majemuk: model & matriks
Y = β0 + β1X1 + … + βkXk + ε
ŷ = b0 + b1X1 + … + bkXk
SSE = (y−Xb)'(y−Xb) → (X'X)b = X'y → b = (X'X)−1X'y
var(b) = s²(X'X)−1 (SE = akar diagonal)
ŷ = b0 + b1X1 + … + bkXk
SSE = (y−Xb)'(y−Xb) → (X'X)b = X'y → b = (X'X)−1X'y
var(b) = s²(X'X)−1 (SE = akar diagonal)
X: n×(k+1), kolom pertama 1; y: n×1; ada k+1 parameter.
| Sumber | d.f. | MS |
|---|---|---|
| Regresi SSR | k | SSR/k |
| Error SSE | n−(k+1) | SSE/(n−k−1) = s² |
| Total SST | n−1 |
R² = SSR/SST ; F = MSR/MSE ; R²adj = 1 − (1−R²)(n−1)/(n−k−1)rumus adjusted R² & F standar; di slide: adjusted R² = R² dengan penalti
Panjang bayi n=42,k=5: SSR 28,164; SST 50,786 → R²=0,555; adj=1−0,445×41/36=0,493; MSR=5,633; MSE=22,622/36=0,628 → F=8,96; s=0,79. IP (n=8,k=2): R²=0,976; adj 0,966; F=100,0.
10 · Tujuan, desain & 6 tahap
| Prediksi | Penjelasan |
|---|---|
| maksimalkan kemampuan prediksi (mis. time series), boleh korbankan interpretasi | model berbasis teori; baca: kepentingan variabel, jenis hubungan, interrelasi antar IV |
- Hubungan statistikal = estimasi rata-rata Y; fungsional = nilai eksak
- Pilih variabel berdasar kerangka teori. Specification error: mengikutkan variabel tak relevan atau melupakan variabel relevan
- Sampel minimum 5 × jumlah IV (Hair, 1998): 7 IV → 35
- Masalah penelitian (tujuan, pilih var.)
- Desain (sampel, power; transformasi, dummy, polynomial, interaksi)
- Asumsi
- Teknik estimasi (spesifikasi peneliti / sequential)
- Signifikansi (R², SE est., koef.) & interpretasi (beta, multikolinearitas)
- Validasi (split sample, PRESS)
11 · Asumsi & pola residual
linieritasvariansi error konstan (homoskedastis)independensi errorerror normal
- Normalitas dikenakan pada error, bukan pada tiap variabel independen
- Plot residual vs ŷ: acak = baik; lengkung = tak linier; corong = heteroskedastis
- Pelanggaran linieritas → transformasi (eksponensial, power, resiprokal, hiperbola)
12 · Variabel dummy & interaksi
- Variabel nonmetrik dengan k kategori → k−1 dummy (indicator coding atau effect coding); kategori semua-0 = kelompok kontrol
- Koefisien dummy = selisih rata-rata kategori itu thd kategori acuan (variabel lain tetap)
Jenjang D3,S1,S2,S3 → 3 dummy. IP = 2,0 + 0,2 JamBel + 0,3 Gender (perempuan=1): mahasiswi 5 jam = 2,0+1,0+0,3 = 3,3; laki-laki = 3,0.
Moderasi: Y = b0 + b1X1 + b2X2 + b3X1X2b3 = efek moderasi: efek X1 berbeda antar kelompok X2. Uji b3.
Mis. eksposur iklan lebih kuat pada perempuan: penjualan = b0 + b1 Eksposur + b2 Gender + b3 Eksposur×Gender. b3 = +0,1 → jam belajar 10% lebih efektif bagi mahasiswi.
13 · Estimasi: enter vs sequential
- Enter (confirmatory): semua variabel masuk; kekurangan: tidak parsimoni
- Sequential (stepwise, forward/backward): variabel sesedikit mungkin, hanya yang signifikan
- Uji F = model keseluruhan (semua IV bersama); uji t = tiap IV. Model signifikan belum tentu semua IV signifikan; ekstrem: model signifikan tanpa satu IV signifikan → multikolinearitas tinggi
- Partial correlation: korelasi Xi–Y setelah efek IV lain dikeluarkan dari Xi dan Y
Panjang bayi (enter): F=8,964 (Sig. 0,000); R²=0,555. Sig.: usia hamil 0,000; rokok B=−0,022 (0,042); tinggi ibu 0,011; usia ibu 0,719; tinggi ayah 0,997 → yang terakhir tidak signifikan. Stepwise: masuk usia hamil → tinggi ibu → rokok.
14 · Beta, multikolinearitas, VIF
- Koef. regresi (B) peka satuan; Beta (dari nilai standardisasi) bisa membandingkan kontribusi IV berbeda satuan
- Efek multikolinearitas: sulit memisahkan efek tiap IV; membatasi R²; singularity → koef. salah estimasi
VIF = 1 / tolerancetolerance < 0,1 atau VIF > 10 = bermasalah
| tolerance | 0,5 | 0,05 | 0,839–0,929 |
|---|---|---|---|
| VIF | 2 | 20 (>10) | 1,08–1,19 (aman) |
Deteksi: matriks korelasi Pearson, tolerance, VIF. Remedial: buang IV berkorelasi tinggi · model hanya untuk prediksi · pakai korelasi sederhana IV–DV · metode lebih canggih
15 · Validasi & kehati-hatian prediksi
- Validasi: sampel baru, atau data yang ada: split (80% estimasi : 20% validasi) / bootstrapping
- Model lebih banyak IV selalu R² lebih besar → tak adil; pakai adjusted R² (penalti, prinsip parsimoni); adj ≤ R²
- Prediksi: sampel bervariasi · hubungan berubah seiring waktu · jangan di luar rentang IV
16 · Observasi berpengaruh (influential)
3 jenis: outlier (residual besar), leverage (nilai IV unik), influential (efek tidak proporsional pada hasil). Outlier tak harus influential.
- Residual: normal; standardized; deleted; studentized; studentized deleted
- Hat value (diag. H, Ŷ=HY) besar jika > 2p/n (sampel besar), > 3p/n (kecil); atau jarak Mahalanobis
- Cook’s D = Σ(ŷj(i)−ŷj)²/[(p+1)s²]: > 4/(n−p−1) atau > 1. n=42, p=5: 4/36 = 0,111
- SDFBETA: ±1 atau ±2 (sampel kecil); ±2√n (tertulis di slide)
- COVRATIO: 1 ± 3p/n · SDFFIT: 2√[(k+1)/(n−k−1)]