Розвідувальний аналіз

Частина з циклу Статистика
Унаочнювання даних
Головні виміри Розвідувальний аналіз Інформаційний дизайн Інтерактивне унаочнення даних Описова статистика Висновувальна статистика Статистичний графік Діаграма залежності Аналіз даних Інфографіка Наука про дані
Лідери думки Джон Тьюкі Едвард Тафті Гедлі Уікгем
Типи інформаційних графіків Лінійна діаграма Стовпчикова діаграма Гістограма Точкова діаграма Коробковий графік Діаграма Парето Секторна діаграма Діаграма з областями Контрольний графік Циклограма Діаграма «стовбур — листя» Картограма Панельна діаграма Іскрографік Таблиця
Пов'язані теми Дані Інформація Великі дані База даних Неінформативні елементи Зір Регресійний аналіз Статистична модель Оманливий графік

Розвідувальний аналіз даних (англ. Exploratory data analysis, EDA) займається попереднім експрес-аналізом даних шляхом їх перетворення та/або представлення у зручному вигляді: графічному, табличному, схем, діаграм і т.д.

Спостереження за однією змінною

Пробіт-графік

Будується таким чином: Нехай ${\mathfrak {F}}$ - клас розподілів типу зсув-масштабу, з базовою функцією $F_{0}(\cdot )$ . Спочатку по вибірці $\xi :x_{1},\cdot ,x_{n}$ ,будується емпірична функція розподілу $F(x)$ , а сама пробіт-функція:

$y=F_{0}^{-1}(F(x))$

а) Якщо пробіт-функція майже пряма, то гіпотеза про те, що функція спостерігається на даній величині типу зсув масштабу справедлива.

$H_{0}:F_{\xi }(\cdot )\in {\mathfrak {F}}$ ( В протилежному випадку гіпотеза несправедлива)

б) Якщо є кількість точок, що лежать осторонь усіх інших точок графіка, то спостерігаємо аномальне явище у вибірці.

$y=F_{0}^{-1}(F(x))\approx F_{0}^{-1}(F_{\xi }(x))={\frac {x}{b}}-{\frac {a}{b}}$

Ймовірнісний графік

Ідея та ж сама, тільки зі спотвореною віссю y. Маємо множину $\{x\in \mathbb {R} ,y\in [0,1]\}$ , яку розтягують за правилом

$(x,y)\to (x,F_{0}^{-1}(y))$

Папір (декартова площина), де спотворюється масштаб, називають імовірнісним папером. Якщо за розподіл взяти нормальний розподіл, то такий папір називається нормальним імовірнісним папером.

Будуємо графік функції $y=F_{\xi }(x)$ для спостереження величини $\xi$.

Спотворений масштаб - смуга на $y$ , від 0 до 1. Розтягується на всю площину.

Отримуємо набір ймовірностей. Набір для класу розподілів

Звисні гістобари

Звисні гістобари - це один з графіків розвідувального аналізу, для перевірки гіпотези відповідності вибірки нормальному розподілу.

Нормальним розподілом найбільш узгодженим з даною вибіркою називається нормальний розподіл параметри (медіана та дисперсія) якого побудовані на базі вибірки.

Щоб побудувати графік висячих гістобар спочатку малюють нормальний розподіл найбільш узгоджений з даною вибіркою, потім проводять процедуру групування. Посередині кожного інтервалу за графік розподілу підвішують прямокутник, довжина якого пропорційна відносній частоті потрапляння значень в інтервал.

Якщо основи цих гістобар несуттєво відхиляється від осі OX, то гіпотеза про нормальність вибірки приймається. Інакше відхиляється.

Підвішена коренеграма

Для вибірки проводять групування, і для кожного інтервалу обчислюють величину

${\sqrt {\nu _{e}^{(i)}}}-{\sqrt {\nu _{\tau }^{(i)}}}$,

де $\nu _{e}^{(i)}$ - емпірична частота попадань в інтервал, а $\nu _{\tau }^{(i)}$ - теоретична частота обчислена згідно з узгодженим з вибіркою розподілом.

Нормальним розподілом найбільш узгодженим з даною вибіркою називається нормальний розподіл параметри (медіана та дисперсія) якого побудовані на базі вибірки.

Випадок спостереження за двома змінними

Діаграма розсіювання

Всю площину розбивають на пікселі. І в залежності від того скільки значень потрапило всередину даного пікселя, кольору пікселя присвоюють яскравість чи насиченість.

Таблиця спряженості

Будується для двох випадкових змінних що приймають скінченне число значень. В першому рядку записують можливі значення першої змінної, в першому стовпцю - другої. І на перетині i-того рядка, та j-того стовпця записують скільки разів перша змінна прийняла і-те значення, одночасно з тим, як друга змінна прийняла j-те.