Оманливий графік
Частина з циклу Статистика |
Унаочнювання даних |
---|
Лідери думки |
У статистиці оманливий графік, також відомий як спотворений графік, — це графік, який спотворює дані, що є неправильним використанням статистичних даних і в результаті може привести до неправильного висновку.
Графіки можуть вводити в оману через те, що вони надто складні або погано побудовані. Навіть якщо графіки побудовані для точного відображення характеристик своїх даних, вони можуть бути піддані різним інтерпретаціям, або ненавмисно можуть бути отримані дані, які зрештою є помилковими.[1]
Оманливі графіки можуть бути створені навмисно, щоб перешкодити належній інтерпретації даних, або випадково через незнайомство з програмним забезпеченням для побудови графіків[en], неправильне тлумачення даних або тому, що дані не можуть бути точно передані. У неправдивій рекламі[en] часто використовуються оманливі графіки. Одним із перших авторів, які написали про оманливі графіки, був Даррел Хафф[en], автор книги 1954 року "Як брехати за допомогою статистики".
Галузь візуалізації даних описує способи представлення інформації, які дозволяють уникнути створення оманливих графіків.
Однак він [оманливий графік] набагато ефективніший, оскільки він не містить прикметників чи прислівників, які б псували ілюзію об’єктивності, ніхто нічого не міг би вам прив’язати.— Даррел Хафф, How to Lie with Statistics (1954)[2]
Є багато способів, якими можна побудувати оманливий графік.[3]
Використання графіків там, де вони не потрібні, може призвести до непотрібної плутанини/інтерпретації.[4] Як правило, чим більше пояснень потребує графік, тим менше потрібен сам графік.[4] Графіки не завжди передають інформацію краще, ніж таблиці.[5]
Використання упереджених або навантажених слів у заголовку графіка, мітках осей або підписі може неналежним чином привернути увагу[en] читача.[4][6]
Подібним чином спроба провести лінії тренду через некорельовані дані може змусити читача ввести в оману думкою, що тренд існує там, де його немає. Це може бути як результатом навмисної спроби ввести читача в оману, так і результатом явища ілюзорної кореляції.
- Порівняння кругових діаграм різних розмірів може ввести в оману, оскільки люди не можуть точно прочитати порівняльну площу кіл.[7]
- Використання тонких шматочків, які важко розрізнити, може бути важким для інтерпретації.[7]
- Використання відсотків як міток на круговій діаграмі може ввести в оману, якщо розмір вибірки невеликий.[8]
- Створення тривимірної кругової діаграми або додавання нахилу ускладнить інтерпретацію через ефект викривлення перспективи.[9] Смугові діаграми, у яких різна висота сегментів, можуть заплутати читача.[9]
Порівнювати дані на стовпчастих діаграмах зазвичай набагато простіше. На зображенні нижче дуже важко визначити, де синій сектор більший за зелений сектор на кругових діаграмах.
(3D) кругова діаграма з перспективою використовується для надання діаграмі тривимірного вигляду. Третій вимір, який часто використовують з естетичних міркувань, не покращує читання даних; навпаки, ці сюжети важко інтерпретувати через ефект викривлення перспективи, пов'язаної з третім виміром. Використання зайвих розмірів, які не використовуються для відображення цікавих даних, не рекомендується для діаграм взагалі, а не лише для кругових діаграм.[10] На тривимірній круговій діаграмі сегменти, які розташовані ближче до читача, здаються більшими за ті, що знаходяться позаду, через кут, під яким вони представлені.[11] Цей ефект робить читачів менш продуктивними в оцінці відносної величини кожного зрізу при використанні 3D, ніж при використанні 2D[12]
Елемент C виглядає принаймні таким же великим, як елемент A на оманливій круговій діаграмі, тоді як насправді він вдвічі менший. Предмет D виглядає набагато більшим за предмет B, але вони однакового розміру.
Едвард Тафті, видатний американський статистик, зазначив, чому таблицям можна надати перевагу секторним діаграмам у Візуальному відображенні кількісної інформації :[5]
Таблиці є кращими, ніж графіки для багатьох невеликих наборів даних. Таблиця майже завжди краща, ніж тупа кругова діаграма; Єдине, що гірше за кругову діаграму, — це декілька кругових діаграм, оскільки тоді глядачеві пропонується порівняти величини, розташовані в просторовому безладді як усередині секторів, так і між ними. Враховуючи їх низьку щільність даних і нездатність упорядкувати числа за візуальним виміром, секторні діаграми ніколи не слід використовувати.
Використання піктограм у гістограмах не повинно бути однаково масштабованим, оскільки це створює оманливе порівняння.[13] Інтерпретується площа піктограми, а не лише її висота чи ширина.[14] Це призводить до того, що масштабування різниці здається зведеним в квадрат.[14]
Неправильне масштабування 2D-піктограм на стовпчиковому графіку Неправильне масштабування Звичайне Порівняння
На стовпчиковій діаграмі піктограми з неправильним масштабом зображення для B насправді в 9 разів більше, ніж A.
Розмір, що сприймається, збільшується при масштабуванні.
Ефект неправильного масштабування піктограм додатково проявляється, коли піктограма має 3 виміри, у цьому випадку ефект є кубічним.[15]
Графік продажів будинків (ліворуч) вводить в оману. Здається, у 2001 році продажі будинків зросли у вісім разів порівняно з попереднім роком, тоді як насправді вони зросли вдвічі. Крім того, кількість продажів не уточнюється.
Піктограма неправильного масштабу також може свідчити про те, що сам предмет змінився в розмірі.[16]
Якщо припустити, що зображення представляють еквівалентні кількості, оманливий графік показує, що бананів більше, тому що банани займають найбільшу площу і розташовані найдальше праворуч.
Логарифмічні шкали є дійсним засобом представлення даних. Але якщо вони використовуються без чіткого позначення як логарифмічні ваги або показані читачеві, який з ними не знайомий, вони можуть ввести в оману. Логарифмічна шкала подає значення даних як певний ступінь від вибраного числа (основа логарифму). Основою часто є число e (2,71828…) або 10. Наприклад, логарифмічні шкали можуть давати висоту 1 для значення 10 у даних і висоту 6 для значення 1 000 000 (106) у даних. Логарифмічні шкали та варіанти зазвичай використовуються, наприклад, для індексу вулканічної вибуховості, шкали Ріхтера для землетрусів, величини зірок і рН кислих і лужних розчинів. Навіть у цих випадках логарифмічна шкала може зробити дані менш очевидними для ока. Часто причиною використання логарифмічних шкал є те, що автор графіка бажає відобразити на одній осі дуже різні масштаби. Без логарифмічних ваг порівняння таких величин, як 103 проти 109, стає візуально непрактичним. Графік із логарифмічною шкалою, яка не була чітко позначена як така, або графік із логарифмічною шкалою, представлений глядачеві, який не знав логарифмічної шкали, загалом призведе до представлення, у якому значення даних виглядатимуть однакового розміру, насправді, будучи дуже різними величинами. Неправильне використання логарифмічної шкали може призвести до того, що дуже різні значення (наприклад, 10 і 10 000) виглядатимуть близько одне до одного (у логарифмічній шкалі з базою 10 вони будуть лише 1 і 4). Або малі значення можуть здаватися від'ємними через те, як логарифмічні шкали представляють числа, менші за основу.
Неправильне використання логарифмічних шкал також може призвести до того, що зв'язки між величинами виглядатимуть лінійними, тоді як ці співвідношення є експоненціальними або степеневими законами, які дуже швидко зростають до вищих значень. Було заявлено, хоча в основному в жартівливій формі, що «будь-що виглядає лінійним на логарифмічному графіку з товстим маркером».[17]
Обидва графіки показують однакову експоненційну функцію f(x) = 2x. На графіку ліворуч використовується лінійна шкала, що чітко демонструє експоненційний тренд. Однак на графіку праворуч використовується логарифмічний масштаб, який створює пряму лінію. Якщо б читач графіків не знав про це, графік виглядав би як лінійний тренд.
Усічений графік (також відомий як розірваний) має вісь Y, яка не починається з 0. Ці графіки можуть створити враження важливих змін там, де змін відносно мало.
Хоча скорочені графіки можна використовувати для перекреслення відмінностей або для економії місця, їх використання часто не рекомендується. Комерційне програмне забезпечення, таке як MS Excel, за замовчуванням буде скорочувати графіки, якщо всі значення знаходяться у вузькому діапазоні, як у цьому прикладі. Щоб показати відносні відмінності значень з часом, можна використати індексну діаграму. Усічені діаграми завжди візуально спотворюють базові числа. Декілька досліджень виявили, що навіть якщо люди були правильно поінформовані про те, що вісь ординат обрізана, вони все одно переоцінюють фактичні відмінності, часто суттєво.[18]
Ці графіки відображають ідентичні дані ; однак на скороченій гістограмі ліворуч дані показують значні відмінності, тоді як на звичайній гістограмі праворуч ці відмінності майже не помітні.
Є кілька способів позначити розриви осі y :
Зміна максимуму осі y впливає на вигляд графіка. Вищий максимум призведе до того, що графік матиме меншу волатильність, менший ріст і менш круту лінію, ніж нижчий максимум.
Зміна співвідношення розмірів графіка Original graph Half-width, twice the height Twice width, half-height
Зміна співвідношення розмірів графіка вплине на вигляд графіка.
Масштаби графіка часто використовуються, щоб перебільшити або мінімізувати відмінності.[19][20]
Оманлива гістограма без шкали Менша різниця Більша різниця
Відсутність початкового значення для осі y робить незрозумілим, чи графік усічено. Крім того, відсутність позначок не дозволяє читачеві визначити, чи правильно масштабовано стовпчики графіка. Без шкали можна легко маніпулювати візуальною різницею між стовпчиками.
Хоча всі три графіки мають однакові дані, а отже, фактичний нахил даних (x, y) однаковий, спосіб побудови даних може змінити візуальний вигляд кута, утвореного лінією на графіку. Це пояснюється тим, що кожен графік має інший масштаб на своїй вертикальній осі. Оскільки масштаб не показано, ці графіки можуть ввести в оману.
Інтервали та одиниці, що використовуються на графіку, можна маніпулювати для створення або пом'якшення виразу зміни.[11]
Графіки, створені з пропущеними даними, видаляють інформацію, на основі якої можна зробити висновок.
Точковий графік з пропущеними категоріями Точковий графік з пропущеними категоріями Звичайний точковий графік
На діаграмі розсіювання з відсутніми категоріями ліворуч зростання виглядає більш лінійним із меншою варіацією.
У фінансових звітах негативні прибутки або дані, які не співвідносяться з позитивним прогнозом, можуть бути виключені, щоб створити більш сприятливе візуальне враження.
Настійно не рекомендується використовувати зайвий третій вимір, який не містить інформації, оскільки це може заплутати читача.[9]
-
Третій вимір може заплутати читача[9]
-
Синій стовпчик попереду здається більшим через перспективу, хоча вони відображають однакові значення
-
При масштабуванні у трьох вимірах ефект змін зводиться у куб
Графіки створені для полегшення інтерпретації статистичних даних. Однак графіки з надмірною складністю можуть заплутати дані та ускладнити інтерпретацію.
Погано побудовані графіки можуть ускладнити розпізнавання та інтерпретацію даних.
Оманливі графіки можуть бути використані, у свою чергу, для екстраполяції оманливих тенденцій.[21]
Було розроблено кілька методів, щоб визначити, чи спотворені графіки, і кількісно визначити це спотворення.[22][23]
де
Графік із високим коефіцієнтом брехні (>1) перебільшував би зміни в даних, які він представляє, тоді як графік із малим коефіцієнтом брехні (>0, <1) приховував би зміни в даних.[24] Абсолютно точний графік демонстрував би коефіцієнт брехні 1.
де
Індекс невідповідності графіка, також відомий як індекс викривлення графіка (ІВГ), спочатку був запропонований Полом Джоном Стейнбартом у 1998 році. ІВГ розраховується як відсоток у діапазоні від −100 % до позитивної нескінченності, при цьому нульовий відсоток вказує на те, що графік було правильно побудовано, а все, що виходить за межі ±5 % поля, вважається спотвореним.[22] Дослідження використання ІВГ як міри викривлення графіки показали, що він є непослідовним та непостійним, що ускладнює використання ІВГ як вимірювання для порівняння.[22]
Співвідношення даних і чорнила має бути відносно високим. Інакше на діаграмі можуть бути непотрібні графічні елементи.[24]
Щільність даних має бути відносно високою, інакше таблиця може краще підходити для відображення даних.[24]
Графіки корисні для зведення та інтерпретації фінансових даних.[25] Графіки дозволяють бачити тенденції у великих наборах даних, а також дозволяють інтерпретувати дані неспеціалістам.[25][26]
Графіки часто використовуються в корпоративних річних звітах як форми управління враженнями.[27] У Сполучених Штатах графіки не потребують аудиту, оскільки вони підпадають під дію розділу 550 AU «Інша інформація в документах, що містять перевірені фінансові звіти».[27]
Кілька опублікованих досліджень розглядали використання графіків у корпоративних звітах для різних корпорацій у різних країнах і виявили часте використання неналежного дизайну, вибірковості та спотворення вимірювань у цих звітах.[27][28][29][30][31][32][33] Наявність оманливих графіків у річних звітах призвела до запитів щодо встановлення стандартів.[34][35][36]
Дослідження виявили, що хоча читачі з низьким рівнем фінансового розуміння мають більше шансів бути дезінформованими оманливими графіками[37], навіть ті, хто має фінансове розуміння, наприклад кредитні спеціалісти, можуть бути введені в оману.[34]
Сприйняття графів вивчається в психофізиці, когнітивній психології та комп'ютерному баченні.[38]
- Chartjunk[en]
- Управління враженнями
- Зловживання статистикою
- Парадокс Сімпсона
- Як брехати за допомогою статистики
- ↑ Kirk, p. 52
- ↑ Huff, p. 63
- ↑ Nolan, pp. 49–52
- ↑ а б в Methodology Manual: Data Analysis: Displaying Data - Deception with Graphs (PDF). Texas State Auditor's Office. 4 січня 1996. Архів оригіналу (PDF) за 2 квітня 2003.
{{cite web}}
: Недійсний|url-status=bot:unknown
(довідка) - ↑ а б Tufte, Edward R. (2006). The visual display of quantitative information (вид. 4th print, 2nd). Cheshire, Conn.: Graphics Press. с. 178. ISBN 9780961392147.
- ↑ Keller, p. 84
- ↑ а б Whitbread, p. 150
- ↑ Soderstrom, Irina R. (2008), Introductory Criminal Justice Statistics, Waveland Press, с. 17, ISBN 9781478610342.
- ↑ а б в г Whitbread, p. 151
- ↑ Few, Stephen (August 2007). Save the Pies for Dessert (PDF). Visual Business Intelligence Newsletter. Perceptual Edge. Процитовано 28 червня 2012.
- ↑ а б Rumsey, p. 156.
- ↑ Siegrist, Michael (1996). The use or misuse of three-dimensional graphs to represent lower-dimensional data. Behaviour & Information Technology. 15 (2): 96—100. doi:10.1080/014492996120300.
- ↑ Weiss, p. 60.
- ↑ а б Utts, pp. 146—147.
- ↑ Hurley, pp. 565—566.
- ↑ Huff, p. 72.
- ↑ Akin's Laws of Spacecraft Design. spacecraft.ssl.umd.edu. Процитовано 14 березня 2021.
- ↑ Hanel, Paul H.P.; Maio, Gregory R.; Manstead, Antony S. R. (2019). A New Way to Look at the Data: Similarities Between Groups of People Are Large and Important. Journal of Personality and Social Psychology. 116 (4): 541—562. doi:10.1037/pspi0000154. PMC 6428189. PMID 30596430.
- ↑ Smith, Karl J. (1 січня 2012). Mathematics: Its Power and Utility. Cengage Learning. с. 472. ISBN 978-1-111-57742-1. Процитовано 24 липня 2012.
- ↑ Moore, David S.; Notz, William (9 листопада 2005). Statistics: Concepts And Controversies. Macmillan. с. 189—190. ISBN 978-0-7167-8636-8. Процитовано 24 липня 2012.
- ↑ Smith, Charles Hugh (29 березня 2011). Extrapolating Trends Is Exciting But Misleading. Business Insider. Процитовано 23 вересня 2018.
- ↑ а б в Mather, Dineli R.; Mather, Paul R.; Ramsay, Alan L. (July 2003). Is the Graph Discrepancy Index (GDI) a Robust Measure?. doi:10.2139/ssrn.556833.
- ↑ Mather, Dineli; Mather, Paul; Ramsay, Alan (1 червня 2005). An investigation into the measurement of graph distortion in financial reports. Accounting and Business Research. 35 (2): 147—160. doi:10.1080/00014788.2005.9729670.
- ↑ а б в Craven, Tim (6 листопада 2000). LIS 504 - Graphic displays of data. Faculty of Information and Media Studies. London, Ontario: University of Western Ontario. Архів оригіналу за 24 червня 2011. Процитовано 9 липня 2012.
- ↑ а б Fulkerson, Cheryl Linthicum; Marshall K. Pitman; Cynthia Frownfelter-Lohrke (June 1999). Preparing financial graphics: principles to make your presentations more effective. The CPA Journal. 69 (6): 28—33.
- ↑ McNelis, L. Kevin (1 червня 2000). Graphs, An Underused Information Presentation Technique. The National Public Accountant. 45 (4): 28—30. (необхідна підписка)
- ↑ а б в Beattie, Vivien; Jones, Michael John (1 червня 1999). Financial graphs: True and Fair?. Australian CPA. 69 (5): 42—44.
- ↑ Beattie, Vivien; Jones, Michael John (1 вересня 1992). The Use and Abuse of Graphs in Annual Reports: Theoretical Framework and Empirical Study (PDF). Accounting and Business Research. 22 (88): 291—303. doi:10.1080/00014788.1992.9729446.
- ↑ Penrose, J. M. (1 квітня 2008). Annual Report Graphic Use: A Review of the Literature. Journal of Business Communication. 45 (2): 158—180. doi:10.1177/0021943607313990.
- ↑ Frownfelter-Lohrke, Cynthia; Fulkerson, C. L. (1 липня 2001). The Incidence and Quality of Graphics in Annual Reports: An International Comparison. Journal of Business Communication. 38 (3): 337—357. doi:10.1177/002194360103800308.
- ↑ Mohd Isa, Rosiatimah (2006). The incidence and faithful representation of graphical information in corporate annual report: a study of Malaysian companies. Technical Report. Institute of Research, Development and Commercialization, Universiti Teknologi MARA. Архів оригіналу за 15 серпня 2016. Also published as: Mohd Isa, Rosiatimah (2006). Graphical Information in Corporate Annual Report: A Survey of Users and Preparers Perceptions. Journal of Financial Reporting and Accounting. 4 (1): 39—59. doi:10.1108/19852510680001583.
- ↑ Beattie, Vivien; Jones, Michael John (1 березня 1997). A Comparative Study of the Use of Financial Graphs in the Corporate Annual Reports of Major U.S. and U.K. Companies (PDF). Journal of International Financial Management and Accounting. 8 (1): 33—68. doi:10.1111/1467-646X.00016.
- ↑ Beattie, Vivien; Jones, Michael John (2008). Corporate reporting using graphs: a review and synthesis. Journal of Accounting Literature. 27: 71—110. ISSN 0737-4607.
- ↑ а б Christensen, David S.; Albert Larkin (Spring 1992). Criteria For High Integrity Graphics. Journal of Managerial Issues. Pittsburg State University[en]. 4 (1): 130—153. JSTOR 40603924.
- ↑ Eakin, Cynthia Firey; Timothy Louwers; Stephen Wheeler (2009). The Role of the Auditor in Managing Public Disclosures: Potentially Misleading Information in Documents Containing Audited Financial Statements (PDF). Journal of Forensic & Investigative Accounting. 1 (2). ISSN 2165-3755. Архів оригіналу (PDF) за 24 лютого 2021. Процитовано 12 листопада 2022.
- ↑ Steinbart, P. (September 1989). The Auditor's Responsibility for the Accuracy of Graphs in Annual Reports: Some Evidence for the Need for Additional Guidance. Accounting Horizons: 60—70.
- ↑ Beattie, Vivien; Jones, Michael John (2002). Measurement distortion of graphs in corporate reports: an experimental study (PDF). Accounting, Auditing & Accountability Journal. 15 (4): 546—564. doi:10.1108/09513570210440595.
- ↑ Frees, Edward W; Robert B Miller (Jan 1998). Designing Effective Graphs (PDF). North American Actuarial Journal. 2 (2): 53—76. doi:10.1080/10920277.1998.10595699. Архів оригіналу (PDF) за 16 лютого 2012.
{{cite journal}}
: Недійсний|url-status=bot:unknown
(довідка)
- Huff, Darrell (1954). How to lie with statistics. pictures by Irving Geis (вид. 1st). New York: Norton. ISBN 0393052648.
- Hurley, Patrick J. (2000). A Concise Introduction to Logic. Wadsworth Publishing. ISBN 9780534520069.
- Keller, Gerald (2011). Statistics for Management and Economics (вид. abbreviated, 9th). Mason, OH: South-Western. ISBN 978-1111527327.
- Kirk, Roger E. (2007). Statistics: An Introduction. Cengage Learning. ISBN 978-0-534-56478-0. Процитовано 28 червня 2012.
- Nolan, Susan; Heinzen, Thomas (2011). Statistics for the Behavioral Sciences. Macmillan. ISBN 978-1-4292-3265-4. Процитовано 28 червня 2012.
- Rumsey, Deborah (2010). Statistics Essentials For Dummies. John Wiley & Sons. ISBN 978-0-470-61839-4. Процитовано 28 червня 2012.
- Weiss, Neil A. (1993). Elementary statistics. Addison-Wesley. ISBN 978-0-201-56640-6. Процитовано 28 червня 2012.
- Tufte, Edward (1997). Visual Explanations: Images and Quantities, Evidence and Narrative. Cheshire, CT: Graphics Press. ISBN 978-0961392123.
- Utts, Jessica M. (2005). Seeing through statistics (вид. 3rd). Belmont: Thomson, Brooks/Cole. ISBN 9780534394028.
- Wainer, Howard (2000). Visual Revelations: Graphical Tales of Fate and Deception From Napoleon Bonaparte To Ross Perot. Psychology Press. ISBN 978-0-8058-3878-7. Процитовано 19 липня 2012.
- Whitbread, David (2001). The design manual (вид. 2nd). Sydney: University of New South Wales Press. ISBN 0868406589.
- A discussion of misleading graphs, Mark Harbison, Sacramento City College[en]
- Robbins, Naomi B. (2005). Creating more effective graphs. Hoboken, N.J.: Wiley-Interscience. ISBN 9780471698180.
- Durbin CG, Jr (October 2004). Effective use of tables and figures in abstracts, presentations, and papers. Respiratory Care. 49 (10): 1233—7. PMID 15447809.
- Goundar, Nadesa (2009). Impression Management in Financial Reports Surrounding CEO Turnover (PDF). Masters Dissertation. Unitec Institute of Technology. hdl:10652/1250. Процитовано 9 липня 2012.
- Huff, Darrell; Geis, Irving (17 жовтня 1993). How to Lie With Statistics. W. W. Norton & Company. ISBN 978-0-393-31072-6. Процитовано 28 червня 2012.
- Bracey, Gerald (2003). Seeing Through Graphs. Understanding and using education statistics: it's easier than you think. Educational Research Service. ISBN 9781931762267.
- Harvey, J. Motulsky (June 2009). The Use and Abuse of Logarithmic Axes (PDF). GraphPad Software Inc. Архів оригіналу (PDF) за 23 листопада 2010.
{{cite web}}
: Недійсний|url-status=bot:unknown
(довідка) - Chandar, N.; Collier, D.; Miranti, P. (15 лютого 2012). Graph standardization and management accounting at AT&T during the 1920s. Accounting History. 17 (1): 35—62. doi:10.1177/1032373211424889. S2CID 155069927.
- Mather, Paul; Ramsay, Alan; Steen, Adam (1 січня 2000). The use and representational faithfulness of graphs in Australian IPO prospectuses. Accounting, Auditing & Accountability Journal. 13 (1): 65—83. doi:10.1108/09513570010316144. Архів оригіналу за 9 липня 2012.
- Beattie, Vivien; Jones, Michael John (1996). Financial graphs in corporate annual reports: a review of practice in six countries. London: Institute of Chartered Accounants in England and Wales. ISBN 9781853557071.
- Galliat, Tobias (Summer 2005). Visualisierung von Informationsräumen (PDF). Fachhochschule Köln, University of Applied Sciences Cologne. Архів оригіналу (PDF) за 4 січня 2006. Процитовано 9 липня 2012.
- Carvalho, Clark R.; McMillan, Michael D. (September 1992). Graphic Representation in Managerial Decision Making: The Effect of Scale Break on the Dependent Axis (PDF). AIR FORCE INST OF TECH WRIGHT-PATTERSON AFB OH. Архів (PDF) оригіналу за 23 квітня 2019.
- Johnson, R. Rice; Roemmich, R. (October 1980). Pictures that Lie: The Abuse of Graphs in Annual Reports. Management Accounting: 50—56.
- Davis, Alan J. (1 серпня 1999). Bad graphs, good lessons. ACM SIGGRAPH Computer Graphics. 33 (3): 35—38. doi:10.1145/330572.330586. S2CID 31491676. Архів оригіналу за 5 березня 2000.
- Louwers, T.; Radtke, R; Pitman, M. (May–June 1999). Please Pass the Salt: A Look at Creative Reporting in Annual Reports. Today's CPA: 20—23.
- Beattie, Vivien; Jones, Michael John (May 2001). A six-country comparison of the use of graphs in annual reports. The International Journal of Accounting. 36 (2): 195—222. doi:10.1016/S0020-7063(01)00094-2.
- Wainer, Howard (1984). How to Display Data Badly. The American Statistician. 38 (2): 137—147. doi:10.1080/00031305.1984.10483186.
- Lane, David M.; Sándor, Anikó (1 січня 2009). Designing better graphs by including distributional information and integrating words, numbers, and images (PDF). Psychological Methods. 14 (3): 239—257. doi:10.1037/a0016620. PMID 19719360.
- Campbell, Mary Pat (Feb 2010). Spreadsheet Issues: Pitfalls, Best Practices, and Practical Tips. Actuarial Practice Forum. Архів оригіналу за 23 квітня 2019.
- Arocha, Carlos (May 2011). Words or Graphs?. The Stepping Stone. Архів оригіналу за 23 квітня 2019.
- Raschke, Robyn L.; Steinbart, Paul John (1 вересня 2008). Mitigating the Effects of Misleading Graphs on Decisions by Educating Users about the Principles of Graph Design. Journal of Information Systems. 22 (2): 23—52. doi:10.2308/jis.2008.22.2.23.