Wayback Machine: відмінності між версіями

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
[перевірена версія][перевірена версія]
Вилучено вміст Додано вміст
оформлення
оформлення
Рядок 78: Рядок 78:


==== Оклендська архівна політика ====
==== Оклендська архівна політика ====
Політика винятку заднім числом Wayback Machine частково ґрунтується на ''рекомендаціях з управління запитами на вилучення і збереження архівної цілісності'' ({{lang-en|Recommendations for Managing Removal Requests and Preserving Archival Integrity}}), опублікованих Школою інформаційного управління і системам в [[Університет Каліфорнії (Берклі)|Університеті Каліфорнії]] (Берклі) у 2002 році, який дає право власнику сайту заблокувати доступ до архіву сайту<ref>{{Cite web|title=Recommendations for Managing Removal Requests And Preserving Archival Integrity|date=December 14, 2002|publisher=[[University of California]]|url=http://www2.sims.berkeley.edu/research/conferences/aps/removal-policy.html|accessdate=September 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170918025220/http://www2.sims.berkeley.edu/research/conferences/aps/removal-policy.html|archivedate=September 18, 2017}}</ref>. Wayback дотримується цієї політики, щоб за можливості уникнути дорогих судових розглядів<ref>{{Cite web|title=Retroactive robots.txt removal of past crawls AKA Oakland Archive Policy|date=July 7, 2014|publisher=Internet Archive|url=https://archive.org/post/1019415/retroactive-robotstxt-removal-of-past-crawls-aka-oakland-archive-policy|accessdate=September 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20171010124036/https://archive.org/post/1019415/retroactive-robotstxt-removal-of-past-crawls-aka-oakland-archive-policy|archivedate=October 10, 2017}}</ref>.
Політика винятку заднім числом Wayback Machine частково ґрунтується на ''рекомендаціях з управління запитами на вилучення і збереження архівної цілісності'' ({{lang-en|Recommendations for Managing Removal Requests and Preserving Archival Integrity}}), опублікованих Школою інформаційного управління і систем в [[Університет Каліфорнії (Берклі)|Університеті Каліфорнії]] (Берклі) у 2002 році, які дають власникові сайту право заблокувати доступ до архіву сайту<ref>{{Cite web|title=Recommendations for Managing Removal Requests And Preserving Archival Integrity|date=December 14, 2002|publisher=[[University of California]]|url=http://www2.sims.berkeley.edu/research/conferences/aps/removal-policy.html|accessdate=September 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170918025220/http://www2.sims.berkeley.edu/research/conferences/aps/removal-policy.html|archivedate=September 18, 2017}}</ref>. Wayback дотримується цієї політики, щоб за можливості уникнути дорогих судових розглядів<ref>{{Cite web|title=Retroactive robots.txt removal of past crawls AKA Oakland Archive Policy|date=July 7, 2014|publisher=Internet Archive|url=https://archive.org/post/1019415/retroactive-robotstxt-removal-of-past-crawls-aka-oakland-archive-policy|accessdate=September 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20171010124036/https://archive.org/post/1019415/retroactive-robotstxt-removal-of-past-crawls-aka-oakland-archive-policy|archivedate=October 10, 2017}}</ref>.


Політика винятку заднім числом Wayback почала послаблюватися 2017 року, коли він перестав зважати на файли robots.txt на американських урядових і військових веб-сайтах як для їх сканування, так і показу відсканованих веб-сторінок. Станом на квітень 2017 Wayback ігнорує robots.txt в ширших межах, не тільки для урядових сайтів США<ref>{{Cite web|url=http://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/|title=Robots.txt meant for search engines don't work well for web archives|website=Internet Archive Blogs|last=Mark Graham|date=April 17, 2017|accessdate=April 16, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170417131508/http://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/|archivedate=April 17, 2017}}</ref><ref>{{Cite web|title=Archivierung des Internets: Internet Archive ignoriert künftig robots.txt|url=https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html|publisher=heise online|accessdate=May 14, 2017|language=de-DE|deadurl=no|archiveurl=https://web.archive.org/web/20170427035659/https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html|archivedate=April 27, 2017}}</ref><ref>{{Cite web|title=Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren – Golem.de|url=https://www.golem.de/news/suchmaschinen-internet-archive-will-kuenftig-robots-txt-eintraege-ignorieren-1704-127446.html|accessdate=May 14, 2017|language=de-DE|deadurl=no|archiveurl=https://web.archive.org/web/20170619210648/https://www.golem.de/news/suchmaschinen-internet-archive-will-kuenftig-robots-txt-eintraege-ignorieren-1704-127446.html|archivedate=June 19, 2017}}</ref><ref>{{Cite web|title=Internet Archive will ignore robots.txt files to keep historical record accurate|url=https://www.digitaltrends.com/computing/internet-archive-robots-txt/|publisher=Digital Trends|accessdate=May 14, 2017|date=April 24, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170516130029/https://www.digitaltrends.com/computing/internet-archive-robots-txt/|archivedate=May 16, 2017}}</ref>.
Політика винятку заднім числом Wayback почала послаблюватися 2017 року, коли він перестав зважати на файли robots.txt на американських урядових і військових веб-сайтах як для їх сканування, так і показу відсканованих веб-сторінок. Станом на квітень 2017 Wayback ігнорує robots.txt в ширших межах, не тільки для урядових сайтів США<ref>{{Cite web|url=http://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/|title=Robots.txt meant for search engines don't work well for web archives|website=Internet Archive Blogs|last=Mark Graham|date=April 17, 2017|accessdate=April 16, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170417131508/http://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/|archivedate=April 17, 2017}}</ref><ref>{{Cite web|title=Archivierung des Internets: Internet Archive ignoriert künftig robots.txt|url=https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html|publisher=heise online|accessdate=May 14, 2017|language=de-DE|deadurl=no|archiveurl=https://web.archive.org/web/20170427035659/https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html|archivedate=April 27, 2017}}</ref><ref>{{Cite web|title=Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren – Golem.de|url=https://www.golem.de/news/suchmaschinen-internet-archive-will-kuenftig-robots-txt-eintraege-ignorieren-1704-127446.html|accessdate=May 14, 2017|language=de-DE|deadurl=no|archiveurl=https://web.archive.org/web/20170619210648/https://www.golem.de/news/suchmaschinen-internet-archive-will-kuenftig-robots-txt-eintraege-ignorieren-1704-127446.html|archivedate=June 19, 2017}}</ref><ref>{{Cite web|title=Internet Archive will ignore robots.txt files to keep historical record accurate|url=https://www.digitaltrends.com/computing/internet-archive-robots-txt/|publisher=Digital Trends|accessdate=May 14, 2017|date=April 24, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170516130029/https://www.digitaltrends.com/computing/internet-archive-robots-txt/|archivedate=May 16, 2017}}</ref>.


== Використання ==
== Використання ==
Починаючи з публічного запуску 2001 року, науковці вивчали Wayback Machine як у сенсі способів, якими вона зберігає збирає дані, так і самі сторінки, що містяться в її архіві. Станом на 2013 рік науковці написали близько 350 статей про Wayback Machine, здебільшого в галузях інформаційних технологій, бібліотекознавства та суспільних наук. Представники суспільних наук скористалися Wayback Machine, щоб проаналізувати, як розвиток веб-сайтів, починаючи з середини 1990-х років і до теперішнього часу вплинув на зростання компаній<ref name="Arora (2015)" />.
Від 2001 року, коли Wayback Machine стала доступною громадськості, науковці вивчали як способи, якими вона зберігає і збирає дані, так і самі сторінки, що вже містяться в її архіві. Станом на 2013 рік науковці написали близько 350 статей про Wayback Machine, здебільшого в галузях інформаційних технологій, бібліотекознавства та суспільних наук. Представники суспільних наук скористалися Wayback Machine, щоб проаналізувати, як розвиток веб-сайтів, починаючи з середини 1990-х років і дотепер вплинув на темпи зростання компаній<ref name="Arora (2015)" />.


Коли Wayback Machine архівує сторінку, вона зазвичай містить більшість гіперпосилань, зберігаючи ці посилання активними, коли вони так само легко могли бути порушені нестабільністю Інтернету. Індійські вчені вивчали ефективність здатності Wayback Machine зберігати гіперпосилання наукових онлайн-публікацій і визначили, що вона зберігає трохи більш як половину з них<ref>{{cite journal |last=Sampath Kumar |first=B.T. |last2=Prithviraj |first2=K.R. |date=October 21, 2014 |title=Bringing life to dead: Role of Wayback Machine in retrieving vanished URLs |journal=Journal of Information Science |language=en |volume=41 |issue=1 |pages=71–81 |doi=10.1177/0165551514552752 |issn=0165-5515}}</ref>.
Коли Wayback Machine архівує сторінку, вона зазвичай вміщує більшість гіперпосилань, зберігаючи ці посилання активними, коли вони запросто могли бути порушені нестабільністю Інтернету. Індійські вчені вивчали здатність Wayback Machine зберігати гіперпосилання в наукових онлайн-публікаціях і визначили, що вона зберігає трохи більш як половину з них<ref>{{cite journal |last=Sampath Kumar |first=B.T. |last2=Prithviraj |first2=K.R. |date=October 21, 2014 |title=Bringing life to dead: Role of Wayback Machine in retrieving vanished URLs |journal=Journal of Information Science |language=en |volume=41 |issue=1 |pages=71–81 |doi=10.1177/0165551514552752 |issn=0165-5515}}</ref>.


Журналісти використовують Wayback Machine, щоб переглядати мертві сайти, застарілі новини і зміни в змісті сайту. Його зміст використовують, щоб притягати політиків до відповідальності й викривати брехню на полі бою<ref name="usn1">{{Cite web|url=https://www.usnews.com/news/articles/2016-08-17/wayback-machine-wont-censor-archive-for-taste-director-says-after-olympics-article-scrubbed|title=Wayback Machine Won't Censor Archive for Taste, Director Says After Olympics Article Scrubbed|archiveurl=https://web.archive.org/web/20170106151933/http://www.usnews.com/news/articles/2016-08-17/wayback-machine-wont-censor-archive-for-taste-director-says-after-olympics-article-scrubbed|archivedate=January 6, 2017|deadurl=no|accessdate=May 14, 2017}}</ref>. 2014 року архівна сторінка [[Гіркін Ігор Всеволодович|Ігоря Гіркина]] в соціальній мережі засвідчила як він хвалиться, що його бійці [[Збиття Boeing 777 біля Донецька|збили нібито український військовий літак перед тим як стало відомо, що насправді це цивільний літак Малайзійських авіаліній]], після чого він видалив пост і звинуватив українських військових у знищенні літака<ref name="usn1" /><ref>{{Cite web|title=What the Web Said Yesterday|url=http://www.newyorker.com/magazine/2015/01/26/cobweb|publisher=The New Yorker|accessdate=May 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20150125141230/http://www.newyorker.com/magazine/2015/01/26/cobweb|archivedate=January 25, 2015}}</ref>. [[Марш за науку]] в березні 2017 року розпочався з обговорення на [[Reddit]], яке показало, що хтось відвідав Archive.org і виявив, що всі посилання на [[Зміна клімату|зміну клімату]] на сайті Білого дому, з нього вилучено. У відповідь один з користувачів прокоментував так: «Має бути марш науковців на Вашингтон»<ref>{{Cite web|title=The March for Science began with this person's 'throwaway line' on Reddit|url=https://www.washingtonpost.com/news/speaking-of-science/wp/2017/04/21/the-march-for-science-began-with-this-persons-throwaway-line-on-reddit/|publisher=Washington Post|accessdate=April 23, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170423081417/https://www.washingtonpost.com/news/speaking-of-science/wp/2017/04/21/the-march-for-science-began-with-this-persons-throwaway-line-on-reddit/|archivedate=April 23, 2017}}</ref><ref name=":1">{{Cite web|url=https://www.washingtonpost.com/news/speaking-of-science/wp/2017/01/24/are-scientists-going-to-march-on-washington/|title=Are scientists going to march on Washington?|website=The Washington Post|accessdate=January 31, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170131152535/https://www.washingtonpost.com/news/speaking-of-science/wp/2017/01/24/are-scientists-going-to-march-on-washington/|archivedate=January 31, 2017}}</ref><ref>{{Cite web|last=Foley|first=Katherine Ellen|title=The global March for Science started with a single Reddit thread|url=https://qz.com/965485/the-global-march-for-science-started-with-a-single-reddit-thread/|publisher=Quartz|accessdate=April 23, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170424004314/https://qz.com/965485/the-global-march-for-science-started-with-a-single-reddit-thread/|archivedate=April 24, 2017}}</ref>.
Журналісти використовують Wayback Machine, щоб переглядати мертві сайти, застарілі новини і зміни в змісті сайту. Його зміст використовують, щоб притягати політиків до відповідальності й викривати брехню в зображенні подій на полі бою<ref name="usn1">{{Cite web|url=https://www.usnews.com/news/articles/2016-08-17/wayback-machine-wont-censor-archive-for-taste-director-says-after-olympics-article-scrubbed|title=Wayback Machine Won't Censor Archive for Taste, Director Says After Olympics Article Scrubbed|archiveurl=https://web.archive.org/web/20170106151933/http://www.usnews.com/news/articles/2016-08-17/wayback-machine-wont-censor-archive-for-taste-director-says-after-olympics-article-scrubbed|archivedate=January 6, 2017|deadurl=no|accessdate=May 14, 2017}}</ref>. 2014 року заархівована з соціальної мережі сторінка [[Гіркін Ігор Всеволодович|Ігоря Гіркина]] засвідчила як він хвалиться, що його бійці [[Збиття Boeing 777 біля Донецька|збили нібито український військовий літак]]. Коли ж стало відомо, що [[Збиття Boeing 777 біля Донецька|насправді це цивільний літак Малайзійських авіаліній]], Гіркін видалив пост і звинуватив українських військових у знищенні літака<ref name="usn1" /><ref>{{Cite web|title=What the Web Said Yesterday|url=http://www.newyorker.com/magazine/2015/01/26/cobweb|publisher=The New Yorker|accessdate=May 14, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20150125141230/http://www.newyorker.com/magazine/2015/01/26/cobweb|archivedate=January 25, 2015}}</ref>. [[Марш за науку]] в березні 2017 року розпочався з обговорення на [[Reddit]], яке показало, що хтось відвідав Archive.org і виявив, що з сайту Білого дому вилучено всі посилання на [[Зміна клімату|зміну клімату]]. У відповідь один з користувачів написав: «Має бути хода науковців на Вашингтон»<ref>{{Cite web|title=The March for Science began with this person's 'throwaway line' on Reddit|url=https://www.washingtonpost.com/news/speaking-of-science/wp/2017/04/21/the-march-for-science-began-with-this-persons-throwaway-line-on-reddit/|publisher=Washington Post|accessdate=April 23, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170423081417/https://www.washingtonpost.com/news/speaking-of-science/wp/2017/04/21/the-march-for-science-began-with-this-persons-throwaway-line-on-reddit/|archivedate=April 23, 2017}}</ref><ref name=":1">{{Cite web|url=https://www.washingtonpost.com/news/speaking-of-science/wp/2017/01/24/are-scientists-going-to-march-on-washington/|title=Are scientists going to march on Washington?|website=The Washington Post|accessdate=January 31, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170131152535/https://www.washingtonpost.com/news/speaking-of-science/wp/2017/01/24/are-scientists-going-to-march-on-washington/|archivedate=January 31, 2017}}</ref><ref>{{Cite web|last=Foley|first=Katherine Ellen|title=The global March for Science started with a single Reddit thread|url=https://qz.com/965485/the-global-march-for-science-started-with-a-single-reddit-thread/|publisher=Quartz|accessdate=April 23, 2017|deadurl=no|archiveurl=https://web.archive.org/web/20170424004314/https://qz.com/965485/the-global-march-for-science-started-with-a-single-reddit-thread/|archivedate=April 24, 2017}}</ref>.


Крім того, сайт активно використовується для верифікації, забезпечуючи [[Вікіспільнота|редакторам Вікіпедії]] доступ до посилань і можливість створювати контент.
Крім того, сайт активно використовується для верифікації, забезпечуючи [[Вікіспільнота|редакторам Вікіпедії]] доступ до посилань і можливість створювати контент<ref>http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued</ref>.


=== Обмеження ===
=== Обмеження ===

Версія за 09:42, 4 січня 2021

Wayback Machine
Логотип
Логотип
Знімок часового зрізу заархівованих сторінок www.wikipedia.org на сайті Wayback Machine від 21 грудня 2015 року
Посилання web.archive.org
Тип Archive
Реєстрація Optional
Мови англійська
Власник Internet Archive
Автор Брюстер Кейгл і Брюс Джильятd
Започатковано 24 жовтня 2001; 22 роки тому (2001-10-24)[1][2]
Стан Active
Рейтинг Alexa 253 (February 2019)[3]
Мова програмування C, Perl, Java і Python
CMNS: Wayback Machine у Вікісховищі

Wayback Machine — цифровий архів всесвітньої павутини та іншої інформації в Інтернеті. Його запустила 2001 року неприбуткова організація під назвою Інтернет-архів, що базується в Сан-Франциско (Каліфорнія, США).

Історія

2001 року засновники Інтернет-архіву Брюстер Кале і Брюс Джилліат[en] запустили проект Wayback Machine, щоб розв'язати проблему зникнення контенту веб-сайтів щоразу, коли їх змінюють або закривають[4]. Сервіс дозволяє користувачам переглядати архівні версії веб-сторінок, як вони змінювались з часом, які в архіві називаються «тривимірним індексом»[5]. Кале і Джилліат створили сервіс, сподіваючись заархівувати весь інтернет і забезпечити «загальний доступ до всіх знань»[6].

Назву Wayback Machine вибрали як посилання на пристрій для подорожей у часі, який застосовують персонажі Містер Пібоді[en] і Шерман в анімаційному фільмі Шоу Роккі та Буллвінкля[en][7][8] під назвою «WABAC machine[en]» (вимовляється вей-бек). В одній з частин цього анімаційного мультфільму, Неймовірна історія Пібоді[en], персонажі за допомогою машини часто стають свідками відомих історичних подій, беруть в них участь і, здебільшого, змінюють їх хід.

У травні 1996 року Wayback Machine почала архівувати кешовані веб-сторінки, з метою через п'ять років зробити послугу доступною громадськості[9]. Від 1996 до 2001 року інформація зберігалася на магнітних плівках, а Кале зрідка дозволяв дослідникам і науковцям під'єднуватись до громіздкої бази даних[10]. 2001 року, коли архівові виповнилося п'ять років, відбулась церемонія його відкриття громадськості в Університеті Каліфорнії (Берклі)[11]. На час запуску Wayback Machine вона вже містила понад 10 мільярдів архівованих сторінок[12].

Нині дані зберігаються на великому кластері обчислювальних вузлів Linux компанії Інтернет-архів[6]. Він час від часу заново відвідує і архівує нові версії веб-сайтів (див. технічні дані нижче)[13]. Сторінки також можна архівувати вручну, вводячи їх URL-адреси в поле пошуку, за умови, що веб-сайти дозволяють пошуковому роботу Wayback Machine просканувати їх і зберегти дані[9].

Технічні деталі

Wayback Machine за допомогою спеціального пошукового робота сканує Інтернет і завантажує всі загальнодоступні веб-сторінки, ієрархію Gopher, електронну дошку оголошень Usenet, а також завантажуване програмне забезпечення[14]. Ці роботи можуть відсканувати не всю доступну в Інтернеті інформацію, оскільки доступ до значної частини даних обмежують власники сайтів, або ж ці дані зберігається в недоступних базах. Щоб подолати неузгодженості частково кешованих веб-сайтів, 2005 року компанія Інтернет архів створила сайт Archive-It.org як засіб, що дозволяє установам і творцям контенту за власним бажанням збирати і зберігати зібрання цифрового контенту та створювати цифрові архіви[15].

Сканування надходять з різних джерел, деякі імпортуються від третіх сторін, тоді як інші генеруються всередині самого Архіву[13]. Наприклад, сканування надходять від Фундації Альфреда Слоуна і Alexa, сканування зроблені ІА для Національного управління архівів та документації та Internet Memory Foundation[en], дзеркал Common Crawl[en][13]. «Worldwide Web Crawls» працює з 2010 року і сканує всемережжя[16][13].

Частота зроблених знімків сторінок змінюється в залежності від веб-сайту[13]. Сайти у «Worldwide Web Crawls» вміщені в «список сканувань», один сайт архівується раз за сканування[13]. Сканування може тривати кілька місяців або навіть років у залежності від розміру[13]. Наприклад, «Wide Crawl Number 13» розпочався 9 січня 2015 року й завершився 11 липня 2016 року[17]. Однак, в один і той самий час може відбуватись кілька сканувань, і сайт може бути вміщено в понад один список сканувань, тож частота сканування сайтів змінюється в широких межах[13].

Місткість сховища та її зростання

Разом з розвитком технології впродовж років зростала й місткість сховища Wayback Machine. У 2003 році, через два роки після того, як доступ став публічним, Wayback Machine зростала зі швидкістю 12 терабайтів на місяць. Дані зберігаються на зробленій на замовлення системі стелажування PetaBox, розробленій співробітниками інтернет-архіву. Перший стелаж на 100ТВ повністю увійшов у дію в червні 2004 року, хоча невдовзі стало зрозуміло, що потрібно значно більше місця, ніж вона містить[18][19].

2009 року Інтернет-архів перевів свою спеціалізовану архітектуру зберігання до Sun Open Storage[en], і має у своїй власності новий центр обробки даних у Sun Modular Datacenter[en] у каліфорнійському кампусі Sun Microsystems[20]. Станом на 2009 Wayback Machine містила приблизно три петабайти даних і зростала зі швидкістю 100 терабайт на місяць[21].

Нова, поліпшена версія Wayback Machine, з оновленим інтерфейсом і новішим покажчиком архівних матеріалів, стала доступною для публічного тестування у 2011 році[22]. У березні того самого року на форумі Wayback Machine було сказано, що «бета-версія нової Wayback Machine має повніший і актуальніший покажчик всіх відсканованих матеріалів до 2010 року, й продовжить регулярно оновлюватися. Покажчик, який управляв старою Wayback Machine, має небагато матеріалів після 2008 року, і жодних його подальших оновлень не планується, оскільки цього року його припинять використовувати»[23]. Також 2011 року інтернет-архів встановив свою шосту пару стелажів PetaBox, що дозволило збільшити місткість Wayback Machine на 700 терабайт[24].

У січні 2013 року компанія оголосила про нову віху - 240 мільярдів відсканованих URL-адрес[25]. У жовтні 2013 року компанія оголосила про введення функції «Save a Page»[26], що дозволяє користувачам Інтернету заархівувати вміст URL-адреси і швидко створює постійне посилання на відміну від попередньої функції liveweb. Це стало загрозою зловживань з боку сервісу як хостингу шкідливих двійкових файлів[en][27][28].

Станом на грудень 2014 Wayback Machine містила 435 мільярдів веб-сторінок обсягом майже дев'ять петабайтів, і зростала приблизно на 20 терабайтів щотижня[29][12][30].

Станом на липень 2016 Wayback Machine містила близько 15 петабайт даних[31].

Станом на вересень 2018 року Wayback Machine містила понад 25 петабайтів даних[32][33].

Станом на грудень 2020 року Wayback Machine містила понад 70 петабайтів даних[34].

Зростання

За період з жовтня 2013 року по березень 2015 року в глобальному рейтингу Alexa сайт Wayback Machine опустився зі 163-го[35] на 208-ме місце[36]. У березні 2019 сайт був на 244-му місці[37].

Зростання Wayback Machine [38] [39]
Рік Кількість заархівованих сторінок (мільярдів)
2005
40
2008
85
2012
150
2013
373
2014
400
2015
452

Політики винятків веб-сайтів

Історично, Wayback Machine поважав стандарт винятків для роботів (Robots.txt), визначаючи коли сайт можна сканувати; або ж, якщо вже робот його обійшов, чи ці архіви будуть у відкритому доступі. Власники веб-сайту мають можливість зробити його недоступним для Wayback Machine за допомогою robots.txt. Правила robots.txt застосовуються заднім числом; якщо власник сайту заблокував для інтернет-архіву доступ до нього, то всі заархівовані раніше сторінки з цього домену також одразу ж стають недоступними. Крім того, працівники Internet Archive заявили, що «іноді власник сайту зв'язується з нами і просить зупинити сканування та архівацію сайту. Ми виконуємо ці запити»[40]. Крім того, на сайті написано: «Інтернет-архів не зацікавлений у скануванні веб-сайту та інших інтернет-документів, або наданні доступу до них, якщо власники не хочуть, щоб вони були в зібранні»[41][42].

Оклендська архівна політика

Політика винятку заднім числом Wayback Machine частково ґрунтується на рекомендаціях з управління запитами на вилучення і збереження архівної цілісності (англ. Recommendations for Managing Removal Requests and Preserving Archival Integrity), опублікованих Школою інформаційного управління і систем в Університеті Каліфорнії (Берклі) у 2002 році, які дають власникові сайту право заблокувати доступ до архіву сайту[43]. Wayback дотримується цієї політики, щоб за можливості уникнути дорогих судових розглядів[44].

Політика винятку заднім числом Wayback почала послаблюватися 2017 року, коли він перестав зважати на файли robots.txt на американських урядових і військових веб-сайтах як для їх сканування, так і показу відсканованих веб-сторінок. Станом на квітень 2017 Wayback ігнорує robots.txt в ширших межах, не тільки для урядових сайтів США[45][46][47][48].

Використання

Від 2001 року, коли Wayback Machine стала доступною громадськості, науковці вивчали як способи, якими вона зберігає і збирає дані, так і самі сторінки, що вже містяться в її архіві. Станом на 2013 рік науковці написали близько 350 статей про Wayback Machine, здебільшого в галузях інформаційних технологій, бібліотекознавства та суспільних наук. Представники суспільних наук скористалися Wayback Machine, щоб проаналізувати, як розвиток веб-сайтів, починаючи з середини 1990-х років і дотепер вплинув на темпи зростання компаній[12].

Коли Wayback Machine архівує сторінку, вона зазвичай вміщує більшість гіперпосилань, зберігаючи ці посилання активними, коли вони запросто могли бути порушені нестабільністю Інтернету. Індійські вчені вивчали здатність Wayback Machine зберігати гіперпосилання в наукових онлайн-публікаціях і визначили, що вона зберігає трохи більш як половину з них[49].

Журналісти використовують Wayback Machine, щоб переглядати мертві сайти, застарілі новини і зміни в змісті сайту. Його зміст використовують, щоб притягати політиків до відповідальності й викривати брехню в зображенні подій на полі бою[50]. 2014 року заархівована з соціальної мережі сторінка Ігоря Гіркина засвідчила як він хвалиться, що його бійці збили нібито український військовий літак. Коли ж стало відомо, що насправді це цивільний літак Малайзійських авіаліній, Гіркін видалив пост і звинуватив українських військових у знищенні літака[50][51]. Марш за науку в березні 2017 року розпочався з обговорення на Reddit, яке показало, що хтось відвідав Archive.org і виявив, що з сайту Білого дому вилучено всі посилання на зміну клімату. У відповідь один з користувачів написав: «Має бути хода науковців на Вашингтон»[52][53][54].

Крім того, сайт активно використовується для верифікації, забезпечуючи редакторам Вікіпедії доступ до посилань і можливість створювати контент[55].

Обмеження

Попри свої можливості, Wayback Machine також має деякі обмеження. У 2014 році затримка між скануванням вмісту сайтів і часом, коли він був доступним на Wayback Machine, становила шість місяців[56]. Станом на листопад 2018 року час затримки становив від 3 до 10 годин[57]. Wayback Machine не є «історичним Google»; користувачі мають знати URL-адреси веб-сайтів, які вони хочуть переглянути[58]. Вона має функцію «Site Search» (пошук сайту), яка дозволяє користувачам знайти сайт на основі слів, що описують сайт, а не слів, знайдених на самих веб-сторінках.

Wayback Machine не містить усіх сторінок, коли-небудь створених, через обмеження свого веб-краулера. Wayback Machine не може повністю архівувати веб-сторінки, які містять інтерактивні функції, такі як Флеш-платформи і форми, написані на JavaScript, бо ці функції вимагають взаємодії з хост-сайтом. Веб-краулер має тружнощі з витягуванням усього, що закодовано не в HTML (або одному з його варіантів), що часто призводить до зламаних гіперпосилань та відсутніх зображень. Крім того, веб-краулер не архівує «сторінок-сиріт», які не містять посилань на інші сторінки[59][58]. Конкретні правила, що регулюють краулер Wayback Machine, можуть дослідити лише наперед визначену кількість гіперпосилань, ґрунтуючись на наперед заданому обмеженні глибини, тому він не може архівувати всі гіперпосилання на кожній сторінці[16].

Деякі власники поміщають на свій сайт файл robot.txt, який не дозволяє Wayback Machine знаходити та архівувати їх. Крім того, власники веб-сайтів також можуть безпосередньо зв'язатися з Інтернет-архівом і просити, щоб їх сторінки було вилучено з архіву[59].

Як юридичні докази

Цивільне судочинство

Netbula LLC проти Chordiant Software Inc.

У справі 2009 року Netbula, LLC проти Chordiant Software Inc відповідач Chordiant подав клопотання, щоб Netbula на своєму сайті вимкнула файл robots.txt, який змушував Wayback Machine заднім числом закривати доступ до попередніх версій сторінок, заархівованих з сайту Netbula, які, на думку Chordiant могли б підтримати її справу[60].

Netbula заперечила проти цього клопотання на тій підставі, що відповідач зверталися з проханням змінити сайт Netbula і що він мав би безпосередньо звернутися до Архіву Інтернету за сторінками[61]. Проте, співробітник Інтернет-архіву подав заяву під присягою, якою підтримав дію Chordiant, заявивши, що він не може видати веб-сторінки за допомогою інших засобів «без значного навантаження, витрат і перебоїв у його роботі»[60].

Суддя Говард Ллойд у Північному окрузі Каліфорнії, відділі Сан-Хосе, відхилив доводи Netbula і наказав їм тимчасово вимкнути блокування robots.txt для того, щоб Chordiant отримали архівні сторінки, які їм були потрібні[60].

Telewizja Polska

У жовтні 2004 року у справі Telewizja Polska USA, Inc. проти Echostar Satellite, No. 02 °C 3293, 65 Fed. R. Evid. Serv. 673 (N.D. Ill. October 15, 2004), позивач намагався використати Wayback Machine як джерело допустимих доказів, мабуть, вперше. Компанії Telewizja Polska є провайдером TVP Polonia і EchoStar[en], яка управляє Dish Network. До початку судового розгляду, EchoStar вказала, що має намір запропонувати знімки Wayback Machine як доказ минулого змісту сайту Telewizja Polska. Компанії Telewizja Polska і подала Клопотання in limine[en], щоб не дати хід знімкам на тій підставі, що нібито це чутки і неперевірене джерело, але суддя Арландер, відхилив твердження Telewizja Polska, що нібито це чутки й відмовив у клопотанні in limine щодо виключення доказів у суді[62][63].

Патентне право

За умови виконання деяких додаткових вимог (наприклад, надання авторитетної заяви архіваріуса), Відомство з патентів і торгових знаків США[en] і Європейське патентне відомство[en] приймають date stamps від Інтернет-архіву як доказ того, коли ця веб-сторінка була доступна громадськості. Ці дані використовуються для визначення, чи веб-сторінка доступна як prior art, наприклад, під час розгляду заявки на патент[64].

Цензура та інші загрози

Станом на грудень 2016 року Archive.org заблокований у Китаї[en][65][66]. Після того, як сайт включив зашифрований протокол HTTPS Internet Archive повністю заблоковано в Росії[en] у 2015 році[67][68][50]

Елісон Макріна, директор Library Freedom Project, зазначає, що «хоча бібліотекарі глибоко цінують недоторканість приватного життя, ми також рішуче виступаємо проти цензури»[50].

Відомі рідкісні випадки, коли онлайн-доступ до матеріалів, які «за просто так» поставили людей в небезпеку, вимкнуто на сайті[50].

Серед інших загроз: стихійні лиха,[69] знищення (дистанційне або фізичне), маніпуляцію вмістом архіву (див. також: хакерська атака, резервне копіювання), проблематичне авторське право[70] і спостереження за користувачами сайту[71].

Кевін Воен підозрює, що в довгостроковій перспективі декількох поколінь «безцінь» виживуть корисним способом, крім «Якщо у нас є наступність у нашої технологічної цивілізації», за яким «велика голою дані залишаться виявити і пошуку»[72].

Деякі [хто?] знаходить, Інтернет-архів, який описує себе як побудований на довгострокову перспективу[73] працює несамовито, щоб захопити дані, перш ніж вони зникнуть, без будь-якої довгострокової інфраструктури[74].

Див. також

Примітки

  1. WayBackMachine.org WHOIS, DNS, & Domain Info – DomainTools. WHOIS. Процитовано 13 березня 2016.
  2. InternetArchive.org WHOIS, DNS, & Domain Info – DomainTools. WHOIS. Процитовано 13 березня 2016.
  3. Archive.org Traffic, Demographics and Competitors - Alexa. alexa.com. Процитовано 4 February 2019.
  4. Notess, Greg R. (March–April 2002). The Wayback Machine: The Web's Archive. Online. 26: 59—61 — через EBSCOhost.
  5. The Wayback Machine, Frequently Asked Questions, архів оригіналу за 18 вересня 2018, процитовано 18 вересня 2018
  6. а б 20,000 Hard Drives on a Mission | Internet Archive Blogs. blog.archive.org (амер.). Архів оригіналу за 20 жовтня 2018. Процитовано 15 жовтня 2018.
  7. Green, Heather (28 лютого 2002). A Library as Big as the World. BusinessWeek. Архів оригіналу за 20 грудня 2011.
  8. Tong, Judy (8 вересня 2002). Responsible Party – Brewster Kahle; A Library Of the Web, On the Web. New York Times. Архів оригіналу за 20 лютого 2011. Процитовано 15 серпня 2011.
  9. а б Internet Archive: Wayback Machine. archive.org (англ.). Архів оригіналу за 3 січня 2014. Процитовано 15 жовтня 2018.
  10. Cook, John (1 листопада 2001). Web site takes you way back in Internet history. Seattle Post-Intelligencer. Архів оригіналу за 12 серпня 2014. Процитовано 15 серпня 2011.
  11. Wayback Goes Way Back on Web. Wired. 28 жовтня 2001. Архів оригіналу за 16 жовтня 2017. Процитовано 16 жовтня 2017. {{cite journal}}: Cite має пустий невідомий параметр: |df= (довідка)
  12. а б в Arora, Sanjay K.; Li, Yin; Youtie, Jan; Shapira, Philip (5 травня 2015). Using the wayback machine to mine websites in the social sciences: A methodological resource. Journal of the Association for Information Science and Technology (англ.). 67 (8): 1904—1915. doi:10.1002/asi.23503. ISSN 2330-1635.
  13. а б в г д е ж и Kalev Leetaru (28 січня 2016). The Internet Archive Turns 20: A Behind the Scenes Look at Archiving the Web. Forbes. Архів оригіналу за 16 жовтня 2017. Процитовано 16 жовтня 2017.
  14. Kahle, Brewster. Archiving the Internet. Scientific American – March 1997 Issue. Архів оригіналу за 3 квітня 2012. Процитовано 19 серпня 2011.
  15. Jeff Kaplan (27 жовтня 2014). Archive-It: Crawling the Web Together. Internet Archive Blogs. Архів оригіналу за 12 жовтня 2017. Процитовано 16 жовтня 2017.
  16. а б Worldwide Web Crawls. Internet Archive. Архів оригіналу за 19 жовтня 2017. Процитовано 16 жовтня 2017.
  17. Wide Crawl Number 13. Internet Archive. Архів оригіналу за 19 жовтня 2017. Процитовано 16 жовтня 2017.
  18. Internet Archive: Petabox. archive.org (англ.). Процитовано 25 жовтня 2018.
  19. Kanellos, Michael (29 липня 2005). Big storage on the cheap. CNET News.com. Архів оригіналу за 3 квітня 2007. Процитовано 29 липня 2007.
  20. Internet Archive and Sun Microsystems Create Living History of the Internet. Sun Microsystems. 25 березня 2009. Архів оригіналу за 26 березня 2009. Процитовано 27 березня 2009.
  21. Mearian, Lucas (19 березня 2009). Internet Archive to unveil massive Wayback Machine data center. Computerworld.com. Архів оригіналу за 23 березня 2009. Процитовано 22 березня 2009.
  22. Updated Wayback Machine in Beta Testing. Archive.org. Архів оригіналу за 23 серпня 2011. Процитовано 19 серпня 2011.
  23. Beta Wayback Machine, in forum. Archive.org. Архів оригіналу за 17 квітня 2014. Процитовано 16 квітня 2014.
  24. Internet Archive Forums: 6th pair of racks go into service: over 2PB of data space used. archive.org (англ.). Архів оригіналу за 24 жовтня 2016. Процитовано 25 жовтня 2018.
  25. Wayback Machine: Now with 240,000,000,000 URLs | Internet Archive Blogs. Blog.archive.org. 9 січня 2013. Архів оригіналу за 14 квітня 2014. Процитовано 16 квітня 2014.
  26. Rossi, Alexis (25 жовтня 2013). Fixing Broken Links on the Internet. archive.org. San Francisco, CA, US: Collections Team, the Internet Archive. Архів оригіналу за 7 листопада 2014. Процитовано 25 березня 2015. We have added the ability to archive a page instantly and get back a permanent URL for that page in the Wayback Machine. This service allows anyone – wikipedia editors, scholars, legal professionals, students, or home cooks like me – to create a stable URL to cite, share or bookmark any information they want to still have access to in the future.
  27. The VirusTotal Team (25 березня 2015). 207.241.226.190 IP address information. virustotal.com. Dublin 2, Ireland: VirusTotal. Архів оригіналу за 14 липня 2014. Процитовано 25 березня 2015. 2015-03-25: Latest URLs hosted in this IP address detected by at least one URL scanner or malicious URL dataset. ... 2/62 2015-03-25 16:14:12 [complete URL redacted]/Renegotiating_TLS.pdf ... 1/62 2015-03-25 04:46:34 [complete URL redacted]/CBLightSetup.exe
  28. Advisory provided by Google (25 березня 2015). Safe Browsing Diagnostic page for archive.org. google.com/safebrowsing. Mountain View, CA, US: Google. Архів оригіналу за 6 квітня 2015. Процитовано 25 березня 2015. 2015-03-25: Part of this site was listed for suspicious activity 138 time(s) over the past 90 days. ... What happened when Google visited this site? ... Of the 42410 pages we tested on the site over the past 90 days, 450 page(s) resulted in malicious software being downloaded and installed without user consent. The last time Google visited this site was on 2015-03-25, and the last time suspicious content was found on this site was on 2015-03-25. ... Malicious software includes 169 trojan(s), 126 virus, 43 backdoor(s).
  29. Internet Archive Frequently Asked Questions. Архів оригіналу за 21 жовтня 2009. Процитовано 17 січня 2015.
  30. Internet Archive Frequently Asked Questions. 18 грудня 2014. Архів оригіналу за 18 грудня 2014. Процитовано 13 грудня 2018.
  31. Can the manipulation of big data change the way the world thinks?. The National. Архів оригіналу за 12 січня 2017. Процитовано 14 травня 2017.
  32. Crockett, Zachary (28 вересня 2018). Inside Wayback Machine, the internet’s time capsule. The Hustle (амер.). Архів оригіналу за 2 жовтня 2018. Процитовано 26 жовтня 2018.
  33. Heffernan, Virginia (18 вересня 2018). Things Break and Decay on the Internet—That's a Good Thing. WIRED (амер.). Архів оригіналу за 25 вересня 2018. Процитовано 26 жовтня 2018.
  34. Donate to the Internet Archive: Digital Library of Free & Borrowable Books, Movies, Music & Wayback Machine. adafruit. Архів оригіналу за 2 грудня 2020. Процитовано 2 December 2020.
  35. Archive.org Site Info. Alexa Internet. Архів оригіналу за 28 жовтня 2013. Процитовано 29 жовтня 2013.
  36. Archive.org Site Overview. Alexa Internet. Архів оригіналу за 9 квітня 2015. Процитовано 9 квітня 2015.
  37. Archive.org Traffic, Demographics and Competitors - Alexa. web.archive.org. 23 березня 2019. Процитовано 5 квітня 2019.
  38. michelle (9 травня 2014). Wayback Machine Hits 400,000,000,000!. Internet Archive. Архів оригіналу за 26 серпня 2014. Процитовано 25 березня 2015.
  39. Internet Archive Wayback Machine. Internet Archive. Архів оригіналу за 13 лютого 2015. Процитовано 25 березня 2015.
  40. Some sites are not available because of Robots.txt or other exclusions [Архівовано April 15, 2011, у Wayback Machine.]
  41. How can I remove my site's pages from the Wayback Machine? [Архівовано April 17, 2014, у Wayback Machine.]
  42. Cox, Joseph (22 травня 2018). The Wayback Machine Is Deleting Evidence of Malware Sold to Stalkers. Архів оригіналу за 23 травня 2018. Процитовано 23 травня 2018.
  43. Recommendations for Managing Removal Requests And Preserving Archival Integrity. University of California. 14 грудня 2002. Архів оригіналу за 18 вересня 2017. Процитовано 14 вересня 2017.
  44. Retroactive robots.txt removal of past crawls AKA Oakland Archive Policy. Internet Archive. 7 липня 2014. Архів оригіналу за 10 жовтня 2017. Процитовано 14 вересня 2017.
  45. Mark Graham (17 квітня 2017). Robots.txt meant for search engines don't work well for web archives. Internet Archive Blogs. Архів оригіналу за 17 квітня 2017. Процитовано 16 квітня 2017.
  46. Archivierung des Internets: Internet Archive ignoriert künftig robots.txt (de-DE) . heise online. Архів оригіналу за 27 квітня 2017. Процитовано 14 травня 2017.
  47. Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren – Golem.de (de-DE) . Архів оригіналу за 19 червня 2017. Процитовано 14 травня 2017.
  48. Internet Archive will ignore robots.txt files to keep historical record accurate. Digital Trends. 24 квітня 2017. Архів оригіналу за 16 травня 2017. Процитовано 14 травня 2017.
  49. Sampath Kumar, B.T.; Prithviraj, K.R. (21 жовтня 2014). Bringing life to dead: Role of Wayback Machine in retrieving vanished URLs. Journal of Information Science (англ.). 41 (1): 71—81. doi:10.1177/0165551514552752. ISSN 0165-5515.
  50. а б в г д Wayback Machine Won't Censor Archive for Taste, Director Says After Olympics Article Scrubbed. Архів оригіналу за 6 січня 2017. Процитовано 14 травня 2017.
  51. What the Web Said Yesterday. The New Yorker. Архів оригіналу за 25 січня 2015. Процитовано 14 травня 2017.
  52. The March for Science began with this person's 'throwaway line' on Reddit. Washington Post. Архів оригіналу за 23 квітня 2017. Процитовано 23 квітня 2017.
  53. Are scientists going to march on Washington?. The Washington Post. Архів оригіналу за 31 січня 2017. Процитовано 31 січня 2017.
  54. Foley, Katherine Ellen. The global March for Science started with a single Reddit thread. Quartz. Архів оригіналу за 24 квітня 2017. Процитовано 23 квітня 2017.
  55. http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued
  56. Internet Archive Frequently Asked Questions. Internet Archive. 2 квітня 2014. Архів оригіналу за 2 квітня 2014. Процитовано 23 листопада 2018.
  57. Internet Archive Frequently Asked Questions. archive.org (англ.). Процитовано 23 листопада 2018.
  58. а б Bates, Mary Ellen (2002). The Wayback Machine. Online. 26: 80 — через EBSCOhost.
  59. а б Internet Archive Frequently Asked Questions. archive.org (англ.). Архів оригіналу за 20 квітня 2013. Процитовано 18 жовтня 2018.
  60. а б в Lloyd, Howard (October 2009). Order to Disable Robots.txt (PDF). Процитовано 15 жовтня 2009.
  61. Cortes, Antonio (October 2009). Motion Opposing Removal of Robots.txt. Архів оригіналу за жовтень 27, 2010. Процитовано 15 жовтня 2009.
  62. Gelman, Lauren (17 листопада 2004). Internet Archive's Web Page Snapshots Held Admissible as Evidence. Packets. 2 (3). Архів оригіналу за 30 квітня 2011. Процитовано 4 січня 2007. {{cite journal}}: Cite має пустий невідомий параметр: |df= (довідка)
  63. Howell, Beryl A. (February 2006). Proving Web History: How to use the Internet Archive (PDF). Journal of Internet Law: 3—9. Архів оригіналу (PDF) за 5 липня 2010. Процитовано 6 серпня 2008.
  64. Wynn W. Coggins (Fall 2002). Prior Art in the Field of Business Method Patents – When is an Electronic Document a Printed Publication for Prior Art Purposes?. USPTO. Архів оригіналу за 21 вересня 2012.
  65. Conger, Kate. Backing up the history of the internet in Canada to save it from Trump. TechCrunch. Архів оригіналу за 27 грудня 2016. Процитовано 14 травня 2017.
  66. Where to find what's disappeared online, and a whole lot more: the Internet Archive. Public Radio International. Архів оригіналу за 28 березня 2017. Процитовано 14 травня 2017.
  67. Chirgwin, Richard. There's no Wayback in Russia: Putin blocks Archive.org. Архів оригіналу за 7 жовтня 2016. Процитовано 14 травня 2017.
  68. Russia won’t go Wayback, blocks the Internet Archive. Digital Trends. 26 червня 2015. Архів оригіналу за 17 квітня 2016. Процитовано 14 травня 2017.
  69. Help Us Keep the Archive Free, Accessible, and Reader Private | Internet Archive Blogs. Архів оригіналу за 21 травня 2017. Процитовано 14 травня 2017.
  70. Internet Archive: Proposed Changes To DMCA Would Make Us "Censor The Web". Consumerist. 7 червня 2016. Архів оригіналу за 11 листопада 2016. Процитовано 14 травня 2017.
  71. Herb, Ulrich. Die Trump-Angst grassiert (de-DE) . heise online. Архів оригіналу за 7 грудня 2016. Процитовано 14 травня 2017.
  72. LaFrance, Adrienne. The Internet's Dark Ages. The Atlantic. Архів оригіналу за 7 травня 2017. Процитовано 14 травня 2017.
  73. The Entire Internet Will Be Archived In Canada to Protect It From Trump (en-us) . Motherboard. Архів оригіналу за 16 травня 2017. Процитовано 14 травня 2017.
  74. LaFrance, Adrienne. The Human Fear of Total Knowledge. The Atlantic. Архів оригіналу за 2 грудня 2016. Процитовано 14 травня 2017.

Посилання

Дзеркала

Утиліти