Обчислення Ґрід

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Грід-обчислення — це сукупність комп'ютерних ресурсів з декількох місць для досягнення спільної мети. Сітка може розглядатися як розподілена система з неінтерактивних робочих навантажень, які включають в себе велику кількість файлів. Сітка обчислень відрізняється від звичайних високопродуктивних обчислювальних систем, таких як кластерних обчислень в тому, що сітки комп'ютерів мають кожен вузол налаштований на виконання іншої задачі / програми. Комп'ютерні сітки також мають тенденцію бути більш різнорідними і географічно розосереджені (таким чином, не фізичні в поєднанні), ніж кластерних комп'ютерів. Незважаючи на те, одна сітка може бути присвячена певній програмі, зазвичай сітка використовується для різних цілей. Сітки часто будуються з загального призначення бібліотеки сітки проміжного програмного забезпечення. Розміри сітки може бути досить великим.[1]

Сітки є однією з форми розподілених обчислень відповідно до якого "супер віртуальний комп'ютер" складається з безлічі мережевих слабозв'язаних комп'ютерів, що діють разом для виконання великих завдань. Для деяких додатків, "розподілених" або "сітка" обчислення, можна розглядати як особливий тип паралельних обчислень, яка спирається на повних комп'ютерах (з процесорами на борту, зберігання, блоки живлення, мережеві інтерфейси і т.д.), підключених до комп'ютерної мережі ( приватні або державні) за допомогою звичайного мережевого інтерфейсу, таких як Ethernet. Це на відміну від традиційного поняття суперкомп'ютера, який має багато процесорів, з'єднаних локальною високошвидкісній шині комп'ютера.

Огляд[ред.ред. код]

Грід-обчислення об'єднує комп'ютери з кількох адміністративних доменів для досягнення спільної мети, щоб вирішити одну задачу, а потім може зникнути так само швидко.

Однією з основних стратегій розподілених обчислень є використання проміжного програмного забезпечення, щоб розділити і розподілити частини програми між декількома комп'ютерами, іноді до багатьох тисяч. Грід-обчислення включає обчислення в розподіленому режимі, який також може включати агрегацію великомасштабних кластерів.

Розмір сітки може варіюватися від невеликих обмежується мережею комп'ютерних робочих станцій в межах корпорації, наприклад, у великих, громадських співпраці з багатьох компаній і мереж. "Поняття обмеженою сітки може бути також відомо як співпраця Intra-вузлів у той час як поняття більшої, ширшої мережі таким чином, може ставитися до співпраці інтер-вузлів".[2]

Сітки є однією з форм розподілених обчислень відповідно до якого "супер віртуальний комп'ютер" складається з безлічі мережевих слабозв'язаних комп'ютерів, що діють разом для виконання дуже великі завдання. Ця технологія була застосована для інтенсивних обчислень наукові, математичні та наукові проблеми за допомогою добровольця обчислень, і він використовується в комерційних підприємствах для таких різноманітних застосувань, як створення ліків, економічне прогнозування, аналіз сейсмічних даних і назад обробки даних в офісі підтримки e-комерції та веб-сервісів.

Координаційні додатки на сітках може бути складним завданням, особливо при координації потоку інформації в розподілених обчислювальних ресурсів. Системи документообігу сітки були розроблені як спеціалізована форма системи управління робочими процесами, розроблена спеціально для створення і виконати ряду кроків обчислювальної або дані маніпуляції, або робочий процес, в контексті Grid.

Порівняння мереж і традиційних суперкомп'ютерів[ред.ред. код]

"Розподілена" або "сітка" обчислення в цілому являє собою особливий тип паралельних обчислень, яка спирається на повних комп'ютерах (з процесорами на борту, зберігання, джерела живлення, мережеві інтерфейси і т.д.), підключених до мережі (приватні, державні або Інтернет) за допомогою звичайного мережевого інтерфейсу з виробництва обчислювальної техніки, в порівнянні з більш низькою ефективністю проектування і будівництва невеликої кількості призначених для користувача суперкомп'ютерів. Основним недоліком є те, що продуктивність різних процесорів і локальні зони зберігання не мають високошвидкісні з'єднання. Таке розташування, таким чином, добре підходить для застосувань, в яких кілька паралельних обчислень може мати місце незалежно один від одного, без необхідності спілкування проміжних результатів між процесорами. Високого класу масштабованість географічно розподілених мереж, як правило, сприятливий, в зв'язку з низькою потребою для з'єднання між вузлами по відношенню до ємності мережі Інтернет спільного користування.

Є також деякі відмінності в програмуванні та розгортанні. Це може бути дорогим і важким для написання програм, які можуть працювати в середовищі суперкомп'ютера, який може мати для користувача операційну систему, або необхідна програма для вирішення проблем паралелізму. Якщо проблема може бути адекватно розпаралелювання, "тонкі" шар інфраструктури "сітки" може дозволити звичайні автономні програми, враховуючи іншу частину тієї ж самої проблеми, для запуску на декількох машинах. Це дозволяє писати і налагоджувати на одній звичайній машині, і усуває ускладнення через декілька екземплярів однієї і тієї ж програми, що працює в тій же спільно використовуваної пам'яті і дискового простору одночасно.

Конструктивні міркування і варіанти[ред.ред. код]

Однією з особливостей розподілених мереж є те, що вони можуть бути сформовані з обчислювальних ресурсів, що належать до одного або декількох кільком особам або організаціям (відомих як декількох адміністративних доменах). Це може полегшити комерційні угоди, як і в комунальних обчислень, або зробити його простіше зібрати добровольців обчислювальних мереж.

Одним з недоліків цієї функції полягає в тому, що комп'ютери, які фактично виконуючи розрахунки не можуть бути повністю надійними. Розробники системи повинні, таким чином, ввести заходи щодо запобігання збоїв або шкідливих учасників від отримання помилкової, що вводить в оману, або помилкові результати, а також від використання системи як вектора атаки. Це часто включає в себе призначення роботу випадковим чином до різних вузлів (імовірно з різними власниками) і перевірки того, що принаймні два різних вузла повідомляють один і той же відповідь для даної одиниці роботи. Розбіжності б ідентифікувати несправні і шкідливих вузлів. Проте, через відсутність центрального контролю над апаратними засобами, не існує ніякого способу, щоб гарантувати, що вузли не будуть випадати з мережі в випадкові моменти часу. Деякі вузли (наприклад, ноутбуки або комутованого інтернет-клієнтів) також можуть бути доступні для обчислень, але не мережу зв'язку для непередбачуваних періодів. Ці зміни можуть бути розміщені шляхом присвоєння великих одиниць роботи (тим самим знижуючи необхідність постійного підключення до мережі) і перепризначення одиниць роботи, коли даний вузол не в змозі повідомити свої результати в очікуваний час.

Вплив довіри і доступності по продуктивності і розвитку труднощі можуть вплинути на вибір того, щоб розгорнути на виділеному кластері, на холостому ходу машини внутрішньої по відношенню до організації, що розвивається, або до відкритої зовнішньої мережі добровольців або підрядників. У багатьох випадках беруть участь вузли повинні довіряти центральну систему не зловживати доступу, якої видаються, шляхом втручання в роботу інших програм, перекручуючи зберігається, передаючи особисті дані або створювати нові дірки в безпеці. Інші системи використовують заходи щодо зниження кількості цільових "клієнт" вузлів необхідно помістити в центральній системі, таких як розміщення додатків у віртуальних машинах.

Громадські системи або ті, які перетинають адміністративні домени (включаючи різні відділи в тій же організації) часто призводять до необхідності запуску в гетерогенних системах, з використанням різних операційних систем і апаратних архітектур. З багатьма мовами, існує компроміс між інвестиціями в розробці програмного забезпечення та кількості платформ, які можуть бути підтримані (і, отже, розмір отриманої мережі). Мови межплатформенному може зменшити необхідність зробити цю компроміс, хоча потенційно за рахунок високої продуктивності на будь-якому заданому вузлі (інтерпретації через часу виконання або відсутність оптимізації для конкретної платформи). Існують різні наукові та комерційні проекти, щоб використовувати певну пов'язану сітку або з метою створення нових мереж. BOINC є загальним для різних наукових проектів, спрямованих на громадських добровольців; більш перераховані в кінці статті.

Насправді, проміжне програмне забезпечення можна розглядати як шар між апаратним та програмним забезпеченням. У верхній частині проміжного програмного забезпечення, ряд технічних областей повинні бути розглянуті, і вони можуть або не можуть бути незалежними проміжного програмного забезпечення. Приклади областей включають управління SLA, довіру і безпеку, управління віртуальної організації, Управління ліцензіями, портали і управління даними. Ці технічні області можуть бути враховані в комерційному розчині, хоча передній край кожної області часто зустрічаються в рамках конкретних науково-дослідних проектів, які досліджують поле.

Сегментація ринку мережевого ринку комп'ютерів[ред.ред. код]

Для сегментації ринку розподілених обчислень, дві точки зору необхідно враховувати: стороні провайдера і на стороні користувача:

Стороні постачальника[ред.ред. код]

В цілому ринок сітка складається з декількох конкретних ринків. Це сітка проміжного програмного забезпечення на ринку, ринок для додатків з підтримкою мережевих, утиліта на ринок обчислень, а також програмне забезпечення як-послуга (SaaS) ринку.

Сітка проміжного шару є специфічним програмним продуктом, який забезпечує можливість спільного використання різнорідних ресурсів і віртуальних організацій. Він встановлюється і інтегрується в існуючу інфраструктуру залученого компанії або компаній, а також надає спеціальний шар, нанесений серед гетерогенної інфраструктури і конкретних користувальницьких додатків. Основні сітки є проміжне програмне Globus Toolkit, gLite і Unicore.

Утиліта обчислення називається наданням розподілених обчислень і додатків як служби або як утиліти відкритої сітки або як хостинг-рішення для однієї організації або ВО. Основні гравці на ринку комунальних обчислень є Sun Microsystems, IBM і HP.

Сітка-додатки, що підтримують конкретні програмні додатки, які можуть використовувати мережеву інфраструктуру. Це стало можливим за рахунок використання сітки проміжного програмного забезпечення, як зазначено вище.

Програмне забезпечення як послуга (SaaS) є "програмне забезпечення, яке належить, поставлено і дистанційне керування одним або декількома постачальниками." (Gartner, 2007) Крім того, додатки SaaS засновані на одному наборі загальних визначень коду і даних. Вони споживаються в моделі один-ко-многим, і SaaS використовує Pay As You Go (СПОД) модель або модель підписки, яка заснована на використанні. Провайдери SaaS не обов'язково володіють самі обчислювальні ресурси, які необхідні для виконання їх SaaS. Таким чином, постачальники SaaS може спиратися на корисність обчислень ринку. Утиліта ринок обчислень надає обчислювальні ресурси для провайдерів SaaS.

Стороні користувача[ред.ред. код]

Для компаній на вимогу або користувача стороні сітки обчислювального ринку, різні сегменти мають серйозні наслідки для їх ІТ-стратегії розгортання. ІТ-стратегія розгортання, а також тип ІТ-інвестицій склав є відповідні аспекти для потенційних користувачів сітки і грають важливу роль для прийняття сітки.

вивезення сміття CPU[ред.ред. код]

Процесор відкачуванням цикл відкачуванням або спільно використовуваної обчислювальної створює "сітку" з невикористаних ресурсів в мережі учасників (будь то в усьому світі або внутрішніми по відношенню до організації). Як правило, цей метод використовує цикли команд комп'ютера на робочому столі, які інакше були б витрачені даремно в нічний час, під час обіду, або навіть в розсіяному секунд протягом дня, коли комп'ютер очікує введення даних користувачем на відносно швидких пристроїв. На практиці учасники комп'ютери також пожертвувати деяку підтримуючу обсяг дискового простору на диску, оперативної пам'яті і пропускної здатності мережі, на додаток до обчислювальної потужності процесора.

Багато добровольчі обчислювальні проекти, такі як BOINC, використовуйте модель поглинає CPU. Так як вузли, ймовірно, підуть "в автономному режимі", час від часу, так як їх власники використовують свої ресурси для їх основного призначення, ця модель повинна бути спроектована для обробки таких непередбачених обставин.

Створення поступається середовища є ще реалізація CPU відкачуванням, де спеціальна система управління робочим навантаженням викрадає простою настільних комп'ютерів для ресурсномістких робочих місць, це також відноситься, як Enterprise Desktop Grid (EDG). Наприклад, HTCondor високою пропускною спроможністю рамки обчислень програмного забезпечення з відкритим джерелом для крупнозернистого розподіленої раціоналізації інтенсивних обчислень задач можуть бути налаштовані, щоб використовувати тільки настільних комп'ютерів, де клавіатура і миша простоюють ефективно використовувати даремно потужності процесора від інакше дозвільних настільних робочих станцій , Як і інші повнофункціональних пакетних систем, HTCondor забезпечує роботу механізму організації черг, політику планування, схему пріоритетів, моніторинг ресурсів та управління ресурсами. Він може бути використаний для управління навантаженням на виділеному кластері комп'ютерів, а також чи він може легко інтегрувати обидва виділені ресурси (стійку кластери) і не спеціалізовані настільні машини (цикл очищення) в одній обчислювальному середовищі.

Історія[ред.ред. код]

Обчислювальний термін сітки виникла на початку 1990-х років як метафора для виготовлення живлення комп'ютера, як легко отримати доступ як електричної мережі живлення. Метафора енергосистема для доступною обчислювальної техніки швидко став канонічним, коли Ян Фостер і Карл Kesselman опублікували свою плідну роботу "Сітка: Blueprint для нової обчислювальної інфраструктури" (1999).

продування CPU і добровільні обчислення були популяризував починаючи з 1997 по distributed.net, а потім в 1999 році SETI @ Home, щоб використовувати міць мережевих комп'ютерів по всьому світу, щоб вирішити ресурсомісткі завдання досліджень.

Ідеї сітки (в тому числі і від розподілених обчислень, об'єктно-орієнтованого програмування і веб-служб) були об'єднані Ян Фостер, Карл Кесельман, і Стів Tuecke, який отримав широке визнання як "батьки сітки". Вони привели зусилля, щоб створити Globus Toolkit, що включає не тільки управління обчислень, але і управління зберіганням, безпекою резервування, переміщення даних, моніторинг та інструментарій для розробки додаткових послуг, заснованих на тій же інфраструктури, в тому числі угоди переговорів, механізмів повідомлення, запуску служб, і інформацію агрегації. У той час як Globus Toolkit залишається стандартом де-факто для побудови мережевих рішень, ряд інших інструментів, які були побудовані, які відповідають деяку підмножину послуг, необхідних для створення підприємства або глобальної сітки.[3]

У 2007 році термін хмарних обчислень прийшов в популярності, який концептуально подібний до до канонічного визначення Фостер розподілених обчислень (з точки зору обчислювальних ресурсів споживається як електроенергія з енергосистеми). Справді, розподілених обчислень часто (але не завжди), пов'язані з постачанням хмарних обчислювальних систем на прикладі системи AppLogic з 3tera.

Прогрес в області розподілених обчислень[ред.ред. код]

У листопаді 2006 року Сайдел отримав Fernbach премію Сідні на конференції з суперкомп'ютерів в місті Тампа, штат Флорида "За видатний внесок у розвиток програмного забезпечення для високопродуктивних обчислень і розподілених обчислень, щоб дозволити спільне чисельне дослідження складних проблем у фізиці, і., Зокрема, моделювання чорний діра зіткнення ". Ця нагорода, яка є однією з найвищих нагород в обчисленнях, був нагороджений за досягнення в області чисельного відносності.

Кращі віртуальні суперкомп'ютери[ред.ред. код]

  • Станом на серпень 2015 року, BOINC - 139 PFLOPS. 
  • Станом на серпень 2015 року, Folding @ Home - 36,3 x86-еквівалентно PFLOPS. 
  • Станом на серпень 2015 року, Einstein @ Home 0,801 PFLOPS. 
  • Станом на серпень 2015 року, SETI @ Home 0,677 PFLOPS. 
  • Станом на серпень 2015 року, MilkyWay @ Home 0,381 PFLOPS. 
  • Станом на серпень 2015 року, GIMPS 0,235 PFLOPS.
  • [4]

Крім того, Станом на серпень 2015 року мережа Bitcoin була обчислювальна потужність стверджував, що еквівалентно 4,873,841.62 PFLOPS. Проте, елементи цієї мережі може виконувати тільки один конкретний криптографічного хеш-обчислень, необхідний для протоколу Bitcoin. Вони не можуть виконувати спільне з плаваючою комою арифметичних операцій, тому їх обчислювальна потужність не може бути виміряна в плюхається.

Проекти та програми[ред.ред. код]

Сітка обчислень пропонує спосіб вирішення проблеми Grand Challenge, такі як згортання білка, фінансове моделювання, моделювання землетрусів і моделювання клімату / погоди. Сітки пропонують спосіб використання інформаційних технологій ресурси оптимальним чином всередині організації. Вони також надають кошти для пропонуючи інформаційні технології як утиліти для комерційних і некомерційних клієнтів, з тими клієнтами платять тільки за те, що вони використовують, як і з електрикою або водою.

Сітка обчислення застосовується Національним науковим Фонду національної технології Grid, НАСА Інформація Power Grid, Pratt & Whitney, Bristol-Myers Squibb Co., і American Express.

Один цикл відкачуванням мережу SETI @ Home, який використовує більше 3 мільйонів комп'ютерів для досягнення стійких 23,37 терафлопс (979) прижиттєві терафлопс станом на вересень 2001 року.[5]

Станом на серпень 2009 Folding @ Home досягає більше 4 петафлопс на більш ніж 350 000 машин.

Європейський союз фінансує проекти за допомогою рамкових програм Європейської Комісії. BEinGRID (Бізнес Експерименти в Grid) був дослідний проект, який фінансується Європейською комісією як комплексний проект у рамках програми спонсорства Шостої рамкової програми (FP6). Створена 1 червня 2006 року проект провів 42 місяці, до листопада 2009 року проект не був погоджений Atos Origin. Згідно бюлетеню проекту, їх місія полягає у «створенні ефективних маршрутів для сприяння прийняттю розподілених обчислень у всіх країнах ЄС і стимулювати дослідження в області інноваційних бізнес-моделей з використанням грід-технологій". Щоб витягти кращі практики і загальні теми з експериментальних реалізацій, дві групи консультантів аналізують ряд пілотів, один технічний, один бізнес. Проект має велике значення не тільки для його великої тривалості, але і для його бюджету, що на 24,8 млн євро, є найбільшим з будь-якого комплексного проекту FP6. З цієї суми 15,7 млн ​​передбачено Європейською комісією, а інша частина його 98 беруть участь компаній-партнерів. З моменту закінчення проекту, результати BEinGRID були прийняті і продовженої IT-Tude.com.

Сприятлива Сітки для E-НАУКУ проект, заснований в Європейському Союзі і включені сайти в Азії і Сполучених Штатах, був наступний проект до Європейського DataGrid (EDG) і перетворилася в європейську грід-інфраструктури. Це, поряд з LHC Computing Grid (LCG), був розроблений для підтримки експериментів з використанням CERN Великий адронний коллайдер. Список активних центрів, що беруть участь в LCG можна знайти в Інтернеті, як моніторинг може в реальному масштабі часу інфраструктури EGEE. Відповідне програмне забезпечення і документація також доступні для громадськості. Існує припущення, що виділені волоконно-оптичні канали, такі як ті, які встановлені ЦЕРН для задоволення потреб в даних інтенсивно в LCG-х років, можуть бути доступні для домашніх користувачів, забезпечуючи таким чином інтернет-послуг зі швидкістю до 10000 разів швидше, ніж традиційні широкосмугового з'єднання в один прекрасний день. Європейська мережева інфраструктура була також використана для інших наукових досліджень і експериментів, таких як моделювання онкологічними клінічних випробувань.[6]

Проект distributed.net було розпочато в 1997 році центр NASA Advanced Supercomputing (NAS) побіг генетичних алгоритмів за допомогою циклу поглинач Кондор працює на близько 350 Sun Microsystems і SGI робочих станцій.

У 2001 році United Devices працює проект United Devices Cancer Research на основі свого продукту Сітка МП, який цикл-добровольців на прибирає сміття ПК, підключеного до Інтернету. Проект здійснювався на близько 3,1 млн машин до його закриття в 2007 році.[7]

Станом на 2011 рік, більше 6,2 млн машин, що працюють з відкритим вихідним кодом Berkeley Open Infrastructure для мережевих обчислень платформи (BOINC) є членами World Community Grid, яка Tops потужність обробки поточної найшвидшою суперкомп'ютерної системи (Китаю Tianhe-I). [8]

Визначення[ред.ред. код]

На сьогоднішній день існує безліч визначень розподілених обчислень:

  • У своїй статті «Що таке мережева? Трьох-Пойнт Контрольний список ", Ян Фостер перераховує ці первинні атрибути: 
  • Обчислювальні ресурси не справляються централізовано. 
  • використовуються відкриті стандарти. 
  • Нетривіальне якість обслуговування досягається. 
  • Plaszczak / Wellner визначають технологію сітки як "технологія, яка дозволяє віртуалізації ресурсів, на вимогу, а також виділення ресурсів служби (ресурс) обміну між організаціями." 
  • IBM визначає мережеві обчислення як "здатність, використовуючи набір відкритих стандартів і протоколів, щоб отримати доступ до програм та даних, обчислювальної потужності, ємності і широкий спектр інших обчислювальних ресурсів через Інтернет. Сітка являє собою тип паралельних і розподілених систем, що дозволяє спільне використання, вибір, і агрегацію ресурсів, розподілених по "кількох" адміністративних доменах на основі їх (ресурсів) доступності, продуктивності, продуктивності, вартості та якості в обслуговуванні потреб користувачів ". 
  • Раніше приклад поняття обчислення як утиліта була в 1965 році MIT Фернандо Corbató. Corbató і інші розробники операційної системи Multics припускав операційну комп'ютер об'єкта "як енергокомпанії або водної компанії". 
  • Buyya / Венугопал визначають сітку як "тип паралельної і розподіленої системі, яка дозволяє спільне використання, вибір, і агрегування географічно розподілених автономних ресурсів динамічно під час виконання в залежності від їх доступності, можливостей, продуктивності, вартості та користувачів «якість їх обслуговування вимоги". 
  • CERN, один з найбільших користувачів технології сітки, розмови про сітку: "сервіс для обміну живлення комп'ютера і ємність зберігання даних через Інтернет."
  • [9]


Примітки[ред.ред. код]

  1. Scale grid computing down to size. NetworkWorld.com. 2003-01-27. Процитовано 2015-04-21. 
  2. Pervasive and Artificial Intelligence Group :: publications [Pervasive and Artificial Intelligence Research Group]. Diuf.unifr.ch. May 18, 2009. Процитовано July 29, 2010. 
  3. Alaa, Riad; Ahmed, Hassan; Qusay, Hassan (31 March 2010). Design of SOA-based Grid Computing with Enterprise Service Bus. INTERNATIONAL JOURNAL ON Advances in Information Sciences and Service Sciences 2 (1). с. 71–82. doi:10.4156/aiss.vol2.issue1.6. 
  4. Internet PrimeNet Server Distributed Computing Technology for the Great Internet Mersenne Prime Search. GIMPS. Процитовано June 6, 2011. 
  5. Current Total Statistics. www.setiathome.ssl.berkeley.edu. SETI@home. Архів оригіналу за July 11, 2000. Процитовано 18 June 2015. 
  6. Athanaileas, Theodoros (2011). Exploiting grid technologies for the simulation of clinical trials: the paradigm of in silico radiation oncology. SIMULATION: Transactions of The Society for Modeling and Simulation International 87 (10) (Sage Publications). с. 893–910. doi:10.1177/0037549710375437. 
  7. [1] Archived квітень 7, 2007 на сайті Wayback Machine.Wayback Machine.
  8. BOINCstats
  9. The Grid Café – The place for everybody to learn about grid computing. CERN. Процитовано December 3, 2008.