Клуб заснований був 21 серпня 1901 року відвідувачами одного з місцевих пабів, «Брайтон Альбіон» грав у Південній футбольній лізі до переходу в Футбольну Лігу 1920 року.
У Перший дивізіон клуб вперше вийшов 1979 року й грав у ньому до 1983 року, вийшовши також в цей період у фінал кубка Англії 1982—1983, де поступився в переграванні «Манчестер Юнайтед» (2:2 і 0:4). Відхід з команди багатьох лідерів, зокрема, захисника Марка Лоренсона, привів до вильоту «Брайтона» з вищого дивізіону Англії.
У сезоні 1996—1997 «Брайтон» зайняв 23 місце з 24 у Третій Лізі, маючи однакову кількість очок з «Герефорд Юнайтед», випередивши їх лише за рахунок додаткових показників. У наступному сезоні ситуація повторилася — знову передостаннє місце, але цього разу цього разу від аутсайдера, «Донкастер Роверз», «Альбіон» відділяло 15 очок. Також 1997 року був закритий стадіон «Голдстоун Граунд», на якому клуб виступав з моменту свого створення. «Брайтон» був змушений переїхати на менш місткий «Вітден Стедіум», один з небагатьох англійських стадіонів з біговими доріжками.
Після цього клуб заробив підвищення в лізі і навіть зміг на один сезон піднятися в Чемпіоншип 2005 року. Але не зміг втриматися і повернувся до Ліги 1, де на кілька сезонів влаштувався в середині таблиці.
12 квітня 2011 року «чайки» під керівництвом Гуса Поєта, за п'ять турів до кінця сезону в Лізі Один, здобули домашню перемогу над столичним «Дагенхем енд Редбридж» з рахунком 4:3 і забезпечили собі перше місце і вихід в Чемпіоншип.
До сезону 2011—2012 у клубу з'явився новий стадіон — «Фалмер», місткістю більше 22 тисяч глядачів.