Історія цього сиру сягає середини 1850-х років. Андерс Ларсен Бакке (1815–1899), фермер і піонер у норвезькій молочній промисловості, виробляв сир у селі Воле, що було тоді графством Ярлсберг і Ларвікс Амт (нині Вестфолл), за 80 км (50 миль) на південь від Осло.[1] Цей сир схожий на ементаль, який привезли до Вестфолла швейцарські сировари в 1830-х роках. Вперше про сир було зазначено в щорічному звіті графства Ярлсберг і Ларвікс Амт у 1855 році. Після кількох років популярності, відзначених великим обсягом виробництва, Jarlsberg зник з ринку.[2]
Сучасний сир Jarlsberg був розроблений в 1956 році Оле Мартіном Істгаардом з Інституту молочних продуктів при Сільськогосподарському університеті Норвегії.[3] Інтерес Істгаарда був викликаний дисертацією студента молочних наук, Пера Сакшауга, про сир, який історично виготовляли у Вестфоллі. Він був названий на честь норвезького дворянина, графа Ведела Ярлсберга, який володів землею поблизу Осло в районі, де на початку 1800-х років виробляли більш ранню версію сиру, або на честь однойменного графства. Рецепт був розроблений на основі формул швейцарських сироварів, які в той час переїхали до Норвегії.[4]