Народився Герберт Карлссон у Гетеборзі. Розпочав виступи на футбольних полях в аматорських клубах «Аннедальс», «Ньорд» і «Вега». У 1917 році Карлссон став гравцем одного із найсильніших клубів Швеції «Гетеборг», у складі якого наступного року став чемпіоном Швеції. У складі клубу відрізнявся високою результативністю, відзначившись 142 м'ячами в 140 проведених за клуб матчах. З 1918 до 1922 року грав у складі збірної Швеції, за яку зіграв загалом 20 матчів, у яких відзначився 19 забитими м'ячами. У 1920 році Карлссон грав у складі збірної на літніх Олімпійських іграх, де з 9 забитими м'ячами став кращим бомбардиром футбольного турніру.
У 1922 році Герберт Карлссон поїхав грати до США, де до 1931 року виступав у складі низки клубів. У Сполучених Штатах футболіст також відзначався високою результативністю, зокрема у складі «Індіана Флурінг» він у 110 проведених матчах відзначився 56 забитими м'ячами, у складі «Нью-Йорк Нейшнлс» у 109 матчах Карлссон відзначився 31 забитим м'ячем, а в складі «Нью-Йорк Джайнтс» у 49 матчах відзначився 20 забитими м'ячами.
У 1931 році Герберт Карлссон повернувся на батьківщину, на футбольних полях він більше не виступав. Помер Герберт Карлссон у 1952 році в Гетеборзі.