Башня названа в честь Святого Олафа — одного из самых почитаемых в Скандинавии общехристианских святых. Башня стоит на самой высокой площадке Замкового острова — скалистом уступе. Лестница, ведущая со двора в башню, появилась лишь в самом конце XIX века, зато сама нижняя часть башни (около 16 метров шириной) сохранилась практически в том же виде, в каком ее возвели в 1293 году при основании замка. Это самое высокое строение в городе — ее общая высота над уровнем моря со скалой, на которой она стоит, — 75 метров. Стены выложены из гранитных валунов и кирпича. Окончательный вид башня Святого Олафа приобрела в 1891—1894 гг. Оригинальные перекрытия башни Св. Олафа не сохранились и не были восстановлены. Сейчас всё ее внутреннее пространство занято лифтом и системой лестниц-переходов, по которым посетители поднимаются наверх.