Kastellet blev grundlagt af Danmarks byggelystne konge Christian IV d.
28. oktober 1624.Det var meningen, at der skulle have været bygget et
slot, så kongen selv kunne søge tilflugt i Kastellet. Det blev dog
droppet af økonomiske grunde. Kastellet blev ikke færdig i Christian IV's
regeringstid, og det blev Frederik III som forstærkede skansen. Efter
svenskernes belejring af København i 1658–60, blev den hollandske
ingeniør Henrik Ruse (senere Rysensteen) tilkaldt for at om - og udbygge
skansen. Den fik navnet Citadellet Frederikshavn, men er bedre
kendt som Kastellet. Kastellet forsvarede i 1807 bravt København mod
englændernes angreb under bombardementet, men måtte overgive sig sammen
med resten af byen.
Over Kongeporten er placeret et lille tårnur med kvarter og timeslag.
Værket er ikke større end et standursværk, men går utroligt præcis.