卡亚俄港曾是西班牙殖民地中最重要的港口，所有输往欧洲大陆的货物都从这里起运。由于经常遭遇海盗的侵袭骚扰，殖民者在卡亚俄市周围修建了一道城墙。１７４６年１０月，一场大地震和海啸将卡亚俄港夷为平地。西班牙殖民者认为，单靠一堵城墙，既不足以抵挡自然灾害的袭击，也不能抵御猖獗的英国海盗的侵扰，于是皇家费利佩城堡应运而生。

    １７４７年８月１日，城堡奠基，当时的西班牙总督何塞·安东尼奥亲自掌锹铲下第一锹土。城堡的设计者是法国宇宙结构学家路易·戈丁、西班牙数学家何塞·阿米奇和城堡建筑专家胡安·弗朗西斯科。工程建建停停，历时２９年，耗资３００万比索。城堡建成后，为纪念已故西班牙国王费利佩五世，遂被命名为“皇家费利佩城堡”。    这座城堡在不同的历史时期，曾分别担任过防御工事以及临时政府、国会和法院所在地等不同角色。左侧的总督府，现已被改建成秘鲁陆军军事博物馆。馆藏十分丰富，从最初印加人民反抗殖民统治和剥削所使用的原始木刀、竹箭，到秘鲁军队使用的地雷、枪支、大炮、服饰和旗帜，一应俱全。博物馆门外，矗立着一座为纪念所有为祖国而献身的战士而建的无名英雄雕像。雕像原型是１９４１年秘厄战争中牺牲的一名士兵，由于不知道他的具体身份，雕像面部没有五官，而只有手中紧握的钢枪。

    费利佩城堡呈不等边五角形，每边上建有碉堡，分别命名为“国王”、“王后”、“圣费利佩”、“圣卡洛斯”和“圣何塞”，每个碉堡上均建有弹药库。“国王”和“王后”碉堡是城堡内两座用石块砌成的最醒目的建筑，堡上还建有塔楼，称为“骑士”塔楼，两堡各有一座吊桥供出入。从碉堡的塔楼上，能向四周３６０度集中开火，同时，两楼又独立于城堡内其他建筑，如果敌军占领附近据点，则塔楼可以收起吊桥，关闭大门，继续作战并为内部人员提供给养。

    被视为“堡中之堡”的国王碉堡共３层，最上一层是瞭望台，下两层设有炮台：一层有２４门铁炮，二层有８门铜炮。堡内配备了粮食和武器储存库等服务设施，以供堡垒遭攻击时守备之用。王后碉堡也是城堡的主要防御工事，内除设有粮食和弹药储备库外，还有水井，井里至今有水。此外，在王后碉堡里还建有设计极其独特的监狱，监狱嵌在堡垒的石壁里，呈半圆形，只能容一人转身，囚犯只能在几近全黑的环境中站立度日。半圆形石壁的中间是看守室，墙上有一个个小洞与监狱石墙相通，看守可以通过小洞监听囚犯的对话。小洞路径弯曲，可以防止光线射入。

    登上“骑士”塔楼极目远望，整个卡亚俄港尽收眼底。蔚蓝色平静的海面上船影点点，渔轮穿梭，一片繁忙景象。平台上依然排列着一门门锈迹斑斑的铜炮、铁炮。硝烟散尽，始是和平。如今，这座古老的城堡终于可以从容而安详地守卫着美丽富饶的海港了。