"Le Château-fort est situé sur un cap rocheux, à proximité du cap Fréhel, sur la commune de Plévenon.
Ce site fut choisi en raison de son emplacement favorable, naturellement peu accessible et offrant une vue dégagée sur la Manche et sur la Côte d'Émeraude ainsi qu'une grande partie de la Baie de Saint-Malo. Les falaises entourent le château et ses environs, ce qui le protège de toute invasion par la mer.
De plus, les matériaux de construction étaient facilement accessibles : le granite venait du cœur de la Bretagne, le grès pouvait être directement récupéré sur les falaises (il reste d'ailleurs des traces des anciennes carrières sur le littoral, révélées par des toponymes tels que « port Taillé » toujours présents sur le cadastre). En outre, le bois était courant, avec les nombreuses forêts de l'époque médiévale.
Le Château-fort était un point stratégique important puisqu'il se trouvait non loin des voies commerciales reliant Saint-Malo, la Normandie et les îles Anglo-Normandes.
Le château est construit au XIVe siècle par le seigneur de Matignon, Étienne III Gouÿon. La construction du château commença dans les années 1340, son donjon date des années 1365-1370.
En 1379, à la suite du retour d'exil du duc de Bretagne Jean IV, le château fut assiégé par Bertrand Du Guesclin. Le château est attaqué et pris une seconde fois en 1597 lors des guerres de Religion, cette attaque de la Ligue catholique envers les occupants fidèles à Henri IV marque un temps d'abandon de l'édifice qui est partiellement incendié. Ce n'est qu'au XVIIIe siècle, sous Louis XIV, que le château reprend son intérêt stratégique et est bastionné.
Il servira jusqu'à la fin du Premier Empire où l'évolution des techniques militaires conduisit à son inadaptabilité. À partir de 1892, il fut vendu à divers propriétaires privés avant d'être acheté par un passionné Frédéric Joüon des Longrais en 1931 qui entreprit de lourds travaux de restauration.
L'électricité n'arrive au château qu'en 2001. Albert II prince de Monaco effectue une visite privée au château, le 5 juillet 2012 sur les traces de ses ancêtres les Goyon Matignon. "