Denkmalliste NRW schreibt:
"Der steile Burghügel beherrscht weithin sichtbar die Täler des Reifferscheider Baches und des Reinzelbaches, die an seinem Fuß zusammentreffen. Nur nach Norden ist dieser Hügel durch einen schmalen Sattel mit dem angrenzenden Höhenzug verbunden. Den Idealen mittelalterlicher Burgenbauer kam diese Lage sehr nahe, wie auch die ähnliche Anlage der Kronenburg beweist. Die früheste Burg von Reifferscheid allerdings hat wohl weiter nördlich, auf dem sogenannten Burghövel gelegen, wenn es sich hierbei sicher um noch viel mehr als eine dem relativ flachen Gelände angepaßte Wallanlage mit innenliegender Bebauung gehandelt haben wird. Ob dieser Platz oder vielmehr die Burg am Alteberg mit der 1106 verbrannten Burg in Verbindung zu bringen ist, bedarf noch der Klärung. 1130, als das "castrum" anläßlich der Pfarrerhebung der Kapelle genannt wird, hat die Burg mit Sicherheit schon auf dem vorgeschobenen Hügel gelegen, und spätestens im 14. Jahrhundert ist es eine befestigte Siedlung um die Burg, denn ab 1390 erscheint Reifferscheid in den Urkunden als "stat". Das Reifferscheid, das Johann V. 1385 so erfolgreich verteidigte, besaß also schon den Umfang, wie ihn das heutige Dorf auf dem Hügel immer noch besitzt. Heute präsentiert es sich als eine Gruppe von Häusern meist des 18.-20.Jahrhunderts auf dem Burghügel, innerhalb eines mauerumzogenen ovalen Berings von ca. 120 zu 190 m. Der unmittelbar an der Ringmauer nach drei Seiten steil abfallende Berg ist zur gefährdeten Nordseite durch einen künstlichen Einschnitt, den Halsgraben, gesichert. Zwei Tore führen in das Städtchen: das nördliche sogenannte Matthiastor aus dem 14. Jahrhundert und das östliche aus dem 15. Jahrhundert. Auf der höchsten Stelle des Berges steht erwartungsgemäß der Bergfried, hier mit der Doppelfunktion als letzte Zuflucht und als Schutz der am leichtesten angreifbaren Nordseite. An den siebengeschossigen runden Bergfried schließen sich nach Süden die Mauerzüge der Burg und der Vorburg an und nach Norden, Osten und Süden legt sich die Siedlung wie eine schützende zweite Vorburg um die Kernanlage. Dieser Burgtyp mit seinen der Hauptburg vorgelagerten Zwingern, die nacheinander passiert werden müssen, bevor man zum eigentlichen inneren Burgbezirk kommt, ist in den Kreuzzügen dem abendländischen Adel so nachdrücklich zur Kenntnis gebracht worden, daß er zum Prototyp der gotischen Höhenburg entwickelt wurde. Im 14.Jahrhundert hatte sich der Typ als verbindlich, weil äußerst zweckmäßig, durchgesetzt und verlor mit dem Aufkommen der Feuerwaffen wieder an Bedeutung, da diese eine völlig andere Art der Befestigung erforderten. Auch Reifferscheid dürfte in seinen erkennbaren Resten mehrheitlich dem 14.Jahrhundert entstammen auf der Grundlage einer älteren, staufischen Anlage. Die Hauptburg bestand aus dem Bergfried und den in seinem Schutz südlich gelegenen Wohngebäuden um einen schmalen länglichen Hof mit Zugang von Süden. An den Bergfried schließen heute noch starke Bruchsteinmauern an, die die Nordspitze der Burg wie einen leicht gerundeten Bug wirken lassen. Diese Form der Frontturmburg kommt häufig in staufischer Zeit vor (wichtiges Beispiel die Burg Ortenberg des Rudolf von Habsburg); die Einbindung des Turms in die starke Schildmauer verstärkt den abweisenden Eindruck. Der Felsen, auf dem der Turm steht, ist nicht nur für den Halsgraben eingetieft, sondern der gestalt abgearbeitet und geglättet worden, daß die Burg wie auf einen hohen Sockel gestellt wird. Die natürlichen Gegebenheiten werden Bewußt zur Steigerung (der funktionalen wie optischen Wirkung) der Architektur herangezogen und geformt. Ursprünglich verputzt, fensterlos und noch zusätzlich durch einen heute zugeschütteten Graben geschützt, bildeten Turm und Mauer die Feldseite. Am Querschnitt der 3,80 m starken Mauern sieht man, daß sie nachträglich um eine Schale von innen verstärkt worden sind; eine Konzession des 16. Jahrhunderts an die fortgeschrittene Geschütztechnik. Auch die nur mehr in halber Höhe erhaltene, nach Westen gerichtete Schildmauer der Burg ist mehrfach verstärkt worden, wie die drei Bruchsteinschalen erkennen lassen, und mit ihren tiefen Nischen spätestens seit dem 16.Jahrhundert für die Aufstellung kleinerer Geschütze eingerichtet gewesen. An diese Mauer war von innen kein Gebäude angesetzt; sie trug vielmehr ursprünglich einen Wehrgang, der den Bergfried mit dem achteckigen Südwestturm verband. Die Südfront wurde ganz vom Torflügel eingenommen, über dessen mittelalterliches Aussehen wir nichts wissen. Das noch erhaltene Rundbogenportal mit schlanken begleitenden Pilastern ist eine Zutat des 17. Jahrhundert, während die mit dem Portal fluchtende Südmauer einschließlich des folgenden Bastionsturmes an der Südostecke und der zur Nordspitze verlaufenden Mauer in ihrer Zeitstellung noch ganz klar erscheinen, zumal die Baumaßnahmen der letzten Jahre viele alte Befunde überdecken. Jedoch läßt sich, ausgehend vom einigermaßen ungestörten Bastionsturm mit seinen radial angeordneten Geschützkammern, der das gesamte Vorburggelände und vor allem die beiden Vorburgtore beherrschte, hierfür ebenfalls eine Erweiterung des 16.Jahrhunderts annehmen. Nach Charakter und Nutzung handelt es sich nicht um einen Zwinger, sondern um eine der Feuerwaffenentwicklung angepaßte Verstärkung der Sockelzone vor allem des hier liegenden und besonders gefährdeten Palasbaues, dem damit gleichzeitig eine Verteidigungsplattform vorgelegt wurde. Dadurch konnte außerdem der Palas, in gotischer Zeit nach außen noch sehr wehrhaft geschlossen, mit Hilfe größerer Fenster innen wohnlicher und außen repräsentativer gestaltet werden. Wie der Palas 1725 ausgesehen hat, zeigt die Zeichnung von Renier Roidkin: Er besaß über dem allein erhaltenen zweischiffigen, kreuzgratgewölbten Kellergeschoß zwei hohe Stockwerke und ein ausgebautes Dachgeschoß, hatte neun Achsen Kreuzstockfenster und wurde flankiert von zwei dreigeschossigen Ecktürmen auf achteckigem Grundriß, die typologisch deutlich mit Nideggen verwandt sind auch ein Hinweis auf die selbstbewußte Haltung ihres wahrscheinlichen Erbauers Johann V. Der Verbindungsbau zum Bergfried hatte höhergelegene Keller und daher bei ebenfalls zwei folgenden Geschossen andere Laufebenen. In der ersten Bauphase war der Bergfried sicher nur in die Wehrmauer eingebunden und hatte zum Hof hin ganz frei gestanden; später ergab sich aus der Enge des Burgplateaus die Notwendigkeit, an den Turm Gebäude anzubauen. Im westlichen Raum dieser Gebäude, der noch die Ansätze eines Kreuzgratgewölbes aufweist, wird die Kapelle vermutet, eine Ansicht die Zweifel erlaubt, da im Normalfall Burgkapellen in der Nähe der Repräsentationsräume und auch nicht ebenerdig angeordnet sind, bei älteren Burgen auch häufig über dem Tor und gelegentlich im Bergfried. Die gotische Burg ist also eine steile Anlage mit mächtigem Bergfried, Schildmauern nach Norden und Westen, einem befestigten Torbau und einem repräsentativen Palas mit schlanken hohen Ecktürmen gewesen. Diese Burg wurde bis ins 16. Jahrhundert verstärkt durch neue Mauerschalen und den bastionsartigen Vorbau nach Osten und Norden; der gotische Saalbau erhielt spätestens jetzt Kreuzstockfenster und die noch bei Roidkin sichtbaren Zwerchhäuser; die Verbindungsbauten wurden angelegt und erweitert. Weitere Veränderungen wurden nach dem 16. Jahrhundert nicht mehr nötig, denn die gräflich Familie residierte hier nicht mehr ständig. So wurde nach dem Brand 1669, der zwar die Fachwerkhäuser im Städtchen völlig zerstörte, aber die Burg nur beschädigte, das Vorhandene wiederhergestellt und den Turmdächern die moderne Form der welschen Haube gegeben, wie sie in dieser schlanken Form sicher nicht zufällig am Schloß Dyck wiederkehren. Das Erscheinungsbild einer spätgotischen Ritterburg blieb weitgehend erhalten, bis das Schloß Anfang des 19. Jahrhunderts ausgeplündert wurde und zur Ruine verfiel. Insgesamt ist der Grundriß einer gotischen Zwingeranlage noch klar ablesbar; die Außenmauern waren allerdings höher und damit der Gesamteindruck des Hofes enger. Genauso deutlich ist der Grundriß bei der eigentlichen "stat" erhalten; die ehemals höhere Ringmauer, das doppeltürmige, 1689 um das Wehrganggeschoß erniedrigte Nordtor, in das noch im 18. Jahrhundert die Zugbrücke einschlug, und das Osttor des 15. Jahrhunderts (1581 erneuert) sowie die Halbtürme zur Flankensicherung der Mauern begrenzen heute wie im Mittelalter die Burgsiedlung. Die ehemalige Funktion des Städtchens als äußerer Zwinger der Burg ist immer noch unverkennbar und direkt mit der Kronenburger Anlage verwandt. Hier wie dort ist auch die Kirche mit in die Befestigung einbezogen und der steile Berg von Bebauung weitgehend frei geblieben. Aus: "Herzog, Harald: Burgen und Schlösser …, Köln 1989"