Erstmals genannt wird Schwalefeld im waldeckischen Lehnsregister von 1332 - 1344:
"Item Cop de hottope 1 mansus in swaluelde".
Im Wirtschafts- und Statutenbuch des Damenstifts Geseke von 1370 heißt es übersetzt: "Ebeso sind der Verwalterin von vier Mansen des Gutes Swalefelde 6 Solidi und 3 Denare zu entrichten."
Schon 952 schenkten die Haolde dem Damenstift Geseke 20 Höfe, darunter auch die in Schwalefeld. Es ist zu vermuten, dass es während der Errichtung der Burg, ca. 880 bis 930, außer dem Hof und dem Selhof noch 2 bis 3 weiter Höfe gegeben hat.