В 1169 году рыцарь, принадлежащий к дворянскому роду фон Зуйлен, впервые упоминается в документах с приставкой «эн Анхольт». Он назван вассалом Утрехтского епископа Готфрида фон Ренена. В настоящее время историки предполагают, что именно в этот период времени была основана ранняя укреплённая дворянская усадьба на искусственном острове. Она предназначалась для защиты границ епархии. Позднее на месте первоначального укрепления с единственной башней и был возведён замок Анхольт. При этом достоверно известно, что в первой половине XIV века Стефан IV Зейленский († около 1347 года) освободил жителей Анхольта от крепостной зависимости, даровав им 25 мая 1347 года особые привилегии. Таким образом, феодальная зависимость имения Анхольт от Утрехтского епископства прекратилась. К тому времени замок и окружающие его земли вошли в состав владений Священной Римской империи.