Der Stifter des Klosters Arnstein war Graf Ludwig III. von Arnstein. Im Jahr 1139 wandelte er seine Stammburg in ein Kloster nach den Regeln des Prämonstratenser-Ordens um, in das er als Büßer selbst einzog.
Es gibt die Legende, dass Ludwig ein Raubritter gewesen sein soll. Angesichts seines schlimmen Lebenswandels soll ihn eines Tages die Angst um sein Seelenheil gepackt haben, sodass er allem Weltlichen entsagte. Ob diese Geschichte stimmt, ist unklar. Vielleicht war es die Kinderlosigkeit der Ehe mit seiner Frau Guda, die Ludwig als Fingerzeig Gottes interpretierte und die ihn zu diesem Schritt bewog.
Ludwigs Frau zog ebenfalls in das neu gegründete Kloster ein. Guda wandte sich noch radikaler von der Welt ab als Ludwig. Als sogenannte Inkluse verließ sie ihre Zelle bis zu ihrem Lebensende nicht mehr. Wo diese Zelle stand, weiß man heute nur noch ungefähr. Nach vielen Umbauten sind von der einstigen Burg nur noch einige Mauerreste zu sehen.