Die beiden "Löwenkopfsteine" erinnern an die Synagoge, die im 19. Jahrhundert hier gestanden hat. Nachdem um 1870 die meisten jüdischen Familien Veldhausen verlassen hatten, wurde die Synagoge aufgegeben und später abgebrochen. Von da an war die Synagoge in Neuenhaus bis zu ihrer Zerstörung 1938 das religiöse Zentrum aller jüdischen Niedergrafschafter.
Von der Synagoge in Veldhausen blieben nur zwei kleine Sandsteinblöcke, die vermutlich aus dem Eingangsbereich stammen, erhalten. Am 5. Mai 2017 sind die Löwenkopfsteine an jenen Ort zurückgekehrt, an dem einst die Veldhausener Synagoge stand. Umrahmt von Kies und Pflanzen stehen sie am Bürgersteig.