Der Industrielle Jean-Nicolas Collart ließ 1812 den größten Teil abreißen und errichtete das heutige Schloss. Von der ursprünglichen Wasserburg ist nur noch einer der vormals vier massiven Rundtürme erhalten geblieben.
Ein wichtiger Gast im Schloss war Victor Hugo. 1871 wohnte er mit seiner Familie in Altwies und reiste auch nach Schengen. Er war so begeistert vom alten Schlossturm, dass er gleich eine Skizze anfertigte.* Der Schlossherrin, Frau Collart, gefiel das Bild so gut, dass sie ihm den Turm als Motiv für die Zeichnung bereitstellte. Daraufhin fertigte Hugo eine 2. Zeichnung an, welche heute noch im MNHA zu sehen ist.
*Die lokale Anekdote besagt, dass Victor Hugo in den Moselort reiste, weil er von der Schönheit der damaligen Schlossherrin Madame Collart erfahren habe. Während einer Kaffeerunde kleckerte er auf seinen Notizblock. Den Fleck übermalte er daraufhin mit dem Turm und dem Schloss. Die Schlossherrin soll darauf scherzhaft erklärt haben, dass, wenn sie die Zeichnung geschenkt bekäme, sie ihm das Gebäude inklusive des Inventars überschreiben würde.
