Par la suite, la propriété est acquise par un hollandais nommés Boers et loué à M. Lannefranque, entrepreneur de spectacles, qui ouvre en ces lieux un établissement de plaisir au nom de Tivoli.
L’historien de l’art Philippe Maffre évoque ensuite la présence d’un établissement de danse nommé « Fêtes champêtres, A Idalie » ouvert par M. Labille en 1803.
Le Château Labottière a un temps appartenu à Antoine Gautier, maire de Bordeaux de 1849 à 1863, avant d’être vendu à la compagnie de Jésus le 14 avril 1857. En 1904, un incendie mène les jésuites à déménager sur le terrain qu’ils occupent toujours aujourd’hui avenue d’Eysines, à Bordeaux, non loin du Château.
A cette époque, la municipalité envisage d’installer au sein du château Labottière un Musée des Arts décoratifs. En 1911, ce dessein semble être abandonné: l’hôtel et le jardin paraissent inoccupés voire abandonnés.