Un premier château est construit au XIII^eme siècle (quelques vestiges subsistent).
Vers la fin du XVI^ème siècle, Jacques de Croixmare fait édifier une nouvelle demeure. Un état des biens du fief de Saint-Just, dressé en 1608, mentionne un manoir, des communs, une orangerie, un jardin, un potager, etc. Le domaine comprend encore une avenue plantée d'ormes, des vignes, deux moulins, une chapelle et des terres cultivables.

En 1654, les derniers descendants de la famille de Croixmare vendent le domaine à Jean de Savary, Secrétaire du Roi et Grand Maître des Eaux et Forêts de Normandie. Jean de Savary et ses descendants transforment le parc en jardin à la française, créent le circuit d'eau, le jardin potager.

En 1775, le château est vendu au duc de Penthièvre. Dans le parc, il fait édifier la laiterie, une fabrique et probablement la glacière ; il fait encore construire le grand commun et une infirmerie (bâtiment aujourd'hui intégré dans la propriété voisine du Rocher). A la mort du duc de Penthièvre, en 1793 le domaine est vendu comme bien national.

Propriétaire de 1795 à 1798, Sébastien-Gilles Huet de Guerville fait inhumer son épouse dans le parc, en réutilisant les éléments d’un mausolée provenant de l'église de Mercey.

En 1805, Victor Fanneau de la Horie (connu pour avoir été l’amant de la mère de Victor Hugo et fomenteur de complots contre Napoléon), propriétaire depuis 1798, revend le château au Chevalier Suchet, qui le revend à son frère, maréchal et duc d'Albufera.

Ce dernier entreprend à Saint-Just de grands travaux, tant dans le château que dans le parc. L'ensemble des bâtiments est remis en état et bénéficie d’une nouvelle décoration. Une partie du parc est redessinée en jardin à l’anglaise. L'avenue qui mène au château est replantée avec des peupliers.

Depuis 1885, le château est aux mains de la même famille, qui s'est attaché à remettre le parc en état :
- en 1893, l'avenue est replantée en platanes,
- en 1905, la pièce d'eau est curée et les goulettes, disparues sous le calcaire et la terre, sont dégagées et remises en eau (1935).
- En 1904, l'aile gauche du château est abattue.

Le château appartient toujours aujourd'hui à une vieille famille française passionnée par l'histoire de ce monument et le romantisme de son parc.

Les jardins ont reçu le label "jardin remarquable". Ils constituent, en effet, l’attrait principal du château de Saint-Just. Derrière le château, un splendide miroir est colonisé par de nombreux nénuphars, et plusieurs variétés de poissions. Il est alimenté par trois chemins d’eau vive zigzaguant en cascades sous les arbres. Leurs cours sont entrecoupés de 22 bassins de formes géométriques différentes.