Jean HANET, le grand-père de CLÉRY, est le premier de sa famille à s'installer à Versailles. Il fut successivement palefrenier (1735 et 1736), voiturier au Potager du Roi (1741 à 1754), puis entrepreneur des fumiers aux Petites Écuries du Roi. Il avait épousé la fille d'un soldat suisse et avait eu dix enfants. À plusieurs reprises, il ajouta à son nom celui de son village d'origine, qui est Cléry-en-Vexin.
Cant HANET, son second fils, commença par travailler au Jardin du Roi à Trianon. Puis une affaire de rapt, dont il se révéla innocent, l'obligea à abandonner sa place, et il loua alors la Ferme de Jardy à Vaucresson et épousa Marguerite LAURENT. Ils eurent dix enfants, dont Jean-Baptiste Cant HANET fut l'aîné.
En septembre 1763, selon les Mémoires de Pierre-Louis HANET (frère cadet de Jean-Baptiste Cant HANET), Marguerite LAURENT est sélectionnée pour être une des nourrices de l'enfant dont la Dauphine est enceinte (la future Madame Elisabeth). Un accident l'en empêche, mais une dame de la Cour, Madame de Guéménée la remarqua et l'employa comme nourrice de son fils le Duc de Montbazon. Plus tard, celle-ci décida de s'occuper de l'avenir des deux fils aînés de la nourrice de son fils. Elle doit être la gouvernante des futurs enfants du roi Louis XVI et de Marie-Antoinette et aura à ce titre la charge de choisir leurs futurs serviteurs.
A l'âge de quatorze ans (1773), Jean-Baptiste Cant HANET est envoyé dans la maison d'éducation tenue par Guiné. Trois ans plus tard, il entre au service de Madame de Guémenée. Pour être distingué de son frère Pierre-Louis HANET qui sera au service de cette même personne, il prendra le nom de CLÉRY.
En 1778, à la naissance de Madame Royale, Madame de Guéménée préféra placer Pierre-Louis HANET au service de cette princesse et garder CLÉRY qu'elle attacha à son secrétariat particulier. En 1781, à la naissance du Dauphin, elle le garda à son service tout en lui réservant une place de valet de chambre du Dauphin. Mais en 1782, la banqueroute des Rohan-Guéménée, incapables d'honorer leurs dettes qui s'élèvent à 33 millions de livres, cause un retentissant scandale et Madame de Guéménée doit démissionner de sa charge de gouvernante des enfants royaux au profit de la Comtesse de Polignac. Les places vacantes au service du Dauphin sont distribuées et CLÉRY est oublié. Informée de cette situation, la Reine fait nommer CLÉRY comme barbier du roi et valet du prochain enfant royal à naître, ce qu'il deviendra en 1785, à la naissance du Duc de Normandie.
Lui et son frère restent au service de la famille royale lorsque celle-ci est contrainte de s'installer à Paris. Le 10 août 1792, la foule envahit les Tuileries pour se saisir de la famille royale et massacrer les royalistes : les deux frères s'enfuient par une fenêtre, CLÉRY est blessé dans sa chute, mais ils parviennent à se réfugier à Vaucresson
Pendant que son frère Pierre-Louis s'occupe de son entreprise de meunerie pour subvenir aux besoins de toute la famille, y compris de Marie-Élisabeth TALVAZ-DUVERGER, épouse de CLÉRY et de ses enfants, ce dernier demanda le 26 août à Péthion, maire de Paris, la permission de servir le roi durant sa captivité au Temple et l'obtint. Pendant cinq mois CLÉRY fut l'unique serviteur de Louis XVI, jusqu'à l'exécution de ce dernier le 21 janvier 1793. Louis XVI, en le recommandant à son fils dans son testament, lui en a rendu un digne hommage, mais cela servit de prétexte pour le garder emprisonné au Temple.
Libéré en mars 1793, il se retira dans sa maison de Juvisy. Il fut cependant emprisonné de nouveau à la prison de La Force, à partir de septembre 1793, et parvint à échapper aux exécutions. Ce n'est qu'à la fin de la Terreur qu'il recouvra sa liberté (9 août 1794).
Dépourvu de ressources, il travailla au bureau des subsistances à Paris, puis à Strasbourg. Étranger à toute comptabilité, il ne s'occupa en fait que de la rédaction de son Journal. En décembre 1795, il quitte la France, devenant ainsi émigré, pour rejoindre Madame Royale, la fille de Louis XVI, et se mettre à son service. Louis XVIII le nomma premier valet de la Chambre du Roi et Chevalier de Saint-Louis.
En décembre 1801, il fut autorisé à revenir en France, mais ne le fit qu'en 1803, pour y revoir sa femme et ses enfants. Bonaparte, prévoyant son accession au titre d'Empereur, et cherchant à s'attacher d'anciens serviteurs de Louis XVI, lui proposa d'être premier chambellan de Joséphine de Beauharnais. Cléry refusa avec dignité et quitta la France pour revenir à la Cour de Louis XVIII. Frappé d'apoplexie en automne 1808, il mourut le 27 mai 1809 à Heitzing en Autriche. Il fut enterré sous l'épitaphe : "Ci-gît le fidèle Cléry".
HANET Marguerite, tante de HANET Cant Jean-Baptiste, est notre ancêtre directe :
Valet de Chambre du duc de Normandie (Dauphin) puis de Louis XVI au Temple (1792-1793), émigré en 1795, auteur du Journal de ce qui s'est passé à la Tour du Temple pendant la captivité de Louis XVI.
Il commença par travailler au Jardin du Roi à Trianon. Puis une affaire de rapt, dont il se révéla être innocent, l'obligea à abandonner sa place. Il loua alors la Ferme du Jardy à Vaucresson.
Il fut successivement palefrenier (1735 et 1736), voiturier au Potager du Roi (de 1741 à 1754), puis entrepreneur des fumiers aux Petites Écuries Royales.
Valet de Chambre de Madame Royale, munitionnaire des Armées Républicaines, Conservateur des Forêts en Corse.
Valet de Chambre à la Cour de Prusse.
Capitaine de Corvette, Commandeur de la Légion d'Honneur.
Valet de Chambre à la Cour de Prusse.
Colonel d'Artillerie, Commandeur de la Légion d'Honneur.
Ingénieur des Mines, Chevalier de la Légion d'Honneur.
Lieutenant de Vaisseau, Chevalier de la Légion d'Honneur.
Chef de Bataillon