Rod knížat Clary pochází z Toskánska a původně se jmenoval de Clario. Ve 14. století žil David de Clario, který měl za manželku Marii Spinettovou se kterou měl dva syny Bernarda a Jiřího. Bernard de Clario dle některých rodopisců v roce 1363 obdržel od císaře Karla IV. v Čechách inkolát.

Za třicetileté války přišel do Čech s císařským vojskem František Clary de Riva. V následných konfiskacích po stavovském povstání viděl svoji příležitost k rozmnožení majetku. Již v roce 1623 koupil na Žatecku Dobříčany, Velký a Malý Očihov, Dubčany, Hořetice, Žíželice a Bílence. František Clary a jeho synové byli povýšeni 16. 2. 1625 do říšského rytířského stavu a obdrželi přídomek "z Dobříčan". Roku 1627 obdržel František Clary de Riva v Čechách inkolát. Jeho starší syn Dominik, byl plukovníkem ve španělském vojsku a od roku 1630 byl rytířem Kristova řádu. Zemřel bezdětný v roce 1662. 

Mladší syn Františka Claryho de Riva, plukovník, později generál Jeroným svob. pán de Clary (*10. 4. 1610 – † 9. 11. 1671) se držel vojenské rodové tradice a sloužil v italské a později španělské armádě. Roku 1626 sloužil pod Maradasem. Jako dědictví po svém příbuzném Janu Ludvíkovi Isolanim získal panství Zahrádku a Chocnějovice na Boleslavsku, držel také Dobříčany. Dne 22. 5. 1635 získal titul barona, starý panský stav svobodných pánů. V roce 1637 se stal Jeroným plukovníkem. Téhož roku dne 3. května 1637 se Jeroným de Clary oženil s Annou ovdovělou Müllerovou z Ruppachu, sestrou polního maršálka Jana hraběte z Aldringenu. Sňatkem získal Jeroným část teplické panství a později přijal titul i erb hrabat z Aldringenu. Z tohoto manželství měl jediného syna Jana Jiřího Marka de Clary (*4. 3. 1638 – † 21. 4. 1700). Anna zemřela v únoru roku 1665 a její syn z prvního manželství Jan Pavel hrabě z Aldringenu (†1666) zemřel o rok později. Protože Jan Pavel hrabě z Aldringenu neměl žádné potomky, tak část jeho benešovského a část teplického panství přešla na Jeronýma de Clary a jeho syna Jana Jiřího Marka, kteří byli v průběhu let 1665-1666 povýšeni císařem do říšského hraběcího stavu s titulem Clary-Aldringen. Tak došlo k dědičnému spojení jmen, majetků, znaků i titulů. V držbě měli Teplice, Benešov, Lenešice, Růžovou, Bynovec, Želechovice, Dobříčany a Hospozín. V roce 1667 se Jan Jiří Marek oženil s Ludmilou Terezou hraběnkou ze Schönfeldu (†1676). 

Po otcově smrti v roce 1671 se Jan Jiří Marek hrabě Clary-Aldringen (†1700) stal jediným držitelem původně všech aldringenovských a claryovských panství. Dne 25. března 1676 zemřela Ludmila ze Schönfeldu, manželka Jana Jiřího Marka. Z tohoto manželství měl dva syny Jana Jiřího (*1668 – †1701), Františka Karla (*29. 1. 1675 – †20. 1. 1751) a tři dcery Markétu, Klaudii a Antonii; V průběhu roku 1676 koupil Jan Jiří Marek od Karla Ferdinanda hraběte z Valdštejna část benešovského panství – díl Reifen, část panství Bynovec a čtvrtinu Dolního zámku v Benešově s příslušným panstvím. Touto koupí spojil do jednoho celku benešovsko–bynovecké panství. 

Jan Jiří Marek byl přísedící komorního a lenního soudu v Čechách a dvorní komory v Horních Rakousích, také byl vyslancem u saského dvora. V roce 1678 se podruhé oženil s Marií Annou hraběnkou z Lamberka (†1691), ale ani toto manželství netrvalo dlouho, neboť po čtyřech letech dne 24. srpna 1692 Marie Anna zemřela. S touto druhou manželkou měl Jan Jiří Marek opět dva syny Jiřího Jana Rafaela (*1668 – †1721), Jana Filipa (*1690 – †1744) a dceru Eleanoru. Krátce po její smrti se v následujícím roce 1693 Jan Jiří Marek potřetí oženil s Barborou Terezií hraběnkou Kokořovskou z Kokořova (*18. 2. 1643 – † 5. 4. 1727).

Císařský dvorní rada Jan Jiří Marek hrabě Clary-Aldringen zemřel v dubnu roku 1700. Jeho synové drželi zpočátku celé dědictví společně, ale pod správou nejstaršího bratra Jana Jiřího (†1701), který také zdědil hraběcí titul. V té době byl již od roku 1693 Jan Jiří ženatý s Kateřinou hraběnkou Kagerovou ze Štampachu. Ta však brzy zemřela, a tak se již v roce 1698 Jan Jiří podruhé oženil s Polyxenou hraběnkou z Desfours.

Když Jan Jiří hrabě Clary-Aldringen v průběhu roku 1701 zemřel, převzal správu panství napřed dočasně a o něco později trvale nejstarší člen rodu František Karel hrabě Clary-Aldringen (†20. 1. 1751). Ten byl již od roku 1684 vyslancem u Drážďanského dvora.

Hrabě František Karel se oženil dne 13. února 1697 s Marií Terezií z Küniglu (*27. 5. 1672 – †18. 2. 1745). V následujícím roce 1698 se jim narodil syn Josef Šebestián (*1698 - †1748), o čtyři roky později roku 1702 další syn Jan Antonín (*1702 – †1742) a za další čtyři roky dne 8. března 1706 syn František Václav (*8. 3. 1706 – †21. 6. 1788).

V roce 1708 koupil František Karel od Jana Baltazara hraběte Claryho ze Sperbersbachu benešovskou část – panství Růžová – za 40 000 zl. Tak došlo opět po mnoha letech získáním této části, ke sjednocení benešovského panství, které vždy pak náleželo jako jeden celek k Dolnímu zámku v jednom rodě Clary-Aldringenů.

V průběhu roku 1716 František Karel rozdělil rodinný majetek na čtyři přibližně stejné díly a třemi z nich podělil své bratry. Poslední díl panství Benešov–Bynovec získal František Karel pro sebe. Do dělení nebylo ovšem zahrnuto panství Teplice, které si František Karel ponechal jako nejstarší člen rodu Clary-Aldringenů. Od roku 1722 byl František Karel nejvyšším lovčím království Českého a v následujícím roce 1723 i císařským tajným radou.

Hrabě František Karel byl velmi pragmatický a jeho snahou bylo rozšíření majetku dobrým hospodařením. Tak v roce 1737 rozšířil koupí benešovské panství o statek Dolní Habartice a na teplickém panství v průběhu následujících let budoval a rozšiřoval lázeňství. V roce 1742 hraběti Karlu Františkovi zemřel druhorozený syn Jan Antonín a tři roky později dne18.února 1745 zemřela i jeho manželka Marie Terezie z Küniglu. Přestože již byl hrabě Karel František ve vysokém věku sedmdesáti šesti let, opět se po třech letech vdovství oženil dne 3. listopadu 1748 se sedmnáctiletou Karolínou von den Osten (*18. 4. 1731 – †1798). Ještě v průběhu téhož roku 1748 zemřel hraběti Františku Karlovi jeho prvorozený syn Josef Šebestián.

V následujícím roce 1749 hrabě František Karel ustanovil teplické panství za rodový fideikomis. Když o tři roky později dne 20. ledna 1751 zemřel, získal na základě závěti teplický fideikomis i s panstvím Benešov–Bynovec–Růžová, jeho syn František Václav hrabě Clary-Aldringen (†1788).

Hrabě František Václav byl od 14. února 1747 ženatý s Marií Josefou hraběnkou z Hohenzollern-Hechingenu (*20. 1. 1728 – †3. 12. 1801). S manželkou Marií Josefou měl pět dcer a syna Jana Nepomuka, který se narodil 17. prosince 1753. Kromě tohoto syna měl ještě další tři syny, kteří však zemřeli v mladistvém věku. V průběhu následujících let se hrabě František Václav stal dvorním radou, císařským komořím a nejvyšším lovčím v Rakousku i v Čechách. Dne 2. února 1767 byl císařovnou Marií Terezií povýšen do knížecího stavu, s tím že knížecí titul v rodě přebíral vždy prvorozený potomek.

Kníže František Václav se za svého života staral o další rozvoj lázeňství na teplickém panství a také z těchto důvodů přestavoval teplický zámek na reprezentativní rodové sídlo. Panství Benešov–Bynovec–Růžová byla pro něho okrajovou záležitostí a sloužila pouze jako zdroj pro příliv peněz na rozsáhlé přestavby zámeckých budov v Teplicích. V té době byl benešovský Dolní zámek používán jen příležitostně při loveckých zábavách a panstvo do něho přijíždělo jen zřídka. Z větší části byl Dolní zámek obýván vrchnostenskými úředníky a zaměstnanci panství. 

Kníže František Václav v květnu roku 1787 postoupil správu celého majetku svému poslednímu žijícímu synovi Janu Nepomukovi Clary-Aldringenovi (†1826) a za rok nato dne 21. června 1788 kníže František Václav zemřel.

Kníže Jan Nepomuk se dne 31. května 1775 oženil s osmnáctiletou Marií Kristýnou princeznou de Ligne (*27. 5. 1757 – †16. 9. 1830), dcerou knížete Karla de Ligne, o kterém je známo, že byl ve své době vzorem ušlechtilosti a uhlazenosti mravů a pro svůj duchaplný vtip byl vzácným a vyhledávaným hostem v nejvyšších šlechtických kruzích. 

V průběhu dalších let se kníže Jan Nepomuk stal generálním dvorním ředitelem staveb a byl také vyznamenán velkokřížem řádu Leopolda. Z manželství s Marií Kristýnou měl syna Karla Josefa (*12. 12. 1777 – †30. 9. 1831) a Františka Morice. Za knížete Jana Nepomuka dosti značně zchátral Dolní zámek v Benešově, neboť byl z větší části využíván k hospodářským účelům panství.

Když dne 3. ledna 1826 zemřel kníže Jan Nepomuk, tak teplický fideikomis a panství k němu náležející zdědil jeho prvorozený syn kníže Karel Josef (†1831), který dle dobových zpráv se řadil ve své době k nejvzdělanějším a nejduchaplnějším rakouským aristokratům.

Kníže Karel Josef měl za manželku Louisu hraběnku Chotkovou z Chotkova a Vojnína (*24. 6. 1777 – †8. 3. 1864) se kterou se oženil dne 26. října 1802. Hraběnka Aloisie byla dcerou Jana Rudolfa hraběte Chotka, nejvyššího purkrabího Království českého a prezidenta Českého gubernia.

Když v Evropě probíhala válka proti císaři Napoleonovi a jeho neporazitelné francouzské armádě, tak kníže Karel Josef v roce 1809 zřídil na vlastní náklady prapor dobrovolníků, které rekrutoval převážně na statcích svého otce a sám měl nad nimi velení. Kníže Karel Josef měl s manželkou Aloisií jediného syna Edmunda Mořice (*3. 2. 1813 – †21. 5. 1894) a čtyři dcery Matyldu, Leontinu, Felicii a Eufemii Floru. Když dne 31. května 1831 ve Vídni zemřel Karel Josef kníže Clary-Aldringen, stal se dědicem teplického fideikomisu a k němu příslušných panství jeho osmnáctiletý syn Edmund Mořic (†1894), který byl také poslední příslušník rodu Clary-Aldringenů na benešovském Dolním zámku a k němu příslušném panství.

Kníže Edmund Mořic se dne 5. prosince 1841 oženil s šestnáctiletou Alžbětou Alexandrou hraběnkou z Ficquelmontu (*10. 11. 1825 – †14. 2. 1878). V průběhu následujících let se stal c.k. komořím, tajným radou a dědičným členem panské sněmovny. Kníže Edmund Mořic měl s manželkou Alžbětou Alexandrou jednu dceru Edmeu a tři syny: Mořice Karla Josefa zvaného Carlos (*4. 4. 1844 – †25. 3. 1920), Siegfrieda Františka Jana (*14. 10. 1848 – †11. 2. 1929) a Manfreda Alexandra (*30. 5. 1852 – †12. 2. 1928).

V roce 1856 kníže Edmund Mořic kníže Clary-Aldringen prodal menší část bynoveckého panství s benešovským Dolním zámkem a k němu příslušné panství Dr. Karlu Lumbemu, rytíři z Malonic. Ostatní pozemky bývalého panství si Clary-Aldringenové podrželi až do roku 1945.