Starý šlechtický rod hrabat z Attemsu pochází z Aquilejska. Později se členové rodu usazují ve Štýrsku, Rakousích a Gorici. Svůj původ odvozují od hraběte Rudolfa z Montfortu. Jeho syna Jindřicha (†1169) uvádějí, jako svého nejstaršího předka. Synové Jindřicha z Montfortu, Jindřich a Arbo, dostali roku 1170 od patriarchy voglejského v léno dědičně panství Attems v benátském Furlansku nedaleko Videmu (Udine) a psali se pak po něm „z Attems“. Ve druhé polovině 14. století se rod dělí na dvě hlavní větve, které od bratří Duringa a Mikuláše (†1381) vedou svůj původ. Větev Duringova zůstala v Cavidale a Udine a má medvěda v erbu.

Větev Mikulášova dostala se do rakouských zemí a má erb na kříž rozdělený se štítkem červeným, na němž přední polovice bílého věžníka se spatřuje; v 1. poli a 4. poli jest černý říšskou korunou korunovaný orel na zlatém štítě, v 2. poli a 3. poli jsou tři bílé stříbrné špice vedle sebe v červeném poli, které jsou původním erbem. Později se ještě tato rodová větev rozštěpila na dvě linie, heiligenkreuzskou a petzensteinskou.

Zakladatelem linie petzensteinské byl Ulvinus z Attems (†1551), který v roce 1580 obdržel panství Peé se zámkem Petzensteinem. Syn jeho pravnuka Sigmund byl v roce 1653 povýšen do hraběcího stavu v dědičných zemích.

Zakladatelem heiligenkreuzské větve, byl Heřman IV. z Attems (*1564 – †1611) císařský tajný rada a nejvyšší hofmistr císaře Rudolfa II. V roce 1605 koupil Heřman IV. z Attems zámek a panství Sveti Križ (Heiligenkreuz) v Gorici od hrabat z Thurnu a ještě téhož roku byl povýšen do stavu svobodných pánů. Jeho čtyři synové byli v roce 1630 povýšeni do stavu říšských hrabat. 

V roce 1653 připadla část benešovského panství – díl Růžová a čtvrtina Dolního zámku, Marii Alžbětě (†1664), která byla dcerou Anny Claryové, roz.z Aldringenu z prvního manželství. Marie Alžběta se provdala za hraběte Ludvíka z Attems (†1660), jehož rod (větev heiligenkreuzská) byl usedlý v Kraňsku a Štýrsku a sňatkem přešel tento benešovský díl do držení rodu hrabat Attemsů. V držení tohoto rodu byla část Dolního zámku v letech 1635–1675. Attemsové však na Dolním zámku v Benešově nepobývali.

Jejich dcera Jana Františka roz. z Attems (†1685) byla provdána za hejtmana Litoměřického kraje Jana Baltazara hraběte Claryho ze Sperbersbauchu (†1713), na kterého přešla v roce 1675 do té doby attemovská část benešovského panství.