Der Portugiese Emanuel Teles da Silva Conde Tarouca (1696-1771) war seit 1720 in der habsburgischen Verwaltung tätig. Aufgrund seiner Loyalität und staatsmännischen Noblesse berief ihn Kaiser Karl VI. (1685-1740) zum politischen und moralischen Erzieher seiner Tochter Maria Theresia (1717-1780). 1744 ließ diese ihrem geschätzten Freund und zeitlebens engen Berater am Südwest-Ende der Wiener Hofburg ein veritables Stadtpalais errichten.
Graf Tarouca bewohnte es bis zum Jahre 1757, in dem er seinen Dienst als Generalhofbauamtsdirektor und Präsident des Niederländischen Rates quittierte und sich auf seine böhmischen Besitzungen zurückzog.
Herzog Albert von Sachsen (1738-1822) heiratete 1766 die Lieblingstochter von Maria Theresia, Erzherzogin Marie Christine (1742-1798). Als Hochzeitsgeschenk erhielt er unter anderem das Herzogtum Teschen und nannte sich
Herzogtum Teschen und nannte sich fortan Albert von Sachsen-Teschen. 1780 übersiedelte das Paar als Statthalter der österreichischen
Niederlande nach Brüssel. Bereits 1792 flohen die beiden vor den herannahenden französischen Revolutionstruppen zurück nach
Wien und bezogen das ehemalige Palais des Grafen Tarouca auf der Augustinerbastei, das ihnen Kaiser Franz II./I. (1768-1835)
geschenkt hatte.
1805 ließ Herzog Albert seine berühmte Grafik-
sammlung im Palais unterbringen, 1816 bestimmte er sie per Fideikommiss zum unveräußerbaren und unteilbaren Gut.
Die Erinnerung an ihren Gründer Herzog Albert von Sachsen-Teschen bewahrt die Sammlung bis heute durch die 1870 vom damaligen Galerieinspektor Moritz von Thausing erstmals erwähnte Bezeichnung "La collection Albertina".
Erzherzog Carl (1771-1847), drittgeborener Sohn des Großherzogs der Toskana Pietro Leopoldo (1747-1792; ab 1790 Kaiser Leopold II.), erbte 1822 als Adoptivsohn von Herzog Albert von Sachsen-Teschen das Palais.
Als exzellenter Stratege und meisterhafter Taktiker avancierte er zum großen militärischen Gegenspieler von Napoleon Bonaparte,
dem er in der Schlacht von Aspern (21./22. Mai 1809) die erste Niederlage zufügte.
Aufgrund politischer Querelen mit seinem ältesten Bruder Kaiser Franz II./I. zog er sich ins Privatleben zurück und heiratete
1815 die hessische Prinzessin Henriette von Nassau-Weilburg (1797-1829).
Sie war es, die die protestantische Tradition des Weihnachtsbaumes in Österreich begründete, als sie 1823 in den Räumen des Palais erstmals einen geschmückten "Graßbaum" aufstellen ließ.
Erzherzog Albrecht (1817-1895), der älteste Sohn von Erzherzog Carl, war von Kindheit an für die Militärlaufbahn bestimmt. 1843 heiratete der damalige Feldmarschallleutnant Prinzessin Hildegard von Bayern (1825-1864),
1847 trat er das Erbe seines Vaters an.
Durch den Einsatz moderner Technologien, wie dem Dampfantrieb für Traktoren, gelang es ihm, auf seinen Gütern in Ungarn, Böhmen
und Schlesien ein enormes Vermögen zu erwirtschaften. Im Range eines Feldmarschalls besiegte er 1866 in der Schlacht von Custozza
die italienischen Verbände, wofür ihm Kaiser Franz Joseph I. (1830-1916) 1899 ein monumentales Reiterdenkmal vor dem Palais
errichten ließ.
Als "Senior des Erzhauses" überwachte und leitete Erzherzog Albrecht die Erziehung der Thronprätendenten Kronprinz Rudolf
(1858-1889) und Erzherzog Franz Ferdinand (1863-1914).
Erzherzog Friedrich (1856-1936) wurde nach dem Tod seines Vaters, Erzherzog Karl Ferdinand, im Jahr 1874 von dessen Bruder, Erzherzog Albrecht, adoptiert. 1895 kehrte der kommandierende General mit seiner Gemahlin Isabella von
Croy-Dülmen (1856-1931) aus Pressburg nach Wien zurück und trat Albrechts Erbe an.
Mit einer Ausbildung im Berg- und Hüttenwesen sowie der Land-, Forst- und Milchwirtschaft konnte er auf seinen Teschener Besitzungen
ein Milchimperium aufbauen, das ihn zum reichsten Mann der Monarchie machte.
1914 übernahm er als Feldmarschall das Oberkommando über die k. u. k. Armee im Ersten Weltkrieg, das er bis 1916 innehatte.
1919 verlor er durch Enteignung der Republik Österreich das Palais samt der dort verwahrten Grafiksammlung und ging mit seiner Familie ins Exil nach Ungarisch-Altenburg, wo er, der letzte habsburgische Besitzer des Palais, 1936 verstarb.