Péter Pázmány, der Erzbischof von Esztergom, hat 1618 mit seinem eigenen Geld das in der Annagasse neben der Kirche St. Anna befindliche Palais Kollonich für das Institut Pazmaneum gekauft. Den Gründungsbrief unterschrieb er am 10. Jänner 1619. Die Eröffnung war aber wegen des Krieges gegen Gabriel Bethlen unmöglich geworden. Daher gab Pázmány am 20. September 1623 ein neues Gründungsdokument heraus, in welchem er die Führung des Institutes den Jesuiten übertrug. Die Gründung wurde im Dezember 1623 vom Papst Urban VIII. bestätigt.
Das Collegium wurde am 25. Mai 1624 mit 16 Seminaristen eröffnet. Doch erwies sich das Haus bald als zu klein. Daher tauschte der Erzbischof das Objekt in der Annagasse gegen ein Gebäude am Fleischmarkt ein, das im Besitz der Goldbergstiftung stand. Das benachbarte Haus, mit der Nummer 15 in der Schönlaternengasse, welches zuvor der Liliorum Stiftung gehört hat und Studenten aus Würtenberg beherbergt hatte, hat Pázmány schon zuvor angekauft. Die Übersiedlung fand im Jahr 1625 statt. Pázmány hat ungefähr ein halbes Jahr vor seinem Tod nochmals 10 000 Golddukaten und ebenfalls 10 000 Taler für weiteren Grundankauf für das Pazmaneum hinterlegt.
Nach Pázmánys Tod hat der beauftragte János Hunica das benachbarte Haus erworben, und dieses nach einem Umbau mit dem ersten Collegium zusammengefügt. Das so entstandene neue Gebäude wurde in Erinnerung an den Stifter am Fest der Apostel Peter und Paul im Jahre 1670 in Besitz genomen. Die Einnahmen des Institutes wurden zusätzlich durch den Erlös des Obstverkaufs aus einem Garten, welcher sich neben dem Augarten Park befand, vermehrt. Wegen der Angriffe gegen die Jesuiten, hat der Fürstprimas Ferenc Barkóczy die Jesuiten von der Führung des Pazmaneums entbunden und die Geistlichen des Erzbistums damit beauftragt, Leiter des Pazmaneums zu sein. Weil die Seminaristen sich dagegen wehrten, ließ der Fürstprimas sie in das Seminarium nach Nagyszombat übersiedeln.
Am 3. November 1766 begann das Institut von neuem mit 36 Seminaristen. Kaiser Josef II. ließ im März 1784 die Hörer des Pazmaneums in das Seminarium nach Preßburg übersiedeln, das Haus in ein Taubstummeninstitut umwidmen sowie alle Stiftungen des Pazmaneums in die Glaubensstiftung einschmelzen. Im Herbst 1804 ließ König Franz I. per Dekret das Pazmaneum wieder eröffnen. Die Stiftungen wurden wieder vom Erzbischof von Esztergom geleitet und auch die Rektoren des Institutes ernannte er so wie früher, aus der Reihe der Geistlichen des Erzbistums von Esztergom.
In den Jahren 1899-1900 wurde das neue Gebäude in der Waisenhausgasse (heute: Boltzmanngasse) unter der Führung des Rektors Miklós Széchenyi (1989-1901) erbaut. Im März 1901 besuchte Kaiser Franz Josef I. das Institut, woran heute noch eine Marmortafel im Festsaal im 3. Stock des Hauses erinnert. Der verlorene erste Weltkrieg und die Auflösung der Österreich-Ungarischen Monarchie sowie die tragischen Auswirkungen von Trianon bedeuteten auch für das Pazmaneum eine sonderbare neue Situation. Es wurde zu einem „Auslandsseminarium“, und die Seminaristen gelangten nur beschwerlich über mehrere Grenzen nach Wien. Im zweiten Weltkrieg während der täglichen Bombardierungen traf das Pazmaneum nur eine einzige Granate. Die schwedische Botschaft schützte das Institut als kirchliche Einrichtung durch ein erlassenes Dekret, was eine größere Invasion und Okkupation durch die Russen verhinderte. Eine Zeitlang waren verschiedene Flüchtlingsgruppen im Gebäude untergebracht. So bevölkerten Seminaristen, durchreisende Kinder und Jugendliche aus Ungarn und vertriebene Ungarndeutsche das Pazmaneum.
Im Mai 1945 verließen wieder alle das Institut und die „Pazmaniten“ konnten das Collegium wieder voll in ihren Besitz nehmen. In Folge des Krieges wurden – Dank sei Gott – allein das Dach und die Fenster beschädigt. Im Jahr 1953 stellte der Heilige Stuhl das Pazmaneum übergangsweise unter die Aufsicht des Wiener Erzbischofs. Mit dem letzten Jahrgang im Jahr 1963 wurden im Pazmaneum insgesamt 9000 Seminaristen zu Priester geweiht.
Am 23. Oktober 1971 kam Kardinal Mindszenty in Pazmaneum an, wo er seine letzten Jahre verbrachte. Von da an trat er auch seine seelsorgerischen Besuche an, die er unermüdlich unternahm, bis er zuletzt schwer erkrankt aus Südamerika zurückkehrte. Kardinal Mindszenty wurde im Haus öfter von Kardinal König, dem apostolischen Nuntius Opilio Rossi und auch von Otto Habsburg besucht. Ende April 1975 kehrte er nach einer langen seelsorgerischen Reise aus Südamerika schwer krank und geschwächt zurück. Obwohl er hohes Fieber hatte, redete er im Flugzeug von seinen weiteren Reiseplänen. Er wollte im Mai nach Frankreich und nach Skandinavien fliegen. Für einen lebensrettenden operativen Eingriff brachte man ihn in das Krankenhaus der Barmherzigen Brüder, wo er am 6. Mai um 14.15 Uhr seine edle Seele dem Schöpfer zurückgab. Das Collegium Pazmaneum ist eine eigenständige Stiftung der ungarischen katholischen Kirche und untersteht kirchenrechtlich dem Obhut des Erzbischofs von Esztergom-Budapest.
Am 29. Dezember 2001 wurde das Pazmaneum mit einem Beschluss von Kardinal Sodano vom Vatikan in die juristische Hoheit des ungarischen Kardinals, des Erzbischofs von Esztergom-Budapest übertragen.
Die gegenwärtige Bestimmung des Hauses ist es, als Studien- und Gästehaus zu fungieren.