Główną siedzibą Uczelni jest zabytkowy pałac przy ul. Gdańskiej 32, wzniesiony w latach 1904-08 dla syna słynnego łódzkiego fabrykanta Izraela Kalmanowicza Poznańskiego - Karola Poznańskiego, jednego z dyrektorów spółki akcyjnej wyrobów bawełnianych.

Wybudowana według projektu Adolfa Zelingsona budowla ma charakter eklektyczny: łączy  dominujące w jej architekturze elementy włoskiego renesansu i baroku z m.in. motywami secesyjnymi. Pałac został zaprojektowany na planie podkowy jako budynek jednopiętrowy, z wysokimi suterenami i mieszkalnym poddaszem. Składa się z dwóch skrzydeł bocznych i  części frontowej, w której na obu kondygnacjach znajdowały się pomieszczenia reprezentacyjne: salony i jadalnie (dziś sale koncertowe i wykładowe), przeszklone halle, gabinety, buduary, pokój bilardowy. Na piętrze mamy także ogród zimowy przykryty efektownym szklanym dachem, widocznym od strony ogrodu.

Pomieszczenia w skrzydle bocznym służyły domownikom, w suterenach mieściły się pomieszczenia gospodarcze i kotłownia centralnego ogrzewania (był to pierwszy budynek w Łodzi posiadający centralne ogrzewanie już w fazie projektu). Poddasze zamieszkiwała służba (dziś znajdują się ćwiczeniówki).

Do budynku prowadzą trzy wejścia: reprezentacyjne z podjazdem i podcieniami od alei 1 Maja, wejście od strony ul. Gdańskiej prowadzące dawniej na parter i do suteren oraz wejście gospodarcze od strony podwórza. Rozpoznawalnym elementem pałacu stał się umieszczony w narożniku półokrągły ryzalit, przykryty spłaszczoną kopułą.

Pałac i otaczający go niewielki park (dawniej ogród, w którym znajdowała się także oranżeria) ze znajdującym się w podwórzu budynkiem kordegardy okala zdobiony parkan z maszkaronami i literą P na tablicach herbowych.

Pełne przepychu wnętrza rezydencji zachowały do dziś wiele ze swej świetności: boazerie z różnogatunkowego drewna, stiukowe sufity, sztukatorskie dekoracje, witraże, marmurowe kominki, żyrandole, kinkiety, meble. Uwagę przyciąga wewnętrzna klatka schodowa wyłożona ciemnym marmurem z wachlarzowymi schodami biegnącymi wzdłuż ściany i zdobną kutą balustradą. Klatkę zdobi witraż z warsztatu Richarda Schleina z Zittau.

Pałac został zaplanowany jako budowla mieszkalna przeznaczona dla jednej rodziny i dla służby. Z czasem zamieszkały w nim również rodziny akcjonariuszy spółki. Podczas okupacji  mieściła się tutaj niemiecka Städtische Musikschule, która działała niemal do końca 1944 r. (Na egzemplarzach nut, jakie przejęła po tej szkole uczelniana biblioteka, istnieją pieczątki z jej pełną nazwą: Städtische Musikschule, Litzmanstadt, Danziger Str. 32).

Budynek stał się siedzibą Akademii Muzycznej od pierwszych chwil jej istnienia, czyli od pierwszych tygodni 1945 r. Jak pisał we „Wspomnieniach" Kazimierz Wiłkomirski, pierwszy rektor Uczelni, władze miasta zamierzały pierwotnie przeznaczyć budynek na siedzibę Robotniczego Domu Kultury. Decyzja została zmieniona dzięki usilnym staraniom prof. Heleny Kijeńskiej-Dobkiewiczowej, która piastowała wówczas stanowisko prorektora. W pierwszych latach Akademia dzieliła budynek ze Średnią Szkołą Muzyczną i łódzką Szkołą Filmową.

Obecnie w pałacu mieszczą się sale koncertowe, sale wykładowe i ćwiczeniowe dla studentów (również w budynku kordegardy), Studio Komputerowe Muzyki Elektronicznej, Pracownia Elektroakustyczna. Tutaj urzędują najwyższe Władze Uczelni i administracja.