A visita guiada ao Palácio Doria Pamphilj começa no coração de Roma, na atual Via del Corso, bem perto da Praça Venezia. O Cardeal de Santa Sabina Giovanni Fazio Santorio (ou Santoro) entre 1505 e 1507 encomendou a construção de uma importante mansão estendida de lado a lado de um pátio retangular entre a Via Lata e o “Collegio Romano”. Em 1508 o cardeal foi obrigado pelo papa Giulio II Della Rovere (1503-1513) a doar o palácio ao neto dele Francesco Maria I Della Rovere duque de Urbino desde 1508. Quando nomeado Prefeito de Roma e Capitão General da Igreja o duque veio morar em Roma junto com sua esposa Eleonora Gonzaga. O Palácio foi herdado pelo filho Giudobaldo II e mais tarde pelo neto Francesco Maria II que o deixou como legado para o tio cardeal Giulio Della Rovere.
Pietro Aldobrandini (1571-1621) Cardeal desde 1593, adquiriu o complexo o dia 6 de Outubro de 1601. O edifício foi avaliado pelo arquiteto de confiança do cardeal em 40.000 escudos, mas foi pago 5.000 a menos devido à importância politica do comprador. Muitas obras foram executadas desde então, primeiro pelo arquiteto Giovanni Antonio de Pomis até a morte do cardeal Pietro (1621),depois por Giovanni Pietro Monaldi que completou a reforma entre 1646 e 1648.Quando o cardeal Ippolito Aldobrandini morreu (1638) Olimpia junior ficou a única herdeira do patrimônio e casou com Camillo Pamphilj, neto do papa Innocenzo X, que continuou as obras também no lado de trás, do edifício . O apartamento para recepção (aberto para o público em 1996) era constituído por salões, salas de espera e salas de estar. Quando Camillo morreu (1666) a esposa Olimpia e os filhos Benedetto e Giovan Battista continuaram as obras com o arquiteto Antonio del Grande.
Innocenzo X morreu e o papa Alessandro VII Chigi autorizou a família Pamphilj a mudar-se da mansão na Praça Navona para morar no Palácio.
Quando Girolamo Pamphilj , último dono do Palácio, faleceu em 1760 sem herdeiros, duas famílias disputaram a herança: os Borghese e os Doria, uns por causa do primeiro casamento de Olimpia com Paolo Borghese, os outros pelo casamento de Anna Pamphilj filha de Olimpia e Camillo, com o nobre genovês Giovanni Andrea III Doria. Após ter ganhado a ação judicial os Doria foram obrigados a se mudarem para Roma e residir no palácio. Primeiro veio Giovanni Andrea IV, e em 1765 o filho dele Andrea IV pôde juntar ao seu o sobrenome Pamphilj .
A Galeria Pamphilj fica dentro do Palácio e abriga inúmeras obras prima do século XVII ( pinturas por Caravaggio, Jan Bruegel, Correggio, Parmigianino), entre elas as mais famosa, como a “Maddalena Penitente” (Caravaggio), a “Paesaggio con Fuga in Egitto” (Annibale Carracci) o ”Doppio Ritratto” (Raffaello Sanzio), constituem uma parte pequena da ampla coleção guardada no Palácio que abriga também vários bustos marmóreos (alguns feitos por Alessandro Algardi e Gianlorenzo Bernini) e esculturas antigas desde a idade arcaica até à elenística.
