L'edificazione del palazzo avvenne tra il 1671 e il 1677. La paternità dell’immobile è riconducibile all’architetto Pietro Antonio Corradi, mentre il cantiere e le opere furono diretti da Matteo Lagomaggiore. L’edificio è impostato su uno schema di pianta a U, derivato dalle tipologie applicate da Bartolomeo Bianco: le due ali sono unite da logge che definiscono il cortile interno a pianta quadrata. Ciascuno dei due piani nobili presenta la consueta disposizione che prevede loggia e salone in posizione assiale, e una fila di sale ai due lati. A Ridolfo Maria, il primogenito, toccò il secondo piano nobile, a Gio.Francesco il primo, ma nel 1683 Ridolfo morì senza eredi maschi e il fratello, divenuto l’unico proprietario, si trasferì al secondo piano nobile, riscattò i ritratti dei genitori dalla nipote Paola, sposa di Carlo Spinola, e avviò la decorazione ad affresco lungo le sale del secondo piano nobile, ponendo le premesse perché venisse estendendosi oltre l’ala est - terminata alla sua morte - a tutte le altre sale degli ammezzati. Gli artisti che, tra il 1679 e il 1694, parteciparono a questo primo intervento decorativo furono Domenico Piola (1627-1703) e Gregorio De Ferrari (1647-1726) e, più tardi, Paolo Gerolamo Piola (1666-1724), coadiuvati dai quadraturisti e dagli stuccatori. Risultarono decorati, a conclusione di questo primo intervento, il Salone, con le prospettive sulle pareti dei bolognesi Gio.Enrico e Antonio Haffner, e l’affresco sulla volta, capolavoro di Gregorio De Ferrari, purtroppo distrutto dai bombardamenti dell’ultima guerra; quattro sale a levante, ciascuna con soggetti ispirati a una stagione dell’anno, e infine la loggia, alla quale, in occasione di questi interventi, vennero chiuse le aeree arcate, trasformandola in una piccola galleria, dove il Codazzi dipinse le finte rovine e Paolo Gerolamo Piola i soggetti del mito di Diana ed Endimione.
Nella primavera del 1691 prese il via una seconda fase decorativa, che nel giro di un anno interessò le quattro sale del lato a ponente: la stanza della Vita dell’uomo e quella delle Arti Liberali furono affrescate da Gio.Andrea Carlone (1639-1697) con l’aiuto di Antonio Haffner per le quadrature che, sulle pareti della seconda sala, si aprono su Paesaggi di Carlo Antonio Tavella (1668-1738); l’ambiente dell’alcova - che attualmente presenta in parte una decorazione più tarda - venne ancora affrescata da Gio.Andrea Carlone e da suo fratello Nicolò; l’ultima sala interamente da Bartolomeo Guidobono (1654-1709), la cui Fucina di Vulcano sulla volta andò purtroppo perduta e sostituita, nel 1736, dalla Gioventù in cimento di Domenico Parodi.
Gli interventi di restauro e completamento dell’apparato decorativo continuarono fino alla metà del XIX secolo e, contemporaneamente, cresceva, in qualità e numero di opere, la collezione Brignole - Sale che, pochi anni dopo la morte di Gio.Francesco, verrà arricchita da un importante apporto del suocero Giuseppe Maria Durazzo.
Continuatore della committenza artistica di Gio.Francesco I fu suo nipote Gio.Francesco II (1695-1760), cui si deve l’incarico all’architetto Francesco Cantone per il decoro della facciata di Palazzo Rosso e dell’attiguo Palazzetto, che nel 1746 assunsero l’attuale aspetto, connotato dalle caratteristiche protomi leonine che segnano gli architravi delle finestre dei due piani nobili, con preciso riferimento all’arma araldica dei Brignole, raffigurante un leone rampante sotto un albero di prugne (in dialetto genovese "brignole").
La missione diplomatica svolta a Parigi fra il 1737 e il 1739 diede a Gio.Francesco II la possibilità di apprezzare lo stile Reggenza allora imperante: commissionò i ritratti suo e della moglie al pittore del re, Rigaud, e a Genova volle rinnovare ambienti e arredi secondo la nuova moda.
In questo programma si colloca anche la decorazione di Lorenzo De Ferrari, figlio di Gregorio, nella prima sala delle cosiddette dipendenze del palazzo. Questa politica di magnificenza artistica venne coronata nel 1746 dall’elezione di Gio.Francesco II a doge della Repubblica di Genova.
Nuovi interventi, consistiti nella realizzazione di un nuovo appartamento nelle cosiddette mezzarie superiori, ubicate sopra il secondo piano nobile, datano al 1783 circa, quando Anton Giulio II (1764-1802) si sposò con una vivace e colta esponente del patriziato senese: Anna Pieri. Purtroppo la serie di sale in questione, i cui soggetti erano ispirati a temi di contenuto vagamente illuminista e i cui motivi ornamentali erano fra lo stile Luigi XVI e un proto-neoclassicismo, è andata in gran parte distrutta a seguito dei bombardamenti dell’ultima guerra.
Ancor prima della metà dell’Ottocento, quando il palazzo apparteneva ad Antonio Brignole - Sale, furono rifatti i pavimenti in pregiati marmi policromi. La figlia maggiore di Antonio, Maria, più nota a Genova come duchessa di Galliera, coerede di Palazzo Rosso alla morte del padre, ne ottenne l’intero usufrutto alla morte della sorella, e visto che il figlio Filippo, avuto dal marchese Raffaele De Ferrari, non mostrava alcuna propensione ad interessarsi del patrimonio e delle tradizioni delle due casate da cui discendeva, nel gennaio 1874 si decise a donare Palazzo Rosso alla sua città per "accrescere il decoro e l’utile" di Genova e, nel contempo, con l’evidente idea di fare dell’edificio, un vero e proprio monumento alla stirpe dei Brignole - Sale.