L'edificio della Libreria, opera di Jacopo Sansovino, fu eretto dal 1537 al 1553, limitatamente alle prime sedici arcate. L'opera di decorazione si protrasse fino al 1560. Nel 1588 Vincenzo Scamozzi intraprese la costruzione delle ultime cinque arcate verso il molo. La costruzione è a un solo piano, oltre al terreno. Dal portale, ornato da due cariatidi ideate dal Vittoria, si accede ad uno scalone decorato da stucchi del Vittoria e da pitture di Battista Franco e Battista Dal Moro. Si accede all'interno della Libreria per una nobile scala a due rampe, con soffitto a volta e ripiani a cupola. Lungo la scala sono collocate sei colonne romane di marmi rari, provenienti dalla Basilica di S. Maria in Cannedolo di Pola. Al primo piano si nota nell'andito, a sinistra, uno dei rarissimi esemplari rimasti della magnifica veduta di Venezia a volo d'uccello di Jacopo de' Barbari (anno 1500), capolavoro d'arte e insieme riproduzione, di assoluta precisione, della reale forma della città. Il Vestibolo venne concepito dal Sansovino come sala destinata a lezioni di materie umanistiche, rivolte a patrizi e cittadini. Nel 1587 il patriarca di Aquileia Giovanni Grimani decise di donare alla Repubblica la sua raccolta di statue e rilievi antichi, soprattutto greci; e il luogo prescelto per riporre la preziosa collezione fu il Vestibolo, che venne così trasformato - su disegno del patriarca stesso e di Vincenzo Scamozzi - in Museo Statuario della Repubblica. Oggi rimangono sul posto solo pochi pezzi, tutti di arte romana. Gli altri sono conservati al Museo Archeologico di Venezia. Il soffitto ricoperto da un colonnato, pittura "trompe-l'oeil" di Cristoforo e Stefano Rosa (1559 ca.); al centro La Sapienza di Tiziano Vecellio (1560). Attraverso un nobile portale si accede alla sala della Libreria, il vero cuore dell'edificio, costruito appositamente per ospitare la raccolta libraria della Repubblica. Alle pareti vennero collocati, tra il 1562 e il 1572, numerosi ritratti di antichi Filosofi per ricreare un ambiente simile a quello delle biblioteche dell'antichità. A questo ciclo partecipò anche il grande escluso dal ciclo del soffitto, Tintoretto, che peraltro era già stato attivo nella decorazione del Vestibolo, con tele oggi disperse in varie collezioni. I due Filosofi al lato del portale sono di Paolo Veronese. Sulla sinistra, i primi due sono dello Schiavone. Seguono quattro Filosofi di Tintoretto (il più ammirato di essi era un tempo Diogene, il penultimo della parete). Del Tintoretto sono anche i due sulla parete di fondo.