La famiglia Pepi è antichissima in Firenze, si hanno notizie certe della sua esistenza sin dal 1100 D.C.. Si narra che un mercante arrivò da Cipro a Firenze con un grosso carico di pepe; da qui l'immensa fortuna della famiglia che, pare, abbia preso il nome proprio dalla spezia che la rese ricca e potente. Arricchita con il commercio delle spezie sulle rotte favolose dell'Oriente, la famiglia Pepi, che grande rilievo aveva assunto nella vita sociale della città, decise sulla metà del Seicento di acquistare un palazzo signorile nel centro cittadino, proprio di fianco alla basilica di Santa Croce. Da allora l'avito palazzo è rimasto fino ad oggi di proprietà dell'antica famiglia che ne ampliò e trasformo gli ambienti interni e che tuttora vi abita dando anche il nome alla lunga via nella quale il palazzo sorge.
Intorno al 1580, la nobile famiglia dei Pepi acquistò inoltre alcuni possedimenti nel comune di Rignano sull'Arno. Tra questi, di elevato valore storico e culturale, è senza dubbio l'antica Torre del Pian dell'Isola, del 1100 D.C. circa, tuttora di proprietà della famiglia.
Da lì a poco, iniziarono i lavori di costruzione della villa nel poggio di fronte alla torre; finita di costruire intorno all’inizio dei Seicento, la villa, diventò la casa di campagna nella quale la famiglia trascorreva i mesi autunnali; lo scalone di pietra presente nella facciata principale, che porta all'ingresso signorile, fa sì che venga considerata modernissima per l'architettura dell'epoca.
Nel corso degli anni l'aspetto esteriore della villa mutò attraverso numerosi lavori di ristrutturazione ed abbellimento ad opera di vari discendenti; degni di nota sono l'apertura di un altro ingresso al piano terreno che dà accesso direttamente ai salotti ed alle stanze signorili e la ricostruzione della piccionaia, resa belvedere con colonnine di pietra e chiuso da finestre piombate dal quale si può ammirare il bellissimo panorama del Valdarno.
Accanto alla casa, nel 1756, venne costruita una Cappella gentilizia dedicata a Sant'Anna, riedificata e dedicata anche a Sant'Antonio da Padova intorno alla fine dell'Ottocento; tuttora la famiglia vi svolge le proprie funzioni religiose.
Intorno alla casa vennero costruiti, negli anni, numerosi annessi agricoli utili per la produzione della fattoria; di particolare interesse è senz'altro un'antica vasca d'irrigazione, alimentata da una sorgente privata, che durante i recenti lavori di ristrutturazione è stata adibita a piscina con sistema di filtri, lasciata però totalmente immutata nel suo fascino.
Durante i meticolosi lavori di ristrutturazione, terminati nel 2009, sono state fatte numerose interessanti scoperte. Nella zona nord della villa sono state ritrovate tracce di un grosso incendio, accaduto intorno alla metà del Settecento, che con grande probabilità causò la rimozione di quasi tutti i caminetti della villa; l'unico ancora esistente, difatti, è quello della cucina. Tutte le stanze, incluse quelle della servitù ai piani alti, erano elegantemente decorate con greche ed affreschi; oggi, purtroppo, rimane visibile e conservato solo il tromp l'oeil del salotto del piano terreno che riproduce con delicatezza la campagna circostante. I pavimenti, in graniglia di cemento colorato dei primi del Novecento, formano motivi geometrici diversi in ogni stanza.
Interessante e curioso è notare che la famiglia Pepi fu la prima, nella zona del Valdarno, ad installare una turbina nell'Arno proprio sotto la casa che, collegata con una centrale elettrica nelle cantine della villa, produceva elettricità per l'intera fattoria. Anche l'impianto elettrico è stato recentemente ristrutturato riutilizzando i cavi esterni in trecce di seta e conservando gli originali interruttori in porcellana dei primi del Novecento.
Con i restauri si è cercato di mantenere il più possibile inalterati l’atmosfera, la storia e il fascino della villa.