L' attuale Villa Torrigiani, costruita attorno al primo '500 dall'allora potente famiglia Buonvisi, fu il luogo degli incontri segreti tra la Marchesa Lucrezia, moglie di Lelio Buonvisi, ed il suo amante Massimiliano Arnolfini.
La Marchesa fece poi assassinare il marito dal suo amante che una volta scoperto fu accusato dell'assassinio del nobile, catturato e murato vivo nella Torre Matilde a Viareggio.
Lucrezia invece fu costretta a chiudersi in un convento.
Il fantasma del Buonvisi è apparso più volte nella sua villa di Camigliano, anche in tempi recenti.
Una storia popolare invece,
nata alla fine del XVI secolo, racconta che nelle notti di ogni primo di giugno, data dell'uccisione del Buonvisi, appaiono sia all’interno della Villa che nel suo parco la coppia di fantasmi dei due amanti: Massimiliano Arnolfini e Lucrezia Malpigli Buonvisi.
Un’altra storia è legata a questa racconta di un fantomatico tesoro che dovrebbe esser nascosto o nel parco o nei sotterranei della Villa.