Fu a Key West che il presidente Truman venne alla ricerca di un posto dove riposarsi e rilassarsi. Quando il 33 ° presidente arrivò, scoprì molto più di un rifugio tranquillo sull'isola: trovò un posto che voleva chiamare casa.

Costruita nel 1890 come quartier per il comandante della base navale e Paymaster, la Piccola Casa Bianca ha preso il suo posto nella storia all'inizio. Nel 1912, il presidente William Taft visitò la casa e nel 1918 anche Thomas Edison visse lì per diversi mesi mentre lavorava per inventare nuove armi per lo sforzo bellico.

Nel 1946, la Casa Bianca divenne la casa invernale di Truman e rimase per 175 giorni. Sempre al lavoro, il Presidente ha tenuto varie riunioni in casa, ha incontrato i capi di stato maggiore congiunti e ha lavorato sul piano Marshall e sulla dottrina Truman. Un'ambientazione così magnifica, infatti, che Truman era noto per trascorrere un pomeriggio in città o in acqua pescando con gli amici. Si dice che fosse amichevole con la gente del posto e si adattasse perfettamente allo stile di vita dell'isola.