Numa manhã perfeita de agosto, antes que alguém acorde, Elle Bishop sai para nadar na lagoa do «Palácio de Papel» — uma casa em Back Woods, Cape Cod, onde a sua família, há muitas gerações, passa todos os verões. 

Ao passar em frente à casa, Elle vê, no alpendre fechado, a mesa desarrumada com as coisas do jantar da véspera: copos de vinho vazios, a cera das velas na toalha, ecos das gargalhadas de familiares e amigos. Quando mergulha na lagoa, lembra-se do que aconteceu na noite anterior: o encontro secreto e apaixonado com o seu companheiro de infância, atrás da casa, enquanto o marido, a mãe e os convidados conversavam lá dentro.

Assim começa uma história que se desenrola ao longo de vinte e quatro horas; Elle terá de decidir entre o mundo que construiu com o seu amado marido, Peter, e a vida que sempre imaginou que teria ao lado do seu amor de infância, Jonas, se um acontecimento trágico não tivesse mudado para sempre o curso das suas vidas.