Le narrateur se souvient de l’enfant qu’il fut : l’attente du baiser maternel du soir, les déjeuners du dimanche chez tante Léonie, les cadeaux de la grand-mère. Il est fasciné par M. Swann, un ami de ses parents, amoureux fou d’une femme qui aime tout le monde sauf lui. Il tombe amoureux de sa fille, Gilberte, qui ne le rendra pas plus heureux.
À travers ces scènes de vies – intimes ou mondaines, tragiques ou comiques – passent des impressions, des parfums, des visions. Des nymphéas à la surface d’une rivière, une madeleine oubliée dans une tasse de thé, des catleyas dans les cheveux d’une femme aimée, une bille d’agate offerte en gage d’amitié…