Nel corso degli anni, sull’agenda personale si rinvengono diverse annotazioni che mostrano l’estrema attenzione del diplomatico nel non dar adito a pettegolezzi sul proprio conto, come per esempio: «A sera due inviti a grandi ritrovi [...]. Ho preferito restare a casa. Troppa mondanità. Sarei stato il solo ecclesiastico fra un nugolo di signore immodeste. La mia assenza fu certo più edificante che la mia presenza».
Nel contempo, egli cercava sempre di suggerire con discrezione, alle signore che aveva occasione di incontrare, l’opportunità di comportamenti più consoni alle circostanze: «Uscendo mi sono congratulato lietamente con madame Abrami di vederla stasera abbigliata in forma digne, modeste et elegante mentre di solito era la più scollata. Piccola lezione data con amabilità».
Qualche anno più tardi, scriverà: «Mi convenne intervenire al galà della Fenice, dove però le signore erano in abito modesto per riguardo al patriarca, che aveva messo questa condizione al suo intervento».
Data la delicatezza con la quale Roncalli si comportò sempre nella sfera della sessualità, sorprendente apparve dunque ai giudici della congregazione per le Cause dei santi la testimonianza di monsignor André Baron che, nel 1970, raccontò di aver ricevuto due confidenze: il signor Georges Roux, già professore nel liceo francese di Istanbul, gli aveva detto che il delegato Roncalli era sospettato di avere avuto rapporti omosessuali con il domestico della delegazione; l’abate Gaillard, cappellano nell’ospedale di Bergerac, gli aveva scritto di aver avuto notizia della presenza del nome di Roncalli in una lista di omosessuali che sarebbe stata in possesso dell’avvocato francese Lasaygues, il quale si stava occupando di un caso di abusi sessuali.

Per dissolvere qualsiasi nube sul comportamento di Roncalli erano già disponibili le testimonianze dell’ex ambasciatore di Francia in Turchia Gaston Bergery («Mi sembra ridicolo e demenziale che qualcuno abbia potuto accusare il delegato Roncalli in materia sessuale durante il suo soggiorno in Turchia») e del presidente del Consiglio francese Georges Bidault («Non ho avuto neanche l’ombra di un’accusa a tale riguardo», mentre di certo i servizi segreti gli avrebbero eventualmente segnalato anche un semplice pettegolezzo). Ma va a tutto onore di Roncalli la serietà con cui la congregazione vaticana è andata a fondo - con un processo suppletivo svoltosi tra il 1981 e il 1982 a Périgueux per ascoltare le tre persone citate da Baron e il vescovo del luogo, oltre che con una serie di specifici interrogatori per lettera con quanti potevano essere a conoscenza di notizie sulla vicenda - nell’indagine relativa a tali accuse.
La conclusione fu una piena e completa smentita da parte di tutti, in quanto il professor Georges Roux negò di aver avuto conversazioni con monsignor Baron a proposito di monsignor Roncalli, affermando del resto di non aver mai sentito giudizi negativi sul delegato apostolico; monsignor Olivier Gaillard dichiarò di non avere ricordi a proposito delle presunte lettere spedite a monsignor Baron, smentendo anche di aver mai conosciuto l’avvocato Lasaygues; l’avvocato Maitre Lasaygues confermò di non sapere nulla della lista citata da monsignor Baron, smentendo anch’egli di aver mai conosciuto monsignor Gaillard.
Una spiegazione della triste vicenda venne infine dal vescovo di Tulle, alla cui diocesi apparteneva monsignor Baron, morto nel 1981: monsignor Jean Baptiste Brunon dichiarò che Baron aveva atteggiamenti maniacali in campo sessuale, vedeva deviazioni e peccati dappertutto e già in precedenza aveva accusato falsamente un cappellano di un convento femminile di aver compiuto azioni peccaminose.
Affermò con chiarezza il vescovo Brunon: «Monsignor Baron, nella vicenda di Giovanni XXIII, ha raccolto pettegolezzi infamanti, li ha orchestrati e li ha fatti pervenire ai giudici canonici. Ma li ha verificati? Io sono sicuro di no. Sfortunatamente queste voci hanno proseguito il loro cammino. Tutto ciò è molto spiacevole, ed è giusto darvi riparazione».