Deux ans seulement après sa mort survenue à la fin janvier 1767, Toussaint Cartier entra dans la légende par la grande porte de la littérature. C’est une romancière britannique, Frances Brooke, qui la première mit en scène l’ermite de l’île Saint-Barnabé dans un roman par lettres, The History of Emily Montague, publié à Londres en 1769.
Si le personnage appartient à la fiction littéraire, il s’inspire clairement de l’ermite historique. Il est peu probable que la femme de lettres ait rencontré personnellement Toussaint Cartier qui, semble-t-il, refusait la visite des femmes. Elle disposait cependant de renseignements de première main à son sujet, et cela à un double titre. D’une part, Frances Brooke avait une parfaite connaissance de la langue française, grâce à laquelle elle publia la traduction anglaise d’un best-seller français de l’époque, les Lettres de Milady Juliette Catesby (1759), roman épistolaire de Marie-Jeanne Riccoboni. D’autre part, l’écrivaine accompagna à Québec, de 1763 à 1768, son mari, aumônier anglican de l’armée britannique.
La représentation qu’offre la romancière de l’ermite est façonnée par le regard particulier qu’elle porte sur la « province of Quebec » qu’elle découvre alors et qui est devenue depuis peu colonie britannique. Ce regard est marqué à la fois par la fascination et l’incompréhension. Frances Brooke, en raison de sa francophilie, avait une attirance évidente pour cette ancienne colonie française où elle vécut pendant presque cinq ans. À l’évidence, cette Amérique française campagnarde était cependant bien éloignée de la vie des salons parisiens qu’elle admirait tant. Influencée par les préjugés anglicans de son mari, elle ne pouvait que s’étonner du catholicisme qu’elle y découvrait et dont l’ermite représentait le comble de l’exotisme. En effet, l’Église anglicane, sous l’impulsion de Henri VIII, avait aboli les monastères depuis le XVIe siècle. Par conséquent, Toussaint Cartier qui, non seulement ne faisait partie d’aucune communauté religieuse cloîtrée, mais qui vivait en outre en marge de toute société dut lui apparaître comme une véritable énigme révélatrice de la religion « superstitieuse » de ces nouveaux sujets britanniques qu’elle souhaitait convertir à l’anglicanisme.
C’est donc dire que, lorsque son personnage romanesque, Ed Rivers, fait la rencontre de l’ermite, il a de fortes réserves par rapport à son style de vie qu’il assimile sinon à une sorte de barbarie, du moins à une forme de haine pour le genre humain, comme il l’écrit dans sa lettre :
« La singulière visite ! Je viens de voir un ermite qui a vécu 60 ans seul dans cette île. Je l’ai abordé avec une forte prévention contre sa personne et son genre de vie : cet état, le plus contraire à la nature, selon moi, est si éloigné de mes idées qui se rapportent toutes à la société, que je n’avais pas grande opinion d’un ermite. Si j’étais un tyran et que je voulusse punir quelqu’un qui m’eût déplu, je ne trouverais rien de plus cruel que de le priver des douceurs de la société et de lui interdire tout commerce avec ses semblables. »
En réalité, Toussaint Cartier ne vécut que 40 ans sur son île, mais l’amplification est là pour souligner à quel point la vie solitaire est contre nature. L’épistolier découvre un vieillard de grande taille, un peu voûté, portant une barbe et des cheveux blancs. Il a le regard et l’attitude d’un homme doux et bienveillant qui partage spontanément avec son visiteur les fruits, le lait frais et l’eau qu’il a. Le visiteur lui demande alors pourquoi il met « son bonheur à fuir les hommes ». L’ermite lui explique qu’il était amoureux d’une jeune femme dont les parents étaient opposés à leur union. Pour éviter un mariage imposé avec un autre homme, son amante, appelée Louise, proposa de fuir dans les « déserts du Canada », en allant rejoindre un oncle à Québec. Après s’être marié clandestinement, le couple s’embarqua vers le Nouveau Monde. Au large de Rimouski, une tempête entraîna le naufrage du navire. Le jeune homme fut le seul survivant. C’est à la suite de cette tragédie que le nouveau marié décida de se faire ermite, comme il l’explique lui-même :
« Jamais ce terrible spectacle ne s’effacera de ma mémoire. Je tombai immobile sur le rivage, dans la plus cruelle agonie. Rendu à la vie, le premier objet qui s’offrit à mes yeux fut le corps inanimé de Louise que la mer avait jeté sur le sable pour me donner la triste consolation de lui rendre les derniers devoirs. Ce tombeau renferme tout mon bonheur, et m’attache à cette terre sauvage ; plein de ma douleur, je fis vœu d’y attendre le moment qui me rejoindrait à celle que j’aimai. Tous les matins près de sa cendre froide, je plains son sort et conjure le ciel de hâter l’instant de notre réunion. Je sens que nous ne serons plus longtemps séparés ; bientôt je la retrouverai pour ne la plus quitter. »
Rien ne permet de corroborer ce récit romanesque des tragiques amours de Louise et de Toussaint Cartier. En réalité, l’histoire telle qu’elle est relatée s’inscrit dans le genre sentimental qui est celui du roman épistolaire de Frances Brooke. Elle est destinée à humaniser le farouche ermite, en lui prêtant une sensibilité qui constitue, aux yeux de la romancière, le propre de la nature humaine. Ed Rivers conclut d’ailleurs sa lettre, en soulignant que, même s’il désapprouve le choix extrême de l’ermite, il est tout prêt à l’excuser en raison de l’ampleur de la tragédie intime qu’il a vécue et de son amour infini pour Louise. C’est déjà, deux siècles avant, l’histoire de Rose et Jack dans le Titanic (1997) de James Cameron.