C’est en avril 1805 que Gabriel Deshayes arrive à Auray, paroisse de 3000 habitants. Il s’attaque à diverses urgences que son sens de Dieu et de l’homme lui font vite repérer.
Il aide à la restauration de l’hospice qui regroupe encore à cette époque vieillards, infirmes et enfants trouvés. Il se préoccupe des mendiants et des chômeurs et les enrôle pour un travail communautaire. Il ouvre une filature et crée un atelier de tissage pour les prisonniers. Son presbytère est toujours et le curé se dépouille de son manteau ou d’une couverture pour venir en aide à une famille nécessiteuse.
Dans les rues d’Auray, il croise des mal-entendants. A l’époque, on les appelle des sourds. Facilement, ils sont traités d’idiots ou de stupides. Gabriel Deshayes s’en émeut. Dès 1810, il confie les filles aux Sœurs de la Sagesse, à la Chartreuse qu’il vient d’acquérir. Plus tard, il charge les Frères de Saint Gabriel des garçons et développe son œuvre en faveur des aveugles et des mal-voyants. Sa vie durant, ce seront ses enfants préférés.
Dès 1816, il accueille dans son presbytère des jeunes gens qu’avec l’aide des Frères des Écoles chrétiennes il prépare au métier d’enseignant pour les campagnes bretonnes. Réunis aux recrues de l’abbé de la Mennais à Saint-Brieuc, ces jeunes forment le premier noyau de l’Institut des Frères de l’Instruction Chrétienne de Bretagne.
Comme le résume son évêque, Mgr de Pancemont : « L’abbé Deshayes ne va se coucher le soir que pour rêver aux nouvelles merveilles qu’il exécutera le lendemain ». Et lui-même témoigne : « Je ne me suis jamais défié de la Providence. De son côté, elle ne m’a jamais manqué. »