Gouffier, après avoir entendu, le 23 décembre 1095, Urbain II prêcher la croisade à Limoges, participe, avec ses frères, à la première croisade, dans l'armée de leur suzerain Raimond IV de Toulouse, et celle du légat papal Adhémar de Monteil.

Les comptes-rendus des actes de Gouffier au début de la croisade sont un peu douteux. Il est censé s'être distingué au siège de Nicée en 1097. Par la suite, pour traversant l'Anatolie, l'armée croisée se sépare en deux groupes. Selon la légende, Gouffier faisait partie du groupe qui est pris en embuscade à la bataille de Dorylée le 1er juillet 1097. Selon cette version, lors de cette embuscade, Gouffier est envoyé chercher le secours de la seconde armée, qui, avec Godefroy de Bouillon, arrive juste à temps pour vaincre les Turcs. Cependant, il est plus probabale que Gouffier fait déjà partie de l'armée plus grande, avec Godefroy et son propre seigneur Raimond IV.

Au siège d'Antioche, Gouffier fait le blocus de la sortie de la ville à travers le Mont-Silpius. Dans un autre récit, les croisés ayant construit un pont en bateaux à travers l'Oronte, Gouffier le traverse à cheval et tue trois Turcs qui se tenaient en embuscade à l'autre côté. Quelques jours plus tard Gouffier tue un émir, et en capture le cheval. Au cours d'une autre escarmouche, il sauve la vie de Raimond IV, tuant quinze Turcs, cassant toutes ses armes et son bouclier.

En 1098, Antioche tombe aux mains des croisés, qui, ensuite, levent un contre-siège des Turcs. À partir de ces évenements, les actes de Gouffier sont notés par des témoins oculaires, et passent donc pour réalité. Il fait partie de la capture de "Talamania" (peut-étre Al Bara), et il contribue fortement au siège de Marra en décembre 1098. Le soir du 11 décembre il est le premier à monter les remparts de Marra, suivi par tant d'autres croisés que l'escalier se casse sous leur poids.

Les croisés assiégent Jérusalem en juillet 1099, et prenne la ville le 15 juillet. Gouffier accompagne Raimond IV et pourchasse les musulmans jusqu'à la Tour de David jusqu'à leur reddition.
 

Gouffier de Lastours, héros de la première croisade, fut enterré dans une tombe aux armes des Lastours, dans l'église du Chalard, contre son tombeau. Le Gouffier de Lastours enterré avec son épouse, Agnès d'Aubusson dans la salle capitulaire est celui qui vivait environ cent ans plus tard.

 

La légende du chevalier au lion

La légende s'empare de nouveau de Gouffier. Il est censé avoir sauvé un lion de l'atttaque d'un serpent. Le lion le suit alors partout, même en bataille. Quand Gouffier part vers Europe en bateau, les matelots ayant peur du lion l'empêchent de monter à bord. Le lion nage après le bateau, et se noie.

 

Ainsi en est-il de cette légende d'après un manuscrit du XIIème siècle  :

 

" Cet homme, digne de mémoire, dirigeait de fréquentes attaques contre les ennemis, auxquels il faisait subir  continuellement de grandes pertes. Or il arriva qu'un jour il entendit les rugissements d'un lion qu'un serpent avait enlacé de ses replis monstrueux. Gouffier s'approche hardiment, découpe en tronçons le corps du reptile, et délivre le lion. Chose étonnante ! le lion, se souvenant du bienfait qu'il avait reçu, le suivait partout comme un chien fidèle. Pendant tout le temps que Gouffier demeura en Terre-Sainte, ce lion ne le quitta jamais, et lui procura de grands avantages, soit à la chasse, soit dans les combats. Il le pourvoyait abondamment de venaison, et d'un bond rapide, terrassait les ennemis de son maître. Quand le chevalier s'embarqua pour retourner dans son pays, le lion ne voulut pas le quitter ; et comme les matelots, craignant la cruauté de cet animal, refusaient de le recevoir dans le navire, il suivit son maître à le nage, jusqu'à ce que, épuisé de fatigue, il disparut dans les flots."

Après son retour à Lastours, Gouffier fait don de cinq étendards musulmans à l'abbaye Saint-Martial de Limoges. Il fait également don de tapisseries au château d'Arnac-Pompadour. Son frère Gui meurt lors de la croisade, mais en 1114 Gouffier et son autre frère, Gérard, font don d'un terrain à Géraud de Salles pour fonder l'Abbaye de Dalon. La mention la plus tardive de Gouffier se trouve vers 1126. Il est alors noté châtelain d'Hautefort. La date de sa mort n'est pas connue, mais il est enterré au cimetière du Chalard.

Gouffier est censé être intervenu en faveur d'une reine de France, accusée d'adultère. Gouffier vainc l'accusateur en combat singulier, ce qui lui conférera le droit de porter la fleur de lis sur ses armoires.