Bonjour,
Oui le gypse est assez soluble dans l'eau mais celà prend un certain temps (ce n'est pas comme le sucre...) et on trouve donc en général des cristaux plus ou moins rongés par la dissolution s'ils sont exposés depuis un certain temps aux éléments.
Pour ce qui est de la formation celà peut être très variable.
Les gisements de gypses (couches ou dépôts plus ou moins massifs et importants) se sont souvent formés dans des mers fermées ou des lagunes sous climat chaud avec un bilan hydrique négatif. Donc concentration progressive et puis cristallisation (donc aussi souvent associés à des gisements de sel). Il s'agit alors de roches sédimentaires (bien qu'un peu particulières) désignées sous le nom explicite d'évaporites. Dans ce cas le gypse a évidemment...son âge.
Par contre les cristaux qu'on trouve disséminés dans d'autres roches sédimentaires (argiles, marnes, calcaires,...) sont souvent formés après coup par cristallisation progressive de sulfates initialement dispersés dans le sédiments (mais pas toujours...). C'est comme les silex et les marcassites dans les craies du Blanc Nez, ces cristallisations ne sont pas contemporaines du dépôt du sédiment mais postérieures. Quant à dire de quand elles datent et leur vitesse de formation je n'en sais rien.
Vérifier tout de même si les cristaux trouvés au pied des falaises sont bien du gypse (photos?).
Si parmi ceux qui sont libres aucun ne présente un aspect plus ou moins rongé par la dissolution c'est sans doute autre chose que du gypse.
Bonne continuation
jph