Bonjour,
Je ne connais pas la formation de Besançon, mais ce que tu appelles "un domaine qui étudierait des planètes autre que la terre" ça s'appelle la planetologie. Je sais qu'il y en a à Orsay (Paris Sud) et je crois à Nantes (suffit de googler^^).
Les maths en géologie, il y en a mais à un niveau abordable... Selon les parcours et les niveaux d'étude, ça va des calculs matriciels aux calculs des propagations d'erreurs...
Selon les échos que j'ai eu, le plus difficile en arrivant en L3 de géologie, c'est la minéralogie : la reconnaissancesdes minéraux et la connaissance des associations minéralogiques. C'est ce qui a posé le + de probleme à ceux que je connais qui n'ont pas fait les deux premieres années.
J'espere que ça t'aide,