En règle générale, si on est sur une propriété privée, il faut l'accord du propriétaire.
Si on est dans le public cela dépend de ce qu'on nomme "prospecter".
Par exemple si on ramasse un caillou par ci par là, sans tout défoncer, ça ne pose pas de problème (sauf si on est dans une zone protégée),et on rebouche les petits trous bien sûr. Si on squatte une zone "publique" qu'on fouille à grands coups de pioches et pelles, là c'est des ennuis à coup sûr.
Eviter les carrières, même si elles paraissent abandonnées, car là il y a des risques et donc une responsabilité des proprios, et ils n'aiment pas ça!
Et sans autorisation c'est du vol!!
Soyez prudents, renseignez vous, soyez raisonnables, et vous devriez faire de belles découvertes.