Non restitution du permis

bonjour tout le monde,
voilà mercredi 15/05/13 je me suis fais retirer mon permis pour consommation de cannabis, je reconnais mes torts et j'en assume les conséquences. Cependant, au delà de 72h je peux récupérer mon permis selon la loi. La gendarmerie me convoque donc ce samedi à 19h45 pour reprendre mon permis, alors que leurs bureaux sont fermés à partir de 18h. Et depuis je dois attendre le retour du gendarme qui m'a verbalisé pour récupérer mon permis, mais ce gendarme est parti en vacances. donc légalement j'ai de nouveau mon permis, mais personne ne veut me le restituer! est ce que je peux considérer cela comme un abus de pouvoir et que puis-je faire pour récupérer mon permis?

Aucun arrêté de suspension n'a été pris par la pref ???