Quartier et propriété privée

Bonjour,
J'ai pris l'habitude depuis plusieurs années d'aller m'asseoir avec des amis sur des rochers forts confortables situés à la fin d'une route sillonnant un pâté de maison. Seulement voilà, il y a peu, un monsieur très peu sympathique nous a limite insulté pour nous faire dégager en criant que nous étions dans une propriété privée. Ma question est donc la suivante : étant donné qu'il n'y a pas de panneau "propriété privée" à l'entrée de la rue et que nous ne sommes pas rentrés dans l'une des maisons du pâté, ce cher monsieur avait il vraiment raison ou non ?
Merci d'avance.