в таком случае есть простое правило вежливости. если фотографируемый вами человек дает понять, что не желает что бы вы его снимали, то просто опускаете камеру и показываете ему, что поняли, и уходите. Лучше потерять кадр, чем получить конфликтную ситуацию, которая вас не будет украшать, поверьте со временем, на вас перестанут обращать внимание, и вы сможете снимать без проблем. Главное, чтобы жители вашего населенного пункта привыкли, что вы ходите с камерой и снимаете.
P.S. Юридически съемка в общественных местах не запрещена, и снимать можно всех людей без разбору и без письменного согласия оных. Но, есть такие люди, которые засекречены, и если вы на таких нарветесь, которых низзя снимать - то проблемы могут возникнуть сами собой, поэтому показали вам - "убери камеру" - сделайте жест доброй воли, не сотворив скандала.