Summary:
גירי דיליה requires one to distance even if initially there was no concern; provided that it is not קביעא תשמישייהו, however if it is קביעא תשמישייהו, if he was סמך בהיתר he may remain even if it is גירי דיליה. (Alternately here they were סומך באיסור, since כל מרא מרפי לארעא.)