O mais certo é:
"Me desculpe!" Não se esqueça que concerteza você estará deixando alguém na mão, então, acho que não custa nada se desculpar. Após isso, puxe um assunto com a pessoa para que ambos não fiquem desconcertados. Dê início ao papo, depois parta para carícias e tente reiniciar a coisa.
Broxar não é coisa de outro mundo.
Stress, nervoso, fumo, bebida alcoolica em demasia, entorpecentes, etc,. Muitas coisas levam a impotencia. Se for casual, continue sua vida normalmente, mas como diz a frase
"Ao persistirem os sintomas, o médico deverá ser consultado!"
Boa Sorte.