No eres responsable de los sentimientos de los demás de esta manera. Recomendaría ser cortés y decir ‘No, gracias’. No se requiere ninguna otra explicación. No necesitas disculparte.
Si este es un problema para usted, tal vez quiera pensar de dónde viene esto. No le debes algo a alguien porque está interesado en ti.