Problema con environment lightning Eevee

¿Hay alguna forma de que la luz del environment no se cuele dentro de un 'edificio'? En un interior, que los objetos de dentro no se vean afectados por la iluminación exterior proviniente del environment map del world background