Problema con bake de high poly a low poly

No he hecho demasiados bakes de normales de mallas high poly a otras low poly. Alguna vez me ha pasado esto pero esta vez me urge solucionarlo y aprender a qué se debe, adjunto una foto del problema. Se forman una especie de agujeros y no siguen las normales correctamente (parte de arriba a la derecha del bake).