Es por un puente invisible que cruza el foso, está siguiendo la dirección de las puertas que encuentras cerradas, lo que mas te ayudará es el minimapa en el que se ve un boquete en la muralla del castillo, por allí se entra.
 Espero que la encuentres.

 Saludos