Der Jarlshof findet in der Erzählung "Der Pirat" von Sir Walter Scott Erwähnung. Hier sieht man Siedlungsreste aus der Bronzezeit, zwei Erdhäuser und ein Broch aus dem 1. Jahrhundert (der Eisenzeit), Rundhäuser vom 3. bis 8. Jahrhundert und Langhäuser der Wikinger, die vom 9. bis 14. Jahrhundert dort ansässig waren. Dann gibt es Reste eines Bauernhofes aus dem Mittelalter und Teile des Hauses von Earl Robert und Patrick Stewart aus dem 17. Jahrhundert. Nur diese Hausteile waren Scott, der 1814 die Shetland-Inseln besuchte, bekannt und wurden von ihm als Jarlshof bezeichnet. Erst 1905 wurden die prähistorischen Stätten durch einen Sturm freigelegt. Der Jarlshof ist die wichtigste archäologische Fundstätte Europas und wirklich beeindruckend!