Изначально Голландский остров заселили в XVI веке. Назвали его так в честь крупного собственника земли – Даниэля Голланда. К 1850 году появилась первая община рыбаков и фермерских семей. Уже в 1910 году население составило 350 человек, что позволило ему стать одним из крупнейших обитаемых островов в заливе.

В пике своего существования он имел свою школу, церквушку, почту и даже бейсбольную. Основным доходом островитян была ловля крабов, сельди и устриц. Островитяне жили за счет ловли устриц, крабов и сельди, при этом имели свой небольшой рыбачий флот из 40 скипджеков, 10 шхун и 36 бакаев.
В 1920 эрозия начала брать свое, уменьшая площадь. Острова в Чесапикском заливе состоят из глины и ила, а не твердой породы, поэтому очень сильно подвержены эрозии. Жители привозили камни, чтобы укрепить береговую линию, и даже потопили несколько старых лодок, чтобы замедлить размыв, но сказалась нехватка оборудования и техники.

Их старания так и не увенчались успехом. Большинство жителей покинули свои жилища, предварительно разобрав их на строительные материалы и переправив на материк.Остров был заброшен и о нем никто не вспоминал до 1995 года, пока Стивен Уайт, бывший рыбак, выросший здесь, не купил последний оставшийся дом за 70 тыс. долларов, пытаясь сохранить свое наследие. В течение последующих 15 лет, Уайт вложил около 150 тыс. долларов, пытаясь спасти остатки острова путем укрепления береговой линии бревнами и мешками с песком.Благородные усилия бывшего островитянина оказались напрасными. В октябре 2010 года дом завалился под влиянием ветра и воды. Следующие месяцы вода поглощала обломки здания, часть за частью, пока через год уровень воды не поднялся на столько, что полностью покрыл остров и дом.