Ve středověku stávala na tomto návrší tvrz. V nejstarších dochovaných historických záznamech z roku 1339 je jako majitel uveden Heřman ze Semína. V průběhu 14. a 16. století se na tvrzi vystřídalo mnoho majitelů. Zdá se, že od konce husitských válek zůstala tvrz neobydlená. Její majitelé sídlili pravděpodobně jinde a v pramenech z konce 15. století se již mluví o místě jako o „tvrzišti“ tedy o místě, kde stávala tvrz. Poslední jejím majitelem s stal Jan Zdechovický ze Sekyřic.

Ten, roku 1497, prodal všechen tento majetek, „tvrz pustou, ves celou, v Kladrubkách dvůr kmetcí, pustý s dědinami, s Labe, jezerem, atd.“, mocnému pánu a sousedovi Vilémovi z Pernštejna, novému majiteli kunětickohorského panství se sídlem na pardubickém zámku, a to za 300 kop českých grošů.

Tímto aktem se Semín stal součástí druhého největšího panství, které se v první polovině 16. století nacházelo na území Čech, a stoupl tím na významu.

V prvních letech 16. století byla totiž východně od tvrziště vybudována renesanční budova sloužící potřebám správy západní části Vilémova rozsáhlého panství. Zároveň byla pravděpodobně využívána též jako lovecký zámeček, neboť v Semíně byla jedna ze stanic, specializovaných na lov srnčí zvěře a zajíců. V roce 1691, tedy v době, kdy Semín již spadal, spolu s hřebčínem v Kladrubech, do majetku císaře Leopolda I. Habsburského, byl k původní budově semínského zámečku přistavěn pivovar. Při této příležitosti došlo k úpravě a rozšíření objektu v barokním stylu.

Na východní straně dvora stojí tzv. „Myslivna“, vyšší budova, kde v těchto dobách bylo umístěno obydlí „mušketýrů“, tedy drábů, dozorců dohlížejících na robotují poddané. Rovněž zde byla šatlava. Pro vzpurné sedláky byl na nádvoří umístěn pranýř v podobě osla s ostrým hřbetem, na který byl odsouzený posazen a na nohy mu byly přivázány pytle s pískem. Tento nenáviděný potupný „osel“ vzal za své při selských bouřích na konci 18. století, kdy se Semínem převalila vlna rebelujících sedláků mířících až z Podkrkonoší směrem na Prahu. Na věžičce zámečku byl umístěn zvon, kterým se svolávalo na robotu.

Svůj správní účel ztratila budova po roce 1780, výroba piva zde však pokračovala i nadále. V roce 1918 přešel areál zámečku a pivovaru do vlastnictví tehdejšího sládka, pana Jindřicha Dvořáka. Pivo se zde vařilo až do roku 1926, kdy byl provoz z ekonomických důvodů ukončen. Prostor pivovaru a jeho rozsáhlých sklepení sloužil dále jako velkosklad pro pardubický a chrudimský pivovar.

Obytným účelům slouží budova až do dnešních dnů, ačkoliv se nachází ve značně zchátralém stavu. Areál těchto „semínských Hradčan“ je rodištěm známého architekta Josefa Gočára (nar. 13. 3. 1880), jehož stavbám se můžete obdivovat v Praze, Jaroměři, Lázních Bohdaneč a hlavně v Hradci Králové.