Hradní sídlo nejspíše vystavěl v druhé polovině 14. století Purkart Strnad z Janovic, jeden z nejoblíbenějších dvořanů krále Václava IV. Později hrad krátce vlastnil Ojíř z Očedělic, od něhož ho v roce 1474 koupila Anna Švihovská, vdova po Janu Popelu z Lobkowicz, se svými třemi syny Děpoltem, Václavem a Ladislavem. Tak se dostalo chlumecké panství na dlouhá staletí do rukou šlechtického rodu Lobkowiczů.
Za vlády Lobkowiczů se panství úspěšně rozrůstalo. Významnou měrou se o to zasloužil Zdeněk Vojtěch z Lobkowicz, nejvyšší kancléř království Českého. Ten se v roce 1603 oženil s Polyxenou z Pernštejna, vdovou po bohatém a mocném Vilému z Rožmberka, čímž se majetek rodu významně rozšířil. Polyxena vlastnila statky kdysi mocných a zámožných pánů z Pernštejna (včetně Roudnice nad Labem) a postupně další kupovala.. Polyxena z Lobkowicz (1566–1642) se zapsala do dějin hned tří významných rodů: Pernštejnů, Rožmberků a Lobkowiczů. Zatímco u prvních dvou byla svědkem jejich vymření, třetímu zajistila pokračování na další staletí dopředu. Po smrti Zdeňka Vojtěcha připadl Polyxeně veškerý rodový majetek nevídané hodnoty.
Chlumecké panství, největší v kraji a jedno z největších v Čechách vůbec, zdědil jediný syn Zdeňka Vojtěcha a Polyxeny - Václav Eusebius. V té době na Vysokém Chlumci sídlili pouze panští úředníci, protože rodina Lobkowiczů se zdržovala především v Roudnici nad Labem. Chlumecký hrad postupně chátral, avšak i přes bídný stav sem byly v roce 1644 z okolních dvorů převezeny mnohé cenné věci, živý inventář a zásoby v naději, že zde budou v bezpečí před císařskými a švédskými vojsky. Hradu se však zmocnili po krátkém boji Švédové a co nestačili zkonzumovat, to si odvezli nebo alespoň zničili. Na Chlumci a v okolí nadělali obrovské škody.
Mohutná stavba chlumeckého hradu byla udržována jen drobnými a nezbytnými opravami. V té době přestávaly hrady plnit svou původní funkci. Pokročilý vývoj bojové techniky už nemohly zastavit ani masivní hradby, ani padací mosty, a tak se hrady přestavovaly na pohodlnější obydlí - zámky. I pro přestavbu Vysokého Chlumce byly připraveny plány, ale z projektu sešlo, a tak stavitel Antonio Porta stačil vybudovat v roce 1678 pouze západní předhradí s raně barokní branou a mostem v místech původního gotického, zčásti zdvihacího mostu.
Jedním z dalších majitelů chlumeckého panství byl Ferdinand Filip z Lobkowicz, který své panství nikdy nenavštívil a ponechal je v péči úředníků. Jaká to byla péče, o tom svědčí selské bouře a zásah rakouské vlády, která ustanovila administrátorem všech panství za neschopného Ferdinanda Filipa jeho synovce Augusta. Ten je spravoval vzorně i jménem nezletilého Josefa Františka Maxmiliána.
Ovšem ani Josef František Maxmilián nevěnoval chlumeckého hradu a panství žádnou pozornost. Přesto se do dějin lobkowiczkého rodu zapsal viditelným způsobem. Finančně totiž podporoval hudebního skladatele Ludwiga van Beethovena, který se díky němu mohl nerušeně a bez existenčních starostí věnovat tvorbě. Několik skladeb věnoval svému mecenáši jako projev díků. Nejznámější z těchto děl, 3. symfonie Eroica, mělo světovou premiéru v Lobkowiczkém paláci ve Vídni roku 1801.

Se vznikem Československa roku 1918 byly zrušeny šlechtické tituly a Lobkowiczové se věnovali především práci ve státní sféře a v diplomacii. Hrad Vysoký Chlumec zůstal téměř opuštěn, ale majitelé hrad přesto nechávali opravovat a udržovat. V období protektorátu zabavili lobkowiczký majetek němečtí nacisté. V roce 1948 byl vysokochlumecký hrad v důsledku znárodnění a zestátnění převeden do péče státu. Restaurační práce byly prováděny postupně od roku 1963 do roku 1973.
V roce 1992 byl hrad vrácen rodu Lobkowiczů. Od roku 1998 se hrad stal rezidencí nového majitele. Je jím Riprand, Graf von und zu Arco-Zinneberg. Manželé Arco-Zinnebergovi se do společenského života ve Vysokém Chlumci zapojili několika záslužnými aktivitami - finančně i věcně podpořili místní základní školu a na počátku roku 2001 byli hlavními iniciátory založení Nadačního fondu Patronát Sedlčansko, který se zaměřuje na opravu kulturních památek Sedlčanska.
Hrad prošel v předcházejících letech celkovou rekonstrukcí a není veřejnosti přístupný. V podhradí se nalézá známý Lobkowiczký pivovar založený v roce 1466.