Na místě dnešní Zámecké lékárny byly původně 2 měšťanské domy,
které koupil Petr Vok z Rožmberka po jeho přestěhování do Třeboně.
Domy zakoupil s jasným účelem vybudování paláce pro uložení sbírek, obrazů, knih a uměleckých předmětů.
V roce 1605 byl započato se stavbou, první knihy se stěhovaly v roce 1607 a 1608.
Současně s palácem byly provedeny i stavební změny na zámku tak, aby bibliotéka byla přístupná přímo ze zámku z pokojů Petra Voka a z reprezentačních prostor.
Po smrti Petra Voka byl palác využíván jako ubytovací rezerva pro hosty, byty pro trvalé bydlení, v plánu bylo využít palác jako sídlo Schwarzenberských úředníků.
V přízemí domu bydlel lékárník, v patře od roku 1727 také lékař.