Na wylocie jednej z najstarszych ulic Siemiatycz – Pałacowej znajdują się zabudowania Starostwa Powiatowego, powstałe w 1952 roku na ruinach stojącego tu niegdyś pałacu księżnej Anny z Sapiehów Jabłonowskiej. Jedyną pamiątką po okazałej rezydencji są stojące dwa sfinksy, umieszczone na sarkofagowych cokołach niegdysiejszej bramy pałacowej.  Pomysł postawienia tych niecodziennych figur powstał podczas jednej z podróży księżnej do Egiptu, podczas którego zwiedzając piramidy w Gizie zakochała się w sfinksach stojących obok nich. 

Sam pałac jak i wspomniane sfinksy powstały w 1777 roku. Pałac zaprojektowany przez Szymona Bogumiła Zuga,  mieścił w swych murach jedne z największych wtedy w Europie okazałe zbiory zoologiczne i botaniczne, dzieła sztuki medalierskiej, miedzioryty i inne. Powstały tam Gabinet Historii Naturalnej niejednokrotnie odwiedzał ksiądz Krzysztof Kluk, ciechanowiecki proboszcz, z zamiłowania przyrodnik, który bardzo pochlebnie wyrażał się o jego wartości naukowej.  W pałacu gościł m.in. król Stanisław August, dostojnicy oraz ludzie nauki: Staszic, Kołłątaj, Trembecki, Jabłonowski. Po śmierci księżnej w 1800 roku spadkobiercy sprzedali majątek i pałac za długi, a zbiory muzealne zakupił car Rosji Aleksander II.

W czasie bitwy w powstaniu styczniowym 7 lutego 1863 roku pałac wraz z 26 rannymi powstańcami spłonął. Pozostały tylko sfinksy, które strzegły ruin i po rekonstrukcji można oglądać obecnie.

          W Siemiatyczach jest jeszcze jeden kamienny sfinks, usytuowany przy Zespole Szkół, przy ul. Kościuszki. Ten został przeniesiony w 1945 roku z Bacik Średnich. Pochodzi z 1906 roku, a wykuty został przez kamieniarzy w Sarnakach i postawiony przed dworem hrabiego Ciecierskiego.

Ogrodzenie d. założenia pałacowego, ul. Legionów (?), 1777 wpisane jest do rejestru zabytków pod nr: 322 z 7.08.1968