1753-ra – Szent Márton veszprémi püspök megbízásából – Pókatelkén felépült a fivérének, Biró Istvánnak szánt emeletes, tágas kúria, a későbbi Sárga kastély, melyhez nagy birtok tartozott.
A tágas rezidenciát, kívülről Szent Márton püspök és hitvalló kőből faragott képmása és más díszítmények és elemek ékesítenek.
Biró István halála után az értékes udvarházat és javadalmait nősüléssel a pókateleki Kondé család szerezte meg, akik a 19. század legelején saját ízlésük szerint átalakították (oromzatára ekkor került fel a Kondé címer, fölé a hatalmas kőpulyka szobrával). Ők mintegy hatvan évig birtokolták a kastélyt, amely sokáig a település egyetlen emeletes háza volt.
Kondé családtól Wahlberg Miklós bécsi egyetemi tanár vette, s haszonbérbe adta. Wahlbergtől lánya örökölte meg, aki a Dukesz-Herzog cégnek adta el, akik gazdasági célokra vásárolták meg. Az épületet 1938-tól a magyar katonai közigazgatás székhelyeként találjuk 1944-ig, amikor is a német, 1945-ben pedig az orosz katonai parancsnokság rendezkedett ott be. Röviddel ezután a csehszlovák katonai hatóság vette át az épületet. 1953-tól a földintézet használta a Sárga kastélyt egészen 1972-ig – amikor a Csallóközi Múzeum áttette oda a székhelyét az egykori Bacsák-féle Fehér kastélyból.1977-ben felújították a kastély főépületét, amelyben a mai napig a múzeum állandó kiállítási termei találhatóak.