Az ablakok a korra jellemző félköríves díszítést kaptak, a hátsó homlokzat középső kiugró része felett attika, vagyis mellvéd húzódik. Két melléképülete van, az egyik lovarda, a másik könyvtár és kápolna volt. A kastély a háború után 1958-ig gépállomás volt, majd a Mechanikai Művek költözött bele. Jelenleg romos állapotban van.
A grófi címet 1895-ben az 1874 és 1928 között élt Vigyázó Ferenc kapta. Az uralkodó különleges kegye folytán a család köznemesi státuszból a bárói fokozat kihagyásával rögtön a magasabb, a grófi rangra emelkedett, ami ritkaságnak számít a magyar rangadományozások történetében.
A család főnemesi ága 1928-ban, a köznemesi ág 1935-ben kihalt. Gróf Vigyázó Ferenc, miután két fia idő előtt elhunyt, végrendeletében a Magyar Tudományos Akadémiára hagyta földbirtokait, házait és egyéb értékeit.
Köztük értékes könyv-, kódex- és képgyűjteményét, valamint a Podmaniczky-Vigyázó-kastélyt. A hagyaték értékét huszonötmillió pengőre becsülték. Bár a vagyont tízmillió pengő tartozás terhelte, a maradék nagy segítséget nyújtott az akkor igen nehéz anyagi helyzetben levő Akadémiának.
A Tószegi úton található Vigyázó kastély 1830-ban készült, Vigyázó Antal megrendelésére. Egy darabig lakóépületként használták, majd később több funkciót kapott az államszocializmus időszakában, pl. gépállomás, továbbá a Mechanikai Művek egyik telephelye lett. A ház katonai múltja már az építése utáni évtizedben megkezdődött. Az 1849. március ötödikei szolnoki csata után erre vonultak vissza a megvert császáriak, s míg a legénységnek csak a temetőben jutott szállás, a tisztikart az épületbe szállásolták el. A Nagy Háborúban először szerb és orosz hadifogolytábor volt Abonyban Beliczey Tibor Sashalmi és Paládicspusztai birtokain. Később a Tanácsköztársaság idején azokat a magyar katonákat zárták ebbe a táborba, akik nem akartak a kommün oldalára állni. Megfélemlítésül többeket ki is végeztek közülük. 1974-ben avatták az épület előtt ma is látható emlékművet a fehérek által megölt 19-es mártíroknak. Akkor a megyéből hoztak olyan veterán vöröskatonákat, akik itt voltak fogolyként. Ők mutatták, hogy a ma is meglévő könyvtár és kápolnaépületben hova temették a hullákat, meg állítólag hova falaztak be élve embereket. Az elmúlt évtizedekben üresedett ki, jelenleg kívülről nézhető, látogatható, de nem használják közösségi intézményként. Jelenleg az épület magánvállalkozás tulajdonában van.