Okolica Krasnogrudy została nadana z woli królowej Bony w 1520 roku, na własność marszałkowi królewskiemu Kopciowi Wasilewiczowi. On wznósł - na miejscu obecnych domostw osady Dworczysko - dwór Stobiński, wokół którego zaczęli osiedlać się Litwini i Rusini znad Niemna. Powstały wówczas duże dobra ziemskie należące do rodu Kopciów. 

W XVII wieku rozpadły się na kilka mniejszych majątków - Krasnogrudę, Janiszki i Łumbie.W 1785 roku dobra Krasnogruda zostały kupione przez szlachcica Macieja Eysmonta. Rozpoczął on także skupowanie następnych dóbr i folwarków należących do dawnych dóbr Stobińskich. W taki sposób stworzył nowe latyfundium, gdzie zaprowadził gospodarkę folwarczną. Swą siedzibę usytuował właśnie w Krasnogrudzie. Dwór Krasogruda przebudowano już pod koniec XIX wieku, ale zachowała się drewniana dworska oficyna z XVIII stulecia.

Z dworem w Krasnogrudzie związane jest nazwisko wybitnego pisarza Czesława Miłosza, który- jako student - w latach trzydziestych XX wieku spędzał tu wakacje. Znajdowała się tu posiadłość jego ciotek, z której do dziś zachował się jedynie budynek dworu. Dziś funkcjonuje w nim Międzynarodowe Centrum Dialogu prowadzone przez fundację Pogranicze z Sejn. Na przeciw dworu, po przeciwnej stronie jeziora Hołny znajduje się ośrodek wypoczynkowy Politechniki Białostockiej. Niedaleko przebiega również trasa międzynarodowa - do przejścia granicznego Ogrodniki-Lazdijai (LITWA).