Karol hr. Brzostowski herbu Strzemię urodził się 11 lutego 1796 roku w Michaliszkach na Wileńszczyźnie2. Tytuł hrabiowski zaczął mu przyslugiwać w drugim roku życia, tj. od momentu, gdy w 1798 roku król pruski Fryderyk Wilhelm III nadał go dwóm przedstawicielom rodu Brzostowskich , Ksaweremu i Aleksandrowi.
Matka Karola, Ewa, byla córką slynnego kanclerza Wielkiego Księstwa Litewskiego (WKL), Joachima Litawora Chreptowicza (1729-1812) i Konstancji z Przeździeckich. Ojcem Karola był Michał Hieronim Brzostowski (1762-1806), syn Stanislawa (zm. w 1769 r.) i księżnej Teofili Radziwiłłówny.