Воспитывался в училище правоведения и затем в Николаевском кавалерийском училище
1868 - произведён в корнеты и выпущен в лейб-гвардии Гусарский полк. Однако вскорости за «буйный» характер был исключён из полка и лишён права жить в обеих столицах
1873 - отставной гвардии поручик Толстой на публике нецензурно оскорбил самарского губернатора Фёдора Климова. По высочайшему повелению граф Толстой был выслан из Самары в Кинешму под надзор полиции. Благодаря хлопотам родственников он пробыл в ссылке лишь полгода, после чего смог опять вернуться в общество
1881 - избран самарским уездным предводителем дворянства. Занимал этот пост шесть трёхлетних сроков подряд
В семейной жизни Толстой был груб и ревнив, однажды даже стрелял в жену, но промахнулся
май 1882 - Александра Леонтьевна Толстая, будучи на втором месяце беременности, сбежала от мужа в уездный центр Николаевск к Алексею Аполлоновичу Бострому, на тот момент — председателю уездной земской управы и члену губернского земского правления. Через месяц Толстой приехал в Николаевск и передал Бострому вызов на дуэль, от которой тот отказался
20 августа 1882 - на станции Безенчук Толстой, ехавший в поезде Самара — Санкт-Петербург, увидел, как его жена, беременная на шестом месяце, и Бостром садятся в поезд. Он нашёл их в купе 2-го класса и выстрелил в соперника, ранив его
23 января 1883 года состоялось судебное заседание, на котором Толстого оправдали, доказав, что выстрел был неумышленным. За две недели до суда родился Алексей Толстой, будущий писатель, который провёл детство в доме своего отчима и до тринадцати лет носил фамилию Бостром
1883 - брак Толстых был расторгнут, трое старших детей (Елизавета, Александр и Мстислав) остались у отца
Умер в Ницце от инфлюэнции