В 1905 году по предложению Николая Николаевича для управления вооруженными силами был создан Совет государственной обороны, который он и возглавил. Одной из важнейших задач новой структуры стала выработка новой кадровой политики, в частности замена генералов, показавших профессиональную несостоятельность на полях русско-японской войны 1904–1905 годов, кандидатурами, рекомендованными специально сформированной Высшей аттестационной комиссией.
В том же году Николай Николаевич стал главнокомандующим Петербургским военным округом и войсками гвардии, что позволило ему перевести в нее способных армейских офицеров, отличившихся в сражениях русско-японской войны. По воспоминаниям сослуживцев, великий князь стремился внедрять новые методы военного обучения, высоко ценил боевой опыт и был весьма требовательным начальником.
Великий князь, один из старших в роду, пользовался в армии, да и в стране, огромным авторитетом. Именно это обстоятельство, по-видимому, позволило ему сделать то, что посмел бы далеко не каждый. Во время революции 1905–1907 годов, когда перед властью встал вопрос, пойти ли на уступки восставшим, или ввести диктатуру, Николай Николаевич с револьвером в руке угрожал царю самоубийством, если тот не подпишет Манифест об усовершенствовании государственного порядка, провозглашавший политические права и свободы (подписан 17-го и опубликован 18 октября 1905 года).
В 1914 году, с началом Первой мировой войны, Николай Николаевич был назначен верховным главнокомандующим. По мнению генерала А.А. Брусилова, лучшей кандидатуры найти было нельзя.