Родился 4 августа 1787 г. в Тобольске. Происходил из старинного дворянского рода. Получил домашнее образование, затем окончил Московский университет. Служил по горному ведомству. Добровольцем участвовал в Отечественной войне 1812 г., дойдя до Парижа.

В 1823 г. вышел в отставку подполковником и начал серьёзно заниматься музыкой. В том же году Алябьев написал оперу «Лунная ночь, или Домовые», сразу же поставленную в Петербурге. В 1825 г. совместно с А. Н. Верстовским создал пролог «Торжество муз» к открытию Большого театра и музыку к водевилю Н. И. Хмельницкого «Новая шалость, или Театральное сражение». Вскоре в его жизнь вмешалась трагическая случайность: он был несправедливо обвинён в убийстве во время карточной игры и сослан в Тобольск, откуда переведён сначала на Кавказ, а затем в Оренбург. Только в 1843 г. Алябьев получил разрешение вернуться в Москву. В годы ссылки композитор записал много кавказских, башкирских, киргизских, туркменских и татарских народных песен, открыв одним из первых эту область национального фольклора для русских музыкантов. Он продолжал писать оперы и оперетты, однако наибольшую известность приобрёл как мастер романса. Им создано свыше 150 романсов и песен. Алябьев раньше многих композиторов обратился к поэзии А. С. Пушкина, положив на музыку такие стихотворения, как «Я вас любил…», «Увы, зачем она блистает…», «Зимняя дорога» и др. Кроме того, ему принадлежат романсы «Вечерний звон», «Вечерком румяну зорьку…», «Я вижу образ твой…», «Нищая». Истинную славу автору принёс «Соловей» на стихи А. А. Дельвига. Он стал любимым романсом у нескольких поколений исполнителей и слушателей.
Скончался 6 марта 1851 г. в Москве.