А.И.Рыков родился в Саратове, из крестьян. Гимназистом в 1898 вступил в РСДРП. С 1900 студент юридического факультета Казанского университета, член Казанского комитета РСДРП. В феврале 1901 арестован, в сентябре выслан в Саратов, где вошёл в комитет РСДРП, один из организаторов первомайской демонстрации 1902.
В 1903 с помощью агентов газеты “Искра” выезжал в Женеву, где встречался с В.И. Лениным. В мае 1905 арестован в Петербурге, но освобождён по Манифесту 17 октября. Избран в Петербургский Совет РД. Участник декабрьского вооруженного восстания 1905 в Москве.
В мае 1907 вновь арестован в Москве и в 1908 сослан в Самару. На 5-м съезде РСДРП (1907) заочно избран кандидатом в члены ЦК. В апреле 1909 уехал за границу по заданию Русского бюро ЦК РСДРП (в 1907 – 10 член Бюро ЦК). В июне 1909 участник Совещания расширенной редакции газеты “Пролетарий”. С осени 1909 в Москве; неоднократно был арестован, ссылался, бежал из ссылок.
Делегат 7-й (Апрельской) Всероссийской конференции РСДРП(б) от Московской организации; выступив в прениях по докладу В.И. Ленина, говорил: “Можем ли мы рассчитывать на поддержку масс, выкидывая лозунг пролетарской революции? Россия – самая мелкобуржуазная страна в Европе. Рассчитывать на сочувствие масс социалистической революции невозможно”. Считал, что поддержка курса на социалистическую революцию приведёт партию к отрыву от масс и превращению её в пропагандистский кружок.
Делегат 1-го Всероссийского съезда Советов РСД; избран кандидатом в члены ВЦИК. В июле при рассмотрении вопроса на заседании Московского Совета РД о коалиционном Временном правительстве от имени фракции большевиков заявил, что нельзя оказывать никакой поддержки такому правительству; престиж “революционных партий” в стране резко пал, ибо “нигде не было так тихо, как в Совете рабочих депутатов” в то время, как казаки и юнкера обыскивали в Петрограде рабочие кварталы, закрывали профсоюзы и громили левые типографии. Рыков выступил также за установление рабочего контроля на производстве и против направленного на борьбу с революционным движением восстановления смертной казни.
В дни Октябрьского вооруженного восстания находился в Смольном; делегат 2-го Всероссийского съезда Советов РСД, член Президиума съезда; избран кандидатом в члены ВЦИК.
4 ноября совместно с Г.Е. Зиновьевым, Л.Б. Каменевым, В.П. Ногиным и В.П. Милютиным подписал заявление в ЦК партии, в котором указывалось, что руководящая группа ЦК “твёрдо решила не допустить образования правительства советских партий и отстаивать чисто большевистское правительство во что бы то ни стало и каких бы жертв рабочим и солдатам это ни стоило. Мы не можем нести ответственность за эту гибельную политику ЦК, проводимую вопреки воле громадной части пролетариата и солдат, жаждущих скорейшего прекращения кровопролития между отдельными частями демократии.
С 9 ноября возглавил Московский продовольственный комитет, для обеспечения Москвы хлебом выезжал в южные районы страны. Был комиссаром по продовольствию в Московском областном Совете, с февраля 1918 член коллегии Наркомата продовольствия РСФСР. В марте – апреле комиссар по продовольствию в Московском СНК. С 3 апреля председатель ВСНХ. Член Политбюро партии в 1919-30.
С 1921 заместитель председателя СНК и СТО РСФСР, в 1923-24 – СССР и РСФСР. В 1924-30 председатель СНК СССР и в 1926-30 председатель СТО СССР. В конце 20-х гг. выступил против применения чрезвычайных мер при проведении коллективизации и индустриализации, что было объявлено “правым уклоном в ВКП(б)”. В 1931 – 1936 нарком связи СССР. На февральско-мартовском Пленуме ЦК ВКП(б) в 1937 исключён из ЦК и из партии.
В феврале 1937 арестован; в марте 1938г. по делу “Правотроцкистского антисоветского блока” приговорён к расстрелу Военной коллегией Верховного суда СССР. Реабилитирован в 1988г.