为了实现他的抱负，张国焘考上了北大理工预科班，于1916年秋天来到北京。

进入北大后，张国焘很快就成了一个活跃分子。文科学长陈独秀和图书馆主任李大钊是他最崇拜的师长。受他们的影响，张国焘接受了社会主义理论。尽管当时还很幼稚，张国焘却以救国和革命为己任。他先与许德珩等组织国民杂志社，又与罗章龙、邓中夏等组织了平民教育会。繁忙的社会活动使张国焘从课堂转移到图书馆，在那里他有时向李大钊先生请教，有时与同学高谈阔论。可能他没有意识到，在屋子角落的图书管理员办公桌旁，一位身材颀长的湖南青年在饶有兴趣地听他们讲话，这位青年就是毛泽东。