1959年1月25日，刚当选教皇几个月的约翰二十三世在罗马圣保罗教堂对红衣主教团发表讲话，宣布召开大公会议的决定。为此，罗马教廷随即成立了几个筹备委员会，负责各种准备工作。它们向去全体枢机主教、大主教以及教廷各部、各修会、修院、天主教大学和神学院系的首脑们发出了2500封信，就大公会议的议案广泛征求意见。它们收到了两千多封寄自世界各地教区和教会机构的复信，在此基础上起草了会议的各种议案和文件草案。这些筹备工作用了三年多时间。
1959年6月5日，圣神降临节，教皇宣布成立第二次梵蒂冈大公会议筹备委员会，此次大会正式进入筹备阶段。筹备委员会组成如下：一个中央委员会；十一个组，神学组、教区行政组、司释及教民纪律组、修会组、圣事组、礼仪组、教育组、东方礼教会组、传教组、教友生活组及教宗宫廷礼仪组；三个秘书处，新闻事业秘书处、基督徒合一秘书处和总务秘书处。
中央委员会、组和秘书处，均由一位主席、多位委员、若干专家顾问和很多秘书组成。组和秘书处的任务是：参考世界各教长和各圣部的建议，然后研究教皇指定的问题。中央委员会是由教皇自己或者自己的代表为主席，委员包括枢机主教、宗主教、主教、修会会长、组的主席和秘书处的主席，共有70多名。中央委员会的任务是：督导及配合各组及秘书处的工作，向教皇汇报成果，并负责起草未来大会的进行程序。
1962年10月11日，梵二会议在梵蒂冈圣彼得大教堂正式开幕。出席会议的有全体枢机、各教会机构和组织的负责人以及来自世界各地140个国家和地区的大主教、主教等共2200名，再加上四百多年来第一次应邀派来的非天主教宗教团体的观察员、驻梵蒂冈外交使团成员和男女平信徒代表等等列席旁听，使参加会议的总人数达到两千五百多人。
1960年11月14日，教皇主持筹备会议的开幕典礼，宣布本届大公会议的重点：“不仅在根据启示和传统，强调某一教义或纪律，更在重振基督的真精神，加强基督徒生活的价值和光辉。”典礼后，各部门便开始工作。 1961年6月至1962年6月期间，中央委员会共进行了7次聚集，召开了55次会议，审查了72项提案，为正式会议作好了准备。教皇在筹备阶段的末期，通过通谕和广播，呼吁所有教友为此次会议祷告，并钦定大圣若瑟为此次大会在天的中保。另外，工作人员也进行圣伯多禄大殿的粉刷装饰工作。大会会场就设在圣伯多禄大殿。 梵二会议分为四个阶段，共计十次全体会议。其中从1962年10月11日至同年12月7日的第一阶段会议是在约翰二十三世主持下进行的。1963年4月11日约翰二十三世发表《世上和平》通谕。同年6月3日去世。他的继任者教皇保罗六世继承他的方针。从1963年9月29日开始主持了后面三个阶段的会议并主持制订和发表了会议的全部正式文件。1965年12月8日，梵二会议正式闭幕，前后历时共三年多。
会议第一期
1962年10月11日上午8时30分，此次大会的开幕式在圣伯多禄广场举行。出席开幕式的主教超过2400名，还有意大利总统和很多国家元首列席。在开幕式上，教宗指出大公会议的任务是：“使教会自我革新，推进基督徒中间的合一，为能向人类更有效地宣讲福音。”大会开幕后，首先选举各个小组的委员。法国主教团代表全体教长，起草了《大会告全人类书》，表达了关怀全体人类和愿意为全体人类服务的诚意；并提出大会特别关心的两个问题：国际和平问题和社会正义问题。然后，大会进入了审议草案阶段。第一个讨论的是《礼仪草案》。其中较受争议的议题包括：（1）礼仪中的语言；（2）礼仪当如何适应不同地区文化的需要；（3）地方主教团在礼仪问题上的职权等。最后，大会通过了这个草案的序言和第1章。在第1期会议中，大会也讨论了《启示渊源草案》、《大众传播工具草案》、《东方礼教会合一草案》和《教会草案》。因为大多数教长不满意《启示渊源草案》，教宗指示把草案退给有关小组重写。而《大众传播工具草案》，大会则要求把它缩短成若干原则和一个牧灵训谕。对于《东方礼教会合一草案》，大会希望它能与基督徒合一组的另一草案以及《教会草案》中论大公主义一章，合并成一个草案。关于《教会草案》，最后由于时间所限，只进行了初步讨论，来不及得出任何结论。第二次梵蒂冈大公会议第1期的会议，于1962年12月8日闭幕。
在第一期会议结束前教宗宣布：将把70多个草案缩编成20个（其后再缩编成17个）以提高大会进行的速度。还要成立一个协调委员会，用来督察各个小组的工作，务必使他们提出的草案不致相互冲突。这些是大会休会期间主要的工作。
会议第二期
1963年9月29日，大公会议第2期会议开幕。新教皇保禄六世指出大会的目标是：1）认识教会本身，特别是有关主教的职务和主教与教皇的关系。2）教会的革新。3）各基督教会的合一。4）教会面对现代世界。教宗还特别指出：“如果天主教会应该为过去教会的分裂承担责任，那么天主教会将会谦逊地呼求天主的宽恕。如果天主教会曾经开罪过其他非天主教的弟兄，那么天主教会也会求他们宽恕。另一方面，天主教会也会诚心地宽恕所有开罪过天主教的人。”
会议第三期
1964年9月14日，大会举行了第3期的开幕式。教皇和来自19个国家的教长，围绕着祭台举行共祭仪式，这是礼仪改革的最初成果。教宗在开幕致词中特别强调，教皇主席权和世界主教团之间的关系，两者不仅没有冲突，而且是相依共存的。在第3期会议中，旁听员的大幅增多，包括了7位女平信徒，21名男平信徒和8位修女。
以下是第3期会议的重点：1）继续讨论《教会草案》，即审查：“教会的末世性”和“论圣母”两章。在“论圣母”一章中，草案没有提及“圣母为教会之母”，但保留了“诸宠中保”的称号。草案中清楚说明：“基督是天主与人类间唯一的中保，圣母中保的角色完全隶属于基督。”这点曾引起教长们激烈的争论。2）讨论《主教在教会内的牧职草案》，这是第2期会议《主教及教区行政草案》经修订后而形成的新草案，此草案共有3章，就是：主教与普世教会；主教与教区；及主教与自己教区以外各种组织的关系。
讨论的结果是，主教们意识到必须改变自己生活的方式，必须抛弃以前的排场和官僚作风，改变为简单朴素的，以基督为榜样的生活。
会议第四期
1965年9月14日至1965年12月8日：第四阶段共有五次公开会议和四十一次全体会议。这阶段和以往不同的是，讨论的时间比以前减少了（大会讨论了四项草案：信仰自由、教会在现世牧职、教会传教工作、和司铎草案）；相对地，表决的时间则增加了不少。大会还特别召开了三次公开会议，隆重地公布各种经大会再三表决通过的文献。这次大会公布的文献共十一种，比前三次所公布的总和还要多。它们依次是：《主教在教会内牧灵职务》法令、《司铎之培养》法令、《修会生活革新》法令、《天主教教育》宣言、《教会对非基督宗教态度》宣言（1965年10月28日）；《天主的启示教义》宪章、《教友传教》法令（1965年11月18日），《教会传教工作》法令、《司铎职务与生活》法令，《信仰自由》宣言、《教会在现代世界牧职》宪章（1965年12月7日）。