1940年，朱可夫被派到基辅担任大军区司令员后，由国防人民委员铁木辛哥和总参谋长梅列茨科夫组织策划了一次军事演习。
演习的总题目是：以苏联遭到法西斯德国突然袭击为背景，组织“红”“蓝”两军的防御和进攻的战役战略演习。“红军”是苏联，“蓝军”是德国。
西部特别军区司令巴甫洛夫上将指挥“红军”，朱可夫大将指挥“蓝军”。双方各自准备，设想在苏联遭到德国突然进攻时，西部边界可能发生的情况，为未来的战争积累一些经验和宝贵资料。
斯大林十分重视这次演习，要求各军区和各集团军司令员等所有重要政治、军事官员自始至终参加这次演习。他还多次召见演习的总导演铁木辛哥，详细询问了演习的准备情况。
在这次演习中，朱可夫率领的“蓝军”获胜，根据斯大林的建议，总讲评在克里姆林宫里进行，总参谋长梅列茨科夫报告了演习的经过。
当他谈到双方力量对比的数字和“蓝军”在演习开始阶段坦克和空军的优势时，斯大林不禁打断他的话说：“参谋长同志，不要忘记，决定战争的胜负的因素除了数量上的优劣，还有指挥员和军队的作战艺术。”
演习讲评的第二天，斯大林召见了朱可夫。斯大林对朱可夫在这次演习的表现很满意，又加上他先前对朱可夫的印象良好，于是他以政治局的名义任命朱可夫接替梅列茨科夫，担任总参谋长的职务。
朱可夫上任后，苏联的国际形势已经岌岌可危，德国军队进攻苏联的战略意图非常明确。但是，斯大林错误地估计了形势。
斯大林认为：德军对苏战争中首先是力图占领乌克兰和顿涅茨克河流域，以夺取苏联最重要的经济地区，夺取乌克兰的粮食、顿涅茨克的煤，以及高加索的石油，因为这些重要的战略物资是德军进行长期、大规模战争的基础。
由于他错误地判断了德军的进攻方向和时间，使苏联红军在战争初期遭受了惨重的损失。
斯大林忽略了德军赖以称霸欧洲的“闪电战”，而1941年6月，希特勒统帅部选定的主攻方向又恰恰在斯大林没有预料到的西部方向。希特勒在白俄罗斯方向集中使用了最强大的陆军和空军集团，企图在最短的时间内攻破莫斯科。
朱可夫通过详细的侦察得知，德国法西斯军队已经在苏联西部边塞集结了大量军队，形势十分危急。朱可夫决定调动部队，针锋相对，但是斯大林仍然犹豫不决。他怕触犯德国，影响两国关系，又怕给德国抓住把柄以发动战争。斯大林为了延缓战争发生，保持国内和平费尽了心思，但战争还是来了。
1941年6月20日深夜，基辅军区参谋长向朱可夫报告，从一个德军投诚司务长口中得知，德军已经进入出发阵地，将在6月22日凌晨全面发动进攻。
6月22日凌晨3时7分，黑海舰队司令奥克佳布里斯基海军上将报告，有大量来历不明的飞机正向苏联海岸接近。
3时30分，西部军区报告，德军空袭白俄罗斯的城市。3分钟后，基辅军区报告，乌克兰的城市遭到空袭。3时40分，波罗的海沿岸军区报告，敌机空袭考那斯和其他城市。
战争终于爆发了。德国政府已正式向苏联宣战。直至此时还犹豫不决的斯大林在朱可夫和铁木辛哥的力劝下，才勉强下了命令任朱可夫担任西南方面军统帅部代表，立即动用各边境军区所有的兵力猛烈还击敌人的进攻，制止其继续前进。
朱可夫雷厉风行，在与斯大林谈话后40分钟就已经乘飞机起飞了。他于22日黄昏时分，赶到了位于基辅市中心的乌克兰共产党中央委员会大楼。赫鲁晓夫正在等他。两位老朋友此时相见，倍感亲切。赫鲁晓夫关切地说：“不要再往前飞了，否则有危险。德军飞机总是追逐我们的运输机，应当坐车去。”朱可夫听从了赫鲁晓夫的安排。
随后，朱可夫乘车到塔诺波尔去，那里是西南方面军司令员基尔波诺斯上将的指挥所。
深夜时分，朱可夫赶到目的地。下车他顾不上和高级军官们寒暄，立刻要通了瓦杜丁的电话。
瓦杜丁报告说：“到6月22日此刻，尽管采取了有力措施，总参谋部仍无法从各方面军和空军司令部获得我军和敌人的准确情报。”
朱可夫亲自赶到担任主攻任务的机械化第八军的指挥所。第八军军长里亚贝舍夫是朱可夫的老部下。里亚贝舍夫拿着地图向朱可夫报告了部署，安排干净利索，句句击中要害。
6月24日，按照统一部署，机械化第八军在别列斯捷奇科方向转入进攻，机械化第十五军在拉杰霍夫以东进攻。这两个军的出色战斗，使德军第一装甲集团的第四十八摩托化军陷入十分危急的境地。
德军统帅部调动了全部空军到这一地域抗击苏军的反突击，才使第四十八摩托化军免遭全军覆没。在朱可夫的指挥下，西南方面军胜利实施了最初的一系列反突击。德国陆军总参谋长在这一天的日记里写道：
敌人（苏军）以大量坦克兵力在第一坦克集群的侧翼转入进攻。
对这次战斗，朱可夫并不甚满意，他认为，如果他手中有更多的航空兵用来与机械化军协同作战，可能会取得更好的效果。朱可夫分析：
莫科斯方面的德军，由于损失太大，短期内不可能实施战略进攻；列宁格勒方面的德军，在得到兵源补充之前，也不可能夺取列宁格勒；乌克兰的德军正在与苏军对峙。
朱可夫认为，苏联最薄弱的是中央方面军，德军很可能利用这个弱点向西南方面军的侧翼实施攻击。
当斯大林召见朱可夫时，朱可夫根据当前敌我形势的分析，建议首先加强中央方面军，至少还要增加三个集团军。西南方面军必须撤过第聂伯河，把兵力集中起来，避免被敌军包围。
放弃基辅，在西部方向马上组织兵力夺取叶利尼亚的突出部。
对于当时的苏联人来说，基辅意味着生命，他们对这个地方倾注了太多的感情，自然朱可夫这个建议无异于在斯大林头上丢了个炸弹，不明形势所迫的斯大林生气指责朱可夫完全在乱弹琴。
以后的事实证明朱可夫是完全正确的。基辅会战历时一个半月，最后以苏军惨败告终，65万苏军官兵被俘，大量物资装备落入了敌人手中。
8月中旬，朱可夫率部向叶利尼亚地区的德军发起进攻。战斗异常激烈，双方在所有地段同时展开激战，德军企图以密集的大炮和迫击炮火力阻止苏军进攻，朱可夫则成竹在胸，沉着应战，下令动用所有的飞机、坦克、大炮和新研制的“喀秋莎”火箭炮猛烈还击。
9月6日，苏军最终攻占了叶利尼亚，歼敌近5个师，共5万余人。这是苏德战争开始以来苏军取得的第一次重大的胜利，苏军的士气空前高涨，坚定了战胜德军的信心。
朱可夫又被斯大林召回莫斯科，派往形势危急的列宁格勒。
