东北军进入陕西后，在当时的西安出现了以张学良为首的“剿匪总部”和以杨虎城为首的“西安绥靖公署”，以及邵力子为主席（兼任国民党陕西省党部主任委员）的陕西省政府三种力量并存的局面。东北军的主力都在陕西北部、甘肃东部的“剿共”前线，驻西安的只是总部机关和少量警卫部队。西安城里与周边都驻着十七路军的部队，西安的军事控制权掌握在杨虎城手中。
东北军初到陕、甘时，自恃人多，装备精良，不但看不起红军，也看不起十七路军。张学良自以为受过教育，见过大世面，兵多将广，跟蒋介石有着共同的阶级利益和非同一般的私人关系，把杨虎城根本不放在眼里，私下常以“老粗”称之。刚到西安时，张在杨的面前是一副长官架势。对杨，不是今天下个手令，就是明天打电话找杨去他的总部汇报，关系很不融洽。
面对张学良的傲气，杨虎城动了一番心计。有一天，杨将军集合十七路军精锐部队，在西关大操场举行欢迎张将军大会。杨有意多带了一些卫士。大会一开始，杨首先致辞说：“张副司令到西安已经好多天了，因为他军务很忙，所以直到今天，我们才开这个欢迎大会。现在我给大家把副司令的简历简单介绍一下。张副司令今天所带的军队，就是他父亲原来所统率的东北军，他的父亲就是张作霖，是东北的大胡子。这个军队过去是反对孙中山的三民主义的，是我们多年革命的对象。”（杨说，讲到这里，看到张的表情很惊慌）。杨接着说：然而现在他们已经打起青天白日旗，和我们是一家人了。我们今后要绝对服从张副司令的命令，听从张副司令的指挥……当晚，张学良仅带了一两个警卫人员，亲自到杨家，表现异常亲热，不再是过去那副傲慢的样子了。
一天，宪兵营长向杨虎城汇报，东北军强占民房与居民发生争执，宪兵营出面调解，东北军不服反而又与宪兵营发生了冲突。杨虎城对这位营长说：“你们明白吧，这就叫亡国！我们对他们，应有同情心，不能以正常情况对待这样问题，也不应只听一面之词，或站在一面说话。要教育我们的官兵，以后处理这样问题时要特别注意！”
东北军进入陕、甘地区后，杨虎城原想依靠自己力量在西北营造一片革命基地的计划已无可能。他认识到要实现抗日救国建立民主之目的，必须先解决与张学良和东北军的关系问题。他和高级幕僚深入分析研究了张学良和东北军后认为：从表面上看，张学良拥护蒋介石，对“剿共”表现得很积极，对抗日却缺乏主动性。但深入来看，“九一八”后张学良是背着“不抵抗将军”的骂名离开东北的。白山黑水的沦陷，使许多东北军眷属扶老携幼逃到陕西、甘肃一带寻找亲人。面对这些，广大东北军将士肝肠寸断、痛心疾首。东北军入关后，到处颠沛流离，力量逐渐削弱。1935年，张学良到陕西时，职位由“陆海空军副总司令”降为“西北剿匪副总司令代总司令”，地位日下。
从其个性上来看，蒋将“九一八”不抵抗的帽子长期让张一人独戴，张是不会甘心的。张、蒋之间蕴藏着不可调和的矛盾。在抗日问题上，两支部队官兵都有共同的要求；部队都处在被蒋介石排挤、削弱的地位上，两军有合作的前提与基础。两支部队团结起来推动抗日是可能的。
杨虎城说：“患难的朋友好交！”但是他也有疑虑的地方：论兵力，东北军比十七路军强数倍，如果东北军受了蒋介石的愚弄，和蒋在陕、甘的兵力一起，采取压迫的态度，那对十七路军是极不利的。不过东北军初到陕、甘，根基不牢，人情不熟，而且受到红军压力；东北军既然奉命“剿共”，力量势必分散，不会立刻对十七路军下手。我们兵力虽比东北军弱数倍，但我们是地方部队，久在陕西，在地方有许多潜在力量，陕西的团队，绝大部分我们掌握得住（杨兼任陕西省保卫委员会主任，各县民团都归这个机构指挥），东北军会有顾虑的。当前的出路，主要在联张上，只要在反蒋抗日这一点上彼此一致了，那么合作就可靠了，停止内战的办法也好想了，我们所顾忌的对十七路军的不利条件便减少了。杨说：“我专试探张的动向，尽量设法和张在政治上合作。”随之，杨虎城改变了对张学良敬而远之的态度，多次主动探访张学良，在交谈中有意表露出自己对打内战的厌烦，对不能参加抗日的苦恼……开始张态度依旧，没有更多的表示。一次，杨去张宅，有意识地谈了国内的政治形势。杨回来后对秘书王菊人说：“很糟糕！张赞成法西斯，同我正相反。”
后来张与杨又一次谈到法西斯问题，张问杨：这个办法在中国行得通行不通？杨说：“人家搞法西斯（指德、意、日）对外扩张；咱们搞法西斯（指蒋）对外（指日本）投降，他（指蒋）当小皇帝，我们当亡国奴，你看行得通吗？”张听后一言未答，从此再也不提法西斯的问题了。
