起先日本还主动向沙俄示好，希望通过放弃它在东北的利益，换取沙俄承认日本对朝鲜的控制权。然而沙俄看不起日本，坚持要把朝鲜半岛变成中立区，并且俄军还进驻朝鲜，故意威慑日本。这一下触动了日本利益，使得日本下决心掏老本对沙俄开战。1902年，英国与日本签订《英日同盟》，明确支持日本打沙俄。签约后，英国放出狠话，声称日本是自己的盟友，日俄交战，如果谁敢帮沙俄，就是与英国为敌！远在美洲大陆的美国立即响应英国，给日本提供了大量的现金支援。
欧洲大陆的国家由于都惹不起英国，便都没有明确表态支持沙俄，只有德国和法国私底下帮忙，但最终也没有起到什么作用。比较搞笑的是，英俄后来和解，德俄反而还翻脸了。一战期间掐的那叫一个狠呐。1904年，日本完成战备工作，在征得清政府的同意之后，出兵三十万，攻打沙俄驻扎在东北的驻军。日俄战争由此爆发。这场战争的过程就不说了，从性质上讲，这是一场帝国主义践踏中国领土主权的不正义战争。
1905年7月，持续1年零5个月的日俄战争最后以俄国的失败而告终。战后，沙俄根据《朴资茅斯条约》，将自己在旅顺、大连湾及附近领土领水租借权，无条件的转让给日本。于是，沙俄强迫清政府租借的关东州，就变成了日本人的关东州租借地。日本人获得了在关东州的驻军权和治理权，并且还获得了南满铁路的经营所有权。当时的关东州和南满铁路沿线，实际上就是日本在中国的殖民地。
在当时，不管是清政府还是后来的张作霖政府，都无权进入关东州和南满铁路沿线。如果不经同意擅自进入，就形同于对日本开战。日本接收关东州后，没有改名字，而是继续沿用了关东州这个名称。据说不少日本人当时想改一个威风的日本名字，但是伊藤博文认为不应该刺激清政府和沙俄政府，隐藏日本对侵吞整个满洲地区的野心，便没有改名字。
只是把被沙俄改为达尔尼的大连又重新改回为大连。需要重点说一下的是，在日俄战争前后的这段时间，张作霖利用东北大乱的局面，成功的从一名绿林土匪改头换面的变成了清政府的巡防营长官，并且还傍上了日本人的大腿。1901年，张作霖被土匪金寿山偷袭，兵败之下的张作霖逃往八角台与张景惠合股，被推为团练长。1902年，张作霖接受诏安，被任命为奉天马队管带（相当于营长）。
1904年，日俄战争爆发，张作霖在战争期间左右逢源。他先是为俄军效力，后来看到俄军不行了，就改投日军，为日军效力。正是因为有了这段为日军效力的经历，张作霖后来才会得到日本的支持。日俄大战之后，日本开始经营关东州和南满铁路。从日俄战争至俄国十月革命期间，日本为巩固其在中国东北南满地区的殖民统治，在辽阳成立了关东都督府，派出陆军大将大岛义昌率领一个师团和六个铁道守备大队的兵力进驻关东州，这支部队就是后来关东军的前身（当时还不叫关东军）。
1917年俄国十月革命后，中国的东北政局变得不稳定起来，日本为了更好的管理关东州和南满铁路，就将原隶属于关东都督府的陆军部独立，直接归日本军部直辖。于是历史上的关东军便由此成立。当时的张作霖刚刚挤垮了冯德麟，一个人独霸奉天全省。他对盘踞在自己眼皮子底下的关东军是既不服，也害怕。不服的原因，是关东军垄断了东北的所有重要资源，比如铁矿、煤矿，只要是值钱的玩意都是日本人的。
还比如铁路资源。当时张作霖要想用铁路运兵，他还得经过日本同意才行。若是关东军不肯借给他用，他也只能私下里骂骂娘。害怕的原因也跟铁道网有关系。当时东北的铁路干线被日本和苏联控制，奉军的兵力调动被日本人掐的死死的。张作霖想要打关东军，他连门都摸不到。而关东军想要打张作霖，只要沿着南满铁路就可以从大连一路畅通无阻的打到沈阳城下。
卧榻之侧竟然有野兽虎视眈眈，换作你是张作霖，你能不又气又怕？所以，这也是为什么张作霖后来会特别重用不太懂打仗，但颇有实干精神的杨宇霆的原因。杨宇霆留学过日本，懂什么叫近代化。在他的辅佐下，张作霖对东三省和整个奉系军队进行大刀阔斧的改革。比如建立东北海军，使奉军自成体系，增强了张作霖部队的实力，降低了奉军对关东军的依赖。
比如绕开了日本控制的南满铁路，单独修筑了奉军自己的战备公路，使奉军的交通不受日本的挟制。假如一旦跟日军闹掰，奉军可以利用公路与日军周旋。不再像以前那么受人制约。比如创建了奉天（沈阳）兵工厂，自制武器弹药装备军队，使奉军的后勤不再受制于日本关东军。（奉军也是当时少有的能在武器方面做到自给自足的军阀）公正客观的说，杨宇霆的改革帮助张作霖一定程度上缓解了他对关东军的依赖。
