阿莱克修斯一世随后就在当晚驾崩。尽管他的母亲极力劝说，但是因为约翰对权力的控制非常虚弱，所以他始终拒绝参加父皇的葬礼。在几天内他的地位就逐渐稳固了。然而，约翰登基还未满一年，约翰二世发现了一个旨在让他下台的阴谋，证据直指他的母亲和姐姐。由于安娜的丈夫小尼基弗鲁斯对他妻子的阴谋毫无兴趣，所以安娜企图扶植他丈夫登基的阴谋也随之破灭。安娜的所有财产都被查抄，皇帝希望将她的财产都送给他的好友约翰·阿克苏赫。但阿克苏赫明智地拒绝了，最终在阿克苏赫的影响下约翰和姐姐达成某种程度的和解并且她的财产也被返还。太后伊琳娜被遣送到了修道院，安娜似乎也退出了政治生活，她深居简出地成为了一位历史学家。然而她的丈夫小尼基弗鲁斯却被皇帝委以重任。为了维护他自己的权力延续，约翰于1122年将他年轻的儿子阿莱克修斯加冕为共治皇帝。

家族内兴起的反对约翰登基的阴谋活动，影响了约翰的统治方式—他任用王族外的人担任官职以帮助治理帝国，这一点与其父将王室成员与大部分军政要职相联系的方式显著不同。

约翰·阿克苏赫是约翰二世惟一的挚友，也是皇帝最亲近的顾问。他本是一个突厥人，尼西亚城破后还是孩子的他便被俘并被作为礼物献给了约翰的父亲阿莱克修斯一世。阿莱克修斯皇帝认为阿图什将是他儿子的一位好伙伴，所以阿图什得以与皇子一同在帝国宫廷中成长。约翰二世即位后阿克苏赫立即就被任命为大统领megas domestikos（Greek: μέγας δομέστικος）即为拜占庭军队的总司令。曼努埃尔一世统治早期，还成为了帝国内政的首席管理者并掌管”国玺“。这个非正式的职位就像当时的mesazon（调解人）也相当于维齐尔或现代的首相。这次委任是标志性的，彻底背离了阿莱克修斯一世时任人唯亲的方针。皇室成员们隐藏了他们对这个决定的怨恨，当双方会面的时候，他们被迫对阿图什表示敬意。

皇帝完全信任他所任命的官员，他们往往因自己的能力被选拔而不是与皇室家族和贵族宗族的联系。直到他的统治结束，他也不希望皇室成员干涉政治事务。约翰还指定了许多他父亲以前的仆从担任高官如：Eustathios Kamytzes，Michaelitzes Styppeiotes和George Dekanos。在阿莱克修斯一世统治晚期、约翰的母亲处于支配地位的那段时间里，这些人都在政治上受到排挤。约翰二世也培养了许多优秀的人才其中包括Gregory Taronites，Manuel Anemas 和 Theodore Vatatzes。他们的后两位还成为了约翰的义子。

尽管约翰二世失去了对皇亲国戚们的依赖与信任，但他的政府也与其父父亲依然有许多的相似之处，例如对宗教的虔诚与严肃的政治基调。其实，一些阿莱克修斯对于政务上的建议还被以诗歌的形式被收集起来并被称作Mousai。这本书是为了告诫约翰而写的书中劝诫他在治国上首要的是维护公平正义并保持财政上的充足。即使在老皇帝去世之后，他的执政建议也能因此继续影响他的儿子。

约翰的军事行动使得安娜托利亚西部的军事实力与经济得到了稳定的恢复，这使他可以开始对这些地区设立普罗尼亚制度了（pronoia）。行政中心在非拉铁非城的色雷斯松军区被重新建立。在色雷斯松（Thrakesion）以南一个名为Mylasa and Melanoudion 的军区也被建立。

约翰二世对西方外交政策的核心就是与神圣罗马帝国皇帝结盟。这一政策是很有必要的，因为可以减少南意大利的诺曼人对帝国巴尔干领土所造成的威胁。在西西里的罗杰二世称王并在南意大利获得了至高无上的地位，并建立了一支强大的海军之后，这一威胁变得尤其严重了。为了报答神罗皇帝洛泰尔三世在1136年入侵诺曼人的领地并向南一直推进到巴里，他获得了拜占庭的回报，其中包括一份巨大的酬金。由于教宗英诺森二世与教会在意大利的领地受到了支持对立教宗Anacletus II的罗杰二世的威胁，所以他也加入了约翰与洛泰尔的联盟。然而事实上该同盟难以抗衡罗杰二世，罗杰于1139年通过米尼亚诺条约从教皇处获得了君位。洛泰尔三世的继任者康拉德三世寻求约翰最小的儿子曼努埃尔能与德国皇室联姻。最终，康拉德的小姨子Bertha of Sulzbach出嫁到了拜占庭。与此同时，罗杰二世也希望能与约翰二世的儿子联姻，但他却没能成功。

约翰二世倾向于干涉妻子的娘家匈牙利王室，拜占庭帝国把在君士坦丁堡接待流亡的匈牙利王位竞争者视为扩大帝国影响力的方法和有用的安全策略。然而，匈牙利人却将这种干涉视为战争的挑衅。匈牙利与塞尔维亚的联盟给拜占庭在巴尔干西部的领土造成了严重的威胁。

约翰对东线的外交政策与他的父亲相似——即挑起科尼亚苏丹与控制安纳托利亚内陆东北部的达尼什曼德王朝之间的矛盾。塞尔柱苏丹Mas'ud还提供军队支援约翰进攻达尼什曼德王朝的城市Kastamuni， 但是和塞尔柱人的联盟被证明是不可靠的，塞尔柱军队放弃了这次出征，趁夜拔营而去。

在黎凡特的十字军国家普遍承认拜占庭对于安条克的主张是具有法律效果的，但实际上只有当拜占庭皇帝以武力威胁他们的时候他们才会承认。约翰二世在黎凡特的外交最高峰是1137年他接受了安条克亲王 埃德萨伯爵 的黎波里伯爵的效忠。拜占庭帝国渴望被认为拥有全部十字军国家的宗主权，其野心在在约翰在通告耶路撒冷王国国王福尔克他将去耶路撒冷武装朝圣时便可见一斑。

持续不断的战争几乎占据了约翰二世的大部分统治时间，而且他不像他的父亲一样热衷于参与神学研究和教义辩论，他看起来满足于把宗教事务交给宗主教（牧首）和教会阶层去处理。只有当宗教直接影响到了帝国政治，例如有关教宗或希腊拉丁教会联合的时候约翰才会参与其中。他还组织了许多希腊与拉丁教会间的神学辩论。

约翰和他的妻子共同参与了宗教与慈善事业，并以他们接手筹建的许多教会建筑而闻名，其中包括著名的君士坦丁堡潘托克拉托尔基督修道院（意译为全能者基督修道院，现为泽伊雷克清真寺，约翰二世的皇后在此兴建了基督全能者修道院（Christ Pantokrator），包括基督全能者教堂、图书馆和医院。皇后去世后，皇帝在第一座教堂之北又修建了仁慈堂（Theotokos Eleousa），对外开放。1136年增建圣米迦勒小堂连接两座教堂，作为科穆宁王朝和巴列奥略王朝的皇家陵墓，约翰二世夫妇、约翰五世等多位皇帝、皇后安葬于此）。这座修道院由三座教堂组成，它被形容为中期拜占庭帝国在君士坦丁堡最重要最富影响力的建筑之一。一座配有五所病房的医院隶属于这座修道院，并向所有社会阶层的公众开放。这座医院里有许多不是修道士的专业平信徒医生在这里工作。这座修道院还成为了科穆宁王朝的皇家墓地。

针对保罗派与博格米派异端追随者激烈的迫害是阿列克修斯一世统治晚期的特色。尽管对异端分子的压制措施仍然生效,但没有记录提及到约翰的统治时期有这样的迫害行动。在君士坦丁堡召开的一次宗教会议中调查了在许多修道院中流传的一位名叫Constantine Chrysomallos的已故僧侣的作品。基于这些作品中包含了博格米派信条与仪式的元素，他们被君士坦丁堡宗主教Leo Styppes于1140年5月下令焚毁。

皇室家族中的一位成员阿德里安·科穆宁（约翰的叔叔伊萨克·科穆宁的儿子）被他的堂兄约翰二世委以重任。阿德里安成为了一位僧侣并陪同约翰参加了1138年的战役。当保加利亚作为一个自治教区需要一位德高望重的人作为主教时。阿德里安不久就被任命为保加利亚大主教。

尽管约翰二世曾获得过许多次战斗的胜利，但他的军事战略却是依靠占领并控制各居住点的防御工事来构筑稳固的边界防御。约翰二世统治时期大约组织了25场围攻战。

约翰二世继位后，他就拒绝承认其父于1082年与威尼斯共和国签订的条约，该条约慷慨地给予了意大利城邦在拜占庭帝国内独特的贸易特权。然而政策的转变并非是缘于经济方面考量。正当拜占庭尤其依赖于威尼斯的海军援助时，一个涉及威尼斯人辱骂帝国皇室成员的事件导致了冲突的爆发。拜占庭报复性地进攻了科孚岛之后，约翰又流放了在君士坦丁堡的威尼斯商人。但这却得到了更进一步的反击，一支由七十二艘船组成的威尼斯舰队洗劫了罗德岛、希俄斯岛、萨姆斯岛、莱斯博斯岛并占领了爱奥尼亚海的凯法利尼亚岛。最终约翰被迫妥协；战争对他来说已成赔本买卖，并且他也不打算挪用陆军军费去为海军建造新舰只。约翰重新承认了1082年的条约。虽然如此，这次窘境却没有被帝国完全遗忘，并且它激励着约翰二世的继任者曼努埃尔一世数年后去重新建立一支强大的拜占庭舰队。

1119-1121年约翰击败塞尔柱突厥人后，他开始将安纳托利亚西南部掌握在自己的控制下。随后在1122年，约翰又迅速地将他的军队运送到欧洲去抵御已经跨过多瑙河边境入侵Paristrion地区的佩切涅格人。这些入侵者还得到了基辅大公的辅助。当切佩涅格人突入色雷斯时约翰包围了他们。为了骗取他们的信任约翰还提出愿意签订一份对他们有利的条约，随即他又组织了一场对切佩涅格人车阵的毁灭性突袭。Beroia战役战斗非常艰难，约翰的腿也被射中了一箭，但最终拜占庭军队赢得了一场惨重的胜利。由大量英格兰人组成的瓦兰吉卫队在这次战役中对突破切佩涅格人的车城起到了决定性的作用，他们使用他们著名的长斧为部队开辟了前进的道路。这场战役也有效地终结了切佩涅格人作为一个独立民族的存在；许多战俘被安置在边境上成为帝国的农兵。

约翰与匈牙利公主皮罗什卡的婚姻将他卷入了匈牙利王室的斗争之中。约翰为匈牙利王位的潜在继承人Álmos 提供庇护的行为，引起了匈牙利人对他的戒心。之后在史蒂芬二世的率领下匈牙利人于1127~1129年间入侵了拜占庭的巴尔干领土；然而另一种说法是1125年拜占庭反击了匈牙利的入侵以及次年新一轮战争的爆发。

塞尔维亚战役可能发生在对匈牙利战争的两个阶段之间。约翰对塞尔维亚组织了一场突袭，并将很多塞尔维亚人集合起来运送到小亚细亚的尼科米底亚作为军事移民，此举是为了报复他们与匈牙利联合对抗帝国。这么做一部分是为了恐吓塞尔维亚屈服（至少塞尔维亚在名义上还是拜占庭的保护国），另一部分也是为了加强帝国在东方边境抵御突厥人的力量。于是塞尔维亚又一次承认了拜占庭帝国的宗主权。

而匈牙利军队进攻了贝尔格莱德、尼什和索菲亚，位于色雷斯菲利普波里斯附近的约翰的军队在多瑙河舰队的支援下随即展开了反攻；在一个细节并不清楚但十分具有挑战性的战役之后，皇帝最终成功在Haram 堡垒（或称 Chramon，今Nova Palanka）击败了匈牙利和他的塞尔维亚盟友的军队；匈牙利人在过桥时因遭到了拜占庭军队的袭击而溃散，造成了巨大的伤亡。在此之后匈牙利人通过进攻Braničevo又立即与约翰挑起了新的战事。

除了拜占庭军队的胜利之外，Choniates（12世纪的拜占庭编年史作家）还提到了几个促成和平恢复的条约。匈牙利人承认拜占庭对Braničevo的控制，贝尔格莱德和瑟乌姆也恢复了自11世纪六十年代以来被匈牙利所侵占的Sirmium地区（Choniates称之为Frangochorion）。两国之间的严重分歧也随着1127年匈牙利继承人Álmos的去世而消除了。

在约翰统治的早期，突厥人的推进使得帝国在小亚细亚西部的边境战事十分的紧迫，他于是决心要将突厥人驱赶回去。1119年，塞尔柱人切断了安纳托利亚西南海岸城市安塔利亚附近的道路联系。约翰二世与约翰·阿克苏赫收复了老底嘉与索佐波利斯之后，帝国与安塔利亚、奇里乞亚乃至叙利亚十字军诸国的陆上联系也被打通了。

随着匈牙利战事的结束，约翰得以将他余下的大部分时间集中在小亚细亚的局势中。1130~1135年，他在幼发拉底河上游的马拉蒂亚开展了一场对抗达尼什曼德酋长国的战役。在他的大举进攻之下，突厥人暂停了在小亚细亚扩张的脚步，之后约翰准备主动打击敌人。为了将科穆宁家族的发祥地卡斯塔莫努(科穆宁堡)重新掌握在帝国的控制之下，约翰紧密谋划了一系列针对突厥人的战役；并且在干革拉城留下了两千多名卫戍部队。由于约翰一座接一座的攻克了敌人的据点，他很快就赢得了一个令人敬畏的称号“破城者”。许多在曼齐克特战役之后失去的地区都被收复并驻守。然而，在东北方达尼什曼德王朝的强大威胁下，这些难以防守的新占领区（例如卡斯塔莫努）甚至在约翰还在君士坦丁堡庆祝它光复时就被突厥人重新占领了。然而在约翰的坚持不懈下，卡斯塔莫努又再一次易手。

1139年春，皇帝与一群在Sangarios河流域劫掠的突厥人（也有可能是土库曼牧民）的交战中取得了胜利，并通过驱散他们牲畜的方式显著地断绝了这些人的生活来源。他之后率领军队沿着黑海南岸经过比提尼亚和帕夫拉果尼亚行军来对抗达尼什曼德突厥人。随着Constantine Gabras在特拉布宗独立政权的结束，Chaldia所管辖的地区又重新回到了帝国的控制之下。但约翰却没能在1140年对新凯撒利亚城的包围战中夺取该城。拜占庭军队的战败更多的原因是天气而不是与突厥人的战斗：当时的天气非常糟糕，大量的军马死亡，粮食也开始短缺。

在黎凡特，皇帝再次主张增强帝国对十字军诸国宗主权并声称他在安条克的权利。1137年他从奇里乞亚亚美尼亚公国手中夺取了塔尔苏斯、阿达纳、摩普绥提亚，奇里乞亚亚美尼亚国王列翁一世与他的大部分家人都成为了俘虏被掠到君士坦丁堡，这为帝国打通了通往安条克公国的路径。

1137年，在约翰二世的压力下，安条克亲王普瓦捷的雷蒙德、埃德萨伯爵乔斯林二世分别向皇帝称臣。甚至的黎波里伯爵雷蒙德二世也急忙向约翰表示臣服，就如同他的前任在1109年向约翰的父亲所做的一样。这些举动使约翰接下来能够领导一直由拜占庭/安条克以及埃德萨组成的联军共同对抗叙利亚的穆斯林。尽管阿勒颇因守军太过强大而不能进攻，但巴拉特、Biza'a、Athereb、马拉特努曼以及Kafartab等堡垒都被相继攻取。

尽管约翰为了基督徒的事业在叙利亚战场艰难战斗，他的盟友安条克亲王雷蒙德和埃德萨伯爵乔斯林二世却在约翰二世围攻夏萨期间坐在一起玩骰子袖手旁观。十字军王公们与约翰之间互不信任，并且没人希望别人参加战争来取得利益。雷蒙德也想保住安条克，因为他曾承诺：如果约翰成功夺取了阿勒颇、夏萨、霍姆斯以及哈马，他将把安条克转交给约翰。拉丁和穆斯林方面的史料描述了围城中约翰表现出的活力和武勇。这座城市最终被攻陷，但其卫城依然在负隅顽抗。夏萨的埃米尔同意支付一笔巨额赔款，成为了约翰的臣属并支付年贡。约翰此时已经对他的盟友们失去了所有的信心，并且赞吉王朝的军队就要驰援这座城市，因此皇帝只好不情愿地接受了这个条件。

1142年初，约翰为确保（在奇里乞亚的远征军与帝国首都）通过安塔利亚的联系线而对科尼亚的塞尔柱人发动了战役。就在这场战役期间，他的长子共治皇帝阿莱克修斯因热病而去世。在确保了他的路线之后，约翰为了收复安条克着手对叙利亚发动了新的远征。这次远征约翰还计划带着他的军队一起去耶路撒冷朝圣。耶路撒冷国王福尔克，因惧怕皇帝的军事优势将会迫使他的王国向拜占庭称臣并承认其宗主权，乞求皇帝只带适量的护卫前来。福尔克称他贫瘠的王国无法支持如此一支庞大的军队通过。这一温和的请求致使约翰二世决定推迟他的远征。约翰迅速来到北叙利亚，强迫乔斯林交出人质（作为臣服的保证），其中包括乔斯林的女儿，他之后提出安条克的城市及卫城都将交给皇帝。普瓦捷的雷蒙德为拖延时间提议由安条克全体大会公投决定。季节的变化也促使约翰决定将他的军队率领至奇里乞亚过冬，随后在来年重新进攻安条克。

在为他的军队重新做好进攻安条克的准备之后，约翰开始在奇里乞亚陶鲁斯山区猎野猪取乐，1143年4月8日他意外地被一支毒箭伤到了他的手。起初约翰忽视了他的伤，这使得之后他的伤势愈发严重，他在事故的几天后便可能因败血症去世了。还有一种说法是约翰被其军中因不满于其进攻安条克同宗的拉丁裔士兵密谋刺杀，并且他们希望他亲西方的儿子曼努埃尔继承皇位。这一猜想在第一手史料里没有明显的证据。

约翰生前最后一件大事便是指定他的小儿子曼努埃尔为自己的继承人。约翰选择曼努埃尔而非其兄长伊萨克有两条有记载的证据：伊萨克的脾气易怒，并且曼努埃尔的胆识已经在Neocaesareia战役中显现了出来。另一个证据据称是源自AIMA预言的选择，它预言约翰的继承人名字的首字母应该是“M”。约翰二世的挚友约翰.阿克苏赫，尽管有记载他苦劝垂死的皇帝，伊萨克才是更合适的继承人，但还是在确保曼努艾尔获得皇权不受任何公开挑战上做出了贡献。

历史学家约翰·伯肯梅尔最近认为约翰的统治是科穆宁王朝中最成功的一部分。在《1081-1180年科穆宁王朝军队的发展》一书中，他强调正是由于约翰的战争注重于围城战而不是有风险的对战。伯肯梅尔认为约翰每年发动有节制的战役，实际目标比他儿子曼努埃尔一世明智得多。从这一观点来看，约翰的战争对拜占庭更为有益，因为他们保护了缺乏可靠边境的帝国核心区域，并最终扩展了帝国在小亚细亚的领土。突厥人被迫转向防御，同时约翰通过与神圣罗马帝国皇帝结盟来对抗西西里的诺曼人来保持帝国的外交优势地位。

大致上，约翰毫无疑问留下了一个比他刚继位时好得多的帝国。当他去世时已经有大量的领土被光复，并且他使收复安纳托利亚中部以及重建幼发拉底河防线的目标成为可能。然而，安娜托利亚内陆地区的希腊人却日益习惯于突厥人的统治并且发现其比拜占庭时期要更好。让安纳托利亚中部的突厥人、塞尔维亚人乃至黎凡特的十字军国家屈服并承认帝国宗主权相对容易，但如何将这附庸关系转化为对帝国安全的坚实保障却非常棘手。这些问题最终都遗留给了他聪慧机敏的儿子曼努埃尔去试图解决。

约翰二世·科穆宁在1104年迎娶了匈牙利国王拉迪斯劳的女儿皮罗什卡公主（后改名伊琳娜）；这次联姻的目的是为了弥补匈牙利国王科洛曼时所失去的领土。伊琳娜在政治上基本上没有影响，她非常虔诚并且养育了一大家的孩子。伊琳娜去世于1134年8月13日她在不久后便被尊奉为圣伊琳娜。约翰二世与伊琳娜共育有八个子女：