先简单说一下王安石变法怎么产生的。宋神宗即位后，北宋整体状况虽然谈不上内忧外患，但是也不是很好。
财政上，军队开支吃掉财政支出的七八成，但是部队战斗力不如人意，是为冗兵；
行政上，通过恩荫得官的数量越来越大，这其中包括功臣之后和宗室，是为冗官；
地方上，因为北方国防压力巨大，而当地财政（尤其是西北）不足以应付军事开支，不得不从他处抽调，那个时代又不是现在，物流的代价是很大的，钱粮运输本身就会产生很大一笔开销，是为冗费。
这些问题怎么解决？根子上就是因为西北边患，所以最简单的方法就是西夏完蛋就行了。
可是西夏不是撮尔小国，国中带甲百万没有，三十万大军那也是能拉出来的，不是一句话就能灭的掉的。宋神宗年轻时就有志于西夏，奈何理想很丰满，现实很骨感。国家财政困窘，军队战力拙计，要想完成目标很是需要一些努力。

于是就有了王安石变法，王安石变法本质也是政治交易的产物。概括起来就是：
宋神宗给予王安石足够的权力（以内降指挥开启变法，变法过程中清洗了御史台）和意识形态解释权（一道德，以王安石主张的新学为国学改革科举），王安石以此推行一系列财政政策来创造财政盈余，并以此为筹码拉拢官僚阶级（给公务员加薪）并改组军队（宋代是募兵制，改组军队不发福利你等着兵变吧），继而推行对西北的扩张战略（横山攻略和熙河攻略）。
这波交易算得上合情合理，各取所需。
首先，从宋神宗的角度，要想打破当时东亚三国鼎立的局面，最好的办法就是击败辽宋夏中最弱小的一环：西夏。以缓解北宋河北、河东、陕西三线囤积重兵的军事财政双重压力。要实现这一点必须修改对西夏以守御为主的战略，也就是“改国是”，这必然需要一系列的人事调动和有效的财政、军事手段相配合，也需要一个有能力有担当的团队来实现这个目标。
而对王安石来说，长期在地方的治理经验让他改革措施很接地气（那些说王安石变法超越时代的我觉得你们还是有必要好好翻翻故纸堆），很多变法内容王安石在地方上也做过实践。但是北宋的官场规则里有这么一条：极少能有宰相长期居于中枢，在王安石之前，北宋名相如赵普、寇准、韩琦这种级别的宰相都是几进几出，连续为相时间很短，累计时间也通常不超过十年。因此即使是出于改革的延续性上，王安石都需要一个团队来支持自己的新法长期有效运作下去。以一道德把新学定为官学占据意识形态主流的方式可以实现这个目标，有点类似于后世“党校”的作用，顺便还能为王安石的学术主张张目，这是可能万古流芳的事。
宋神宗手里有权力可以定性王安石的学术主张，王安石有能力可以实现宋神宗的政治抱负。于是交易开始，一场轰轰烈烈的变法拉开序幕。

而当新法逐步推行，北宋财政盈余逐渐增多；王韶开熙河，北宋对西北的布局逐步实现。新的交易就开始了。
古往今来，任何标准线以上的皇帝都不会吝于扩张手里的权力，所以宋神宗通过变法逐步稳固自己的权力，并对平衡各势力的政治手腕逐渐熟悉以后，很自然地选择踢开王安石，自己单干。他需要一个新的交易对象：总体要求就是听话，必须既能支持新法，又不能主导新法。
所以王安石下台后，长期盘踞相位的不是吕惠卿、章惇这样的新法干将，而是王珪这样的“三旨相公”，在此期间宋神宗推行了元丰改制，重新变革了官制。并主导了元丰西征这样的大规模军事行动。

==================================================================
简单梳理了一下变法的过程后，我们回到题主的问题：王安石变法为什么失败？
考虑到王安石的新法有一部分（例如军事、科举、财政）长期被宋政府沿用至南宋，所以所谓的“失败”应该是指宋神宗死后旧党回归中枢，第一次中断变法。而这一事件的起因，本质也是宋神宗在临终托孤时没有选择新党而选择司马光。
那么为什么宋神宗会在临终时抛弃变法呢？其实还是交易。

前面提到，王安石去相位后，长期盘踞相位的是王珪，宰执中存在很高比例的“天子党”，这在皇帝身体健康的时候当然是利好，毕竟会迎合上意的人用的顺手。但在天子病危以后，“天子党”在政治大事件中没有主见的缺点就暴露无遗。宋神宗的儿子当时还远没有达到能亲政的能力和年龄，高太后性格上其实也颇为强势（关键词：十三团练），加上自己还有个（尤其是旧党中）名声不错的亲弟弟，真搞出什么兄终弟及的事也不是不可能。
在这个时候，保证自己亲儿子顺利即位并亲政才是首要目标，其他的都能凑合。这个时候我们做个简单的推演：
1、维持现有中枢阵容不变。
这是最糟的方案，等宋神宗一蹬腿，倾向旧党的高太后一定会启用旧党，而善于迎合上意的宰执团队很可能选择默认，自己人亡政息不说，如果自己的老妈随着这样的政治布局而野心膨胀，难保不会出什么意外。
2、招新党元老托孤。
这个选择一样不合适，结果是激化后党和相党的对立。纵使高太后不做吕后，谁能保证王安石们不做周勃？而且，宋神宗自己也因为杀宗室惹了一身骚，宋太宗和赵德昭的旧事不远，虽然新党能保着自己的儿子亲政（毕竟神宗不只一个儿子），但是心怀不满的旧党必然会选择依附在高太后和小皇帝他二叔身边。哲宗毕竟是晚辈，闹出不愉快来在孝道上是很吃亏的。不说阿齐那和塞思黑，郑庄公的旧事孔夫子也没有给好话。
3、招旧党元老托孤。
这个选择看起来天马行空，但是并非不合理。旧党多自诩君子，君子又多标榜忠孝为先。我给你托孤重臣这个大蛋糕，你们看着办吧。再谋逆把我儿子弄死了，你们一世英明也别要了。我也没别的要求，保着我儿子亲政就行。你们那几块料我还不清楚？抱残守缺可以，冲锋陷阵就歇歇吧，新党早晚能卷土重来。

于是最终结果，宋神宗临终托孤时抛弃了自己一贯的政治抱负，由旧党执政换取自己儿子的顺利即位。