另一方面，泛神论的观点也有其无法克服的困难。我们在前面已经看到，除非我们保持着既有有限精神又有无限精神的自由，否则知识的问题就无法解决。一切都依赖于上帝，这是一种必然的思想确认，但认为所有的事物、思想和行为都具有神圣性则首先是不明智的，继而是自我毁灭性的。那种认为上帝应该了解且应该完全理解和欣赏我们的思想和感情的想法是十分明智的；但认为我们的思想和感情在任何其他的意义上就是上帝的思想和感情的想法，则犯了心理学上自相矛盾的错误。然而，如果我们坚持这样认为，那么理性只是在自取灭亡。因为按照这种逻辑进行推理，上帝在我们的思想和感情中思考着、感觉着，因此是上帝在我们的罪过中犯了错，在我们的愚蠢行为中表现得愚蠢，是上帝在我们各种思想的不一致性中使其自身自相矛盾。因此错误、愚蠢和罪恶这一切都是神圣的，理性和意识则不再拥有权威。
除了这些困难之外，神圣的统一性本身也消失了。想我们之所想的上帝与具有绝对、完美思想的上帝是什么关系？他在有限经验中变得有限、迷惑、盲目了吗？他同时还拥有在无限生活中的完美洞察力吗？他在有限中失去自我以至于不知道他是什么、他是谁了吗？或许他使自己在有限中筋疲力尽，所以有限便成为全部存在吗？但是如果他始终都拥有对于自身作为“一”和无限的完美知识的话，那么这种有限的幻象从根本上来说又是如何出现在完美的统一性和完美的灵光之中的呢？只要大写的无限性（the Infinite）被设想为在玩双面游戏，那么这些问题就无法得到回答。我们有一系列无法解释的幻象，还有一个在最奇异的形而上学的泥沼中同自己玩捉迷藏的无限。这种无限只是一种思辨的精神错乱的阴影。只要我们还想寻找有限与无限的一致性，那么这种困难就永远无法避免。如果我们想要避免全部思想和生活的毁灭，就必须考虑有限与无限之间的相互他异（mutual otherness）。