据神乐院隐修士记述，迁港初期神乐院隐修士历尽艰辛，首先是局势发展未定，香港会否落入中共之手仍属未知之数，其次是原有隐修士四散，跟随李院长南下的只有十多位隐修士，还有便是建院基址和维系隐修院运作的资金等，都是困扰神乐院的问题，幸好凭著李院长的信心，最后所有问题都能获得解决，既获香港政府租借大屿山神乐院现址为重建之基，又获各方友好帮忙，神乐院各隐修士的辛勤工作下得以完成神乐院的兴建及维系各项日常开支。