爬虫怎么能把整个网站给爬下来

如题：

有什么办法可以把整个网站都爬下来，包括二级页面和各种 tab, 里面包括递归和 JS 渲染，想想都头大，各位彦祖集思广益，想想办法。