VPS方案

VPS技术

上面首先就提到了，分布式爬虫需要使用到多台主机，这里的主机并不是指硬件上的一台主机，也可以是虚拟主机，本着充分利用计算机资源的原则，VPS技术派上用场了。

VPS技术：Virtual Private Server 虚拟专用服务器，将一台服务器分割成多个虚拟专享服务器的优质服务。在容器或虚拟机中，每个VPS都可选配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离，为用户和应用程序模拟出“独占”使用计算资源的体验。VPS可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。

简单理解，VPS就是通过虚拟化技术隔离出来的系统。下面的VPS都是通过VMWare虚拟机软件在一台物理主机的资源划分出来3个虚拟机：

既然有了许多台虚拟的主机，那么现在我们需要给每台虚拟主机分配独立的外网IP地址，不然即使划分再多主机，对于外界网络来说，就是一台主机。在一台物理主机上面有多张网卡，每台虚拟主机可配置一张有线网卡进行单独拨号，因此我们这里就可以使用VPS拨号技术了。

VPS拨号

VPS拨号：**即VPS动态服务器，是利用宽带拨号更换IP地址，如果企业或个人需要更换IP，就可以选择拨号VPS了。**当然它并不是只能进行换IP，拨号VPS还有如下许多功能：

1. 适合用于爬虫采集：在爬虫行业中，爬虫需要大量的进行爬行采集工作，使用免费代理IP和重启路由器这样的操作更是繁琐到不行了，此时你就考虑使用拨号vps。
2. SEO优化类：当下互联网的算法在不断完善，那么对于seo要求也是越来越高，一个网站想要快速的获取到有效的排名，必然少不了拨号vps；利用每一个真实有效的IP，针对不同的关键字模仿正常人的搜索，点击，浏览网页，都有有效的帮助到目标关键词的优化，从而快速获取关键字排名靠前。
3. 软件挂机：在线客户端软件，比如QQ、YY语音（可以进频道）、旺旺等，可以增加经验值，也能让号一直在线，还可以挂一些网页游戏。
4. 加速访问：通常拨号VPS都具有缓冲的功能，有很大的存储空间，网络出现拥堵或系统故障时，可通过拨号VPS访问目的网站，节约网络带宽、显著提升访问速度和效率。

下图中每台虚拟主机的外网地址都是不一样且不固定的。例如：

第一台虚拟主机的内网地址为192.168.0.36，外网地址为101.204.79.xxx
第二台虚拟主机的内网地址为192.168.0.37，外网地址为101.204.121.xx
第三台虚拟主机的内网地址为192.168.0.38，外网地址为101.204.12.xx
60秒后
第一台虚拟主机的内网地址为192.168.0.36，外网地址为101.203.79.xxx
第二台虚拟主机的内网地址为192.168.0.37，外网地址为101.203.121.xx
第三台虚拟主机的内网地址为192.168.0.38，外网地址为101.203.12.xx