限制爬虫软件的方法有多种，以下是一些建议：

基于程序本身防止爬取

使用JavaScript生成页面内容：爬虫通常无法执行JavaScript，因此可以通过生成动态页面内容来防止爬取。例如，使用jQuery模拟HTML页面生成，使得爬虫难以抓取到实际数据。

基于网络层限制

使用iptables和shell脚本：可以对nginx的access.log进行策略定义，例如限制在1分钟内并发连接数超过30个IP为非法。如果IP不在白名单内，则通过iptables策略封禁该IP。使用fail2ban等工具可以记录或封禁有危害的操作的IP。

限制HTTP User-Agent：通过nginx配置文件，可以拒绝特定User-Agent的爬虫请求。例如，拒绝所有以wget方式发送的请求。

使用robots.txt文件

配置robots.txt文件：在网站根目录下创建robots.txt文件，通过指定User-agent和Disallow规则来阻止某些爬虫的访问。例如，阻止所有爬虫访问整个网站或特定目录。

使用Web应用防火墙（WAF）

部署WAF：使用专业的Web应用防火墙可以更精确地识别和阻止爬虫。WAF通常具备更高级的规则引擎和机器学习算法，能够识别和拦截恶意请求。

动态内容加载

使用Ajax或Fetch API：通过JavaScript动态加载内容，使得爬虫难以获取完整页面数据。这种方法需要爬虫能够执行JavaScript，因此可能不适用于所有爬虫。

验证码

添加验证码：在关键页面添加验证码可以阻止自动化爬虫的访问。验证码可以是图形验证码、文字验证码或滑动验证码，具体选择哪种验证码取决于网站的需求和安全性要求。

用户行为分析

分析用户行为：通过分析用户的行为模式，例如访问速度、访问时间、访问频率等，可以识别出异常的爬虫行为并进行限制。这种方法需要服务器端有足够的日志记录和分析能力。

法律手段

发送法律警告：对于严重的爬虫行为，可以通过发送法律警告的方式告知爬虫所有者，要求其停止爬取行为。这种方法虽然不常见，但在某些情况下可能有效。

在选择限制爬虫的方法时，需要根据网站的具体需求和安全性要求来选择合适的方法。同时，也要注意不要过度限制，以免影响正常用户的访问体验。