Collect URL是一款网络爬虫模拟程序，Collect URL像一个互联网搜索引擎机器人。从用户输入的URL开始，它列出了URL上的所有链接。然后递归扫描列表中的所有链接。用户可以限制收集URL仅收集单个域名。文件扩展名忽略列表是可编辑的。连接和响应超时值是可编辑的。另外，用户可以更改HTTP和HTTPS连接的用户代理值。

软件特色

1、轻量级，简单易用的网络爬虫
您可以立即开始使用收集URL，因为在启动扫描之前不需要执行任何配置。只需输入所需的URL，单击开始按钮，然后等待列表填充。

2、提供一套基本的过滤器供您使用
如果您希望扫描更为精确，则可以让程序显示默认隐藏的高级设置。它们相当简单，但如果通过工具提示提供某些解释，它仍然会有所帮助。