在2024年，对于开源网络爬虫软件的选择，可以根据您的具体需求和熟悉程度来挑选。以下是根据要求整理的一些推荐：
1. Heritrix
Heritrix是一个由Java开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。Heritrix采用的是模块化的设计，各个模块由一个控制器类(CrawlController类)来协调，控制器是整体的核心。
2. JSpider
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：jspider [URL] [ConfigName]。URL一定要加上协议名称，如：http://，否则会报错。如果省掉ConfigName，则采用默认配置。JSpider的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在conf[ConfigName]\目录下设置。
3. Spiderman
Spiderman是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。
4. Crawlzilla
Crawlzilla是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司内部网站资料索引的问题。它支持多种档案格式的搜索，并提供搜索引擎的管理功能。
5. Ex-Crawler
Ex-Crawler是一个网页爬虫，采用Java开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的Web爬虫。使用数据库存储网页信息。
以上是一些根据要求推荐的开源网络爬虫软件。在选择时，请务必考虑您的需求、开发环境以及对不同软件的熟悉程度。此外，随着技术的不断进步，这些软件可能会持续更新和改进，因此建议在决定前查看最新的文档和社区讨论。
