商业爬虫软件开发通常需要考虑的因素包括：易用性、灵活性、扩展性、支持的文件格式、数据存储方式以及是否支持多线程等。下面是一些根据要求推荐的工具和技术。
1. Arachnid
Arachnid是一个基于Java的web spider框架，它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流。通过实现Arachnid的子类就能够开发一个简单的Webspiders并能够在Web站上的每个页面被解析之后增加几行代码调用。
2. Crawlzilla
Crawlzilla是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司内部网站资料索引的问题。由nutch专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。Crawlzilla除了爬取基本的html外，还能分析网页上的文件，如(doc、pdf、ppt、ooo、rss)等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。拥有中文分词能力，让你的搜索更精准。
3. Ex-Crawler
Ex-Crawler是一个网页爬虫，采用Java开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的Web爬虫。使用数据库存储网页信息。
4. Heritrix
Heritrix是一个由java开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。Heritrix采用的是模块化的设计，各个模块由一个控制器类(CrawlController类)来协调，控制器是整体的核心。
5. JSpider
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下: jspider[URL][ConfigName]。JSpider的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在conf[ConfigName]目录下设置。JSpider默认的配置种类很少，用途也不大。但是JSpider非常容易扩展，可以利用它开发强大的网页抓取与数据分析工具。要做到这些，需要对JSpider的原理有深入的了解，然后根据自己的需求开发插件，撰写配置文件。
6. MetaSeeker
以上是一些根据要求推荐的商业爬虫软件开发的最佳工具与技术。开发者可以根据自己的实际需求和技能水平选择合适的工具和技术进行开发。
