很久没有再接触火车头了，甚至织梦自带的采集工具，也已经很久没用，最近因为工作的原因，开始筹划网站内容的数据采集，因此，开始重新了解当下的网站数据采集系统工具，并计划为大家做一个详细点的学习总结和分析，希望一些不是很了解数据采集工具的童鞋能通过此分享有一些自己的领悟。
火车头采集是当下最流行的采集工具
什么是网站数据采集工具？
我们知道网站数据采集工具是根据某些特定的规则，采集某些特定网站内容的源码程序或应用。简单而言，就是将别人网站的内容复制到自己的网站上来的自动处理工具。
常规的数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。
被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。数据采集含义很广，包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量（或包括物理量，如灰度）数据。
数据采集工具的原理其实就是将常规的数据采集方法进行了拓展，我们传统意义上的任何信息的网络化传输，就必然涉及到了数据的采集，但网站数据采集是指针对某特定网站或者某特定行为的内容采集。他获取信息的来源于网络，也又应用于网络，是对现实数据采集的某个应用。
网站数据采集工具的流程是什么？
我们先看看百度蜘蛛索引数据的流程：
上图算是百度蜘蛛发现一个页面开始索引的全部过程，其中，在开始索引之前，依照百度蜘蛛爬行的广度与深度原则，百度会将某个入口页面上的链接优先提取，存入待爬行库，然后再开始索引流程，同时，假如某页面已经存在索引，一般来说，蜘蛛会优先爬行数据库中不存在的页面。（百度了下这类的资料都不够鲜明，特别是流程这块，建议大家还是去看看seo实战秘籍等专业性书籍.).
其实采集工具的原理也是类似于百度蜘蛛的爬行抓取机制，只是相对而言，百度指数的抓取索引机制更深更复杂，也更智能。采集工具的流程其实很简单：抵达网站——索引链接——爬行抓取——比对数据库——筛选内容——提取字符——去除冗余——加入数据库——自动发布或待审核——再次索引抓取
网站采集工具的原理功能是什么？
1）根据采集规则采集目标内容
采集工具因为编写的源码程序不同，语言不同，获取方式有些不同，同时对信息的处理能力也有所不同。但他们都是通过访问被采集站点来提取被采集站点的相应特定信息。采集程序通过读取后台设定好的采集规则来确定应该以什么样的方式来访问被采集网站，并判断被采集网站中哪些地址是有效的，哪些内容是该收集的，如何提取有用的信息等等，这些都是由采集规则指定的。
2）根据采集地址确定采集范围
采集目标一般是某个特定的url，一般选择列表等聚合页。但聚合页其实有很多的无关内容，我们只想截取其中某一区域中的内容进行采集，怎么办呢?这就需要设置“网址范围”了，这里需要用到一定的采集机制，即识别列表中的各级页面，并决定从多少页采集到多少，也就是“列表起始字符串”和“列表结束字符串”。
“列表起始字符串”和“列表结束字符串”，顾名思义列表起始字符串就是你所需要的内容url从页面代码的哪个地方开始，列表结束字符串就是你所需要的内容页面到哪个地方结束。
3）针对目标页面的字符串开始与接触识别机制
在采集规则设定者设定采集规则之前，设定者必须对特定网站进行了解，查看网站使用的语言，各种内容标签与页面布局，分析源代码，直指目标。
设定者了解起始字符串标准后，在页面html代码中，所需字符串内容之前有且仅有一次出现字符(如多次出现，以第一次出现的位置为准)；在读取结束字符串标准时，接触字符串之后有且仅有一次出现(如多次出现，以第一次出现的位置为准)。起始字符串和结束字符串是成对出现的，采集器会截取他们之间的内容作为有效内容；
假如我们需要采集某个内容页面的正文，一般来说，我们需要采集网站内容页面的内容标题与正文内容，这个就需要对各种字符串进行筛选，只采集设定好的字符串内容。
4）针对url避免重复机制
在2中我们看到采集程序确定了采集范围，也就是从列表页面中提取各种url，采集程序优先提取网页中的各种url后写入数据库，并将在未来做好每个页面一次的抓取，直至页面采集的完成。我们发现，同一个内容假如存在多个url，采集程序一般都会将这个内容进行多次采集。对于采集工具而言，每一个内容页面url就是一个全新的页面。
5）采集后遵循设定规则的存档
数据采集完毕，必然有一个提取的过程，排除字符外的代码，同时遵循规则，丢弃不需要的内容，处理一些敏感的词汇，信息再处理完毕后，系统会对数据进行存档，一般来说都是一个简单的待审核内容列表，审核完毕显示。但更负责的数据写入机制，将会对数据进行更智能化的处理，比如对应发布的频道，标签内容的匹配，发布时间的设定等等属性，简单而言，存档就是写入数据库的过程。采集工具可以使用系统的数据导出写入功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地或者某服务器任何一款Access,MySql,MS SqlServer内。
6）自动化审核发布
设定发布规则，数据采集工具自带的发布系统会根据设定好的内容发布到对应的栏目，一般来说，自动发布存在一定的弊端，那就是对于内容的处理这块，可能没有人工审核后发布的规整，没有对内容的再处理提取过程，内容难免有点良莠不齐。
当然，对于自动采集工具的使用，大部分还是需要网站程序开发人员的配合，假如seo不懂的源码，建议还是老老实实写需求的好，专业的事情交给专业的人去做。本文纯粹是学习之后的总结，假如有不全面或者有错误的地方，欢迎朋友们指出，在深圳的seo朋友也欢迎约我面聊沟通，下期为大家分享火车头的功能简介和常规的采集规则设置规则，欢迎关注。
