背景

我们在，网页抓取，模拟登陆，抓取动态网页等等，过程中，往往要先通过工具去分析，如何访问一个url，然后获得对应的数据，然后搞懂逻辑了，再用代码实现出来。

而此时，就涉及到，访问对应的url是GET是，要发送，一堆的Header，

而如果是POST的话，还需要有额外的post data要发送；

对此，其过程往往不仅繁琐，而且作为不熟悉的人，完全没有概念和逻辑，去搞懂这些数据到底该如何取舍；

即对于某个header，比如refer，到底是否需要发送；

对于某个post data中的参数，到底是否需要发送；

等等。

以及这些参数，以及参数的值，的含义是啥，都很模糊；

下面就来尽量详细的，阐述一下，相关的Header的含义，以及如何取舍对应的变量：

如何取舍对应Header和Post data参数

如上所述，如果我们确定知道哪些header，哪些post data，需要发送，那么我们自然知道接下来，去搞懂参数的值，从何而来，然后再去用代码实现对应的逻辑过程即可。

但是在此之前，我们很多时候是，对于众多的Header以及post data中的参数，觉得无从下手，一是不清楚其含义，二是不清楚，对应的header或post data是否需要，是否可以舍弃等等问题。

下面，就来解释一下我的一些经验以及所知道的相关的知识：

其中，此处的数据，是来自于：

【教程】以抓取网易博客帖子中的最近读者信息为例，手把手教你如何抓取动态网页中的内容

所以，想要更透彻的理解下面的解释，还请先去看上述帖子。

此处，简单总结一下：

需要访问：

http://api.blog.163.com/green-waste/dwr/call/plaincall/VisitBeanNew.getBlogReaders.dwr

对应的方法是POST，而可能要发送的Heade，其中包括Cookies，以及由于是POST，所以另外还有Post data。

下面，就来解释，如何设置这些值，如何取舍这些值。

对于header和post data，cookie等的取舍原则

不过，在详细分析之前，先要介绍一下，其中的基本逻辑：

其实我们的目的是：通过代码模拟浏览器的行为，通过代码访问对应的url，获得和浏览器中返回的一样的结果

为此，我们，理论上，应该模拟浏览器的完整的行为，即应该把所有的Headers，所有的Post data，都模拟出来。

换句话说：

对于N多个Header，都要去搞懂对应的header的含义，搞懂如何设置对应的header值；

对于N多个Post Data值：搞懂每个post data参数的值，都是怎么获得的；

如果写代码，都需要这么写，说实话，写代码的人，很多时候，早就被累死了。

因为在写代码之前，需要为了实现上述的逻辑，需要通过工具分析出上述的各种的值，都是怎么来的，

很多时候，都是非常耗精力的，甚至有时候是非常难以实现的。

而重新审视我们的目的，即用代码模拟浏览器的行为，获得对应的返回结果，之后我们会想：

我们只是为了获得对应的结果，那么是否有可能，忽略掉，其中次要的参数，比如某些不重要的Header，某些无关紧要的post data参数，

而仍然获得正确的返回值呢？

经过长期的编程实践，我们已知：

如上的想法是可行的，实际上，的确很多时候，未必准备好所有的header和post data，然后去访问对应的url，

就已经可以获得了对应的数据了。

所以，我们在实际编程中，完全可以忽略掉对应的不重要的参数。

但是，现存的困难是，很多时候，我们无法通过直观的方式，一眼就看出，哪些参数要，哪些参数必须保留。

所以，我们正常去分析这些参数，去写代码的过程中，其实是，先是只是写上我们，看起来，觉得重要的参数，然后如果，幸好，已经可以正确获得对应url的返回值了，那么自然省去了精力，不用关心余下的参数；

如果程序运行不正确，没法从url中获得期望的值，再一点点调试，把被忽略的参数一点点加上去，再继续测试是否可以了。

期间，每加上一个参数，意味着，你对于这个参数对应的值，要搞懂是如何获得的。

而实际上，某些参数的值，很容易分析出来如何获得的，比如别之前的某个html中，直接提取而得即可；

而有些参数，需要复杂的过程，甚至需要搞懂背后计算的逻辑，去一点点计算出来；

然后如此地，一点点加上参数，最终调试结果得到可以正确获得返回内容了，

才算结束；

期间，有时候，还需要涉及到cookie，需要把对应的cookie加上，然后随着一些header，（如果有，再加上post data），然后访问对应url，才能获得所需返回值的。

总之，很多时候：

• 分析网页执行逻辑，和写代码调试，是不断交替的过程；
• 而对于所要分析的参数，能少则少，这样可以尽量减少精力，减少去分析无关紧要的参数值是如何获得的那些精力。

然后，才是具体分析，例子中各种header和post data，都是什么含义，以及如何取舍。

Headers, Cookies, Post Data概览

Headers

此部分所要解释的Headers部分，是访问url之前，所要提交的头部信息，简称头信息，或Headers；

其包含了，你可能之前就听说过的，诸如Accept，Referer，Content-Type等等信息；

其中每个参数，叫做（单个的）header；

此处的头信息，是访问任何url，不论是GET，还是POST，全都是需要的。

只不过，有些url，只需要其中部分header。

其中，特别的，对于某url提交POST请求时，对应的有个特殊的header，Content-Type，其值一般都是application/x-www-form-urlencoded

Cookies

更多解释可参考：

Post Data

如何处理Headers

Request Headers截图：

对应的headers值是：

（1）Request POST /green-waste/dwr/call/plaincall/VisitBeanNew.getBlogReaders.dwr HTTP/1.1

这个是浏览器发送的。

对应程序中，不需要我们关心，程序中对应的库函数，会根据我们所设置的url地址和POST，自动发送这部分的内容的；

（2）Accept */*

根据经验；直接照着设置一下，即可；

表示接受的数据类型，是任何类型都可以；

（3）Accept-Language en-us

表示所接受的语言，是英文；

此处照着做即可。实际情况是，很多时候忽略此参数也没事；

（4）Referer http://api.blog.163.com/crossdomain.html?t=20100205

此referer，一般可忽略；

有时候遇到下载某网站图片，需要对应的referer，否则无法下载图片，那是因为人家做了防盗链，原理就是根据referer去判断是否是本网站的地址，如果不是，则拒绝，如果是，就可以下载；

（5）Content-Type text/plain

表示内容类型；

程序中照着设置，即可；一般来说，也可以忽略之；

（6）Accept-Encoding gzip, deflate

此处，多数浏览器，会设置Accept-Encoding为gzip, deflate

然后浏览器获得的数据，就是压缩的数据，子会自动解压，然后显示对应的内容。即，你作为用户看到的数据，都是

程序中，如果设置了

如何处理Cookies

Cookies，单独列出来，以方便查看：

对应的值是：

对于GET方法，很多时候，往往可以不需要cookie；

对于POST方法，往往需要有对应的Cookie；

类似的，即使需要cookie，对于多个cookie，往往也是可以省略掉部分次要的，但是具体哪些是次要的，可以忽略的，还是需要根据程序调试结果，才知道的。

如何处理Post Data

由于此处是POST，所以对应的还有post data：

对应的 post data 数据是：

1.自己多次用工具去分析，对比多次的数据，对于其中那些没有变化的，自然就是可以固定写死的数据，即在程序实现时，可以直接赋值，无需另外计算的。

比如post data中的

c0-methodName=getBlogReaders

就是这类。

这点无所多谈，自己多试试就知道了。

2.对于Request Headers中的值，很多项，比如

Accept-Language en-us

Cache-Control no-cache
对于程序实现是，往往是（但不绝对是），无关紧要，可以直接忽略，即在代码中，可以不设置这些参数的。

3.其他一些，必须的，必备，不可少的几类：

post data：如果是POST，那么必然有post data。而post data中，一般有很多个参数和参数值，其中，很多时候，只需要关系最核心的几个参数，保证其参数和参数值正确，往往就可以获得正确的返回值了。

所以，可以忽略那些相对次要的参数的值，是怎么得到的，从而省却一定精力。

具体保留哪些值，省去哪些值，没有规律。只能靠自己的实际代码的调试，一点点分析得知。

但是，此处，咱照常理，很明显的，像：

c0-methodName=getBlogReaders

的值，肯定是必须的，因为本身此url的目的就是去获得对应的博客读者的信息，所以很明显这个告诉服务器，就是去getBlogReaders的。

而此处，对于其他一些值，比如：

scriptSessionId=${scriptSessionId}187

c0-param0=string:fks_082070080086087066093087094095087084087068083080081075

看起来，就很像是，必须的，需要另外去找到，对应的参数值，都是如何计算出来的，如何获得的。

此处，接着去分析上面的内容中，哪些要保留，哪些可以取消。

或者说，去解释一下，对于我，是如何取舍这些值，如何分析这些值的：

首先，我根据经验的值，和直观的查看而推测：

1. 先看相对最重要的post data：

post data中：

（1）callCount=1 -> 这也许可以忽略；如果是必须的，则要去看看这个1是如何得到的；

（2）scriptSessionId=${scriptSessionId}187 -> 看起像是必须的。此处要搞清楚187是从哪来的；
（3）c0-scriptName=VisitBeanNew -> 估计也是必须的，而且好像是固定的值；

（4）c0-methodName=getBlogReaders -> 估计也是必须的，而且好像是固定的值；

（5）c0-id=0 -> 估计是可以忽略的；

（6）c0-param0=string:fks_082070080086087066093087094095087084087068083080081075 -> 看起来就是必须的。要去搞清楚fks_082070080086087066093087094095087084087068083080081075是从哪获得的；

（7）c0-param1=number:32677678 -> 不清楚是否必须；可以先忽略，等程序返回错误结果，再去加上；

（8）batchId=998946 -> 不清楚是否必须；可以先忽略，等程序返回错误结果，再去加上；

转载请注明：在路上 » 【整理】网页抓取，模拟登陆，抓取动态网页内容等过程中，所涉及的Headers信息，Cookie信息，POST数据的处理逻辑