标签：网页抓取

crifan 11年前 (2013-08-26) 5017浏览 2评论

【背景】 之前自己弄的BlogsToWordpress，后来希望添加支持，导出网易163博客中的心情随笔的内容。 之前已经通过代码，可以获得返回的DWR-REPLY数据了： 【记录】给BlogsToWordPress添加支持导出网易的心情随笔 现在就...

crifan 12年前 (2013-08-01) 8522浏览 4评论

最近更新：2013-07-03 背景 之前，对于折腾，静态或动态的网页抓取，模拟登陆，也算有些时日了。 在此期间，遇到很多问题，也都基本上靠自己慢慢的解决了。 此处，把其中相对常见和通用的问题或者是注意事项， 再加上一些心得，在此整理出来，供参考： ...

crifan 12年前 (2013-07-03) 2074浏览 0评论

此贴内容已移至： 【总结】静态网页抓取，动态网页抓取，模拟登陆的注意事项和心得   如果不加User-Agent，则有些网址的访问，会被禁止的 此点，之前别人很多人已总结。 此处，还是再啰嗦一遍。 比如，直接通过浏览器访问，csdn的某个...

crifan 12年前 (2013-01-11) 2948浏览 0评论

背景 之前已经基本搞定了，通过PHP去实现网络抓取。 虽然不完美，但可以工作。 现在看到这里提到要支持Proxy，所以去试试。 1.参考： Tor Web Crawler 貌似，对于使用curl的话，就只是添加一个对应的参数： curl_setop...

crifan 12年前 (2013-01-11) 3536浏览 0评论

1.巧了，看到了一个PHP的爬虫相关的库/框架： PHPCrawl webcrawler library/framework 有空可以好好折腾折腾。   2.另外又看到一个，貌似不错的库： PHP HTTP protocol client ...

crifan 12年前 (2012-12-07) 5117浏览 0评论

【背景】 先说的是，自己之前写了个小软件，用于下载songtaste中的歌曲： 最新版本是1.5： downloadSonstasteMusic(下载Songtaste歌曲) v1.5 – 下载Songtaste(ST)中正在播放的歌曲/单首歌曲/整...

crifan 12年前 (2012-11-23) 15871浏览 17评论

在通过： 【整理】关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项 了解了抓取网页的一般流程之后，加上之前介绍的： 【总结】浏览器中的开发人员工具（IE9的F12和Chrome的Ctrl+Shift+I）-网页分析的利器 应该就...