指南啦

  1. 首页 > 生活指南 > it技术 > >

怎么用php扒数据 php怎么遍历数据库里的数据

curlIT技术

如何用php 编写网络爬虫php不太适合用来写网络爬虫,因为几乎没有现成怎么用php扒数据的框架,或者成熟的下载机制,也不太适合做并发处理.
下载页面的话除怎么用php扒数据了一个curl,就是file_get_contents,或者curl_multi来做并发请求.curl可以代理端口,虚假ip,带cookie,带header请求目标页面,下载完成之后解析页面可以用queryList来解析html.写法类似jQuery.
提供给你我之前写的类:curl.php希望可以帮到你.
QueryList.php和phpQuery.php由于文件太大了,没办法贴上来
?php
class Http {
public function curlRequest($url, $postDatahttps://www.04ip.com/post/= '', $timeOut = 10, $httpHeader = array()) {
$handle = curl_init ();
curl_setopt ( $handle, CURLOPT_URL, $url );
if ($httpHeader) {
curl_setopt($handle, CURLOPT_HTTPHEADER, $httpHeader);
}
curl_setopt ( $handle, CURLOPT_RETURNTRANSFER, true );
curl_setopt ( $handle, CURLOPT_HEADER, 0 );curl_setopt ( $handle, CURLOPT_TIMEOUT, $timeOut );
curl_setopt ( $handle, CURLOPT_FOLLOWLOCATION, 1 );
curl_setopt ( $handle, CURLOPT_SSL_VERIFYPEER, false );
curl_setopt ( $handle, CURLOPT_SSL_VERIFYHOST, false );
curl_setopt ( $handle, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36');curl_setopt ( $handle, CURLOPT_ENCODING, 'gzip,deflate,sdch');
if (! empty ( $postData )) {
curl_setopt ( $handle, CURLOPT_POST, 1 );
curl_setopt ( $handle, CURLOPT_POSTFIELDS, $postData);
}
$result['response'] = curl_exec ( $handle );
$result['httpStatus'] = curl_getinfo ( $handle, CURLINFO_HTTP_CODE );
$result['fullInfo'] = curl_getinfo ( $handle );
$result['errorMsg'] = '';
$result['errorNo'] = 0;
if (curl_errno($handle)) {
$result['errorMsg'] = curl_error($handle);
$result['errorNo'] = curl_errno($handle);
}
curl_close ( $handle );
return $result;
}
}
?
php如何爬取天猫和淘宝商品数据【怎么用php扒数据 php怎么遍历数据库里的数据】直接用Curl就行，具体爬取的数据可以穿参查看结果 ， 方法不区分淘宝和天猫链接，但是前提是必须是PC端链接，另外正则写的不规范，所以可以自己重写正则来匹配数据 。
怎么用php采集网站数据简单的分了几个步骤：
1、确定采集目标
2、获取目标远程页面内容（curl、file_get_contents）
3、分析页面html源码，正则匹配你需要的内容（preg_match、preg_match_all），这一步最为重要 ， 不同页面正则匹配规则不一样
4、入库
如何利用php抓取网站动态产生的数据$url = "网站地址目录";
$queryServer = curl_init();
curl_setopt($queryServer, CURLOPT_URL, $url);
curl_setopt($queryServer, CURLOPT_HEADER, 0);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);
curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);
$html = curl_exec($queryServer);
$html = iconv('UTF-8','GBK//IGNORE',$html); //如果怎么用php扒数据你需要是怎么用php扒数据的数据是utf-8编码的,这一行可以注销怎么用php扒数据，如果需要gbk编码的,请保留.如果出现乱码怎么用php扒数据，就是一行的问题怎么用php扒数据 ， 你自己调着试吧
//echo $holder;exit; 此处可以输出来测试.
$html = str_replace(array("\n","\r","\t"),"",$html);
$preg = '/table\s width=\"800\"[^] (.*?)\/table/';
preg_match_all($preg,$html,$out);
//匹配每行
preg_match_all('/tr[^] (.*?)\/tr/',$out[1][0],$tr);
//匹配每个td
$result = array();
$match = '/td. ([^] )\/td/U';
foreach( $tr[0] as $key = $value ){
preg_match_all($match,$value,$arr);
$result[] = $arr[1];
}
//输出测试,$result就是你要的数据 ， 至于你要怎么输出显示格式，那就随心调就好了 。
foreach( $result as $key = $value ){
echo implode("\t",$value);
echo "br";
}
exit;
关于怎么用php扒数据和php怎么遍历数据库里的数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息 ， 记得收藏关注本站 。

    推荐阅读


    上一篇：如何删除服务器上的日志记录？ 怎么清除服务器上的记录

    下一篇：如何更新KT服务器？ KT服务器怎么更新