设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 586|回复: 0

[经验分享] 用PHP抓取网页

[复制链接]
w1w

尚未签到
发表于 2017-3-28 10:24:42 | 显示全部楼层 |阅读模式
用PHP抓取网页

作者： 共创联盟
加入时间： 2003-11-24
浏览次数： 322

　　抓取网页，并将文字和图片存入数据库中，利用getimg.php?id=读取数据库中的图片
getarticle.php?id=读取文档
　　<?

/**建表文档 articletype对应的类型　1:oracle,2:java,3:system
CREATE TABLE article (
id int(6) NOT NULL auto_increment,
title varchar(80) default NULL,
content text,
url varchar(80) default NULL,
joindate varchar(12) default NULL,
articletype int(2) not null,
PRIMARY KEY (id)
) ;
CREATE TABLE images (
id int(4) NOT NULL auto_increment,
bin_data longblob,
filetype varchar(50) default NULL,
title varchar(50) default NULL,
articleid int(6) NOT NULL,
PRIMARY KEY (id)
) TYPE=MyISAM;
*/

class SaveWeb
{
var $title;
var $url;
var $typeid;
var $content;
var $getUrl = true;
var $getimg = "getimg.php?id=";
var $dbuser = "root";
var $dbpassword = "whf76128";
var $dbname = "tech";
var $dbhost = "127.0.0.1";

function SaveWeb($title,$url,$typeid) //初始化，
{
$this->title=$title;
$this->url=$url;
$this->typeid=$typeid;
}
function setContent($html) //初始化，
{
$this->content = $html;
$this->getUrl = false;
}
function saveContent() //直接存储段落文字
{
$date = gmdate("Y-m-d");
$data = nl2br($this->content);
$data = addslashes($data);
MYSQL_CONNECT( $this->dbhost, $this->dbuser, $this->dbpassword);
mysql_select_db( $this->dbname);
$result=MYSQL_QUERY( "INSERT INTO article (title,content,url,joindate,articletype) VALUES ('$this->title','$data','$this->url','$date',$this->typeid)");
$id= mysql_insert_id();
MYSQL_CLOSE();
return $id;
}
function webSave() //存储页面
{
if($this->title==""||$this->url=="")
return false;
if($this->getUrl==true)
$text = $this->getHtml($this->url);
else
{
$text = $this->content;
}
$text2 = $this->parserHtml($text);
$id = $this->saveHtml($text2);
$this->updateImgPID($id,$this->title);
$this->delimg();
return $id;
}

//在$strobj中查找$strchild,返回值为位置(找到)和false(没有找到相应的字符串).
function strfind($strobj,$strchild,$int)
{
$intobj=strlen($strobj);
$intchild=strlen($strchild);

while($int<=$intobj)
{
if(strtolower(substr($strobj,$int,1))==$strchild[0]) //当从$strobj上截取的首字符与$strchild的首字符相同时,作进一步判断.
{
if(strtolower(substr($strobj,$int,$intchild))==$strchild)
return $int;
}
$int++;
}
return false;
}

function getHtml($url)
{
if(($fp = fopen($url,"r"))==false)
{
echo "<font color=red>读取失败,文件位置：$url</font><br>";
return false;
}

$data = "";
while(!feof($fp))
{
$data = $data.fread($fp,512);
}
fclose($fp);
return $data;
}
function delImg()
{
MYSQL_CONNECT( $this->dbhost, $this->dbuser, $this->dbpassword);
mysql_select_db( $this->dbname);
$result=MYSQL_QUERY( "delete from images where articleid = 0");
MYSQL_CLOSE();
}
function updateImgPID($id,$title)
{
MYSQL_CONNECT( $this->dbhost, $this->dbuser, $this->dbpassword);
mysql_select_db( $this->dbname);
MYSQL_QUERY( "update images set articleid = $id where title='$title'");
MYSQL_CLOSE();
}

function saveHtml($data)
{
$date = gmdate("Y-m-d");
$data = addslashes($data);
MYSQL_CONNECT( $this->dbhost, $this->dbuser, $this->dbpassword);
mysql_select_db( $this->dbname);
$result=MYSQL_QUERY( "INSERT INTO article (title,content,url,joindate,articletype) VALUES ('$this->title','$data','$this->url','$date',$this->typeid)");
$id= mysql_insert_id();
MYSQL_CLOSE();
return $id;
}

function saveImg($url)
{
$data = $this->getHtml($url);
$data = addslashes($data);
MYSQL_CONNECT( $this->dbhost, $this->dbuser, $this->dbpassword);
mysql_select_db( $this->dbname);
$result=MYSQL_QUERY( "INSERT INTO images (bin_data,filetype,title,articleid) VALUES ('$data','".$this->getContentType($url)."','$this->title',0)");
$id= mysql_insert_id();
MYSQL_CLOSE();
return $id;
}

function getContentName($inFileName)
{
return basename($inFileName);
}
function getContentType($inFileName)
{
//--剥去路径
$inFileName = basename($inFileName);
//--检查文件扩展名
if(strrchr($inFileName, ".") == false)
{
return "application/octet-stream";
}
//--得到文件扩展名，并判断文件类型
$extension = strrchr($inFileName, ".");
switch($extension)
{
case ".gif": return "image/gif";
case ".gz": return "application/x-gzip";
case ".htm": return "text/html";
case ".html": return "text/html";
case ".jpg": return "image/jpeg";
case ".tar": return "application/x-tar";
case ".txt": return "text/plain";
case ".zip": return "application/zip";
case ".png": return "image/png";
case ".bmp": return "image/bmp";
default: return "application/octet-stream";
}
return "application/octet-stream";
}

function parserHtml($text)
{
$int = 0;
$baseUrl = parse_url($this->url);
$urlHost = "http://".$baseUrl["host"];
$urlDir = $urlHost.dirname($baseUrl["path"]);
$urlDir = str_replace("//","/",$urlDir);
//更新<img>标签
while($int = $this->strfind($text,"<img",$int))
{
$closeCharPos = $this->strfind($text,">",$int);
$tmpTxt = substr($text,$int,$closeCharPos-$int+1);
$srcStart = $this->strfind($tmpTxt,"src=",0);
$srcEnd = 0;
switch(substr($tmpTxt,$srcStart+4,1))
{
case '"':
$srcEnd = $this->strfind($tmpTxt,'"',$srcStart+5);
$imgUrl = substr($tmpTxt,$srcStart+5,$srcEnd-$srcStart-5);
break;
case "'":
$srcEnd = $this->strfind($tmpTxt,"'",$srcStart+5);
$imgUrl = substr($tmpTxt,$srcStart+5,$srcEnd-$srcStart-5);
break;
default:
$srcEnd = $this->strfind($tmpTxt," ",$srcStart+4);
if($srcEnd == false)
$srcEnd = $this->strfind($tmpTxt,'>',$srcStart+4);
$imgUrl = substr($tmpTxt,$srcStart+4,$srcEnd-$srcStart-4);
}
$tempImgUrl = $imgUrl;
$tempFile = parse_url($this->getimg);


if($this->strfind($tmpTxt,"http://",0)!=true)
{
switch(substr($imgUrl,0,1))
{
case "/":
$imgUrl = $urlHost.$imgUrl;
break;
default:
if(substr($urlDir,strlen($urlDir)-1,1)=="/")
$imgUrl = $urlDir.$imgUrl;
else
$imgUrl = $urlDir."/".$imgUrl;
}
}

if($this->strfind($imgUrl,$tempFile["path"],0)!=false)
{
$int++;
continue;
}
$id = $this->saveImg($imgUrl);
if($id == false)
{
$int++;
continue;
}
$newImgUrl = $this->getimg.$id;
$text = str_replace($tempImgUrl,$newImgUrl,$text);
$int++;
}
$int = 0;
//更新<a></a>标签
while($int = $this->strfind($text,"<a",$int))
{
$closeCharPos = $this->strfind($text,">",$int);
$tmpTxt = substr($text,$int,$closeCharPos-$int+1);
$srcStart = $this->strfind($tmpTxt,"href=",0);
$srcEnd = 0;
switch(substr($tmpTxt,$srcStart+5,1))
{
case '"':
$srcEnd = $this->strfind($tmpTxt,'"',$srcStart+6);
$imgUrl = substr($tmpTxt,$srcStart+6,$srcEnd-$srcStart-6);
break;
case "'":
$srcEnd = $this->strfind($tmpTxt,"'",$srcStart+6);
$imgUrl = substr($tmpTxt,$srcStart+6,$srcEnd-$srcStart-6);
break;
default:
$srcEnd = $this->strfind($tmpTxt," ",$srcStart+5);
if($srcEnd == false)
$srcEnd = $this->strfind($tmpTxt,'>',$srcStart+5);
$imgUrl = substr($tmpTxt,$srcStart+5,$srcEnd-$srcStart-5);
}
$tempImgUrl = $imgUrl;
if($this->strfind($tmpTxt,"http://",0)!=true)
{
switch(substr($imgUrl,0,1))
{
case "/":
$imgUrl = $urlHost.$imgUrl;
break;
default:
if(substr($urlDir,strlen($urlDir)-1,1)=="/")
$imgUrl = $urlDir.$imgUrl;
else
$imgUrl = $urlDir."/".$imgUrl;
}
$text = str_replace($tempImgUrl,$imgUrl,$text);
}
$int++;
}
return $text;
}
}


?>


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.iyunv.com/thread-356286-1-1.html 上篇帖子： PHP批量删除技巧 下篇帖子： PHP 对象、数组间的转换
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表