php使用pthreads v3多线程实现抓取新浪新闻信息操作示例

吾爱主题阅读：145 2021-09-29 13:42:00 评论：0

本文实例讲述了php使用pthreads v3多线程实现抓取新浪新闻信息。分享给大家供大家参考，具体如下：

我们使用pthreads，来写一个多线程的抓取页面小程序，把结果存到数据库里。

数据表结构如下：

1 2 3 4 5 6 7 CREATE TABLE `tb_sina` ( `id` int (11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'ID' , `url` varchar (256) DEFAULT '' COMMENT 'url地址' , `title` varchar (128) DEFAULT '' COMMENT '标题' , ` time ` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '时间' , PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT= 'sina新闻' ;

代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 <?php class DB extends Worker { private static $db ; private $dsn ; private $root ; private $pwd ; public function __construct( $dsn , $root , $pwd ) { $this ->dsn = $dsn ; $this ->root = $root ; $this ->pwd = $pwd ; } public function run() { //创建连接对象 self:: $db = new PDO( $this ->dsn, $this ->root, $this ->pwd); //把require放到worker线程中，不要放到主线程中，不然会报错找不到类 require './vendor/autoload.php' ; } //返回一个连接资源 public function getConn() { return self:: $db ; } } class Sina extends Thread { private $name ; private $url ; public function __construct( $name , $url ) { $this ->name = $name ; $this ->url = $url ; } public function run() { $db = $this ->worker->getConn(); if ( empty ( $db ) || empty ( $this ->url)) { return false; } $content = file_get_contents ( $this ->url); if (! empty ( $content )) { //获取标题，地址，时间 $data = QL\QueryList::Query( $content , [ 'tit' => [ '.c_tit > a' , 'text' ], 'url' => [ '.c_tit > a' , 'href' ], 'time' => [ '.c_time' , 'text' ], ], '' , 'UTF-8' , 'GB2312' )->getData(); //把获取的数据插入数据库 if (! empty ( $data )) { $sql = 'INSERT INTO tb_sina(`url`, `title`, `time`) VALUES' ; foreach ( $data as $row ) { //修改下时间，新浪的时间格式是这样的04-23 15:30 $time = date ( 'Y' ) . '-' . $row [ 'time' ] . ':00' ; $sql .= "('{$row['url']}', '{$row['tit']}', '{$time}')," ; } $sql = rtrim( $sql , ',' ); $ret = $db -> exec ( $sql ); if ( $ret !== false) { echo "线程{$this->name}成功插入{$ret}条数据\n" ; } else { var_dump( $db ->errorInfo()); } } } } } //抓取页面地址 $url = 'http://roll.news.sina.com.cn/s/channel.php?ch=01#col=89&spec=&type=&ch=01&k=&offset_page=0&offset_num=0&num=60&asc=&page=' ; //创建pool池 $pool = new Pool(5, 'DB' , [ 'mysql:dbname=test;host=192.168.33.226' , 'root' , '' ]); //获取100个分页数据 for ( $ix = 1; $ix <= 100; $ix ++) { $pool ->submit( new Sina( $ix , $url . $ix )); } //循环收集垃圾，阻塞主线程，等待子线程结束 while ( $pool ->collect()) ; $pool ->shutdown();