php实现爬取和分析知乎用户数据

背景说明：小拽利用php的curl写的爬虫，实验性的爬取了知乎5w用户的基本信息；同时，针对爬取的数据，进行了简单的分析呈现。

php的spider代码和用户dashboard的展现代码，整理后上传github，在个人博客和公众号更新代码库，程序仅供娱乐和学习交流；如果有侵犯知乎相关权益，请尽快联系本人删除。

无图无真相

移动端分析数据截图

pc端分析数据截图

整个爬取，分析，展现过程大概分如下几步，小拽将分别介绍

curl爬取网页数据

PHP的curl扩展是PHP支持的，允许你与各种服务器使用各种类型的协议进行连接和通信的库。是一个非常便捷的抓取网页的工具，同时，支持多线程扩展。

本程序抓取的是知乎对外提供用户访问的个人信息页面https://www.zhihu.com/people/xxx,抓取过程需要携带用户cookie才能获取页面。直接上码

获取页面cookie

复制代码 代码如下:

// 登录知乎，打开个人中心，打开控制台，获取cookie

document.cookie

"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"

抓取个人中心页面

通过curl，携带cookie，先抓取本人中心页面

/**
 * 通过用户名抓取个人中心页面并存储
 * 
 * @param $username str :用户名 flag
 * @return boolean   :成功与否标志
 */
public function spiderUser($username)
{
  $cookie = "xxxx" ;
  $url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
  $ch = curl_init($url_info); //初始化会话
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_COOKIE, $cookie); //设置请求COOKIE
  curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $result = curl_exec($ch);

   file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result);
   return true;
 }

正则分析网页数据分析新链接，进一步爬取

对于抓取过来的网页进行存储，要想进行进一步的爬取，页面必须包含有可用于进一步爬取用户的链接。通过对知乎页面分析发现：在个人中心页面中有关注人和部分点赞人和被关注人。

如下所示

复制代码 代码如下:

// 抓取的html页面中发现了新的用户，可用于爬虫

// 获取用户头像
preg_match('//i', $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// 崔小拽
preg_match('/([x{4e00}-x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match('/([x{4e00}-x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
// 男
// gender value1 ;结束 中文
preg_match('/
preg_match('//u', $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//人见人骂的公司
preg_match('//u', $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// 程序猿
preg_match('//u', $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// 研究僧
preg_match('//u', $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// 挨踢
preg_match('/([x{4e00}-
x{9fa5}]+)41 个话题
preg_match('/class="?zg-link-litblue"?>(d+)s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// 关注了
preg_match_all('/(d+)<.+/i', $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// 个人主页被 17 人浏览
preg_match('/class="?zg-gray-normal"?.+>(d+)<.+span>/i', $str, $match_browse);
$user_browse = $match_browse[1];

# 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;

#!/bin/bash

# 干掉
ps aux |grep spider |awk '{print $2}'|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &  

// 获取用户头像
preg_match('//i', $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// 崔小拽
preg_match('/([x{4e00}-x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match('/([x{4e00}-x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
// 男
// gender value1 ;结束 中文
preg_match('/
preg_match('//u', $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//人见人骂的公司
preg_match('//u', $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// 程序猿
preg_match('//u', $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// 研究僧
preg_match('//u', $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// 挨踢
preg_match('/([x{4e00}-
x{9fa5}]+)41 个话题
preg_match('/class="?zg-link-litblue"?>(d+)s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// 关注了
preg_match_all('/(d+)<.+/i', $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// 个人主页被 17 人浏览
preg_match('/class="?zg-gray-normal"?.+>(d+)<.+span>/i', $str, $match_browse);
$user_browse = $match_browse[1];