本文目录一览：
- 1、怎么用js代码修改referer的值？
- 2、php curl怎么获取JavaScript动态值
- 3、如何等待js渲染页面完成后使用casperjs抓取dom节点
- 4、js 用xmlhttprequest 跨域问题。
- 5、javascript 怎么获取指定url网页中的内容
- 6、PHP/JS怎么在输出值的前后加上前缀和后缀
怎么用js代码修改referer的值？
给你一段PHP代码片段，我目前正在使用的，几乎不用修改，可以直接使用。第一次回答技术帖。
?php
$url='XXX';//这里填写url
$cookie='XXXXXXXXX'; //COOKIE值
$post_data=''; //post数据
$useragent='Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; MAXTHON 2.0)';
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPGET, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, "");//引号内填写你需要写的referer值
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
curl_setopt($ch, CURLOPT_COOKIE,$cookie);
curl_setopt($ch, CURLOPT_USERAGENT,$useragent);
$result = curl_exec($ch);
?
php curl怎么获取JavaScript动态值
ajax动态获取，直接JQ库
站内
$.getJSON('xxxx.php?xxxx',function(){
OPTION
});
如果你是想用curl获取别人网站上的Js内容只能解JS然后模拟去获取，或者无解
如何等待js渲染页面完成后使用casperjs抓取dom节点
pcntl_fork或者swoole_process实现多进程并发。按照每个网页抓取耗时500ms，开200个进程，可以实现每秒400个页面的抓取。
curl实现页面抓取，设置cookie可以实现模拟登录 simple_html_dom 实现页面的解析和DOM处理
如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用
在多玩网这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。
js 用xmlhttprequest 跨域问题。
ajax是不能实现跨域的,就算是实现了,比如用jquery, 效果也不好.给你几种方法:
1.选择用POST表单的形式,可以直接跨域
2.CURL传输可以实现跨域名,fsocket也是没有问题的.
你可以从上面的思路中找个投机取巧的方法, 比如在ajax先去服务器,再CURL去获取对应的数据等.
javascript 怎么获取指定url网页中的内容
javascript出于安全机制不允许跨域操作的。因此不能抓取其他网站的内容。
可以使用php中的
echo file_get_contents("网址");
也可以使用curl
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,"网址");
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
echo $data=curl_exec($ch);
curl_close($ch);
PHP/JS怎么在输出值的前后加上前缀和后缀
给个思路：1.用js实现，链接转换完成后，在浏览器的控制台加入自己的js代码，首先创建一个保存结果的文本框，然后去抓取每个输出并加上前后缀，存入文本框。
2.用curl下载网页后通过php抓取数据。