一、黑谷科技抓取抖音留言粉丝用了什么技术
黑谷科技是一家以数据挖掘和人工智能为核心的科技公司，他们利用先进的算法和技术来抓取抖音留言和粉丝数据。具体来说，他们可能使用以下技术来实现抓取功能：
1. 爬虫技术：通过编写网络爬虫程序，黑谷科技可以模拟用户的行为自动访问抖音的网页，从而获取到留言和粉丝数据。
2. 数据抓取框架：黑谷科技可能会使用一些开源的数据抓取框架，例如Scrapy、Beautiful Soup等，来辅助实现数据抓取功能。
3. 数据存储和处理：黑谷科技可能会使用一些数据库技术，如MySQL、MongoDB等，来存储和处理抓取到的数据。
需要注意的是，抓取抖音留言粉丝数据可能涉及到隐私和法律问题，一般情况下需要遵循相关的合规要求和协议。这些技术只是一种可能性，具体情况可能需要参考黑谷科技所公开的技术和业务方向。
二、抖音有没有声明禁止爬虫
有。
爬虫就是我们利用某种程序代替人工批量读取、获取网站上的资料信息。而反爬则是跟爬虫的对立面，是竭尽全力阻止非人为的采集网站信息，二者相生相克，水火不容，到目前为止大部分的网站都还是可以轻易的爬取资料信息。爬虫想要绕过被反的策略就是尽可能的让服务器人你不是机器程序，所以在程序中就要把自己伪装成浏览器访问网站，这可以极大程度降低被反的概率。
三、java 如何实现网络爬虫，爬取新闻评论，新闻内容可以获取，但是评论无法在网页源码显示。
如果评论是通过AJAX显示的，那么抓取有一定难度。
你的爬虫需要能够解释JS，并解惑JS的内容。
但如果你只针对少数的网站进行抓取，则可以针对这些网站开发专用的蜘蛛。人工分析其JS，从中找到其获取评论的AJAX接口，然后抓之。这样简单。
还可以用爬虫操作一个浏览器，通过浏览器的接口获取其运行完成后的显示的内容
四、用Php写一个爬虫抓取新闻
用正则表达式，你试试
好多采集软件也能支持这个新闻采集啊，比如说八爪鱼采集器，把你要抓取的新闻页面URL输入进去，就可以实现自动抓取，还能设置定时抓取，你可以去试试看
五、python爬虫抓取哪儿网页上的一些字段
1. 获取html页面
其实，最基本的抓站，两句话就可以了
[python] view plaincopy
import urllib2
content = urllib2.urlopen('').read()
这样可以得到整个html文档，关键的问题是我们可能需要从这个文档中获取我们需要的有用信息，而不是整个文档。这就需要解析充满了各种标签的html。
2. 解析html
SGMLParser
Python默认自带HTMLParser以及SGMLParser等等解析器，前者实在是太难用了，我就用SGMLParser写了一个示例程序：
[python] view plaincopy
import urllib2
from sgmllib import SGMLParser
class ListName(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_h4 =
self.name = []
def start_h4(self, attrs):
self.is_h4 = 1
def end_h4(self):
self.is_h4 =
def handle_data(self, text):
if self.is_h4 == 1:
self.name.append(text)
content = urllib2.urlopen('').read()
listname = ListName()
listname.feed(content)
for item in listname.name:
print item.decode('gbk').encode('utf8')
注意：我的电脑是win7中文系统，为了避免出现乱码，最后一行使用
[python] view plaincopy
for item in listname.name:
print item
很简单，这里定义了一个叫做ListName的类，继承SGMLParser里面的方法。使用一个变量is_h4做标记判定html文件中的h4标签，如果遇到h4标签，则将标签内的内容加入到List变量name中。解释一下start_h4()和end_h4()函数，他们原型是SGMLParser中的
start_tagname(self, attrs)
end_tagname(self)
tagname就是标签名称，比如当遇到<pre>，就会调用start_pre，遇到</pre>，就会调用 end_pre。attrs为标签的参数，以[(attribute, value), (attribute, value), ...]的形式传回。