反爬虫的技术大概分为四个种类：
一、通过Usr-Agnt来控制访问：无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：hadrs，比如知乎的qustshadrs:
Accpt:txt/html,application/xhtml+xml,application/xml;q=0.9,imag/wbp,/;q=0.8Accpt-Encoding:gzip,dflat,sdch,brAccpt-Languag:zh-CN,zh;q=0.8,n;q=0.6,zh-TW;q=0.,da;q=0.2,la;q=0.2Cach-Control:max-ag=0Connction:kp-alivCooki:**********Host:北京白癜风在哪家医院治疗比较好呢北京看白癜风 专科医院