ip代理的使用方法(源码)

评论
9,431 views

Web服务器

一.了解代理
1 使用代理ip的目的
让服务器以为不是同一个客户端在请求
防止我们的真实地址被泄露，防止被追究
2 使用代理的过程

image.png

3 正向代理和反向代理的区别

image.png

通过上图可以看出：

正向代理：对于浏览器知道服务器的真实地址，例如VPN
反向代理：浏览器不知道服务器的真实地址，例如nginx
是否知道服务器的真实地址是正向代理和反向代理的主要区别
4 代理的使用
用法： requests.get(“http://www.baidu.com”, proxies = proxies)
proxies的形式：字典
例如：
proxies = {
“http”: “http://12.34.56.79:9527”,
“https”: “https://12.34.56.79:9527”,
}

5 代理IP的分类
根据代理ip的匿名程度，代理IP可以分为下面四类：

透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。

匿名代理(Anonymous Proxy)：匿名代理比透明代理进步了一点：别人只能知道你用了代理，无法知道你是谁。

混淆代理(Distorting Proxies)：与匿名代理相同，如果使用了混淆代理，别人还是能知道你在用代理，但是会得到一个假的IP地址，伪装的更逼真

高匿代理(Elite proxy或High Anonymity Proxy)：可以看出来，高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从使用的协议：代理ip可以分为http代理，https代理，socket代理等，使用的时候需要根据抓取网站的协议来选择

6 代理IP使用的注意点
反反爬
使用代理ip是非常必要的一种反反爬的方式,但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫

比如：

一段时间内，检测IP访问的频率，访问太多频繁会屏蔽
检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽
服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽
所以更好的方式是购买质量更高的代理组装自己的代理IP池，同时在使用的时候使用随机的方式进行选择使用，不要每次都用一个代理ip

代理ip池的更新
购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。对应的实现方式在我们学习了超时参数的使用之后大家会了解

二:代理的使用

获取页面源码: urllib , requests, selenium
2.解析源码: 正则, beautifulsoup4, lxml, pyquery, selenium.

import urllib.request
import requests
from fake_useragent import UserAgent
from selenium import webdriver
# urllib代理使用情况

# 不使用代理情况


# res = urllib.request.urlopen('http://httpbin.org/get')
res = urllib.request.urlopen('http://httpbin.org/user-agent')
print(res.read().decode('utf-8'))

# 解决头部headers中user-agent还有代理的问题

ua = UserAgent()


headers = {
    'User-Agent': ua.random
}
url='http://httpbin.org/get'
req = urllib.request.Request(headers=headers, url=url)
res = urllib.request.urlopen(req)
print(res.read().decode('utf-8'))




# 使用情况
proxy = urllib.request.ProxyHandler({
    'http': 'http://101.132.149.193:8080',
    'https': 'https://101.132.149.193:8080'
})

opener = urllib.request.build_opener(proxy)
ua = UserAgent()
# 设置头部中的User-Agent参数
opener.addheaders = [
    ('User-Agent',ua.random)
]
res = opener.open('http://httpbin.org/get')
print(res.read().decode('utf-8'))




# requests的使用情况

# 1.不使用代理
# 默认User-Agent为python-requests/2.2xxx
res = requests.get('http://httpbin.org/get')
print(res.text)


# 2.使用代理
ua = UserAgent()
# 设置头部中的User-Agent参数
headers = {
    'User-Agent': ua.random
}
proxies = {
    'http': 'http://101.132.149.193:8080',
    'https': 'https://101.132.149.193:8080'
}
res = requests.get(url='http://httpbin.org/get',
                   headers = headers,
                   proxies = proxies)
print(res.text)




# seleniium的代理使用

options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://101.132.149.193:8080')
browser = webdriver.Chrome(chrome_options=options)

browser.get('http://httpbin.org/get')

来源： ip代理的使用方法(源码) - 简书