您的位置  > 互联网

什么是代理服务器代理ip之后如何使用命令行来?

前言

在使用爬虫爬取某些网站时,为了防止网站发现我们的IP,我们会模拟其他用户的IP地址来访问该网站。 相当于间接访问网站。 流程如下:

我们使用代理服务器来间接访问网络,并通过代理返回数据。 而不是直接经历这个过程。

先看正文,什么是代理服务器

代理服务器(Proxy)的作用是代表网络用户获取网络信息。 形象地说,它是网络信息的中转站,是个人网络与服务提供商之间的中介机构。 负责转发合法的网络信息,并对转发进行控制和注册。

其次,请求使用代理。

当我们知道了代理IP之后,我们该如何使用它呢?

import requests
response=requests.get("http://www.baidu.com",proxies={"http":"127.0.0.1:1245"})
print(response.text)

在使用requests模块去请求接口时,便可以通过参数proxies 来进行传输,将所需要的代理ip进行设置。

三、如何在本地电脑上使用代理服务器。

现在您已经了解了如何在请求接口时添加代理,那么如何为本地结算机设置代理呢?

找到我们的代理 IP 并按照以下步骤操作。

方法一:手动设置代理

1.按win键,或者打开IE浏览器

2. 搜索选项,或在IE浏览器右上角设置选择选项。

3.点击连接,找到LAN设置

4. 检查代理并设置IP地址和端口。

这样我们就成功设置了代理,接下来访问的所有数据都会传输到这个代理IP上。

方法二:直接使用命令行修改

这个修改太麻烦了。 直接使用命令行是不是更简单?

设置代理:

@echo offecho 设置代理服务器……reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 1 /freg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyServer /d "39.106.223.1342:80" /fstart iexplore.exePause

取消代理:

@echo offecho 取消代理服务器……reg add "hkcu\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 0x0 /fstart iexplore.exePause

为什么这里需要启动IE浏览器呢? 主要原因是为了让我们的配置生效。 我们尝试了一些方法,但都无法生效。 启动IE浏览器即可生效,更加快捷简单。

第四,验证电脑代理IP是否有用以及服务器接收状态。

我们已经设置成功了,但是当我们访问网站时它能起作用吗? 考虑到这一点,我们继续往下看。

如果需要验证,那么我们就需要使用服务器。 当我们请求服务器时,我们可以通过显示的IP来知道它是否有效。

服务器端:我们需要在服务器端建立一个简单的网站。 我们可以通过服务器打印的日志看到当前请求的IP。 这里我们使用的是服务器。 如果有兴趣学习学习的话,可以先花五十块钱购买。 在便宜的服务器上玩一个月。 当然,目的不仅仅只是为了研究这个课题,还有其他的目的。

代码如下所示:

from flask import *app = Flask(__name__)@app.route('/')def index():    ip = request.remote_addr#获取用户ip    return "你的ip为"+ipif __name__ == '__main__':    app.run(host="0.0.0.0",port=8088)#0000,允许所有用户访问,127.0.0.1允许本地用户访问。

这里,我可以使用我的服务器IP来访问,:8088/,网站:当我们访问这个链接时,我们可以查询IP。

1、原创IP

客户端显示:

服务器端请求情况:

好的,我们成功获取IP了。 接下来,我们尝试另一个代理IP。

2.代理IP

我们使用代理IP为58.240.52.114:80。

客户端显示:

服务器端显示:

从这个简单的例子我们可以看出,我们本地使用的代理IP是有效的。 那使用模块请求呢,如图所示,我们可以看到结果是一样的。 这说明代理IP确实可以为服务器端屏蔽IP。

第五,代理、安全及相关工具。

本地设置代理的方式有很多种,比如上面提到的第三种。 然后还有:

工具,如图所示,我们可以通过设置代理端口来进行设置。 本地请求的数据将发送到127.0.0.1:8888:

它只是其中之一,也是我们测试同学常用的软件。 此外,您还可以设置代理并添加代理服务器。

当然,还有很多其他工具,这里就不一一列举了。

常用于爬虫分析、安全分析、测试同学测试抓包。

这里是否可以拦截proxy的使用? 当您使用代理访问时,访问被禁止。

1.js,app判断系统是否设置代理。 如果设置了代理,则会发出警告并且不会加载数据。

优点:速度快,缺点:用户通过修改、替换仍然可以访问JS代码。 但普通用户无法操作。 大多数人都正常访问。

2、限制代理IP访问,建立代理IP库,存储市场上的代理IP。 用户访问时,与代理IP库进行比较。 如果有,直接禁止。

优点是可以限制大部分代理IP。 缺点:增加了额外的查询步骤,速度降低。

3、无限制。 普通用户一般不会这么做,也不知道怎么做。 做好用户测试。 如果没有这个用户,即使你有代理IP,你仍然是这个用户。 如果您更改用户,则由您决定。

当然,如果你还有其他好的方法,也可以在评论区讨论。

六、搭建自己的代理服务器

要构建代理服务器,您需要使用一个软件。

资源链接(已破解):公众号回复“代理服务器”即可获取

在您的服务器上安装该软件并启动它。 通过设置,我们可以设置代理端口号。 根据对应的所需服务设置端口号。

这样我们的代理服务器就搭建好了,代理ip:123.207.31.148:808然后我们验证我们的代理是否有效。

第七,代理服务器有效性验证。

如果我们想验证自己搭建的代理服务器是否有效,我们就直接看这次的模块是否有效。 我们需要做的就是对比代理服务器启动前后的变化来判断。

1、代理服务未启动时

关闭代理并请求接口。 会提示代理服务器错误,提示没有该代理:

import requestsresponse=requests.get("http://123.207.31.148:8088/",proxies={"http":"123.207.31.148:808"})print(response.text)


2.代理服务器启动时

我们启动代理服务器并发出另一个请求。 我们可以将其与下面两张图和上面的两张图进行比较。 IP也是我们设置的代理服务器,我们的代理服务器是有效的。

用户终端:

服务终端:

3.修改代理服务器端口

我们把原来的808端口改成8081再试试。 808 将不再生效。

8081请求:

这样我们的代理服务器也表明设置是有效的。

八、爬取代理服务器

我们已经设置了代理服务器。 同样,当我们有数百或数千台服务器并且都设置了代理服务器时,我们是否有自己的代理IP池? 但我们没有那么多钱,也没有这个需要。 你只能用别人的。

获取代理IP池,代码如下:

import requestsfrom bs4 import BeautifulSoup
def proxy_ip(protocol=["http"],anonlv1=[],country=["CN"]): """ :param protocol: 请求方式:http,https,socks4,socks5 :param anonlv1: 级别:1,2,3,4 L1 – 透明,L2 – 匿名,L3 – 扭曲,L4 – 精英 :param country: 国家,无为全部,CN 中国 :return:ip_list,ip列表 """ text="" for i in protocol: text+="protocol="+i+"&" for i in anonlv1: text+="anonlv1="+i+"&" for i in country: text+="country="+i+"&" global headers headers={ 'Cookie': '_ga=GA1.2.1786575828.1619658683; _gid=GA1.2.555491280.1623999959; _gat=1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36' } response=requests.get("http://proxydb.net/?"+text,headers=headers) Soup = BeautifulSoup(response.text, "html.parser") table = Soup.find_all("table")[0].find_all("a") list=[] for i in table: ip=i.get_text() list.append(ip) return list

文章摘要

通过这篇文章,你可以了解到

1、如何为模块设置代理。

2.代理IP设置真的有效吗?

3. 如何设置自己的代理服务器。

4. 获取代理IP池。

在安全性方面,因为当我们请求的时候,数据会被发送到代理服务器。 如果请求是明文形式,代理服务器可以获取您的账户信息。

同理,翻墙软件也是一种代理,不过是国外的代理。 防火墙软件也可以获取您的用户信息,所以大家需要注意个人信息的安全。