爬虫IP被限制怎么办？教你三招解决

有很多小白在学习Python的初期，都会遇到爬虫IP被限制的情况，那么在面对这种突发情况，有什么好的解决办法吗？别急，IPIPGO教你三招！

新沂网站制作公司哪家好，找创新互联！从网页设计、网站建设、微信开发、APP开发、自适应网站建设等网站项目制作，到程序开发，运营维护。创新互联从2013年开始到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

（一）降低访问速度，减小对于目标网站造成的压力。过快的访问会导致IP被封，我们首先要检测出网站设置的限制速度阈值，这样我们才可以设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，因为过于规律而被系统检测到，也会导致IP被封。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。

（二）设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率，如果抓取速度过慢，就失去了使用爬虫抓取的优势了。这时就可以使用代理IP，来规避网站对IP的检测来，通过切换不同的IP爬取内容，让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。选择代理时最好是IPIPGO这种住宅代理，真实家庭IP地址，不易被网站拦截。

（三）user_agent 伪装和轮换

不同浏览器的不同版本都有不同的user_agent，是浏览器类型的详细信息，也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent，绕过网站检测客户端的反爬虫机制。比如说，可以把很多的user_agent放在一个列表中，每次随机选一个用于提交访问请求，你可以找到提供各种user_agent的网站来使用。

burpsuite 抓包怎么设置

b1)http抓包，改包，重放。

step1)打开浏览器(这里以360浏览器为例)，设置BurpSuite中设置的代理监听IP和端口到代理服务器列表.

BurpSuite-设置的代理监听IP和端口

step2)打开BurpSuite中的http抓包功能。

BurpSuite-http抓包

step3)在浏览器中访问某目标网页地址，进行抓包。

BurpSuite-设置代理IP服务器

step4)在http抓包结果中选择指定的请求，发送到 Repeater(重放)中.

BurpSuite-Http Repeater

step5)进入Repeater区域，修改相关的http包的内容，放行http包，发送到目标服务器。

BurpSuite- Repeater

Golang 绑定mac和ip地址，限制服务器

实际业务：go 二进制文件在私有化部署中，需要对客户的服务器mac和ip进行绑定，系统只能运行在绑定的服务器上。把mac和ip地址配置到config中。

运行效果：系统可正常编译，正常访问，在用户Auth接口进行核对。

//检验Mac和内网IP，测试环境不做校验

func (c *CommonBase)CheckMacAndIp()error {

ipCfg :=g.Cfg().GetString("machine.Ipaddr")

macCfg :=g.Cfg().GetString("machine.Macip")

if ipCfg =="127.0.0.1" {

return nil

}

macArray,_ :=gipv4.GetMacArray()

if len(macArray) ==0 {

return gerror.New("mac地址获取失败")

}

if garray.NewStrArrayFrom(macArray).Contains(macCfg) ==false {

return gerror.New("示授权的应用MAC，请联系")

}

ipArray,_ :=gipv4.GetIpArray()

ipIntranetArray,_ :=gipv4.GetIntranetIpArray()

if len(ipArray) ==0 len(ipIntranetArray) ==0 {

return gerror.New("ip地址获取失败")

}

if garray.NewStrArrayFrom(ipArray).Merge(ipIntranetArray).Contains(ipCfg) ==false {

return gerror.New("示授权的应用IP，请联系")

}

return nil

}

项目使用GoFrame框架1.6。考虑到客户可能会对内存数据做分析破解，可以把mac和ip地址做AES加密。

Go 语言自我提升 (三次握手 - 四次挥手 - TCP状态图 - udp - 网络文件传输)

三次握手：

1. 主动发起连接请求端（客户端），发送 SYN 标志位，携带数据包、包号

2. 被动接收连接请求端（服务器），接收 SYN，回复 ACK，携带应答序列号。同时，发送SYN标志位，携带数据包、包号

3. 主动发起连接请求端（客户端），接收SYN 标志位，回复 ACK。

被动端（服务器）接收 ACK —— 标志着 三次握手建立完成（ Accept()/Dial() 返回 ）

四次挥手：

1. 主动请求断开连接端（客户端）， 发送 FIN标志，携带数据包

2. 被动接受断开连接端（服务器）， 发送 ACK标志，携带应答序列号。 —— 半关闭完成。

3. 被动接受断开连接端（服务器）， 发送 FIN标志，携带数据包

4. 主动请求断开连接端（客户端）， 发送 最后一个 ACK标志，携带应答序列号。—— 发送完成，客户端不会直接退出，等 2MSL时长。

等 2MSL待目的：确保服务器 收到最后一个ACK

滑动窗口：

通知对端本地存储数据的 缓冲区容量。—— write 函数在对端 缓冲区满时，有可能阻塞。

TCP状态转换：

1. 主动发起连接请求端：

CLOSED —— 发送SYN —— SYN_SENT(了解) —— 接收ACK、SYN，回发 ACK —— ESTABLISHED (数据通信)

2. 主动关闭连接请求端：

ESTABLISHED —— 发送FIN —— FIN_WAIT_1 —— 接收ACK —— FIN_WAIT_2 (半关闭、主动端)

—— 接收FIN、回复ACK —— TIME_WAIT (主动端) —— 等 2MSL 时长 —— CLOSED

3. 被动建立连接请求端：

CLOSED —— LISTEN —— 接收SYN、发送ACK、SYN —— SYN_RCVD —— 接收 ACK —— ESTABLISHED (数据通信)

4. 被动断开连接请求端：

ESTABLISHED —— 接收 FIN、发送 ACK —— CLOSE_WAIT —— 发送 FIN —— LAST_ACK —— 接收ACK —— CLOSED

windows下查看TCP状态转换：

netstat -an | findstr  端口号

Linux下查看TCP状态转换：

netstat -an | grep  端口号

TCP和UDP对比: 

TCP: 面向连接的可靠的数据包传递。 针对不稳定的 网络层，完全弥补。ACK

UDP：无连接不可靠的报文传输。 针对不稳定的 网络层，完全不弥补。还原网络真实状态。

优点                                                             缺点

TCP： 可靠、顺序、稳定                                      系统资源消耗大，程序实现繁复、速度慢

UDP：系统资源消耗小，程序实现简单、速度快                          不可靠、无序、不稳定

使用场景：

TCP：大文件、可靠数据传输。 对数据的 稳定性、准确性、一致性要求较高的场合。

UDP：应用于对数据时效性要求较高的场合。 网络直播、电话会议、视频直播、网络游戏。

UDP-CS-Server实现流程：

1.  创建 udp地址结构 ResolveUDPAddr(“协议”， “IP：port”) —— udpAddr 本质 struct{IP、port}

2.  创建用于 数据通信的 socket ListenUDP(“协议”, udpAddr ) —— udpConn (socket)

3.  从客户端读取数据，获取对端的地址 udpConn.ReadFromUDP() —— 返回：n，clientAddr， err

4.  发送数据包给 客户端 udpConn.WriteToUDP("数据"， clientAddr)

UDP-CS-Client实现流程：

1.  创建用于通信的 socket。 net.Dial("udp", "服务器IP：port") —— udpConn (socket)

2.  以后流程参见 TCP客户端实现源码。

UDPserver默认就支持并发！

------------------------------------

命令行参数： 在main函数启动时，向整个程序传参。 【重点】

语法： go run xxx.go   argv1 argv2  argv3  argv4 。。。

xxx.exe:  第 0 个参数。

argv1 ：第 1 个参数。

argv2 ：第 2 个参数。

argv3 ：第 3 个参数。

argv4 ：第 4 个参数。

使用： list := os.Args  提取所有命令行参数。

获取文件属性函数：

os.stat(文件访问绝对路径) —— fileInfo 接口

fileInfo 包含 两个接口。

Name() 获取文件名。 不带访问路径

Size() 获取文件大小。

网络文件传输 —— 发送端（客户端）

1.  获取命令行参数，得到文件名（带路径）filePath list := os.Args

2.  使用 os.stat() 获取 文件名（不带路径）fileName

3.  创建 用于数据传输的 socket  net.Dial("tcp"， “服务器IP+port”) —— conn

4.  发送文件名(不带路径)  给接收端， conn.write()

5.  读取 接收端回发“ok”，判断无误。封装函数 sendFile(filePath, conn) 发送文件内容

6.  实现 sendFile(filePath,  conn)

1) 只读打开文件 os.Open(filePath)

for {

2) 从文件中读数据  f.Read(buf)

3) 将读到的数据写到socket中  conn.write(buf[:n])

4）判断读取文件的 结尾。 io.EOF. 跳出循环

}

网络文件传输 —— 接收端（服务器）

1. 创建用于监听的 socket net.Listen() —— listener

2. 借助listener 创建用于 通信的 socket listener.Accpet()  —— conn

3. 读取 conn.read() 发送端的 文件名， 保存至本地。

4. 回发 “ok”应答 发送端。

5. 封装函数，接收文件内容 recvFile(文件路径)

1) f = os.Create(带有路径的文件名)

for {

2）从 socket中读取发送端发送的 文件内容 。 conn.read(buf)

3)  将读到的数据 保存至本地文件 f.Write(buf[:n])

4)  判断 读取conn 结束， 代表文件传输完成。 n == 0  break

}

golang udp编程

用户数据报协议（User Datagram Protocol，缩写为UDP），又称用户数据报文协议，是一个简单的面向数据报(package-oriented)的传输层协议，正式规范为RFC 768。

UDP只提供数据的不可靠传递，它一旦把应用程序发给网络层的数据发送出去，就不保留数据备份（所以UDP有时候也被认为是不可靠的数据报协议）。

UDP在IP数据报的头部仅仅加入了复用和数据校验。

由于缺乏可靠性且属于非连接导向协议，UDP应用一般必须允许一定量的丢包、出错和复制粘贴。

1 在接收udp包时，如果接收包时给定的buffer太小的话，就要自己解决粘包问题。

2 udp包的发送和接收不保证一定成功，不保证按正确顺序抵达。

3 如果不允许丢包的情况出现的话，要有重发机制来保证，如：反馈机制确认。

服务端

客户端

当前名称：go语言拦截ip数据包的简单介绍
网站网址：http://csdahua.cn/article/hgjhji.html