使用Python爬虫,基于本地IP直接向网站发送请求以爬取数据时,可能由于网站的反爬措施而导致IP封禁。特别是在课堂演示等场景下,多台主机多次在同一IP发送请求,很难不出现这样的问题。这里以豆瓣电影Top250的爬取为例,对问题进行解析,并提供一种基于IP代理的解决方案。
Perception
(32)
Idea
(24)
影视作品
(19)
本科专业课程-信息管理与信息系统
(14)
Daily
(12)
见证历史
(10)
经验
(9)
博客开发
(5)
党课
(5)
运筹学
(4)
乡村振兴
(4)
Minecraft我的世界
(4)
Python
(2)
足球
(2)
生涯规划
(2)
军事
(1)
系统分析与设计
(1)
数据挖掘与商务智能
(1)
计量经济学
(1)
文学作品
(1)
信息安全管理
(1)
企业管理流程
(1)
管理信息系统
(1)
桌游
(1)
AI绘图
(1)
红色著作
(1)
AI工具
(1)
数据采集
(1)
心理学
(1)
门将技术
(1)
战术小队Squad
(1)
大语言模型
(1)
科研工作流
(1)
找到 95 篇文章
Python | 基于IP代理的爬虫方法——以豆瓣电影Top250爬取为例
我的博客遭受DDOS攻击了?
这两天刚刚考完三科专业课,打开博客后台,却发现评论激增到400余条。结合之前的异常评论,才发现我的服务器正在以一个固定的频率接受一个陌生IP的无意义评论请求,貌似是Ddos攻击。这让我十分疑惑:“攻击者”是谁?“攻击者”的目的是什么?如何防范?
基于大模型Agent的SPSSAU在线数据分析网站导引方案
母亲的公司要求员工学习数据分析,她作为一线老HR,在不具备编程基础、统计学基础的前提下,却被要求掌握业务数据分析能力,着实是强人所难(卷到老员工了都)。于是有了本篇文章,试图通过大模型Agent的方式,辅助进行在线数据分析功能的导引。
该文章的方法同样适用于初步入门数据分析的同学,能够借助此创建一个AI导师,以辅助学习数据分析,或快速实现数据分析业务功能。
Python绘图:常见中文显示异常问题及其解决方案
在Python绘图中,尤其是使用Matplotlib和Seaborn等库时,经常会出现中文显示异常的问题。本文对个人本地知识库《Python绘图:plt中文字体+公式显示》和《Python绘图:seaborn风格的中文字体设置方法》两则笔记的总结,供查阅。