使用Python爬虫,基于本地IP直接向网站发送请求以爬取数据时,可能由于网站的反爬措施而导致IP封禁。特别是在课堂演示等场景下,多台主机多次在同一IP发送请求,很难不出现这样的问题。这里以豆瓣电影Top250的爬取为例,对问题进行解析,并提供一种基于IP代理的解决方案。
Perception
(32)
Idea
(24)
影视作品
(19)
本科专业课程-信息管理与信息系统
(14)
Daily
(12)
见证历史
(10)
经验
(9)
博客开发
(5)
党课
(5)
运筹学
(4)
乡村振兴
(4)
Minecraft我的世界
(4)
Python
(2)
足球
(2)
生涯规划
(2)
军事
(1)
系统分析与设计
(1)
数据挖掘与商务智能
(1)
计量经济学
(1)
文学作品
(1)
信息安全管理
(1)
企业管理流程
(1)
管理信息系统
(1)
桌游
(1)
AI绘图
(1)
红色著作
(1)
AI工具
(1)
数据采集
(1)
心理学
(1)
门将技术
(1)
战术小队Squad
(1)
大语言模型
(1)
科研工作流
(1)
找到 95 篇文章
Python | 基于IP代理的爬虫方法——以豆瓣电影Top250爬取为例
基于大模型Agent的SPSSAU在线数据分析网站导引方案
母亲的公司要求员工学习数据分析,她作为一线老HR,在不具备编程基础、统计学基础的前提下,却被要求掌握业务数据分析能力,着实是强人所难(卷到老员工了都)。于是有了本篇文章,试图通过大模型Agent的方式,辅助进行在线数据分析功能的导引。
该文章的方法同样适用于初步入门数据分析的同学,能够借助此创建一个AI导师,以辅助学习数据分析,或快速实现数据分析业务功能。
DeepSeek“出圈”之际,再看2023年梁文峰专访
DeepSeek彻底火“出圈”后,关于梁文峰、幻方量化的赞誉也充满了互联网。科技的突破固然令人振奋,赞誉之余,回顾往年的采访,我们才发现:这样的成功不是偶然,而是正确的道路、持续的积累、滴水石穿而成的。
引用采访见于:疯狂的幻方:一家隐形AI巨头的大模型之路。
