曾经我最开始入编程就是从爬虫开始的,后来很久都么接触过相关的技术。最近我有一堆 vps 闲置,配置都不高,不知道干什么用,好像就是 ip 资源比较值钱,为啥不做个爬虫呢? 它必须是分布式的,比如有日志,有重试机制,有任务管理,有可视化看板,还要能检测源站状态。 以前其实学过一些爬虫框架,但现在我想试试以目前的水平能不能手撸一个,毕竟温习原来的框架也需要时间不是。 断断续续写了大半天,写完了,还配了…
曾经我最开始入编程就是从爬虫开始的,后来很久都么接触过相关的技术。最近我有一堆 vps 闲置,配置都不高,不知道干什么用,好像就是 ip 资源比较值钱,为啥不做个爬虫呢? 它必须是分布式的,比如有日志,有重试机制,有任务管理,有可视化看板,还要能检测源站状态。 以前其实学过一些爬虫框架,但现在我想试试以目前的水平能不能手撸一个,毕竟温习原来的框架也需要时间不是。 断断续续写了大半天,写完了,还配了…
讨论
登录后参与讨论
还没有评论,来说第一句吧。