爬取网络上的海量数据有哪些?爬取网络上的海量数据如何正确选取?-全球热闻
(资料图)
要想获得不同社交网络上的用户数据,现行的普遍方法就是网络爬虫(或直接下载)。抛开直接下载这一简单粗暴的方式来讲,爬取网络上的海量数据不失为一种不错的方式。然而,对爬取数据的正确选取对成功分析数据起到至关重要的作用。主要原因如下:
选取有意义的数据。若爬取的数据包含信息量小,或者爬取的不同社交网络上的数据没有重合属性,那么这些数据的意义并不大。目前通过推理得到的匹配结果一个是慢,另一个也不能保证准确率。选取好获取的数据。如果数据难以获取或者网页上反爬虫机制高端,那么爬取数据的速度和难度可想而知。无法在短时间获取大量数据,就无法体现大数据的魅力与功效,因而不值得推崇。选取自己了解的数据。如果一个人不熟悉他要爬取的数据,就要额外花时间进行数据的阅读与理解。以及筛选有用数据。
可能的数据:
CSDN:开始打算爬取这方面的数据,因为对其很熟悉。然而,其不能直接看到博主的所有粉丝(只能看到6个),也没有博客专家的排名,不便获取用户的链接。此外,很多用户在信息填写方面留有很多空白,大多数都没填写个人信息。因此,放弃之。领英:注册了领英账号,发现其要求填写真实姓名、联系电话等较为真实的信息。然而,领英具有较好的反爬虫机制(网上这样说),而且领英上有很多外国人,不符合实验对中国用户进行研究的设定。但是领英也有好处,那就是其信息基本都是真实的,对于人的姓名、工作经历、教育经历等都是有质量保证的。简书:和CSDN类似的数据,有与CSDN相同的问题:大多数人都没填写个人信息。但是,简书可以显示更多的粉丝(网传900个),也有热点话题,因此可以爬取一定数量的信息。但属性信息和真实度相对来说不能保质保量。人人网:好处就是应该比较好爬,有现成的代码。里面的信息也较为真实。缺点就是信息过于陈旧,可能是多年前风靡一时的时候填写的资料。58同城:像是中国版的领英。有很多求职信息,姓名、工作经历、教育经历等相对真实。可以作为爬取的一个信息来源。
经过上述分析,考虑先尝试爬取58同城上的相关信息。人人网也可以考虑作为爬取的内容之一(毕竟之前风靡校园,像我一样的同学人人都有账号)。简书中包含的属性信息还是太少,且真实性没法保证,付出与回报不成正比,暂不考虑。
标签:
相关推荐:
最新新闻:
- 世界今头条!怎么清除电脑个人隐私?电脑隐私清理软件WipePro
- 卡巴斯基7.0最新激活码(KA5ZP3-3H9)
- flash动画背景透明的方法 MG动画制作|万彩动画大师_当前简讯
- 爬取网络上的海量数据有哪些?爬取网络上的海量数据如何正确选取?-全球热闻
- 天天讯息:支付宝宁波银行快捷支付如何开通?支付宝快捷支付开通流程
- 【scrapy】scrapy使用pycharm打开项目目录-当前热点
- 钉钉内置的“群直播”功能怎么用?教你一招-全球报资讯
- 环球速读:【教程】PyTorch中文版官方教程出炉
- 微信占用内存太大怎么办?微信如何清理空间?-全球即时看
- 世界动态:《幽灵线:东京》“蜘蛛丝”更新将添加肉鸽模式和剧情扩展
- 《实习班主任》好评发售中,更新繁体版本及更多游戏内容!
- 百度“文心一言”正式发布!现场续写三体 全球短讯
- 【生活百科】吸湿盒和除湿包哪个更好用?:天天快讯
- 《原始袭变》B测容量曝光 只有30G不到
- NDK移植编译 android-ndk-r10dNDK基本流程-全球时讯
- 分治思想的核心是什么?简述递归和分治的关系
- 怎样安装安卓平板电脑软件?安装安卓平板电脑软件的注意事项有哪些?
- 微信抢红包怎么抢最佳?从青铜级到王者级的操作招式-信息
- 今日英语四级考级只能在大学考吗_英语考级可以直接考四级吗
- 随时随地实现大屏自由!16英寸2K便携显示器低至689元_通讯
- 【长测】3500捡漏折叠屏:日常使用篇
- 13代i9+锐炫A370M,联想小新Pro27 2023一体机发布 世界热文
- 林氏木业家具旗舰店聚焦消费者实际需求
- 荣耀手机推出“一翻即扫”功能,扫码不用点开支付宝
- OPPO Find X6系列官宣 “专业相机”设计彰显影像实力_全球微动态
- 微软签署第四份10年协议 《使命召唤》将登陆更多平台
- 知名爆料人:《生化危机4重制》共有40个奖杯
- 环球头条:谷歌眼镜全面停售:产品线终结 9月将结束软件支持
- iPhone 15 Pro真机泄露:边框圆润 外观变化大 全球球精选
- iPhone加大印度代工量:但合格率堪忧
- 苹果要对iPhone 15 Pro涨价 直接过万
- 当前时讯:杀疯了!256GB USB3.2 U盘跌破百元
- 杨紫琼×吴彦祖《美生中国人》艺术海报释出 中西合璧:每日速看
- 卡普空《恐龙浩劫》B测PS平台容量曝光:PS5版27GB|当前通讯
- iPhone 14补贴价4899元 新版黄色也有好价
- 微星新款34英寸显示器发布:175Hz高刷 8999元|天天视点
- 办公自动化是什么意思有证书?_办公自动化是什么:环球百事通
- iPhone 15 Pro Max最强 独占技术:涨价了
- 小米MIUI 14将推第三批:小米10等老旗舰将升级
- iPhone 13系列重新上架:直接立减2300|今日最新
- 卡普空《恐龙浩劫》超长实机 高科技战士爆杀原始恐龙
- 蟋蟀主题收集养成游戏《沉默的蟋蟀》上架Steam
- 马保国:B站年轻人很过分 赚6个亿后栽赃我 没起诉是给面子 世界视讯
- 《炉石传说》被移出亚运会项目 因暴雪国服已关闭
- FavoriteVideo是什么文件?FavoriteVideo的两种情况简述
- 格式化的U盘怎么恢复?格式化的U盘恢复全教程
- 如何用磁盘清理命令清理磁盘垃圾?教你清理磁盘的实用攻略
- 如何将账户设置为管理员账户?设置win10账户为管理员账户的方法
- proteus元件库使用说明 如何制作proteus元件?
- 笔记本电脑如何外接显示屏?电脑显示屏参数怎么调最合理?
- 魔兽世界怎么修改字体大小?改字体大小教程
- 什么是热键冲突?热键冲突被占用怎么解决?
- 电脑上的感叹号怎么打出来?如何打出一堆感叹号?
- 电压表工作原理是什么?电压表串联在电路中会怎么样?
- 微软的MSDN是什么意思?MSDN如何下载并安装?
- office2003文件格式兼容包怎么安装?office200兼容包下载安装方法
- MPQMaster是什么?MPQMaster的使用说明
- 本地连接显示网络电缆被拔出是什么原因?本地连接显示网络电缆被拔出解决方法步骤
- 低格命令是什么?format命令格式化u盘操作
- dns欺骗攻击是什么意思?dns欺骗攻击怎么办?dns欺骗攻击如何防范?
- 内存卡坏了怎么修复?七种修复内存方法介绍
- 鼠标出现连击怎么办?鼠标出现连击的处理方案
- 从同人作者到游戏制作人 醋仙的“顶流偶像”之路
- 天天速读:曝《炉石传说》或被移出亚运项目!因暴雪网易未续约
- Switch在线新追加游戏上线 《星之卡比2》等4款经典-每日热文
- 【世界独家】尼尔:《最后生还者》第1季最后一集神秘黑影不是艾比
- 热头条丨恐怖新作《The Kindeman Remedy》公布 疯狂医生恐怖实验
- 《怪物猎人崛起:曙光》发布新活动任务 获得称号奖励 环球百事通
- 港股异动 | 大唐新能源(1798.HK)涨4.5% 2月发电量同比增加16.57%
- 【世界新视野】长江存储颗粒!2T固态硬盘跌至569元
- 中国土豪109万拿下《CS:GO》AK47野荷皮肤 当前视点
- 环球聚焦:小米首款智能鱼缸399元开售 3个月不用喂食
- 王者荣耀镜新皮肤爆料,玫瑰异探外观公布,形似露娜又一款经典
- 【全球速看料】安森美扩展蓝牙低功耗微控制器系列到汽车无线应用
- 【全球时快讯】《勇者斗恶龙12》故事基本完成 制作人:游戏会很有趣