网站首页 第977页

• 

  大数据开源舆情分析系统-数据采集技术架构浅析

  舆情系统中数据采集是一个关键部分，此部分核心技术虽然由爬虫技术框架构建，但抓取海量的互联网数据绝不是靠一两个爬虫程序能搞定，特别是抓取大量网站的情况下，每天有大量网站的状态和样式发生变化以后，爬虫程序能快速的反应和维护。...

  2024-09-22 wxchong 开源技术 19 ℃ 0 评论
• 

  除了Android开发Kotlin 还能做什么?六款优质Kotlin项目分享

  Kotlin语言2011年由JetBrains推出，2012年开源，2017年成为Android官方开发语言，并于2019年成为Andoid开发官方首选语言。凭借其原生支持Java以及更少代码量的优势，也有越来...

  2024-09-22 wxchong 开源技术 19 ℃ 0 评论
• 

  我所理解的爬虫（对于爬虫的理解）

  在这个大数据时代，尤其提出DT时代的兴起，不管是做数据挖掘，还是做新兴的人工智能工作，数据作为不可或缺一部分。根据数据来源一般可以划分为本身生成数据，商业数据，开源数据。本身产品或工作中生产的数据。例如网站上的评论，ERP软件的物流管理数据...

  2024-09-22 wxchong 开源技术 18 ℃ 0 评论
• 

  爬虫神器，WebMagic如何监控?（python爬虫监控）

  1爬虫的监控爬虫的监控是0.5.0新增的功能。利用这个功能，你可以查看爬虫的执行情况——已经下载了多少页面、还有多少页面、启动了多少线程等信息。该功能通过JMX实现，你可以使用Jconsole等JMX工具查看本地或者远程的爬虫信息。...

  2024-09-22 wxchong 开源技术 43 ℃ 0 评论
• 

  爬虫神器，webmagic网页内容如何解析?

  Webmagic介绍和快速上手见文章《爬虫神器，WebMagic是也！》、《爬虫神器，WebMagic快速上手》。在webmagic中主要使用Jsoup和Xsoup来对网页内容进行解析。1、Jsoup和Xsoup...

  2024-09-22 wxchong 开源技术 20 ℃ 0 评论
• 

  爬虫神器，Webmagic快速上手如此简单

  Webmagic介绍见上一篇文章《爬虫神器，Webmagic是也！》，本篇文章主要讲解如何快速上手使用Webmagic。一、快速上手上面介绍了很多组件，但是其实使用者需要关心的没有那么多，因为大部分模块WebMagic已经提供了默认实现。...

  2024-09-22 wxchong 开源技术 18 ℃ 0 评论
• 

  爬虫神器，WebMagic组件的使用和定制

  WebMagic的一大特色就是可以灵活的定制组件功能，实现你自己想要的功能。在Spider类里，PageProcessor、Downloader、Scheduler和Pipeline四个组件都是Spider的字段。除了PageProcess...

  2024-09-22 wxchong 开源技术 15 ℃ 0 评论
• 

  Java爬虫框架——WebMagic应用（java爬虫用什么框架）

  一、简介WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。扩展部分(webmagic-extension)提供一些便捷的功能，例如注...

  2024-09-22 wxchong 开源技术 13 ℃ 0 评论
• 

  大数据采集:爬虫框架之WebMagic的基本使用

  webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式...

  2024-09-22 wxchong 开源技术 16 ℃ 0 评论
• 

  R语言常用包（r语言常用的数据包）

  R语言是一个强大的统计分析和图形表示的编程语言，其强大的功能主要依赖于各种各样的包。以下是一些R语言常用的包，它们涵盖了数据导入、数据预处理、数据可视化、数据分析、机器学习等多个方面：1、数据导入与导出...

  2024-09-22 wxchong 开源技术 20 ℃ 0 评论