网站首页 webmagic

• 

  Android 开发者应该知道的 Kotlin 技巧 | Gitee 项目推荐

  虽然Kotlin正处于发展的初始阶段，但是它天生能与Java100%互通，而且Kotlin自身也在不断成长与进步。在日新月异的互联网时代，开发者只有拥抱变化，才能走得更远。小编为大家整理了些优秀的Kotlin开源项目，希望能...

  2024-09-28 wxchong 开源技术 13 ℃ 0 评论
• 

  java技术栈-服务四层技术（java技术架构图）

  技术栈-服务四层技术服务四层中包括中间件（Kafka、Mycat）、计算（Spark、Neo4j、Hive）、索引、微服务、大数据存储等重难点技术...

  2024-09-28 wxchong 开源技术 13 ℃ 0 评论
• 

  程序员高效率实用工具推荐(web开发+爬虫+数据库+……)

  最近我深深的发现利用好编程实用小工具，代码简直在狂奔，工作效率也在大大提升。那种没有deadline压迫感的得意嘴脸，估计你分分钟想往我脸上扔100个臭鸡蛋……为了让大家能像我一样神清气爽，不再成为工作的苦役，我决定发扬人道主义精神，把我压...

  2024-09-22 wxchong 开源技术 31 ℃ 0 评论
• 

  web开发之-PHP面向对象(9)（php面向对象和面向过程）

  今天终于要到面向对象的最后一节课了，这里整理一下之前遗漏的知识点。在这节课之后，我们将会进入到数据库的环节，毕竟任何一个程序都需要使用数据库来保存数据的！魔术方法魔术方法就是PHP自带的一些类的方法，在这里，我们举例几个常用的，其他的大家可...

  2024-09-22 wxchong 开源技术 14 ℃ 0 评论
• 

  大数据开源舆情分析系统-数据采集技术架构浅析

  舆情系统中数据采集是一个关键部分，此部分核心技术虽然由爬虫技术框架构建，但抓取海量的互联网数据绝不是靠一两个爬虫程序能搞定，特别是抓取大量网站的情况下，每天有大量网站的状态和样式发生变化以后，爬虫程序能快速的反应和维护。...

  2024-09-22 wxchong 开源技术 14 ℃ 0 评论
• 

  除了Android开发Kotlin 还能做什么?六款优质Kotlin项目分享

  Kotlin语言2011年由JetBrains推出，2012年开源，2017年成为Android官方开发语言，并于2019年成为Andoid开发官方首选语言。凭借其原生支持Java以及更少代码量的优势，也有越来...

  2024-09-22 wxchong 开源技术 15 ℃ 0 评论
• 

  我所理解的爬虫（对于爬虫的理解）

  在这个大数据时代，尤其提出DT时代的兴起，不管是做数据挖掘，还是做新兴的人工智能工作，数据作为不可或缺一部分。根据数据来源一般可以划分为本身生成数据，商业数据，开源数据。本身产品或工作中生产的数据。例如网站上的评论，ERP软件的物流管理数据...

  2024-09-22 wxchong 开源技术 14 ℃ 0 评论
• 

  爬虫神器，WebMagic如何监控?（python爬虫监控）

  1爬虫的监控爬虫的监控是0.5.0新增的功能。利用这个功能，你可以查看爬虫的执行情况——已经下载了多少页面、还有多少页面、启动了多少线程等信息。该功能通过JMX实现，你可以使用Jconsole等JMX工具查看本地或者远程的爬虫信息。...

  2024-09-22 wxchong 开源技术 39 ℃ 0 评论
• 

  爬虫神器，webmagic网页内容如何解析?

  Webmagic介绍和快速上手见文章《爬虫神器，WebMagic是也！》、《爬虫神器，WebMagic快速上手》。在webmagic中主要使用Jsoup和Xsoup来对网页内容进行解析。1、Jsoup和Xsoup...

  2024-09-22 wxchong 开源技术 15 ℃ 0 评论
• 

  爬虫神器，Webmagic快速上手如此简单

  Webmagic介绍见上一篇文章《爬虫神器，Webmagic是也！》，本篇文章主要讲解如何快速上手使用Webmagic。一、快速上手上面介绍了很多组件，但是其实使用者需要关心的没有那么多，因为大部分模块WebMagic已经提供了默认实现。...

  2024-09-22 wxchong 开源技术 15 ℃ 0 评论