爬虫岗位职责

时间：2023-02-13 13:54:18 岗位职责

爬虫岗位职责

　　在现实社会中，岗位职责起到的作用越来越大，岗位职责具有提高内部竞争活力，更好地发现和使用人才的作用。想学习制定岗位职责却不知道该请教谁？下面是小编帮大家整理的爬虫岗位职责，欢迎大家分享。

爬虫岗位职责

爬虫岗位职责1

　　职责描述：

　　1，负责网络爬虫系统的'设计与开发

　　2，对爬取的网页信息进行数据抽取，清洗和去重等工作

　　任职要求：

　　1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业，

　　2、积极、沟通顺畅，工作认真负责

　　3、扎实的编程能力，熟悉常用算法和数据结构等基础知识

　　4、熟练掌握开发语言java或c/c++，熟悉脚本语言和正则表达式

爬虫岗位职责2

　　职位描述：

　　工作职责：

　　1.开发网页自动化脚本。

　　2.负责商品信息结构化，编写自动化脚本解析网页信息。

　　3.商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。

　　4.设计、开发、测试、部署以及维护并改进各子系统；

　　5.管理项目优先级并按时交付。

　　职位要求：

　　1.全日制统招本科、硕士毕业，1年以上软件开发工作经验；

　　2.熟悉至少一门通用静态编译编程语言，c/c++/java/c#/go；

　　3.熟悉web端基础标准，包括html、css、javascript、json等；

　　4.熟悉python或其他脚本语言，有兴趣和能力根据需求学习其他编程语言；

　　5.熟悉unix/linux环境，memcache/redis/mongodb等存储系统，能独立设计开发包括前后端交互的业务子系统；

　　6.熟悉常见的设计模式、单元测试、持续开发集成、code review，并能在日常工作践行；

　　7.了解搜索引擎、电子商务、社交类应用的`系统基本架构，能对已有的子系统进行优化调整的优先；

　　8.活跃的开源项目贡献者优先。

爬虫岗位职责3

　　职位要求:

　　具备良好的计算机基础，熟悉http协议，具备良好的`基础前端知识;

　　有过良好的高并发系统的后台开发经验;

　　具备一定的数据处理/分析经验，熟悉hadoop、mapreduce、spark等并行计算框架;

　　了解小程序的基础框架，有实际开发经验更优;

　　掌握c/c++、python等一门或多门语言，有nodejs开发经验更优;

　　如果您还具备以下技能，我们会优先考虑:

　　具备网络爬虫系统的开发经验，有反爬虫实践经验;

　　具备机器学习框架的开发使用经验;

　　熟悉传统搜索引擎的seo规则。

爬虫岗位职责4

　　职责描述：

　　1.参与爬虫系统的架构设计与开发；

　　2.负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；

　　3.负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率；

　　4.参与爬虫核心算法和策略优化，熟悉采集系统的.调度策略；

　　5.实时监控爬虫的进度和警报反馈。

　　任职要求：

　　1.本科以上学历，3年以上爬虫开发相关经验，熟练使用python或java进行开发；

　　2.熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；

　　3.熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；

　　4.熟悉各种抓取技术，包括代理、phantomjs/selenium、验证码处理；

　　5.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

　　6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

　　7.快速学习能力，工作积极主动，有创业热情和良好的团队协助能力；

　　8.需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。

爬虫岗位职责5

　　职位描述：

　　工作职责：

　　1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；

　　2、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的.抓取效率；

　　3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；

　　4、实时监控爬虫的进度和警报反馈。

　　任职要求：

　　1、有扎实的算法和数据结构能力；

　　2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；

　　3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；

　　4、有大规模数据处理、数据挖掘、信息提取等经验者优先。

爬虫岗位职责6

　　职位描述：

　　1、负责广告素材线索和垂直类产品爬虫系统的设计、开发

　　2、抓取数据的'清洗、落地、分析

　　3、抓取策略算法的更新维护，以及确保数据抽取准确、高效

　　任职要求：

　　1、具备强悍的编码能力、扎实的数据结构和算法功底

　　2、熟悉tcp，http协议原理；熟悉ajax工作原理；精通python编程，熟悉一种开源爬虫框架和源码；

　　3、有爬虫、信息抽取、文本分类、大数据处理相关经验优先

　　4、有自然语言处理、机器学习经验优先

爬虫岗位职责7

　　岗位职责：

　　1.负责网络爬虫的`架构设计、开发与优化；

　　2.负责抓取数据的清洗、落地、分析；

　　3.抓取策略算法的更新维护，以及确保数据抽取准确、高效。

　　任职要求：

　　1.两年及以上互联网或软件行业工作经验；

　　2.理解http协议，熟悉html、dom、xpath；

　　3.熟悉linux开发环境，至少熟悉python/go/java/node.js中的一种编程语言；

　　4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先；

　　5.有自然语言处理、机器学习经验优先；

　　6.熟悉浏览器内核、渲染机制优先；

　　7.工作认真，细心，有条理，积极性高；良好的沟通能力及团队合作精神。

爬虫岗位职责8

　　岗位职责

　　1.熟悉线程池、并发机制、锁机制、线程安全原理；

　　2.java体系知识：网络io、设计模式、linux、jvm、java类加载机制、java内存模型；

　　3.爬虫经验：webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；

　　4.熟悉http/http、tcp/ip、socket等通讯协议；

　　5.6年以上软件开发经验，至少2年爬虫开发经验。

　　任职要求

　　1.采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发；

　　2.较强的逻辑思维和发散思维；

　　3.计算机或相关专业本科及以上学历。

【爬虫岗位职责】相关文章：