崗位要求：
1.對爬蟲、圖形驗(yàn)證碼識(shí)別等技術(shù)有較深入研究
2. 計(jì)算機(jī)或相關(guān)專業(yè)專科以上學(xué)歷，3年以上爬蟲工作經(jīng)驗(yàn)
3. 掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù)，知道如何處理需登錄網(wǎng)站、動(dòng)態(tài)頁面、封賬號(hào)IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁爬取，深度網(wǎng)頁爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術(shù)平臺(tái)和主要框架，精通Java開發(fā)，能熟練應(yīng)用spring，MyBatis, MQ等主流技術(shù)框架；
4. 對數(shù)據(jù)庫有充分了解，熟悉Oracle、MySQL、NonSQL等技術(shù)
5. 熟悉分布式系統(tǒng)開發(fā)和存儲(chǔ)技術(shù)，如Redis、Memcache、Ehcache等
6. 學(xué)習(xí)能力強(qiáng)，對新技術(shù)研究狂熱，有很強(qiáng)獨(dú)立研究能力
崗位職責(zé)：
1.參與爬蟲系統(tǒng)的設(shè)計(jì)和開發(fā)，負(fù)責(zé)爬蟲系統(tǒng)的框架設(shè)計(jì)
2.負(fù)責(zé)網(wǎng)頁信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對互聯(lián)網(wǎng)海量業(yè)務(wù)進(jìn)行整合、分析挖掘
4.與技術(shù)團(tuán)隊(duì)進(jìn)行溝通，負(fù)責(zé)爬蟲數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的整合對接
5.能主導(dǎo)部門新技術(shù)研究、開發(fā)
1.對爬蟲、圖形驗(yàn)證碼識(shí)別等技術(shù)有較深入研究
2. 計(jì)算機(jī)或相關(guān)專業(yè)專科以上學(xué)歷，3年以上爬蟲工作經(jīng)驗(yàn)
3. 掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù)，知道如何處理需登錄網(wǎng)站、動(dòng)態(tài)頁面、封賬號(hào)IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁爬取，深度網(wǎng)頁爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術(shù)平臺(tái)和主要框架，精通Java開發(fā)，能熟練應(yīng)用spring，MyBatis, MQ等主流技術(shù)框架；
4. 對數(shù)據(jù)庫有充分了解，熟悉Oracle、MySQL、NonSQL等技術(shù)
5. 熟悉分布式系統(tǒng)開發(fā)和存儲(chǔ)技術(shù)，如Redis、Memcache、Ehcache等
6. 學(xué)習(xí)能力強(qiáng)，對新技術(shù)研究狂熱，有很強(qiáng)獨(dú)立研究能力
崗位職責(zé)：
1.參與爬蟲系統(tǒng)的設(shè)計(jì)和開發(fā)，負(fù)責(zé)爬蟲系統(tǒng)的框架設(shè)計(jì)
2.負(fù)責(zé)網(wǎng)頁信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對互聯(lián)網(wǎng)海量業(yè)務(wù)進(jìn)行整合、分析挖掘
4.與技術(shù)團(tuán)隊(duì)進(jìn)行溝通，負(fù)責(zé)爬蟲數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的整合對接
5.能主導(dǎo)部門新技術(shù)研究、開發(fā)
職位類別： 其他
舉報(bào)
全選
申請職位
-
8-12K/月申請職位職位描述： 1、互聯(lián)網(wǎng)站，網(wǎng)頁，鏈接的特征挖掘 ,對指定的多個(gè)網(wǎng)站的網(wǎng)頁進(jìn)行網(wǎng)頁抓取、數(shù)據(jù)的提取、清洗、入庫； 2、對搜索、匹配、同步等后臺(tái)守護(hù)程序進(jìn)行性能優(yōu)化等； 3、負(fù)責(zé)系統(tǒng)日常運(yùn)營資源..
-
面議申請職位1、設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺(tái)信息抓取和分析工作。2、負(fù)責(zé)完成網(wǎng)站數(shù)據(jù)采集爬取、解析提取、清洗入庫等數(shù)據(jù)生產(chǎn)工作。3、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量。4、..
- 公司規(guī)模：50 - 99人
- 公司性質(zhì)：民營企業(yè)
- 所屬行業(yè)：網(wǎng)絡(luò)運(yùn)營公司
- 所在地區(qū)：廣東-深圳市-南山區(qū)
- 聯(lián)系人：陳小姐
- 手機(jī)：會(huì)員登錄后才可查看
- 郵箱：會(huì)員登錄后才可查看
- 郵政編碼：
工作地址
- 地址：科興科學(xué)園B4棟1401
