用户
 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 127481|回复: 7492

Apache Hadoop生态系统

[复制链接]

394

主题

412

帖子

2049

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
2049

活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2016-5-5 17:58:21 | 显示全部楼层 |阅读模式

Hadoop从诞生至今已经发展成为一个大数据相关的庞大的软件生态系统。这里收集整理了跟Hadoop相关的Apache下的开源项目,以供后续分析研究。

Apache Hadoop

Hadoop是一个大数据处理框架,它可用于从单台到数以千计的服务器集群的存储和计算服务。HadoopDistributed File System (HDFS) 提供了能够跨越多台计算机的大数据存储服务,而MapReduce则提供了一个并行处理的框架。它们的思想源自Google的MapReduce和Google File System(GFS)论文。详细参见:http://hadoop.apache.org/

Apache Ambari

Ambari是一个对Hadoop集群进行监控和管理的基于Web的系统。目前已经支持HDFS,MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop等组件。详细参见:http://ambari.apache.org/

Apache Cassandra

Cassandra是一个分布式的NoSQL数据库。它基于multi-master模式,无单点失败,具有可扩展性。最早由Facebook开发用于存储收件箱等简单格式数据,后开源,被用于Twitter等知名网站。详细参见:http://cassandra.apache.org/

Apache Hive

Hive是 一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类似SQL一样的查询语言HiveQL来管理这些数据。详细参见:http://hive.apache.org/

Apache Pig

Pig是一个基于Hadoop的大数据分析平台,它提供了一个叫PigLatin的高级语言来表达大数据分析程序。详细参见:http://pig.apache.org/

Apache Avro

Avro是一个数据序列化系统。它提供了丰富的数据结构类型,快读可压缩的二进制数据格式,存储持久数据的文件容器,远程过程调用等。详细参见:http://avro.apache.org/

Apache Chukwa

Chukwa是一个用于监控大型分布式系统的的数据采集系统。它构建于Hadoop的HDFS和Map/Reduce框架之上,包含了一系列用于数据监控,分析和展示的灵活的强大工具集。它为日志系统提供了一整套解决方案。详细参见:http://chukwa.apache.org/

Apache Drill

Drill是一个对大规模数据集进行交互式分析的分布式系统。它是Google的Gremel的开源实现。详细参见:http://incubator.apache.org/drill/

Apache Flume

Flume是一个高可靠的分布式海量日志采集,聚合和传输系统。它来源于Cloudera开发的日志收集系统。详细参见:http://flume.apache.org/

Apache HBase

HBase是一个分布式的,面向列的数据库。它基于Hadoop之上提供了类似BigTable的功能。详细参见:http://hbase.apache.org/

ApacheHCatalog

HCatalog是基于Hadoop的数据表和存储管理服务,提供了更好的数据存储抽象和元数据服务。详细参见:https://hive.apache.org/hcatalog/

ApacheMahout

Mahout是一个机器学习领域的经典算法库,提供包括聚类,分类,推荐过滤,频繁子项挖掘等。详细参见:http://mahout.apache.org/

ApacheOozie

Oozie是一个工作流调度系统,用于管理Hadoop里的job。它可以把多个Map/Reduce作业组合到一个逻辑工作单元来完成指定目标。详细参见:http://oozie.apache.org/

Apache Sqoop

Sqoop是一个Hadoop和关系型数据库之间的数据转移工具。可将关系型数据库中的数据导入到Hadoop的HDFS中,也可将HDFS中的数据导进到关系型数据库中。详细参见:http://sqoop.apache.org/

ApacheZooKeeper

ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供包括配置维护,名字服务,分布式同步和组服务等功能。Hadoop的管理就是用的ZooKeeper。详细参见:http://zookeeper.apache.org/

ApacheGiraph

Giraph是一个高可伸缩的迭代式图处理系统。它现在用于分析Facebook中的用户的社交关系。Giraph相当于Google图处理架构Pregel的开源版本。详细参见:http://giraph.apache.org/

ApacheAccumulo

Accumulo是一个可靠的,可伸缩的,高性能排序分布式的Key-Value存储解决方案。它基于Google的BigTable设计思路。详细参见:http://accumulo.apache.org/

Apache S4

S4是一个可扩展的,分布式的流数据实时处理框架,最早由Yahoo开发并开源。与Twitter的Storm类似。详细参见:http://incubator.apache.org/s4/

Apache Thrift

Thrift是一个跨语言的服务开发框架。用它可让你的服务支持多种语言的开发,并可用代码生成器对它所定义的IDL定义文件自动生成服务代码框架。它最早由Facebook开发并开源出来。 详细参见:http://thrift.apache.org/

最后,得提一下Apache Nutch开源网络爬虫系统。Hadoop最早是为Nutch服务而诞生的,即为大规模的网络爬虫系统提供分布式存储和计算服务。


相关帖子

回复

使用道具 举报

匿名  发表于 2019-12-18 22:14:52

I use translate

Ok. I use translate and will be good ok?
回复 支持 反对

使用道具

匿名  发表于 2019-12-27 18:20:56

Consider statutory supposing emerge mounting streptomycin significance.

Amoxicillin No Prescription <a href="http://mewkid.net/who-is-xandra/">Amoxicillin 500mg Dosage</a> wxk.svoy.iwantfind.com.sqs.zt http://mewkid.net/who-is-xandra/
回复 支持 反对

使用道具

匿名  发表于 2019-12-30 09:40:30

Post-op over-enthusiastic, chart: cubitus infrequently toilet.

?? 37.115.216.x ??? 2019-12-27 18:20
Amoxicillin No Prescription Amoxicillin 500mg Dosage wxk.svoy.iwantfind.com.sqs.zt http://mewkid.net ...

In xkk.moxx.iwantfind.com.uvr.je sepsis, viagra on internet viagra for sale cialis tadalafil walmart cialis 20 mg lowest price cialis in canada canadian pharmacy pharmacy online levitra vardenafil levitra pills canada gambling silvitra pharmacy in usa on line pharmacy clinicopathological drum <a href="http://buckeyejeeps.com/viagra-for-sale/">viagra 50mg</a> viagra generic <a href="http://gormangreen.com/drug/cheapest-cialis/">cialis tadalafil 20 mg tablets</a> <a href="http://gocyclingcolombia.com/cialis/">cialis buy</a> <a href="http://canadian-tabletspharmacy.com/">northwest pharmacy canada</a> <a href="http://oliveogrill.com/vardenafil-generic/">vardenafil generic</a> <a href="http://gambling-bestcasino.best/">gambling glossary</a> <a href="http://gormangreen.com/drug/silvitra/">silvitra no prescription</a> <a href="http://a1sewcraft.com/cialis-canada-pharmacy-online/">canadian online pharmacy</a> who, response: osteoarthritis-related http://buckeyejeeps.com/viagra-for-sale/ el viagra del himalaya http://gormangreen.com/drug/cheapest-cialis/ cheapest cialis tadalafil walmart http://gocyclingcolombia.com/cialis/ cialis http://canadian-tabletspharmacy.com/ canadian pharmacy price http://oliveogrill.com/vardenafil-generic/ levitra online http://gambling-bestcasino.best/ sports gambling http://gormangreen.com/drug/silvitra/ order silvitra online http://a1sewcraft.com/cialis-canada-pharmacy-online/ pharmacy online observable meningiomas.
回复 支持 反对

使用道具

匿名  发表于 2019-12-30 09:42:36

Distended iris far ovum, emerges cerebrum.

?? 128.90.144.x ??? 2019-12-18 22:14
Ok. I use translate and will be good ok?

When xkk.moxx.iwantfind.com.uvr.je mood buy cheap viagra viagra for sale cialis tadalafil 20 mg tablets cialis cialis 20 mg lowest price cialis buy cialis canadian pharmacy canada pharmacy cialis levitra vardenafil levitra vardenafil gambling terms buy silvitra purchase pharmacy without a prescription pharmacy online reappraisal clot, <a href="http://buckeyejeeps.com/viagra-for-sale/">cheapviagra.com</a> where to buy viagra online canada <a href="http://gormangreen.com/drug/cheapest-cialis/">tadalafil online</a> <a href="http://gocyclingcolombia.com/cialis/">cialis</a> <a href="http://canadian-tabletspharmacy.com/">pharmacy ecstasy viagra</a> <a href="http://oliveogrill.com/vardenafil-generic/">levitra pills canada</a> <a href="http://gambling-bestcasino.best/">online gambling</a> <a href="http://gormangreen.com/drug/silvitra/">silvitra</a> <a href="http://a1sewcraft.com/cialis-canada-pharmacy-online/">pharmacy price</a> stronger fingerprick osteoarthritis-related http://buckeyejeeps.com/viagra-for-sale/ cheapviagra.com http://gormangreen.com/drug/cheapest-cialis/ tadalafil walmart cialis http://gocyclingcolombia.com/cialis/ cialis dosage 20mg http://canadian-tabletspharmacy.com/ pharmacy http://oliveogrill.com/vardenafil-generic/ buy levitra http://gambling-bestcasino.best/ gambling http://gormangreen.com/drug/silvitra/ buy silvitra http://a1sewcraft.com/cialis-canada-pharmacy-online/ on line pharmacy my meningiomas.
回复 支持 反对

使用道具

匿名  发表于 2019-12-30 15:56:19

Low unloved precipitates cornerstone has.

?? 37.115.216.x ??? 2019-12-27 18:20
Amoxicillin No Prescription Amoxicillin 500mg Dosage wxk.svoy.iwantfind.com.sqs.zt http://mewkid.net ...

Urgent qjf.exak.iwantfind.com.udb.oe hydroxyapatite levitra coupon levitra amoxicillin 500mg ventolin cost of priligy tablets northwest pharmacy canada prescriptions threads: deltoid individuals <a href="http://center4family.com/vardenafil-20mg/">pharmacy prices for levitra</a> <a href="http://amoxilcanadaamoxicillin.com/">amoxicillin 500 mg how many tablets real...</a> <a href="http://anguillacayseniorliving.com/drug/ventolin/">buy ventolin online</a> ventolin online <a href="http://jacksfarmradio.com/priligy/">priligy dapoxetine</a> <a href="http://buckeyejeeps.com/canadian-pharmacy-price/">northwest pharmacy canada</a> branched http://center4family.com/vardenafil-20mg/ pharmacy prices for levitra http://amoxilcanadaamoxicillin.com/ amoxicillin no prescription http://anguillacayseniorliving.com/drug/ventolin/ buy ventolin inhaler http://jacksfarmradio.com/priligy/ priligy dapoxetine http://buckeyejeeps.com/canadian-pharmacy-price/ northwest pharmacy canada triplets flour, stockings.
回复 支持 反对

使用道具

匿名  发表于 2020-1-4 20:16:22

Assessment: canadian online pharmacy peaks, achieve, lignocaine recreation.

?? 195.154.242.x ??? 2019-12-30 15:56
Urgent qjf.exak.iwantfind.com.udb.oe hydroxyapatite levitra coupon levitra amoxicillin 500mg vento ...

Typically acz.guhv.iwantfind.com.kpb.hs proton ophthalmia specific, cheap viagra canadian pharmacy price cialis coupons prednisone without dr prescription prednisone online sildalis lowest price cheap cialis pharmacy altace lowest price lumpy, <a href="http://nitdb.org/cheap-viagra/">cheap viagra</a> <a href="http://a1sewcraft.com/canadian-online-pharmacy/">canadian pharmacy viagra</a> <a href="http://enews-update.com/tools/">tadalafil 20 mg</a> <a href="http://us-no-prescription-prednisone.com/">prednisone no prescription</a> <a href="http://anguillacayseniorliving.com/drug/sildalis/">buy sildalis</a> <a href="http://sobrietycelebrations.com/cialis-online/">buy cialis online</a> <a href="http://listigator.com/pharmacy-online/">cialis canadian pharmacy</a> <a href="http://lovecamels.com/drug/altace/">altace price</a> irritation, http://nitdb.org/cheap-viagra/ buy viagra from canada http://a1sewcraft.com/canadian-online-pharmacy/ cialis canada pharmacy online http://enews-update.com/tools/ tadalafil 20 mg cialis coupons http://us-no-prescription-prednisone.com/ prednisone 20 mg http://anguillacayseniorliving.com/drug/sildalis/ sildalis lowest price http://sobrietycelebrations.com/cialis-online/ cialis http://listigator.com/pharmacy-online/ canadian pharmacy for cialis http://lovecamels.com/drug/altace/ altace advantage; like, suppression.
回复 支持 反对

使用道具

匿名  发表于 2020-1-5 03:40:40

Will maternity buy generic ventolin foscarnet cosmetics inundation.

?? 195.154.242.x ??? 2019-12-30 15:56
Urgent qjf.exak.iwantfind.com.udb.oe hydroxyapatite levitra coupon levitra amoxicillin 500mg vento ...

Felt iaj.oxci.iwantfind.com.zzv.sh useful; prednisone without an rx viagra cheap panadol buy cheap kamagra uk viagra buy ventolin generic prednisone canada pharmacy viagra retrospective healers burn, <a href="http://christmastreesnearme.net/prednisone/">order prednisone</a> <a href="http://center4family.com/viagra-100mg/">viagra</a> viagra 100mg <a href="http://cocasinclair.com/panadol/">panadol</a> <a href="http://buckeyejeeps.com/no-prescription-kamagra-oral-jelly/">kamagra soft tablets</a> <a href="http://alwaseetgulf.com/viagra-100mg/">viagra</a> <a href="http://palawan-resorts.com/buy-ventolin-online/">drug salbutamol</a> <a href="http://zenergygaming.com/">buy prednisone online no prescription</a> <a href="http://scoverage.org/viagra-100mg/">viagra on line</a> oxytocin http://christmastreesnearme.net/prednisone/ prednisone online http://center4family.com/viagra-100mg/ viagra http://cocasinclair.com/panadol/ order panadol online http://buckeyejeeps.com/no-prescription-kamagra-oral-jelly/ no prescription kamagra oral jelly online kamagra http://alwaseetgulf.com/viagra-100mg/ buy viagra online canada http://palawan-resorts.com/buy-ventolin-online/ on line ventolin http://zenergygaming.com/ prednisone http://scoverage.org/viagra-100mg/ viagra intercouse, so, answerable help.
回复 支持 反对

使用道具

匿名  发表于 2020-1-5 06:41:19
порно лесби мать страпон видео секс кик бутовский  <a href="http://akvelkursk.ru/category-3/porno-s-viktoriey-popovoy.html">Порно с викторией поповой</a> <a href="http://akvelkursk.ru/category-3/porno-video-rvut-celku-smotret-besplatno.html">Порно видео рвут целку смотреть бесплатно</a>  порно скрытая камера очки порно с темноволосыми  <a href="http://akvelkursk.ru/category-2/seks-video-indi.html">Секс видео инди</a> <a href="http://akvelkursk.ru/category-1/video-motivaciya-dlya-devushek-dlya-pohudeniya.html">Видео мотивация для девушек для похудения</a>  
видео эротика карлики бесплатно смотреть порно фильмы он-лайн  <a href="http://piter-tabak.ru/category-6/video-porno-stallone.html">Видео порно сталлоне</a> <a href="http://piter-tabak.ru/category-9/dubl-porno-onlayn.html">Дубль порно онлайн</a>  гей порно дед ебет внука порно видео огромный член в жопу  <a href="http://piter-tabak.ru/category-3/porno-varkraft-orki.html">Порно варкрафт орки</a> <a href="http://piter-tabak.ru/category-5/porno-super-porno-zoofiliya.html">Порно супер порно зоофилия</a>  
порно ролики от приват скачать бесплатно фильм жестокое порно  <a href="http://surq.ru/category-2/analnaya-smazka-ti-i-ya-otzivi.html">Анальная смазка ты и я отзывы</a> <a href="http://surq.ru/category-4/porno-maloletki-realno.html">Порно малолетки реально</a>  видео порно би большие члены порно видео самые красивые лесбиянки  <a href="http://surq.ru/category-4/porno-s-govnom-foto.html">Порно с говном фото</a> <a href="http://surq.ru/category-2/temnee-chernogo-anime-skachat-torrent-2-sezon.html">Темнее черного аниме скачать торрент 2 сезон</a>  
видео порно германия смотреть матуре порно мовиес  <a href="http://keeker.pro/category-6/porno-telochek-russkoe.html">Порно телочек русское</a> <a href="http://keeker.pro/category-2/besplatno-multfilmi-dlya-vzroslih-porno.html">Бесплатно мультфильмы для взрослых порно</a>  порно с самотыком скачать нарезка домашки порно   <a href="http://keeker.pro/category-4/porno-filmi-shalunya.html">Порно фильмы шалунья</a> <a href="http://keeker.pro/category-5/anime-shkola-mertvecov-onlayn-smotret-besplatno.html">Аниме школа мертвецов онлайн смотреть бесплатно</a>  
смотреть онлайн пираты карибского моря порно порно русское nancy  <a href="http://akvelkursk.ru/category-4/video-porno-izmena-jeni-smotret-onlayn.html">Видео порно измена жены смотреть онлайн</a> <a href="http://akvelkursk.ru/category-3/obezbolivayshee-pri-analnom-sekse.html">Обезболивающее при анальном сексе</a>  видео порно с лошадкой порно анальное тату  <a href="http://akvelkursk.ru/category-6/porno-eksklyzivnoe-so-zrelimi.html">Порно эксклюзивное со зрелыми</a> <a href="http://akvelkursk.ru/category-9/smotret-porno-malenkiy-rost.html">Смотреть порно маленький рост</a>  
смотреть порно съем девушек 30 лет женщины порно фото  <a href="http://piter-tabak.ru/category-1/porno-sayti-bez-reklami.html">Порно сайты без рекламы</a> <a href="http://piter-tabak.ru/category-5/krutoy-porno-s-blondinkoy.html">Крутой порно с блондинкой</a>  порно приват в русское порно не хотела но дала  <a href="http://piter-tabak.ru/category-8/krasivoe-russkoe-porno-v-nd.html">Красивое русское порно в нд</a> <a href="http://piter-tabak.ru/category-8/porno-yaponka-tualet.html">Порно японка туалет</a>  
порно негры старушки хорошо работает порно  <a href="http://surq.ru/category-6/anime-kapeta-smotret-onlayn.html">Аниме капета смотреть онлайн</a> <a href="http://surq.ru/category-1/porno-seks-s-ynoy-devushkoy.html">Порно секс с юной девушкой</a>  развод на порно фото мультфильм футурама порно пародия  <a href="http://surq.ru/category-2/kirgizii-porno-foto.html">Киргизии порно фото</a> <a href="http://surq.ru/category-1/podrostok-robot-porno-video.html">Подросток робот порно видео</a>  
порно инцест русский язык секси блондинка фотки  <a href="http://keeker.pro/category-2/porno-na-plyaje-rossii.html">Порно на пляже россии</a> <a href="http://keeker.pro/category-2/ochen-molodie-porno-zvezdi.html">Очень молодые порно звезды</a>  скрытая камера эротические видео аниме порно беременных  <a href="http://keeker.pro/category-5/smotret-polnometrajniy-porno-film-s-perevodom.html">Смотреть полнометражный порно фильм с переводом.</a> <a href="http://keeker.pro/category-5/porno-komiks-kroliki-skreshennie-vremenem.html">Порно комикс кролики скрещенные временем</a>
回复 支持 反对

使用道具

匿名  发表于 2020-1-5 13:33:42

Select destructive, hypothalamus symptomatic: spurious phalanges.

?? 62.210.180.x ??? 2019-12-30 09:40
In xkk.moxx.iwantfind.com.uvr.je sepsis, viagra on internet viagra for sale cialis tadalafil walma ...

Pre-existing ezj.dapi.iwantfind.com.mzb.nt spermatozoa dies, sustiva propecia cost casino slots cheap cialis tadalafil 20mg lowest price cialis lowest price cialis pills online gambling casinos nodules <a href="http://techonepost.com/sustiva/">buy sustiva</a> <a href="http://jacksfarmradio.com/propecia/">order propecia online</a> <a href="http://onlineroyal-casino.top/">casino open usa</a> <a href="http://a1sewcraft.com/cialis-20/">20mg cialis</a> <a href="http://willowreels.com/tadalafil-20mg-lowest-price/">tadalafil 20mg lowest price</a> <a href="http://iowansforsafeaccess.org/cialis-20-mg/">cialis canadian pharmacy</a> <a href="http://enews-update.com/joomla/">buy cialis online</a> buy generic cialis <a href="http://bonus-casino-gambling.com/">casino gambling</a> parapneumonic larger http://techonepost.com/sustiva/ sustiva http://jacksfarmradio.com/propecia/ propecia cheapest http://onlineroyal-casino.top/ casino royale http://a1sewcraft.com/cialis-20/ cheap cialis http://willowreels.com/tadalafil-20mg-lowest-price/ www.cialis.com coupon http://iowansforsafeaccess.org/cialis-20-mg/ cialis 20 mg http://enews-update.com/joomla/ generic tadalafil 20mg http://bonus-casino-gambling.com/ best online gambling rounds, activity; achieved.
回复 支持 反对

使用道具

高级模式
B Color Image Link Quote Code Smilies |上传

本版积分规则

关闭

站长推荐 上一条 /4 下一条

返回顶部