mysql金融行业，mysql 金融

大家好，今天小编关注到一个比较有意思的话题，就是关于mysql金融行业的问题，于是小编就整理了1个相关介绍mysql金融行业的解答，让我们一起看看吧。

Hadoop一般用在哪些业务场景？

hadoop 两部分，hdfs 和mr ，简单的说吧，hdfs 分布式文件系统，你可以理解为把多个服务器合成一个大硬盘，里面的东西分块存储。mr 是基础的分布式计算框架，基本上现在用得少了。何为分布式计算呢？之前知乎上有个回答挺不错的：图书馆统计书，一个人统计非常慢，假设很多人数，A数第一列，B数第二列，最后大家把结果统计，数得人越多统计效率越快。

应用场景吧，hdfs 大数据都存在里面，数据存储的。感觉hadoop 是大数据的根基，大数据场景都能用。

小弟才疏学浅，不对轻喷

• Hadoop可以做大数据量存储，它是分布式，可以存储离线的数据，不需要实时性的数据，就像云盘，网盘那样，你用的时候，可以直接读取就行。
• 你也可以将历史数据存储在Hadoop上，通过整体来分析数据，比抽样的数据要全，更可靠。
• 还可以处理大型文件，比如PB级别的，因为它的HDFS是分布式存储数据的，它会将数据按块来进行存储，一般是128M，现在3.0是256M。
• Hadoop可以做日志处理: 通过MapReduce编程可以抽取想要的内容，也可以结合Flume来收集想要的数据，并通过Hive将数据保存到表，实际上数据底层还是存储在Hadoop上，进行日志分析。
• Hadoop支持并行计算，因为它是分布式的，数据是存储在不同的机器上，如果你的需求满足分布式计算，那你就可以用MR来就行海量计算。我曾经用MR做过算法，那是2年前啦。
• Hadoop还可以将数据从oracle、mysql、DB2、mongdb等的数据进行ETL处理后，存储在HDFS上进行保存。它有三个副本，非常可靠。
• Hadoop还可以通过使用HBase做数据分析，因为HBase是基于Hadoop的数据库， 可以实现实时性，高效和随机读写。

Hadoop包含三个组件，yarn，MapReduce，HDFS 。其中 yarn是一个资源管理器用来管理集群的资源（CPU，内存）。MapReduce 是一个计算框架，适合做大数据离线计算。HDFS 是分布式存储，用来做海量数据存储。

Hadoop 发展这么多年已经衍生了一个非常庞大的生态，单单使用Hadoop (yarn , mapreduce , hdfs)这个大数据组件能做的事情有限，但是结合衍生出来的生态产品（hive，flume，sqoop, hbase , spark）就可以做很多事。比如

• 结合 hive 用来做数据仓库，整合管理整个公司的数据。
  
• 结合 sqoop 把关系型数据库里的数据抽取到数据仓库，用作后续分析
• 结合 Flume 可以把 kafka , 日志文件 等数据抽取到数据仓库
• 结合 hbase 宽表特性，存储用户画像等信息，同时 hbase 还可用作高并发读数据场景
• 由于MapReduce 计算过程中需要频繁写磁盘，导致运行速度不够快，结合 spark 可以做数据仓库近实时查询，spark 本身提供了机器学习，图计算等算法的实现，可以很方便的做类似的数据挖掘和数据分析

到此，以上就是小编对于mysql金融行业的问题就介绍到这了，希望介绍关于mysql金融行业的1点解答对大家有用。