shark如何安装
这篇文章主要介绍了shark如何安装，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
创新互联建站是一家集网站建设,康乐企业网站建设,康乐品牌网站建设,网站定制,康乐网站建设报价,网络营销,网络优化,康乐网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
spark0.9.1安装
解压缩
修改目录用户权限，用户hadoop登录
修改配置文件
//slaves
hadoop1
hadoop2
hadoop3
//spark-env.sh
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g
scp到个节点
****************************************************
****************************************************
shark安装
源码下载，解压缩
源码编译
SHARK_HADOOP_VERSION=2.2.0 SHARK_YARN=true sbt/sbt assembly
修改配置文件
//shark-env.sh
export SPARK_MEM=2g
# (Required) Set the master program's memory
export SHARK_MASTER_MEM=1g
# (Optional) Specify the location of Hive's configuration directory. By default,
# Shark run scripts will point it to $SHARK_HOME/conf
export HIVE_CONF_DIR="/app/hadoop/hive013/conf"
# For running Shark in distributed mode, set the following:
export HADOOP_HOME="/app/hadoop/hadoop220"
export SPARK_HOME="/app/hadoop/spark091"
export MASTER="spark://hadoop1:7077"
scp到个节点
****************************************************
****************************************************
启动hive metasotre service
nohup bin/hive --service metastore > metastore.log 2>&1 &
启动shark
bin/shark
./bin/shark –service sharkserver
./bin/shark -h
感谢你能够认真阅读完这篇文章，希望小编分享的“shark如何安装”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!
分享名称：shark如何安装
转载注明：http://mswzjz.cn/article/ihhppg.html