设为首页 收藏本站
查看: 782|回复: 0

[经验分享] hadoop入门-环境配置一

[复制链接]

尚未签到

发表于 2016-12-7 11:29:14 | 显示全部楼层 |阅读模式
  最近想研究并行计算,于是拿hadoop来学习一下,打算在linux上开发hadoop,选定容易上手的ubuntu作为环境,在vmware的虚拟机上。
  准备工具就不用多说了,vmware + ubuntu9.04,在vmware上安装好ubuntu,确保ubuntu可以上网。下面的步骤是根据个人爱好了,我习惯了ssh+vnc来操作来操作linux,这样我可以让ubuntu在后台运行,直接在win7里操作。
  首先,安装openssh server在ubuntu上,有了ssh,win7与ubuntu之间的复制,粘帖将变的很容易。
  $sudo apt-get install opensshserver
  在win7下登录putty,通过ssh来访问ubuntu吧,现在可以把vmware关掉,在后台运行了。
  接下来,配置apt 的source list,这样在执行apt-get的时候,下载会很快,我选择的tw的源,速度不错。
  $sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
  $sudo vi /etc/apt/sources.list
  修改sources.list内容为
deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
  deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
  $sudo apt-get update            (这一步很关键哈,别忘记了)
  安装vnc server,方便的图形界面操作,为后面hadoop+eclipse开发做准备。
  $sudo apt-get install vnc4server
  安装好之后,启动vncserver,
  $vncserver :1
  然后输入密码,确定就ok了
  $sudo vi ~/.vnc/xstartup
  修改vnc配置文件,注释掉#twm &,  添加  gnome-session &
文件内容如下所示:
#!/bin/sh
# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
xterm -geometry 80×24+10+10 -ls -title “$VNCDESKTOP Desktop” &
#twm &
gnome-session &       (这里,要注意,是要安装gnome的哦,要不然是没用的,apt-get install gnome,,自己安装吧)

在win7里面有open source的vnc client,可以用TightVNC Viewer,登录vnc,输入 ipadress:1 ,然后connect,输入密码,最后就开工吧。
剩下一些习惯的软件安装,
$sudo apt-get install vim
$sudo apt-get install unzip
更多信息请查看
 java进阶网
 
http://www.javady.com

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-310986-1-1.html 上篇帖子: hadoop 版本兼容问题 下篇帖子: mahout推荐引擎使用hadoop
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表