设为首页 收藏本站

运维网

查看: 426|回复: 1

[经验分享] 【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

[复制链接]

尚未签到

发表于 2019-1-30 10:03:41 | 显示全部楼层 |阅读模式
  原文连接:http://click.aliyun.com/m/13938/
  免费开通大数据服务:https://www.aliyun.com/product/odps
  本文列举了Flume采集网站日志到MaxCompute的一些常见问题,欢迎大家补充;

  Q:找不到指定路径的文件
  A:本实验要在Linux系统下运行,路径也要写在Linux下的路径

  Q:找不到指定sink type的类
  A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

  Q:不能执行SinkRunner
  A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

  Q:不识别Datahub  endpoint地址
  A:填的 endpoint是 ecs上用的,应填写公网地址

  Q:更改endpoint地址后依旧报同样的错
  A:虚拟机未能ping通外网,重新设置虚拟机,搭建桥接模式
  Q:报ak有错
  A:先检查ak是否被禁用,若没有不断刷新页面

  Q:上传数据成功后往MaxCompute归档时未成功
  A:MaxCompute表的字段和Datahub topic字段大小写不一致(还要注意Flume配置文
  件中a1.sinks.k1.serializer.fieldnames的一致性)
  Q:错误,找不到主类
  A:不支持文件夹命名带空格,如MaxCompute Project,改为MaxCompute_Project
  MaxCompute产品地址:https://www.aliyun.com/product/odps


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
累计签到:196 天
连续签到:44 天
发表于 2019-2-28 20:55:15 | 显示全部楼层
感谢楼主的分享!

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表