设为首页 收藏本站

运维网

查看: 328|回复: 0

[经验分享] 【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

[复制链接]

尚未签到

发表于 2019-1-30 10:03:41 | 显示全部楼层 |阅读模式
  原文连接:http://click.aliyun.com/m/13938/
  免费开通大数据服务:https://www.aliyun.com/product/odps
  本文列举了Flume采集网站日志到MaxCompute的一些常见问题,欢迎大家补充;

  Q:找不到指定路径的文件
  A:本实验要在Linux系统下运行,路径也要写在Linux下的路径

  Q:找不到指定sink type的类
  A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

  Q:不能执行SinkRunner
  A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

  Q:不识别Datahub  endpoint地址
  A:填的 endpoint是 ecs上用的,应填写公网地址

  Q:更改endpoint地址后依旧报同样的错
  A:虚拟机未能ping通外网,重新设置虚拟机,搭建桥接模式
  Q:报ak有错
  A:先检查ak是否被禁用,若没有不断刷新页面

  Q:上传数据成功后往MaxCompute归档时未成功
  A:MaxCompute表的字段和Datahub topic字段大小写不一致(还要注意Flume配置文
  件中a1.sinks.k1.serializer.fieldnames的一致性)
  Q:错误,找不到主类
  A:不支持文件夹命名带空格,如MaxCompute Project,改为MaxCompute_Project
  MaxCompute产品地址:https://www.aliyun.com/product/odps


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2018

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表