10 Star 19 Fork 9

yiidata / ftpserver-hdfs-apater

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

#Apache FtpServer Hadoop HDFS Adapter


##项目说明

本项目是一个让 Apache FTpServer(http://mina.apache.org/downloads-ftpserver.html) 支持 HDFS 文件系统的组件. 全代码只要三个类, 但是也是本人走查 ftpserver 代码的心血. 当看过这个项目, 测试本地 FTP 成功后, 灵光闪现, 要是能支持 Hadoop 多好, 因此走读代码, 发现编写也很简单, 因此有了该组件.

希望对广大 hadoop 爱好者, 有相关需求的朋友有用.

##配置方式:

  1. 把 Hadoop 相关 jar 放到 ${apache-ftpserver}/common/lib 下
  2. 把本项目使用 maven 打包, 放置到${apache-ftpserver}/common/lib 下
  3. 把构建 Hadoop FileSystem 的 configuration 相关的 core-site.xml 和 hdfs-site.xml 放到${apache-ftpserver}/common/classes 下
  4. Copy ftpd-typical.xml 为 ftpd-hdfs.xml, 并修改其中配置如下:

'''

<listeners>
	<nio-listener name="default" port="2121" local-address="0.0.0.0"  implicit-ssl="false">
    </nio-listener>
</listeners>
<file-user-manager file="./res/conf/users.properties" />

<filesystem>
	<beans:bean id="hdfsFileSystem" class="com.yiidata.ftpserver.hdfs.HdfsFileSystemFactory">
        <beans:constructor-arg type="org.apache.hadoop.conf.Configuration">
            <beans:bean class="org.apache.hadoop.conf.Configuration" />
        </beans:constructor-arg>
    </beans:bean>
</filesystem>

'''

  1. 编辑 users.properties 文件, 修改 admin 的 home为 /user/youname, 同时修改anonymous
  2. 注意 ftpd-hdfs.xml 顶部的命名空间, 增加:

'''

<server xmlns="http://mina.apache.org/ftpserver/spring/v1"
    xmlns:beans="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
   http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd 
   http://mina.apache.org/ftpserver/spring/v1 http://mina.apache.org/ftpserver/ftpserver-1.0.xsd	
   "
id="myServer">

'''

  1. 配置完成, 执行 ./bin/ftpd.sh start res/conf/ftpd-hdfs.xml 完成启动.
  2. HDFS 文件系统是不支持随机写的, 所以不支持断点续传(下载支持断点续传, 上传不支持). 其它功能基本可用.
  3. 亲测可用, 祝君顺利.

项目名: adapter, 拼写错误, 错了就错了吧. 不要介意

空文件

简介

Apache FtpServer Hadoop HDFS Adapter 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/yiidata/ftpserver-hdfs-apater.git
git@gitee.com:yiidata/ftpserver-hdfs-apater.git
yiidata
ftpserver-hdfs-apater
ftpserver-hdfs-apater
master

搜索帮助

53164aa7 5694891 3bd8fe86 5694891