此文已由作者岳猛授权网易云社区发布。

欢迎访问，了解更多网易技术产品运营经验。

Structure Stream访问方式

code examples

import org.apache.spark.sql.streaming._val df = spark.readStream.text("/home/testhdfs")val ps = df.writeStream.format("console").outputMode(OutputMode.Append).start

结论

basedir = /home/testhdfs

支持：mv file to basedir（/home/testhdfs）

不支持：mv directory to basedir

如果往basedir里面添加文件夹会出现ERROR:

java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:        hdfs://172.17.1.180:9000/home/testhdfs/data1        hdfs://172.17.1.180:9000/home/testhdfsIf provided paths are partition directories, please set "basePath" in the options of the data source to specify the root directory of the table. If there are multiple root directories, please load them separately and then union them.

spark streaming 访问方式

测试textFile接口使用

import org.apache.spark.streaming._val ssc = StreamingContext.getActiveOrCreate(() => new StreamingContext(sc,                  Seconds(120)))val ds1 = ssc.textFileStream("/home/testhdfs2")ds1.printssc.start

结论

支持：mv file to basedir（/home/testhdfs2）

支持：mv directory to basedir

链接：

更多网易技术、产品、运营经验分享请。

相关文章：

【推荐】