[南开大学]20春学期《大数据开发技术（二）》在线作业（答案100分）

skystar

-[南开大学]20春学期（1709、1803、1809、1903、1909、2003）《大数据开发技术（二）》在线作业8 M1 }8 w5 q# @3 b% J" @6 a3 S
试卷总分:100    得分:1008 w; k* \4 z. w- A" E! e6 @) L
第1题,在MLlib中，逻辑回归算法的输入值为（）类型
A、Double
B、LabledPoint: R& y+ {/ y; L, g9 W9 z/ c
C、Point
D、SGB
正确答案:
" r! \5 \5 @4 W+ h* a: D
8 v9 `, @$ }3 T" ]
第2题,Scala列表方法中获取列表的第一个元素的方法是（）% f! V0 T, q/ T2 S, j  \) X' G) D' `
A、drop) {& @4 `$ T# h8 P) K
B、head
C、filter
D、init
正确答案:+ O5 A- u$ \% W/ z# @) K# {! }


第3题,spark-submit配置项中（）表示每个executor使用的内核数9 i% o9 V  e6 W8 Y  x
A、--num-executors NUM
B、--executor-memory MEM8 Y5 {; {, ]7 R6 r7 `3 m
C、--total-executor-cores NUM+ m3 U/ i* E* V! {. `- u
D、--executor-coures NUM7 {% ^/ J! `7 {/ h) E8 B
正确答案


第4题,Spark Streming中（）函数当被调用的两个DStream分别含有(K, V) 和(K, W)键值对时,返回一个(K, Seq[V], Seq[W])类型的新的DStream。
A、union8 M# Z2 ?/ Y1 x( u
B、reduce9 g( G  ~( R& q; b' t, U, A2 z
C、join
D、cogroup) d( T2 s9 B- V4 t. \4 c
正确答案:
- [; |+ s3 x9 C7 j/ _: q. Z5 p0 ]

答案来源：谋学网（www.mouxue.com）,PairRDD可以通过（）获得仅包含键的RDD7 _* w1 F) N0 n1 J5 j) r+ v& Z
A、key
B、keys3 U$ F/ y, l; }! `2 k% }
C、value+ ?. J: _( X) L" K7 j  z$ W
D、values, F, S3 g2 v$ r) H* ?, R
正确答案:; G1 a( G' U7 F6 c4 i9 |0 C$ U- Y


第6题,GraphX中（）是完整提供边的各种操作类# B* g) j1 e5 a& C' p" A
A、RDD[Edge]
B、EdgeRDD
C、RDD[(VertexId,VD)]
D、VertexRDD
正确答案:
5 k2 j  j1 Z6 `
5 z5 ]8 J% V% h
第7题,一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的（）多倍
A、2- L) n. d  E4 ~. f$ A
B、10; Z9 |' |8 d" w; S4 w+ i
C、100& w0 s6 ~2 `2 b/ B" p  x6 Q
D、1000
正确答案:


第8题,MLlib 中可以调用mllib.tree.DecisionTree 类中的静态方法（）训练分类树
A、trainClassifier7 Q' z- B2 l- E
B、trainRegressor
C、LogisticRegressionModel$ T. b2 g  D* B7 ^7 j; m
D、LabeledPoint8 n# }! v5 a/ v$ {  p! Z
正确答案:


第9题,Scala中（）方法返回Map所有的value9 y; ~- z' |4 }4 D; Q& r. Y) G
A、key3 F$ q) y! V5 [" i+ j: J: k5 ^
B、keys
C、value
D、values
正确答案7 c$ Y4 K& x# K. p1 K3 k7 c
: M! I9 b' F$ L6 Q0 o1 U, M" J

答案来源：谋学网（www.mouxue.com）,Spark Streming中DStream的每个RDD都是由（）分割开来的数据集
A、分区" X0 K* t+ g& P/ N" r
B、一小段时间/ Z; M& f' y9 T9 T, U  m& R
C、数据量% A% ^: g% c" ~$ [& Z4 `! v+ P
D、随机
正确答案:0 H, p5 l# `0 H
' `6 ]9 c0 J! Q* ^" b7 c# B

第11题,Dstream窗口操作中（）方法基于滑动窗口对（K，V）键值对类型的DStream中的值按K使用聚合函数func进行聚合操作，得到一个新的Dstream6 `0 w# k$ c) t3 B& s3 R+ Z+ A
A、window
B、countByWindow: a" ]' \8 b* `. K! ]
C、reduceByWindow8 j' u0 Z  R) n" @, }4 N4 r: H
D、reduceByKeyAndWindow5 C. S+ ~2 G( A5 Q6 U, I
正确答案


答案来源：谋学网（www.mouxue.com）,Scala列表方法中输出符号指定条件的所有元素的方法是（）
A、drop
B、head! V+ W# P' a# b* P
C、filter
D、init
正确答案:

6 S1 k. t; x+ Z/ y; K5 @3 D& g
第13题,以下哪个不是Scala的数据类型（）$ N  E, c( D( @5 Q  i
A、Int
B、Short Int, J* i- e% F8 t- l% c
C、Long
D、Any
正确答案:& Y. g. t" R6 [* U) h% q
1 b# o3 c' L8 S9 d1 ?

第14题,当需要将一个普通的RDD转化为一个PairRDD时可以使用（）函数来进行操作
A、transfer9 W8 g0 l) L) W) n/ U* y% a& G# w
B、change
C、map: \+ `& l) s, V8 u
D、build/ ?9 d; k8 k: p1 P; N$ G
正确答案:


答案来源：谋学网（www.mouxue.com）,Dstream窗口操作中（）方法返回一个基于源DStream的窗口批次计算后得到新的DStream。5 Q5 i& f9 `- @: e+ S
A、window
B、countByWindow2 \& z# V3 h# Z3 L
C、reduceByWindow
D、reduceByKeyAndWindow
正确答案:7 ~1 O5 f8 l! t% a+ D$ O& v1 K1 {

! p! e# d; C9 M
第16题,Dstream窗口操作中（）方法基于滑动窗口对源DStream中的元素进行聚合操作，得到一个新的Dstream. i. m! x8 D  c4 s
A、window
B、countByWindow
C、reduceByWindow0 h$ H/ u- n' j* b0 z9 v: M# e
D、reduceByKeyAndWindow! t% A# b- ^. m& D* a5 Q
正确答案:7 `/ e8 N8 t0 f# J+ ^8 m
: Z- m+ A8 |7 G$ R8 ^  v
6 Q0 B! a6 T& Q$ i/ i
第17题,Dstream输出操作中（）方法在Driver中打印出DStream中数据的前12个元素。
A、print7 Y7 u! s  }9 a- K! O5 [5 }
B、saveAsTextFiles8 r4 _9 w" }; c
C、saveAsObjectFiles, h: Y6 @9 a# v! y6 N$ G! G
D、saveAsHadoopFiles$ B! J5 Z* s9 f
正确答案:5 R$ d  l9 B3 k; I7 c7 S/ C* g


第18题,如果numPartitions是分区个数，那么Spark每个RDD的分区ID范围是（）6 O* t- I8 q8 H  K
A、[0,numPartitions]8 K; J7 x2 ^3 E$ o4 Q: f- K7 k
B、[0,numPartitions-1]
C、[1,numPartitions-1]
D、[1,numPartitions]9 K, }: Y) h3 ?2 ?$ w# c
正确答案:

' M: P/ Z+ E. @7 \
第19题,GraphX中graph.edges可以得到（）& }+ n' g+ d2 }6 A
A、顶点视图+ f- E) [9 |* i9 d
B、边视图9 x1 W  F8 G1 T8 M
C、顶点与边的三元组整体视图
D、有向图. k! g. E5 o& h& g5 @0 P6 Q) e. m- P3 s. @& d
正确答案:9 B$ y! H, _0 }" ~6 h
3 x; b1 j" G% f' L6 m1 ^0 V4 ?

答案来源：谋学网（www.mouxue.com）,GraphX中（）是存放着存放顶点的RDD
A、RDD[Edge]
B、EdgeRDD2 p# H3 T4 O) ]; O# `; R
C、RDD[(VertexId,VD)]
D、VertexRDD- ]( f4 K5 w3 a( V9 ^( F9 x) R
正确答案 f; M( b* t0 c1 f
' g5 @% n4 |$ _% o$ s

第21题,Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素
A、head, S1 c; ~) H9 T  k
B、init( k+ X+ D" ?' ~: Q1 W+ \/ Q% A
C、tail
D、last
正确答案:


第22题,请问RDD的（）操作把RDD 所有元素转换成数组并返回到Driver 端
A、join
B、zip
C、combineByKey2 ]7 k" ]' N, x$ G, h; i- n9 p: K' J& G
D、collect
正确答案0 i) G8 @! V" J- @3 x


第23题,Spark GraphX中类Graph的mapReduceTriplets方法可以（）
A、收集邻居顶点的顶点Id和顶点属性& a$ Q/ a* @- B7 N: A9 d
B、收集邻居顶点的顶点Id4 f3 x6 z( \! h& |5 ~0 |
C、向指定顶点发送信息并聚合信息
D、将顶点信息更新到图中9 U0 g, N, p% `) B% N2 e/ @
正确答案:
. x3 s4 E: `1 Y2 U

第24题,Scala列表方法中通过给定的方法将所有元素重新计算的方法是（）# u. X# F  Z$ v' v- i4 y
A、filter$ D8 {2 h3 t! C* D5 r
B、foreach$ b% m+ g' x, x
C、map
D、mkString; r9 d* \7 |+ \; c3 w  F/ V& \9 S
正确答案:
2 w  I4 B! d* c' ?* z9 [$ A8 [

答案来源：谋学网（www.mouxue.com）,Scala列表方法中返回所有元素，除了最后一个的方法是（）
A、drop! N, @* P2 L3 L! N3 \! ^& H: h* p
B、head! O& P4 Y1 g8 i* ^8 i
C、filter8 o- N( y" H! m' `) v
D、init
正确答案3 v' A. u# Y) o$ q+ R8 b


第26题,Scala中可以用（）方法来连接两个或多个列表
A、::
B、#:::6 @+ s: T; F! h( F1 D& N% i
C、List.:3 W5 t$ W# u, N# S) N; |; R- w; t, t
D、List.concat()  n4 m7 f* }: P; U( n
正确答案:,C,D* Y; W0 N# j7 a& Y
% q! t' f% X$ B5 l& A
8 f4 n' t* d# `4 A" B
第27题,Spark DataFrame中（）方法可以返回一个Array对象* |. V+ K3 O5 s) v, z
A、collect
B、take. E7 T, Q0 E+ r$ }% ^' N& |
C、takeAsList
D、collectAsList
正确答案:,B


第28题,Scala系统支持（）作为对象成员
A、通用类% Q$ v" j' h& \4 v- l
B、内部类- y. o5 }2 M5 B, Y. v$ ]0 e4 {3 W
C、抽象类
D、复合类
正确答案:,B,C,D
& ^( \7 f3 ]$ `- Q! w8 c; N) H
( d. E: W' O; h, p1 C0 Z$ Z
第29题,Mllib实现了一些常见的机器学习算法和应用程序，包括（）
A、分类0 M" ^* W$ i3 P+ {3 M' _9 I
B、聚类' a: J  k9 Q7 P) A: s' K
C、降维# h7 B0 R$ W3 t2 r% N* g  _; E
D、回归
正确答案:,B,C,D1 k' F4 @0 X4 b1 Z
0 m% T- `% C$ t
2 I9 q8 A0 c2 I$ U! b  _* h
答案来源：谋学网（www.mouxue.com）,Spark Streaming能够和（）无缝集成
A、Hadoop3 \; A9 p# U3 m) K' r9 r* t% b$ l7 U
B、Spark SQL* j4 c% f6 w* |; p9 f
C、Mllib* a' X6 S% ^8 |2 W
D、GraphX' H/ T1 i& V- u- ~$ _5 B
正确答案:,C,D: W' v  ]  J) M
0 c6 r# [( E8 D1 a7 [9 U8 ]

第31题,以下算法中属于分类算法的是（）
A、KNN算法
B、逻辑回归" u' V( @! i+ C, d7 Y
C、随机森林% B8 S  g' v8 H0 h; h- T' ?6 w: W
D、Kmeans* ?2 }2 F9 e4 }5 V0 m
正确答案:,B,C


第32题,Spark Core包含的功能有（）0 q- L8 r! ?) N  U; s3 w. p
A、任务调度) ~/ X, Y7 {; ?) ?9 @) l) N
B、内存管理
C、SQL查询1 @. w; v6 W# i$ R$ J: N6 z
D、容错机制
正确答案:,B,D3 ^5 c2 l7 H) A: c, y4 I

3 {  k! [5 r% d& t7 S1 H
第33题,Scala中构造列表的两个基本单位是 （）
A、Nil# U/ N( b2 O4 J% b6 E- `
B、Nill6 G4 `+ b. S8 H" e$ E7 a$ R
C、::4 |( b8 f0 q6 u+ V& j
D、List; B- x* W7 r, |2 \6 O
正确答案:,C
4 Y7 Y, x; v" Q0 q5 r. e5 F7 d8 ]

第34题,Spark DataFrame中（）方法可以返回一个List  j% ]4 ~* R5 [$ w. S/ A; l
A、collect) I" k+ W1 Q/ S- g6 [+ K
B、take
C、takeAsList
D、collectAsList4 v, _4 M" B0 I3 z5 p( a" r& k- i
正确答案:,D
% I+ e3 v2 i3 _* z5 [! z" ~
& T+ o. j, p- ?: l8 T
第35题,MLlib中用于线性回归算法的包主要有（）9 x% H/ k/ s5 E% ]) l1 F; U5 s, ~
A、LinearRegressionWithSGD
B、RidgeRegressionWithSGD. Q5 E" h; f0 L0 i: c7 ]0 o
C、LassoWithSGD
D、LeftRegression
正确答案:,B,C$ r+ t% I0 {+ ?# _5 q) s


第36题,RDD的map操作不会改变RDD的分区数目
T、对
F、错
更多答案下载：谋学网（www.mouxue.com）! b* d% n  ^/ A# C" [5 w

" ^2 ]6 t6 R% |- ~' z6 x
第37题,MLlib中StandardScaler处理的对象是每一列，也就是每一维特征，将特征标准化为单位标准差或是0均值，或是0均值单位标准差。
T、对7 _* V( p3 K5 w% \. J! O
F、错  j" M, v' w. M( z, q7 |' }
更多答案下载：谋学网（www.mouxue.com）# w! g% p2 T2 K3 J9 N
3 U! r) R/ w; I0 V* r

第38题,Scala中高阶函数经常将只需要执行多次的函数定义为匿名函数作为参数
T、对- q* p# f  D0 h, G
F、错( h# ^+ F) W2 B5 V4 t# G, f0 l
正确答案:F

  N! \& D( K4 _6 b/ M* T. z0 l
第39题,Spark SQL仅仅包括基本的SQL语法
T、对
F、错/ x  n' B# \1 m1 n$ j. \
正确答案:F
2 h& }0 ^0 D3 _' i/ s% D# Y
# Z+ o# J: z& R
第40题,聚类是一种无监督学习的方法，用于将高度相似的数据分到一类中
T、对1 p: K7 [$ O1 }$ N6 u
F、错
更多答案下载：谋学网（www.mouxue.com）/ m2 x4 V, X6 A3 h6 U
4 V0 O" y, g9 o- c0 [1 _
2 L$ @3 y0 y& c0 D0 R6 @$ ?& B
第41题,MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。6 `" C& J  _# \4 K$ S
T、对
F、错  y' A/ h0 {+ o1 w' r
更多答案下载：谋学网（www.mouxue.com）

* }) @5 T9 x- S& a/ B7 K0 I( L
第42题,Spark GraphX课通过mapVertices[VD2: ClassTag](map: (VertexId, VD) = VD2)实现对顶点属性经过变换生成新的图
T、对0 x3 j1 l; }" [/ B0 d+ }
F、错
更多答案下载：谋学网（www.mouxue.com）8 A# r8 b6 X3 Z

+ f, z# V9 ^3 A8 V5 ?) i
第43题,Spark Streming中对DStream的任何操作都会转化成对底层RDDs的操作
T、对: `  r. A4 |" y: m1 m' c, D3 [3 g% c) g
F、错
更多答案下载：谋学网（www.mouxue.com）9 ?: g6 _) S  A+ s

* y+ u3 R+ {# _0 G
第44题,Scala中默认情况下使用的是可变的Map9 |" \3 x. h) G5 \
T、对
F、错7 c9 b2 }9 M3 w: w3 l; g
正确答案:F) L1 L4 p; Y) W& d
0 v0 Y2 P5 d# p
: g$ Y/ h; A$ V1 y
第45题,mllib.feature中存在一些常见的特征转化方法，主要包括创建特征向量和标准化数据) X* ]. k/ S0 [  y/ X. b$ ?" E0 w
T、对
F、错
更多答案下载：谋学网（www.mouxue.com）  g9 ?# H. f! |8 C  e

( x/ m+ ^2 s9 V7 c
第46题,Scala中允许集成多个父类  Q* p' a# e8 Z  F9 T" w6 \( V- J
T、对: T: m6 O% j* J" ^7 l
F、错
正确答案:F
8 D9 W3 @- g( `0 f
: A: V9 I; F$ o' Y5 o
第47题,RDD中combineByKey不允许返回类型与输入数据类型不同的返回值
T、对
F、错: [$ \* H$ e" Y  r2 A+ v, `
正确答案:F

3 s$ _9 G0 |$ b& f9 f4 {
第48题,Spark SQL可被视为一个分布式的SQL查询引擎，并且提供了一个叫做DataFrame的可编程抽象数据模型
T、对
F、错  M5 {9 K  C9 C% T4 U



第49题,Spark GraphX课通过mapTriplets[ED2: ClassTag](map: EdgeTriplet[VD, ED] = ED2)
实现对边属性经过变换生成新的图
T、对
F、错

Scala是Scalable Language的简写，是一门多范式的编程语言，设计初衷是不包括函数式编程的特性。
T、对3 [  e+ c% d! K7 k( V/ a0 B0 K
F、错
正确答案:F