Bootstrap

大数据学习之 scala基础(补充)

scala基础:

hello world:
  • 写scala可运行文件的注意事项
  • 1、如果一个scala文件要运行,class要改成object
  • 2、如果是class,就仅单纯代表一个类,如果是object代表的是单例对象
  • 3、scala语法中,一句话结束不需要加分号
  • 4、scala文件中,可以无缝使用java中的类和方法
object HelloWorld {
  def main(args: Array[String]): Unit = {
    // 输出一句hello world
    println("hello world")

    // java语言的输出一句话
    System.out.println("hello world")
  }
}
变量、常量
/**
 * 变量:在程序的运行过程中,其值可以发生改变的量
 * 在scala中定义一个变量,需要使用一个关键词:var
 *常量: 定义一个常数,使用关键字:var
 * 注意:
 * 1、变量一旦定义,它的类型就确定,可以不用手动指定类型,根据赋的值自动推断出类型
 * 2、也可以手动的指定变量的数据类型,完整的写法:var 变量名:数据类型 = 值
 *
 * scala中的数据类型和java的数据类型对应关系(Byte->Double 按所占字节数的大小,从小到大进行排序):
 * java:              scala:
 * byte                Byte
 * short               Short
 * int                 Int
 * long                Long
 * float               Float
 * double              Double
 * boolean             Boolean
 * char                Char
 */
// var定义一个变量
    var a1 = 100
    println(a1)
    //获取变量的类型
    println(a1.getClass)
    // 更改a1的值
    a1 = 200
    println(a1)
    
    var a2: Int = 10
    println(a2.getClass)
    
    val a3: Int = 100
    println(a3)
    // val 定义常量,若是修改其值会报错
//    a3 = 200
    // * : 为一个函数,底层通过StringBuilder来实现字符的链接
    println("=" * 50)
字符串
/**
 * scala中字符串、及其函数的使用
 * 字符串:由若该字符串组成的序列
 */
// 可以使用双引号构建字符串
var s1: String = "这是一个字符串"
println(s1)

// 使用""" """" 构建一个长字符串
var sql: String =
  """
    |这是一个长字符串
    |真的很长
    |注意了!!!
    |""".stripMargin
println(sql)

// String类和Java是一个共同的字符串类,String类中的功能在scala中正常使用

var s3 = "hello,world,java,hadoop,scala"
val arr1: Array[String] = s3.split(",")
// scala中的数组下标也是从0开始的,不过取的时候要使用arr1(0)
println(arr1(0))
println(arr1(1))
println(arr1(2))

/**
 * scala中字符串的拼接:
 * 1、使用 + 进行拼接,不过这种方式很消耗性能
 * 2、使用StringBuilder
 * 3、使用scala的特有函数mkString,前提条件是:有一组可拼接的序列
 * 4、使用scala特有的字符串传递方式 s"{变量}” (类似于python语言) 底层就是使用StringBuilder方式拼接的
 */
var q1: String = "hello"
var q2: String = "hello"
var q3: String = "hello"
var res1: String = q1 + "," + q2 + "," + q3
println(res1)

var res2: StringBuilder = new StringBuilder()
res2.append(q1).append(",").append(q2).append(",").append(q3)
println(res2)

var res3: String = arr1.mkString(",")
println(res3)

// 使用s"${}", 功能强大可以在括号中调用函数
var res4: String = s"${q1.toUpperCase},${q2},${q3}"
println(res4)
运算符
/**
 * 运算符
 */
var x: Int = 3
var y: Int = 4

println(x + y)
println(x - y)
println(x * y)
//此处的 / 为整除,若想让其取小数,可以让两个数中的其中一个变成一个浮点数
println(x / y)
println(x * 1.0 / y)
println(x % y)
循环语句
/**
 * 循环语句:
 * 注:
 * 1、在scala语言中,没有++或--, 如 i++ 、 i--
 * 2、在scala语言中,不存在和java一样的普通for循环
 * 3、scala中的循环的写法不太一样
 */

var i: Int = 0
while (i < arr2.length){
  println(arr2(i))
}

// 1 to 10 : 相当于闭区间的1到10
for (e <- 1to 10){
  println(e)
}

for(e <- 1 until 10){
  println(e)
}
控制语句
/**
   * 控制语句
   * 注:在scala中没有break、continue关键字
   * 要想使用break得导包:import scala.util.control.Breaks.break
   */
  //TODO 在break后,程序的执行结束,如若想继续执行,那么需要再加上一个breakable
  breakable{
    for (e <- 1 to 10) {
      if (e == 5) {
        //TODO:底层为一个异常抛出, def break(): Nothing = { throw breakException }
        break;
      }
      println(e)
    }
  }
  println("太牛了!")
}
IO流
def main(args: Array[String]): Unit = {
  //读取一个文件内容
  //使用java的方式读取文件, 使用带缓冲区的字符输入流
      val br: BufferedReader = new BufferedReader(new FileReader("scala/data/words.txt"))
      var line:String = br.readLine()
      while (line!=null){
        println(line)
        line = br.readLine()
      }

  //scala中的读取文件的方式
  //Source.fromFil 底层是使用了字节输入流读取数据FileInputStream
  val bs: BufferedSource = Source.fromFile("scala/data/words.txt")
  // getLines();返回的是一个迭代器对象, 使用迭代器的hasNext()、next() 方法进行数据的输出
  val lineIterator: Iterator[String] = bs.getLines()
      while (lineIterator.hasNext){
        val s: String = lineIterator.next()
        println(s)
      }

  // 既然返回的是一个迭代器,那么就可以使用for循环来进行输出
  for (e <- bs.getLines()) {
    println(e)
  }

  //java写文件
  /**
   * FileWriter对象被用作参数来创建一个BufferedWriter对象。
   * 这样,就可以通过BufferedWriter来写入字符,而实际的写入操作(包括可能的缓冲)将由BufferedWriter处理。
   */
  val bw = new BufferedWriter(new FileWriter("scala/data/words2.txt"))
  bw.write("写入数据!")
  // newLine()方法用于写入一个行分隔符
  bw.newLine()
  bw.write("太棒了!")
  //flush()方法用于将缓冲区中的数据强制写入到底层输出流(如FileWriter)中,并清空缓冲区。

  bw.flush()

  //TODO 纯scala中没有写文件的方式!!

}
异常抛出(与java中很像)

手动抛出异常:

val sc = new Scanner(System.in)
print("输入除数:")
val cs: Int = sc.nextInt()
if(cs!=0){
  println(10/cs)
}else{
  throw new ArithmeticException("您输入的除数是0")
}

使用try、catch捕获异常

def main(args: Array[String]): Unit = {
  /**
   *  scala中的异常和java的很像
   */
  try {
    println(10/2)
    val arr1: Array[Int] = Array(1, 2, 3, 4, 5)
    println(arr1(2))

    val br: BufferedReader = new BufferedReader(new FileReader("scala/data/words888.txt"))
        
    val sc = new Scanner(System.in)
    print("输入除数:")
    val cs: Int = sc.nextInt()
    
      println(10/cs)

    // 异常被捕获后,后续代码都可以运行
  }catch{
    //类似于sql语句中case when
    // 使用case来选择抛出的异常
    case e:ArithmeticException=>
      println("除0异常")
        e.printStackTrace()
    case e:ArrayIndexOutOfBoundsException=>
      println("数组越界异常")
    // TODO _ : 表示所有的异常都可以抛出,相当于Exception
    case _ =>
      println("出现异常")
  }finally {
    //TODO 用于确保无论是否发生异常,都会执行一段代码。
    //  今后finally中的处理大部分情况下都与释放资源有关
    println("这是finally代码块")
  }

  println("hello world")
}
scala中的函数
/**
 * def: 定义函数或者方法的关键字
 * main: 是函数或者方法的名字,符合标识符的命名规则
 * args: 函数形参的名字
 * Array[String]: 参数的数据类型是一个元素为字符串的数组
 * =: 后面跟着函数体(与Java中不同之处)
 * Unit: 等同于java中的void 表示无返回值的意思
 *
 *形式:
 * def main(args: Array[String]): Unit = {
 *
 * }
 *
 * 在不同的地方定义,称呼不一样
 * 函数:在object中定义的叫做函数
 * 方法:在class中定义的叫做方法
 */

object Demo5Function {
  def main(args: Array[String]): Unit = {
    //调用函数
    val res1: Int = add(3, 4)
    println(res1)


    // scala中的函数可以嵌套定义,函数中可以再定义函数
    def plus(x: Int, y: Int): Int = {
      return x + y
    }

    //调用必须在定义之后
    val res2: Int = plus(10, 20)
    println(res2)

    // 函数无法成功调用
//    val res3: Int = add2(11, 22)
//    println(res3)

    val d1: Demo1 = new Demo1()
    val res4: Int = d1.add2(11, 22)
    println(res4)

    //调用形式1:object中的函数可以使用类名调用,类似于静态一样
    val res5: Int = Demo5Function.add(100, 200)
    println(res5)

    //调用形式2:object中的函数调用时,可以省略类名
    val res6: Int = add(200, 300)
    println(res6)

    val res7: Int = fun1("1000")
    println(res7)

    //TODO 如果方法调用的函数只有一个参数的时候,可以将.和小括号用空格代替调用
    val res9: Int = Demo5Function.fun1("1000")
    val res8: Int = Demo5Function fun1 "1000"   //  "=" * 50 -> "=".*(50)
    println(res8)

    //TODO 如果定义的时候,没有小括号,调用的时候,就不需要加小括号(无需传入参数)
    show

  }

  //定义格式1:如果函数有返回值,且最后一句话作为返回值的话,return关键字可以不写
  def add3(a1: Int, b1: Int): Int = {
    a1 + b1
  }
  //定义格式2:如果函数体中只有一句实现,那么大括号也可以不写
  def add4(a1: Int, b1: Int): Int = a1 + b1

  //定义格式3:如果函数没有参数的时候,小括号省略不写
  def show= println("好好学习,天天向上!")



  //需求1:定义一个求两个数之和的函数,返回结果
  def add(a1: Int, b1: Int): Int = {
    return a1 + b1
  }

  def fun1(s:String): Int = {
    return s.toInt
  }


}


//TODO 函数或者方法必须定义在class或者object中,否则将会报错,无法进行编译
//def add2(a1: Int, b1: Int): Int = {
//  return a1 + b1
//}

class Demo1{
  //这里叫方法,将来调用时需要创建该类的对象才可以调用
  def add2(a1: Int, b1: Int): Int = {
    return a1 + b1
  }
}
递归调用
/**
 * scala中的函数也可以递归
 * 方法定义时,自身调用自身的现象
 *
 * 条件:要有出口(停止递归调用条件),不然就是死递归
 */
object Demo6Function {
  def main(args: Array[String]): Unit = {
    //求阶乘 5!
    val res1: Int = factorial(5)
    println(s"5的阶乘是$res1")

    println(s"5的阶乘是${Demo6Function factorial 5}")

  }

  def factorial(number: Int): Int = {
    if (number == 1) {
      1
    } else {
      number * factorial(number - 1)
    }
  }


}
scala中定义class类
object Demo7Class {
  def main(args: Array[String]): Unit = {
    //    val s1: Student = new Student()

    //    val s1: Student = new Student("张三",18)
    val s2: Student = new Student("张三", 18, "男")

    println(s2)

    //如果调用的是一个类的无参构造方法,new的时候小括号可以不用写
    val s3: Student2 = new Student2
    s3.fun1()

    //也可以使用多态的方式创建对象
    val s4:Object = new Student("张三111", 19, "男")
//    s4.fun1()
    println(s4.toString)
  }
}

/**
 * 可以在scala程序定义类
 * 类:构造方法 成员方法 成员变量
 *
 * 构造方法:
 * 1、在scala中构造方法的编写和在java中不太一样,类所拥有的大括号中都是构造代码块的内容
 * 2、默认情况下,每一个类都应该提供一个无参的构造方法
 * 3、构造方法可以有许多
 */
class Student(name: String, age: Int) {
  /**
   * 定义成员变量
   */
  val _name: String = name
  val _age: Int = age
  // _: 这个下划线,就表示将来不传值时,会赋予其默认值。String的默认值是一个特殊的值,即null
  var _gender: String = _

  /**
   * 构造方法也可以写多个
   */
    // TODO def this () :为重载的构造器,有着不同的参数列表,
    //  在创建类的对象时,若传递三个参数,则会使用该构造方法进行初始化对象
  def this(name: String, age: Int, gender: String) {
      /**
       * this():
       * 用于在辅助构造器中调用主构造器或其他辅助构造器,
       * 以确保对象被正确初始化。需要注意的是,this(...)调用必须是构造器体中的第一条语句。
       */
      this(name: String, age: Int)
      _gender = gender
  }

  //  println("好好学习,天天向上!")


  /**
   * 也可以重写方法
   * 此处定义的类的父类都是Object,重写继承自父类的toString方法
   */
  override def toString: String = {
    // 使用s"${}"的形式会报错
    "姓名:" + _name + ", 年龄:" + _age + ", 性别:" + _gender
  }

  //  override def toString: String = super.toString
}

class Student2{
  def fun1()={
    println("666")
  }
}
样例类
/**
 *  scala提供了一个非常好用的功能:样例类
 *  较少用户创建类所编写代码量,只需要定义成员变量即可,自动扩充成员变量,构造方法,重写toString方法
 */
object Demo8CaseClass {
  def main(args: Array[String]): Unit = {
    val t1 = new Teacher("小虎", 16, "学习")
    println(t1)
    println(t1.name)
    println(t1.age)
    println(t1.like)

    t1.like = "敲代码"
    println(t1)
  }
}

/**
 * 样例类中的成员变量,编译后默认是被jvm添加了final关键字,用户是改变不了的
 * 对于scala来说,默认是被val修饰的
 * 如果将来想要被改变,定义的时候需要使用var进行修饰
 */
case class Teacher(name:String,age:Int,var like:String)
伴生对象(apply方法)
object Demo9Apply {
  def main(args: Array[String]): Unit = {
        val b: Book1 = new Book1()
        b.apply() // 定义在class中是一个普通的方法


    // TODO: 若定义在object中,那么可以直接用Book("中华上下五千年", 999)的形式来调用这个方法
    val b1: Book = Book("中华上下五千年", 999)

    println(b1)
  }
}

class Book1 {
  def apply(): Unit = {
    println("哈哈哈")
  }
}

// TODO object Book 为 class Book的伴生对象
object Book {
  def apply(name:String,price:Int): Book = {
    new Book(name,price)
  }
}

class Book(name: String, price: Int) {
  val _name: String = name
  val _price: Int = price

  override def toString: String = "书名:" + _name + ", 价格:" + _price
}
scala面向函数式编程
/**
 * scala中的函数式编程
 *
 * 面向对象编程:将对象当作参数一样传来传去
 * 1、对象可以当作方法参数传递
 * 2、对象也可以当作方法的返回值返回
 * 当看到类,抽象类,接口的时候,今后无论是参数类型还是返回值类型,都需要提供对应的实现类对象
 *
 * 面向函数式编程:将函数当作参数一样传来传去
 * 1、函数A当作函数B的参数进行传递
 * 2、函数A当作函数B的返回值返回
 *
 * 在scala中,将函数也当作一个对象,对象就有类型
 * 函数在scala也有类型的说法
 * 函数的类型的形式为:
 * 参数类型=>返回值类型
 *
 */
将函数当作对象,赋值给类型是函数类型的变量
//是一个参数为字符串类型,返回值是整数类型的函数
    def fun1(s: String): Int = {
      s.toInt + 1000
    }

    val res1: Int = fun1("1000")
    println(res1)

    //定义变量的方式,定义一个函数
    //将函数当作对象,赋值给类型是函数类型的变量,将来可以直接通过变量调用函数
    val fun2: String => Int = fun1

    val res2: Int = fun2("2000")
    println(res2)
        
        
        
        
        
    /**
     * 函数A作为函数B的参数定义
     *
     * 本质上是将函数A的处理逻辑主体传给了函数B,在函数B中使用这个处理逻辑
     */
//     show1 show2 相当于函数A
//     fun1   相当于函数B
    //定义
        def fun1(f: String => Int): Int = {
          val a1: Int = f("1000")
          a1 + 3000
        }

        def show1(s:String): Int = {
          s.toInt
        }

        //调用
        val res1: Int = fun1(show1)
        println(res1)

        def show2(s: String): Int = {
          s.toInt+11111
        }

        val res2: Int = fun1(show2)
        println(res2)
            
            
            
            
            
      //定义一个函数fun1, 函数的参数列表中,既有正常的类型参数,也有函数类型的参数
    def fun1(s: String, f: String => Int): Int = {
      val a1: Int = f(s)
      a1 + 1000
    }

        def show1(s: String): Int = {
          s.toInt
        }

        def show2(s: String): Int = {
          s.toInt + 1111
        }

    //.....
        val res1: Int = fun1("2000", show2)
        println(res1)

    //使用lambda表达式改写函数作为参数传递的调用形式:(s: String) => s.toInt
    fun1("2000", (s: String) => s.toInt)
    fun1("2000", (s: String) => s.toInt+1000)

    //在scala中,数据类型可以自动类型推断
    fun1("2000", s => s.toInt+1000)
    //如果当作参数的函数的参数只在函数主体使用了一次,那么可以使用_代替
    fun1("2000", _.toInt+1000)

    val res2: Int = fun1("2000", _.toInt+1000)
    println(res2)
函数当作参数传递的应用
object Demo11Fun {
  def main(args: Array[String]): Unit = {
    val arr1: Array[Int] = Array(11, 22, 33, 44, 55)

    // for循环输出数组
    for (e <- arr1) {
          println(e)
        }

    // 定义一个函数
    def fun1(i: Int): Unit = {
      println(i*2)
    }

    //def foreach[U](f: A => U): Unit
    //foreach函数需要一个参数,它和数组元素一样的类型,返回值是Unit的函数
    //foreach函数的主要作用是将调用该方法的序列中的元素,依次取出并传递给传入的函数进行处理
    arr1.foreach(fun1)

    // scala自带的一个函数
    def println(x: Any) = Console.println(x)
    // Any可以接收任意的数据类型元素
    arr1.foreach(println)
  }
}
函数当作返回值返回
//定义返回值是函数的函数方式1:
    def fun1(s1: String): String => Int = {
      def show(s: String): Int = {
        s.toInt + s1.toInt
      }
      show
    }


    val resFun1: String => Int = fun1("1")
    val res1: Int = resFun1("1000")
    println(res1)
//定义方式2(是方式1的简化写法):

/**
 * 方式2这种将参数分开定义,今后调用时可以分开传递,这种做法,在scala中叫做函数柯里化
 *
 * 面试题:什么是函数柯里化?
 *  1、本身是一个数学界的一个名词,本意是原来一次传递多个参数,现在被改成了可以分开传递的形式,这种做法叫做柯里化
 *  2、在scala中体现柯里化,指的是函数的返回值也是一个函数,将来调用时参数可以分开传递。
 *  3、提高了程序的灵活性和代码复用性
 *  4、在scala中也可以通过偏函数实现参数分开传递的功能
 */
def fun1(s1: String)(s: String): Int = {
  s.toInt + s1.toInt
}

//调用函数的返回值是函数的方式1:
val resFun1: String => Int = fun1("1")
val r1: Int = resFun1("11")
println(r1)
val r2: Int = resFun1("12")
println(r2)
val r3: Int = resFun1("13")
println(r3)

    //调用方式2:
    val res2: Int = fun1("1")("1000")
    println(res2)

def function1(s1: String, s2: String): Int = {
  s1.toInt + s2.toInt
}
    val res1: Int = function1("1", "1000")
    println(res1)
/**
 * 偏函数
 */
//TODO 将第二个参数用 _ 代替,则会返回一个函数(由底层代码进行操作)
val f1: String => Int = function1("1", _)
val res1: Int = f1("1000")
val res2: Int = f1("2000")
val res3: Int = f1("3000")
println(s"res1:$res1,res2:$res2,res3:$res3")
集合
ArrayList
package com.shujia.jichu

import java.util

object Demo13ArrayList {
  def main(args: Array[String]): Unit = {
    val list1: util.ArrayList[Int] = new util.ArrayList[Int]()

    list1.add(11)
    list1.add(123)
    list1.add(22)
    list1.add(31)
    list1.add(17)

    println(list1)

    println("=" * 50)
    //scala中的for循环,只能遍历scala中的序列,无法遍历java的序列
    //    for (e <- list1) {
    //
    //    }
    var i = 0
    while (i < list1.size()) {
      println(list1.get(i))
      i += 1
    }

  }
}
  • scala中的集合:
  • List: 元素有序,且可以发生重复,长度固定的
  • Set: 元素无序,且唯一,长度固定的
  • Map: 元素是键值对的形式,键是唯一的
  • Tuple: 元组,长度是固定的,每个元素的数据类型可以不一样
List
//创建一个scala中的List集合
//创建了一个空集合
val list1: List[Nothing] = List()
val list2: List[Int] = List(34, 11, 22, 11, 33, 44, 55, 22, 75, 987, 1, 12, 34, 66, 77)

println(list2)
//获取List集合的长度
println(list2.size)
println(list2.length)
println("=" * 50)
//可以直接通过索引下标获取元素
println(list2(0))
println(list2(1))
println(list2(2))
println("=" * 50)
//scala推荐获取第一个元素的方式是调用head函数(scala更希望使用这种方式来获取第一个元素的值)
println(list2.head)
println(list2.last)
//根据指定的分隔符拼接元素
println(list2.mkString("|"))
// 34|11|22|11|33|44|55|22|75|987|1|12|34|66|77
println("=" * 50)
val resList1: List[Int] = list2.reverse //返回一个新的所有元素反转的集合
println(s"list2:$list2")
println(s"resList1:$resList1")
println("=" * 50)
val resList2: List[Int] = list2.distinct //返回一个新的没有重复元素的集合
println(s"list2:$list2")
println(s"resList2:$resList2")
println("=" * 50)
val resList3: List[Int] = list2.tail // 除去第一个,其余的元素返回一个新的集合
println(s"list2:$list2")
println(s"resList3:$resList3")
println("=" * 50)
val resList4: List[Int] = list2.take(5) // 从左向右取指定数量的元素
println(s"list2:$list2")
println(s"resList4:$resList4")
println("=" * 50)
val resList5: List[Int] = list2.takeRight(5) //取右边的几个(取的顺序为从左向右),组成新的集合
println(s"list2:$list2")
println(s"resList5:$resList5")
println("=" * 50)
//从第一个判断取数据,直到不符合条件停止
val resList10: List[Int] = list2.takeWhile((e: Int) => e % 2 == 0)
println(s"list2:$list2")
println(s"resList10:$resList10")
// resList10:List(34)
println("*********************" * 5)
val res1: Int = list2.sum // 元素必须是数值,sum求和
println(s"集合中的元素和为:$res1")
println("=" * 50)
val res2: Int = list2.max
println(s"集合中的元素最大值为:$res2")
println("=" * 50)

//集合的遍历
for (e <- list2) {
  println(e)
}
println("=" * 50)
高阶函数
  • 高阶函数:
  • foreach: 依次取出元素,进行后面函数逻辑,没有返回值
  • map: 依次取出元素,进行后面函数逻辑,有返回值,返回新的集合
  • filter: 所有数据中取出符合条件的元素
  • sortBy/sortWith: 排序
  • flatMap: 扁平化
  • groupBy: 分组,结果是一个map集合
foreach
  • foreach: 将集合中的元素依次取出传入到后面的函数中
  • 注意:没有返回值的,要么就输出,要么就其他方式处理掉了
//def foreach[U](f: A => U)
//    list2.foreach((e: Int) => println(e))
//    list2.foreach(println)
//需求1:使用foreach求出集合中偶数的和
var ouSum = 0
var jiSum = 0
list2.foreach((e: Int) => {
  if (e % 2 == 0) {
    ouSum += e
  } else {
    jiSum += e
  }
})
println(s"集合中偶数之和为:$ouSum")
println(s"集合中奇数之和为:$jiSum")
println("=" * 50)
map
  • 高阶函数:
  • map: 依次处理每一个元素,得到一个新的结果,返回到一个新的集合中
val list3: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9)
//需求2:将集合中的每一个元素*2
val resList6: List[Int] = list3.map((e: Int) => e * 2)
println(s"list3:$list3")
println(s"resList6:$resList6")
filter

保留符合条件的元素

println("=" * 50)
val list4: List[Int] = List(4, 7, 9, 10, 12, 11, 14, 9, 7)
val resList7: List[Int] = list4.filter((e: Int) => e % 2 == 0)
println(s"list4:$list4")
println(s"resList7:$resList7")
sortBy、sortWith
  • sortBy: 排序
  • sortWith: 两个数之间的关系排序
println("=" * 50)
// -e : 表示为降序排序
val resList8: List[Int] = list4.sortBy((e: Int) => -e)
println(s"list4:$list4")
println(s"resList8:$resList8")
// 相邻元素之间两两比较,递减排序
val resList9: List[Int] = list4.sortWith((x: Int, y: Int) => x > y)
println(s"list4:$list4")
println(s"resList9:$resList9")
flatMap
  • flatMap: 扁平化
println("=" * 50)
val list5: List[String] = List("hello|world|java", "hello|hadoop|flink", "scala|spark|hadoop")
val resTmp1: List[String] = list5.flatMap((e: String) => e.split("\\|"))
resTmp1.foreach(println)
/**
 * hello
 * world
 * java
 * hello
 * hadoop
 * flink
 * scala
 * spark
 * hadoop
 */

groupBy

  • groupBy: 分组
val list6: List[String] = List("hello", "world", "java", "hadoop", "flink", "java", "hadoop", "flink", "flink", "java", "hadoop", "flink", "java", "hadoop", "hello", "world", "java", "hadoop", "hello", "world", "java", "hadoop")
val map: Map[String, List[String]] = list6.groupBy((e: String) => e)
for (e <- map) {
  println(e)
}
set集合
def main(args: Array[String]): Unit = {
    //    val set1: Set[Int] = Set(11, 22, 33, 44)

    /**
     * set集合:scala中的Set集合也是不可变的,除了排序相关的函数以外,List集合有的高阶函数,Set集合也有
     */
    val set1: Set[Int] = Set(1, 4, 3, 6, 5)
    val set2: Set[Int] = Set(3, 6, 5, 7, 8)
    println(s"set1: ${set1}")
    println(s"set2: ${set2}")
    println("=" * 50)
    //求交集
//        val resSet1: Set[Int] = set1.&(set2)
//    val resSet1: Set[Int] = set1 & set2
    val resSet1: Set[Int] = set1.intersect(set2)
    println(s"set1: ${set1}")
    println(s"set2: ${set2}")
    println(s"交集: ${resSet1}")
    println("=" * 50)
    //求并集
    //    val resSet2: Set[Int] = set1.|(set2)
    val resSet2: Set[Int] = set1 | set2
    println(s"set1: ${set1}")
    println(s"set2: ${set2}")
    println(s"并集: ${resSet2}")
    println("=" * 50)
    //求差集
    //    val resSet3: Set[Int] = set1.&~(set2)
    val resSet3: Set[Int] = set1 &~ set2
    println(s"set1: ${set1}")
    println(s"set2: ${set2}")
    println(s"差集: ${resSet3}")
    println("=" * 50)
    /**
     * Set集合和List集合能不能互相转换?
     * 可以的
     */
    val list1: List[Int] = List(11, 22, 33, 44, 55, 11, 22, 44, 88, 33, 44, 99, 11, 22, 55)
    //List->Set
    val resSet4: Set[Int] = list1.toSet
    println(s"list1:${list1}")
    println(s"resSet4:${resSet4}")
    println("=" * 50)
    //Set->List
    val list2: List[Int] = resSet4.toList.sortBy((e:Int)=>e)
    println(s"list1:${list1}")
    println(s"resSet4:${resSet4}")
    println(s"list2:${list2}")

  }
Mutable下的可变的集合
import scala.collection.mutable
import scala.collection.mutable.ListBuffer

object Demo16Mutable {
  def main(args: Array[String]): Unit = {
    /**
     * 通过观察api发现,不可变的集合是属于scala.collection.immutable包下的
     * 如果将来想要使用可变的集合,就要去scala.collection.mutable包下寻找
     */
    //创建一个可变的List集合
    val listBuffer1: ListBuffer[Int] = new ListBuffer[Int]
    println(listBuffer1)
    listBuffer1.+=(11)
    listBuffer1.+=(22)
    listBuffer1.+=(33)
    listBuffer1.+=(11)
    listBuffer1.+=(55)
    listBuffer1.+=(22)
    listBuffer1.+=(33)
    listBuffer1.+=(66)
    listBuffer1.+=(33)
    println(listBuffer1)
    println("=" * 50)
    //获取元素
    println(listBuffer1(2))
    println(listBuffer1.head)
    println(listBuffer1.last)
    /**
     *  这里的可变List集合,上午说的功能函数,这里都可以调用
     */
    println("=" * 50)
    //删除元素
    //ListBuffer(11, 22, 33, 11, 55, 22, 33, 66, 33)
    listBuffer1.-=(33) //从左向右找元素,只会删除第一次找到的
    println(listBuffer1)
    println("=" * 50)
    //批量添加元素
    listBuffer1.+=(100,220,300,400)
    println(listBuffer1)
    println("=" * 50)
    val list1: List[Int] = List(99, 88, 77)
    listBuffer1.++=(list1)
    println(listBuffer1)


    /**
     * 可变的Set集合
     */
    val hashSet1: mutable.HashSet[Int] = new mutable.HashSet[Int]()
    val set1: hashSet1.type = hashSet1.+=(1, 2, 3, 4, 5, 7, 1, 2, 3, 1, 6, 5)
    println(set1)

  }
}
元组
/**
 * 大小,值是固定的,根据创建的类来定,每个元素的数据类型可以是不一样,最高可以创建存储22个元素的元组
 */
object Demo17Tuple {
  def main(args: Array[String]): Unit = {

    // 有几个数值就是几元组
    val t1: (Int, String, String, Int, String) = Tuple5(1001, "张三", "男", 17, "学习")

    println("=" * 50)
    val s2: Student1 = new Student1(1002, "李四", 18, "看剧")
    val t2: (Int, Student1) = Tuple2(1002, s2)
    println(t2._2.name)



  }
}

case class Student1(id: Int, name: String, age: Int, like: String)
Map集合
object Demo18Map {
  def main(args: Array[String]): Unit = {
    //创建Map集合
    //键是唯一的,键一样的时候,值会被覆盖
    val map1: Map[Int, String] = Map((1001, "张三"), (1002, "李四"), (1003, "王五"), (1001, "赵六"), 1005 -> "易政")
    println(map1)

    println("=" * 50)
    //可以根据键获取值
    //    println(map1(1006)) // 小括号获取值,键不存在报错
    //    println(map1.get(1006)) // get函数获取,键不存在,返回None
    println(map1.getOrElse(1006, 0)) //根据键获取值,若键不存在,返回提供的默认值,默认值的类型可以是任意数据类型
    println("=" * 50)
    val keys: Iterable[Int] = map1.keys // 获取所有的键,组成一个迭代器
    for (e <- keys) {
      println(e)
    }
    println("=" * 50)
    val values: Iterable[String] = map1.values // 获取所有的值,组成一个迭代器
    for (e <- values) {
      println(e)
    }
    println("=" * 50)

    //遍历Map集合第一种方式,先获取所有的键,根据键获取每个值
    val keys2: Iterable[Int] = map1.keys // 获取所有的键,组成一个迭代器
    for (e <- keys2) {
      val v: Any = map1.getOrElse(e, 0)
      println(s"键:${e}, 值:${v}")
    }
    println("=" * 50)
    //遍历Map集合第二种方式,先获取所有的键,根据键获取每个值
    for (kv <- map1) { // 直接遍历map集合,得到每一个键值对组成的元组
      println(s"键:${kv._1}, 值:${kv._2}")
    }
    println("=" * 50)
    //遍历Map集合第三种方式,先获取所有的键,根据键获取每个值
    map1.foreach((kv: (Int, String)) => println(s"键:${kv._1}, 值:${kv._2}"))


  }
}
wordcount案例
import scala.io.{BufferedSource, Source}

object Demo19WordCount {
  def main(args: Array[String]): Unit = {
    //1、读取数据文件,将每一行数据封装成集合的元素
    val lineList: List[String] = Source.fromFile("scala/data/words.txt").getLines().toList
    println(lineList)
    //2、将每一行数据按照|切分,并且进行扁平化
    val wordsList: List[String] = lineList.flatMap((line: String) => line.split("\\|"))
    println(wordsList)
    //3、根据元素进行分组
    val wordKV: Map[String, List[String]] = wordsList.groupBy((e: String) => e)
    println(wordKV)

    /**
     * List((world,8), (java,11),...)
     */
    val wordCount: Map[String, Int] = wordKV.map((kv: (String, List[String])) => {
      val word: String = kv._1
      val count: Int = kv._2.size
      (word, count)
    })

    println("="*50)
    val resultList: List[(String, Int)] = wordCount.toList
    resultList.foreach(println)
    println("="*50)

    /**
     * 使用链式调用的方式简写
     */
    Source.fromFile("scala/data/words.txt")
      .getLines()
      .toList
      .flatMap((line:String)=>line.split("\\|"))
      .groupBy((e:String)=>e)
      .map((kv: (String, List[String])) => {
        val word: String = kv._1
        val count: Int = kv._2.size
        (word, count)
      })
      .toList
      .foreach(println)
    println("=" * 50)

    /**
     * 使用链式调用的方式简写
     */
    Source.fromFile("scala/data/words.txt")
      .getLines()
      .toList
      .flatMap(_.split("\\|"))
      .groupBy((e:String)=>e)
      .map((kv: (String, List[String])) => (kv._1, kv._2.size))
      .toList
      .foreach(println)


  }
}
JDBC
import java.sql.{Connection, DriverManager, PreparedStatement, ResultSet}

/**
 *  jdbc的链接步骤
 *    1、注册驱动
 *    2、创建数据库链接对象
 *    3、创建数据操作对象
 *    4、执行sql语句
 *    5、如果第4步是查询的话,分析查询结果
 *    6、释放资源
 */

object Demo20JDBC {
  def main(args: Array[String]): Unit = {
    //1、注册驱动(若是8及其以后的版本需要mysql.cg.jdbc)
    Class.forName("com.mysql.jdbc.Driver")

    //2、创建数据库链接对象
    //jdbc:数据库名://host:port/数据库?xxx=xxx&xxx=xxx
    val conn: Connection = DriverManager.getConnection("jdbc:mysql://192.168.128.100:3306/studentdb?useUnicode=true&characterEncoding=UTF-8&useSSL=false", "root", "123456")

    //3、创建数据操作对象
    val preparedStatement: PreparedStatement = conn.prepareStatement("select student_id,cource_id,score from score where score > ?")

    //4、执行sql语句
//    preparedStatement.setInt(1,23)
    // 传入参数防止sql注入
    preparedStatement.setInt(1, 60)
    val resultSet: ResultSet = preparedStatement.executeQuery()
    //5、如果第4步是查询的话,分析查询结果
    while (resultSet.next()){
      val student_id: String = resultSet.getString("student_id")
      val cource_id: String = resultSet.getString("cource_id")
      val score: Int = resultSet.getInt("score")


      println(s"学号:$student_id, 课程号:$cource_id, 分数:$score")
    }

    //6、释放资源
    conn.close()



  }
}
Json
import com.alibaba.fastjson.{JSON, JSONArray, JSONObject}

import scala.io.Source

object Demo21Json {
  def main(args: Array[String]): Unit = {
    val lineList: List[String] = Source.fromFile("scala/data/stu.json").getLines().toList
    val jsonStr: String = lineList.mkString("\n")
    println(jsonStr)

    //使用fastjson包中的JSON类,将一个字符串转成json对象
    //转成json对象之后,可以通过键获取值
//    parseObject 将整体转成一个json格式数据
    val jsonObj1: JSONObject = JSON.parseObject(jsonStr)
    println(jsonObj1)
    val s1: String = jsonObj1.getString("student_list")
    println(s1)


    //parseArray将一个"[{},{}]"变成一个元素是json对象的数组
    val jSONArray: JSONArray = JSON.parseArray(s1)
    var i = 0
    while (i < jSONArray.size()) {
      // getJSONObject(i): 获取数组中的第 i 个json对象
      val obj1: JSONObject = jSONArray.getJSONObject(i)
      val name: String = obj1.getString("name")
      val like: String = obj1.getString("like")
      println(s"${name}的爱好是${like}")
      i += 1
    }

  }

}
Java与scala中的集合的相互转换
import java.util

object Demo22Scala2Java {
  def main(args: Array[String]): Unit = {
    //创建一个java中的集合
    val array1: util.ArrayList[Int] = new util.ArrayList[Int]()
    array1.add(11)
    array1.add(22)
    array1.add(33)
    array1.add(66)
    array1.add(55)
    array1.add(44)
    println(array1)

    /**
     * 将java中的集合转成scala中的集合
     *
     * java中的集合本来是没有转换scala的功能,需要导入隐式转换
     * scala中的导包,可以在任意地方
     *
     */
    import scala.collection.JavaConverters._
    val list1: List[Int] = array1.asScala.toList
    println(list1)

    /**
     * scala中的集合转java的集合
     */
    val list2: util.List[Int] = list1.asJava
    println(list2)
    
  }
}
Match
import java.util.Scanner
import scala.io.Source


object Demo23Match {
  def main(args: Array[String]): Unit = {
    /**
     * 模式匹配,就可以帮助我们开发的时候,减少代码量,让逻辑看起来更加清晰,以及可以避免一些异常
     * 语法:
     * 表达式 match {
     * case 值|[变量名:类型]|元组|数组|对象=>
     * 匹配成功执行的语句
     * case xxx=>
     * xxx
     * _  xxx=>
     * xxx
     * }
     *
     * 模式匹配中,如果没有对应的匹配,那么就报错!!!
     */

    /**
     * 可以匹配变量值
     */
    var i: Int = 100
    i match {
      case 20 => println("该值是20")
      case 50 => println("该值是50")
      //      case 100=>println("该值是100")
      case _ => println("其他值")
    }

    /**
     * 匹配数据类型
     */
    var flag1: Any = true
    flag1 match {
      case _: Int => println("是Int类型")
      case _: Boolean => println("是boolean类型")
    }

    /**
     * 匹配元组
     * 元素的数量与类型都得一一对应
     */
    val t1: (Int, String, Int) = Tuple3(1001, "张三", 18)
    t1 match {
      case (a1: Int, b1: String, c1: Int) =>
        println(s"学号:$a1, 姓名:$b1, 年龄:$c1")
    }

    /**
     * 匹配数组
     * 可以用来做数据封装
     */
    val array: Array[Any] = Array(1001, "李四", "男", 18, "理科一班")
    array match {
      case Array(id: Int, name: String, gender: String, age: Int, clazz: String) =>
        println(s"学号:$id, 姓名:$name, 性别:$gender, 年龄:$age, 班级:$clazz")
    }

    /**
     * 模式匹配的应用1:避免异常
     *
     */
    val map1: Map[Int, String] = Map((1001, "张三"), (1002, "李四"))
        val res1: Option[String] = map1.get(1001) // Some("张三")
        println(res1.get) // 返回的数值为Option[String]类型
//        val res1: Option[String] = map1.get(1003)
//        println(res1.get)

    val sc: Scanner = new Scanner(System.in)
    println("请输入要查询的键:")
    val key: Int = sc.nextInt()
    map1.get(key) match {
      case Some(a: Any) => println(s"${key}键对应的值为$a")
      case None => println(s"${key}键不存在!")
    }

    println("=" * 50)
    /**
     * 模式匹配的应用2:简化代码
     *
     */
    val stuList: List[String] = Source.fromFile("scala/data/students.txt").getLines().toList
    val stuArrayList: List[Array[String]] = stuList.map((line: String) => line.split(","))
    stuArrayList.map((e:Array[String])=>{
      val id: String = e(0)
      val name: String = e(1)
      val age: String = e(2)
      val gender: String = e(3)
      val clazz: String = e(4)
      (id, name, gender, age, clazz)
    }).foreach(println)


    stuArrayList.map{
      case Array(id: String, name: String, gender: String, age: String, clazz: String)=>
        (id, name, gender, age, clazz)
    }.foreach(println)


  }
}
隐式转换
1、隐式转换函数
import scala.io.{BufferedSource, Source}
import scala.language.implicitConversions

object Demo24implicit {
  def main(args: Array[String]): Unit = {

    /**
     * 隐式转换
     * 1、隐式转换函数
     * 2、隐式转换类
     * 3、隐式转换变量
     * 一个A类型将来会自动地转换成另一个B类型,类型可以是基本数据类型,也可以是引用数据类型
     *
     * 显式转换
     */
//        var i:String = "100"
//        //显式转换
//        val res1: Int = i.toInt

    //定义一个函数
        def fun1(s: Int): Int = {
          return s + 1000
        }
        //调用函数
        println(fun1(100))
        println(fun1(200))
//        println(fun1("300".toInt))  // 若已设置隐式转换函数,则会报错,因为不知道要不要交给隐式转换函数处理

    //需求:调用fun1函数,就只传字符串,不会报错
    //定义隐式转换函数
    //在需要返回值类型的功能的时候,自动地根据已有隐式转换函数将参数的类型转成返回值的类型
        implicit def implicitFun1(s: String): Int = {
          return Integer.parseInt(s)
        }

//        implicit def implicitFun2(s: String): Int = {
//          return Integer.parseInt(s) + 2000
//        }


//        def fun1(s: Int): Int = {
//          return s + 1000
//        }
        //调用函数
        println(fun1(100))
        println(fun1(200))
//        println(fun1("300"))


    // 封装在一个Object类中进行导入
    import com.shujia.jichu.Demo11._
//        val stuList: List[String] = "scala/data/students.txt".getLines().toList
//        val scoreList: List[String] = "scala/data/scores.txt".getLines().toList

    println("1000" + 500) // 1000500 // 使用字符串自身的+拼接功能,做字符串拼接
    println("1000" - 500) // 500   // 字符串中没有-减法功能,自动使用隐式转换中的函数,将字符串转成数字做减法
    println("2000" - 500) // 1500   // 字符串中没有-减法功能,自动使用隐式转换中的函数,将字符串转成数字做减法
  }
}

object Demo11 {
  implicit def implicitFun3(s: String): BufferedSource = Source.fromFile(s)

  implicit def implicitFun1(s: String): Int = Integer.parseInt(s)
}
2、隐式转换类
import scala.io.Source

/**
 *  隐式转换类
 */
object Demo25implicit {
  def main(args: Array[String]): Unit = {

//    val demo1 = new Demo12("scala/data/students.txt")
//    val stuList: List[String] = demo1.show1()


    val stuList: List[String] = "scala/data/students.txt".show1()
    val scoreList: List[String] = "scala/data/score.txt".show1()

    //TODO 使用隐式转换类时不见其类名
    "张三".f()




  }

  //`implicit' modifier cannot be used for top-level objects
  //implicit class Demo12(path: String) {
  //implicit使用的地方,不能超过object作用域(将其放在object Demo25implicit中)

  // path: String :使用对应的上其参数类型的一个量即可调用类中的方法
  implicit class Demo12(path: String) {
    def show1(): List[String] = {
      Source.fromFile(path).getLines().toList
    }

    def f()={
      println(s"好好学习,天天向上!$path")
    }
  }


}
3、隐式转换变量
import scala.io.{Codec, Source}

/**
 * 隐式转换变量
 */
object Demo26implicit {
  def main(args: Array[String]): Unit = {
            Source.fromFile("scala/data/students.txt")(Codec("GBK")).getLines().toList

//        def fun1(a1: Int)(a2: Int): Int = a1 + a2

//        val res1: Int=>Int = fun1(100)

    //定义一个隐式转换参数
    def fun1(a1: Int)(implicit a2: Int): Int = a1 + a2

    //定义一个隐式转换变量,若上述函数在被调用时没有传入第二个隐式转换参数时,则会使用下面设定的默认值
    implicit var i1: Int = 1000

    // 只传入一个参数值后调用fun1返回的为一个数值。若是没有定义隐式转换变量
    val res1: Int = fun1(100)
    println(res1)
          }
}
;