亚游,  新华社称,中国手机用户在今年春节时发送了近100亿条手机短信,创下高达10亿元人民币的收益。(n102)

  李友:NC有多种部署方式,一种是集中式部署,在一务器上部署整个NC系统;另一种是分布式部署,技术难点是数据双向复制。华融有很多二级、三级公司,我们要在不同组织间部署NC的系统,另外还要实现整个华融公司的集中管理。在NC的分布式部署应用下,我们实现了在两个服务间的双向复制数据功能,华融是第一家比较成功的用户。适合女生职业的排行榜  始终坚持学习。学习本专业的知识,世界变化太快,唯有学习新知识永不改变。如果在保证工作的同时,能有时间学习非专业,对自己也是一种提高。

发布于 2018-03-24 13:56:29 | 138 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的GO语言教程,程序狗速度看过来!

Go语言

Go是一种新的语言,一种并发的、带垃圾回收的、快速编译的语言。Go是谷歌2009年发布的第二款编程语言。2009年7月份,谷歌曾发布了Simple语言,它是用来开发Android应用的一种BASIC语言。


这篇文章主要介绍了详解golang中bufio包的实现原理,通过分析golang中bufio包的源码,来了解为什么bufio能够提高文件读写的效率和速度

最近用golang写了一个处理文件的脚本,由于其中涉及到了文件读写,开始使用golang中的 io 包,后来发现golang 中提供了一个bufio的包,使用这个包可以大幅提高文件读写的效率,于是在网上搜索同样的文件读写为什么bufio 要比io的读写更快速呢?根据网上的资料和阅读源码,以下来详细解释下bufio的高效如何实现的。

bufio 包介绍 

bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

以上为官方包的介绍,在其中我们能了解到的信息如下:

bufio 是通过缓冲来提高效率

简单的说就是,把文件读取进缓冲(内存)之后再读取的时候就可以避免文件系统的io 从而提高速度。同理,在进行写操作时,先把文件写入缓冲(内存),然后由缓冲写入文件系统。看完以上解释有人可能会表示困惑了,直接把 内容->文件 和 内容->缓冲->文件相比, 缓冲区好像没有起到作用嘛。其实缓冲区的设计是为了存储多次的写入,最后一口气把缓冲区内容写入文件。下面会详细解释

bufio 封装了io.Reader或io.Writer接口对象,并创建另一个也实现了该接口的对象

io.Reader或io.Writer 接口实现read() 和 write() 方法,对于实现这个接口的对象都是可以使用这两个方法的

bufio 包实现原理

bufio 源码分析

Reader对象

bufio.Reader 是bufio中对io.Reader 的封装


/Reader implements buffering for an io.Reader object.
type Reader struct {
  buf     []byte
  rd      io.Reader /reader provided by the client
  r, w     int    /buf read and write positions
  err     error
  lastByte   int
  lastRuneSize int
}

bufio.Read(p []byte) 相当于读取大小len(p)的内容,思路如下:

  1. 当缓存区有内容的时,将缓存区内容全部填入p并清空缓存区
  2. 当缓存区没有内容的时候且len(p)>len(buf),即要读取的内容比缓存区还要大,直接去文件读取即可
  3. 当缓存区没有内容的时候且len(p)<len(buf),即要读取的内容比缓存区小,缓存区从文件读取内容充满缓存区,并将p填满(此时缓存区有剩余内容)
  4. 以后再次读取时缓存区有内容,将缓存区内容全部填入p并清空缓存区(此时和情况1一样)

以下是源码


/Read reads data into p.
/It returns the number of bytes read into p.
/The bytes are taken from at most one Read on the underlying Reader,
/hence n may be less than len(p).
/At EOF, the count will be zero and err will be io.EOF.
func (b *Reader) Read(p []byte) (n int, err error) {
  n = len(p)
  if n == 0 {
    return 0, b.readErr()
  }
  if b.r == b.w {
    if b.err != nil {
      return 0, b.readErr()
    }
    if len(p) >= len(b.buf) {
      /Large read, empty buffer.
      /Read directly into p to avoid copy.
      n, b.err = b.rd.Read(p)
      if n < 0 {
        panic(errNegativeRead)
      }
      if n > 0 {
        b.lastByte = int(p[n-1])
        b.lastRuneSize = -1
      }
      return n, b.readErr()
    }
    /One read.
    /Do not use b.fill, which will loop.
    b.r = 0
    b.w = 0
    n, b.err = b.rd.Read(b.buf)
    if n < 0 {
      panic(errNegativeRead)
    }
    if n == 0 {
      return 0, b.readErr()
    }
    b.w += n
  }

  /copy as much as we can
  n = copy(p, b.buf[b.r:b.w])
  b.r += n
  b.lastByte = int(b.buf[b.r-1])
  b.lastRuneSize = -1
  return n, nil
}

说明:

reader内部通过维护一个r, w 即读入和写入的位置索引来判断是否缓存区内容被全部读出

Writer对象

bufio.Writer 是bufio中对io.Writer 的封装


/Writer implements buffering for an io.Writer object.
type Writer struct {
  err error
  buf []byte
  n  int
  wr io.Writer
}

bufio.Write(p []byte) 的思路如下

  1. 判断buf中可用容量是否可以放下 p
  2. 如果能放下,直接把p拼接到buf后面,即把内容放到缓冲区
  3. 如果缓冲区的可用容量不足以放下,且此时缓冲区是空的,直接把p写入文件即可
  4. 如果缓冲区的可用容量不足以放下,且此时缓冲区有内容,则用p把缓冲区填满,把缓冲区所有内容写入文件,并清空缓冲区
  5. 判断p的剩余内容大小能否放到缓冲区,如果能放下(此时和步骤1情况一样)则把内容放到缓冲区
  6. 如果p的剩余内容依旧大于缓冲区,(注意此时缓冲区是空的,情况和步骤2一样)则把p的剩余内容直接写入文件

以下是源码


/Write writes the contents of p into the buffer.
/It returns the number of bytes written.
/If nn < len(p), it also returns an error explaining
/why the write is short.
func (b *Writer) Write(p []byte) (nn int, err error) {
  for len(p) > b.Available() && b.err == nil {
    var n int
    if b.Buffered() == 0 {
      /Large write, empty buffer.
      /Write directly from p to avoid copy.
      n, b.err = b.wr.Write(p)
    } else {
      n = copy(b.buf[b.n:], p)
      b.n += n
      b.flush()
    }
    nn += n
    p = p[n:]
  }
  if b.err != nil {
    return nn, b.err
  }
  n := copy(b.buf[b.n:], p)
  b.n += n
  nn += n
  return nn, nil
}

说明:

b.wr 存储的是一个io.writer对象,实现了Write()的接口,所以可以使用b.wr.Write(p) 将p的内容写入文件

b.flush() 会将缓存区内容写入文件,当所有写入完成后,因为缓存区会存储内容,所以需要手动flush()到文件

b.Available() 为buf可用容量,等于len(buf) - n

下图解释的是其中一种情况,即缓存区有内容,剩余p大于缓存区

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持PHPERZ。



相关阅读 :
亚游详解golang中bufio包的实现原理
亚游Golang中Set类型的实现方法示例详解
详解Golang编程中的常量与变量
go语言中sort包的实现方法与应用详解
深入分析golang多值返回以及闭包的实现
详解Golang互斥锁内部实现
Golang中channel使用的一些小技巧
Go语言中接口组合的实现方法
golang中单向channel的语法介绍
golang中interface接口的深度解析
Golang中数据结构Queue的实现方法详解
Golang中List的实现方法示例详解
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 亚游 All Rights Reserved   冀ICP备14009818号  亚游  广告服务
海口连夜调查央视曝光低价游现象 将从严从重处罚 谁是苹果2000多亿美元汇回美国的最大赢家? 日媒:日企员工薪酬时隔4年下滑 女性工资略增 上市公司女职员发1条朋友圈被罚3万 背后发生了啥 蔡当局阻挠两岸“同饮一江水” 学者:到底谁会痛? 白宫美女主管说错话辞职?外媒:特朗普骂她太笨 京东回应六六:系发货失误 但六六做法亦侵害京东信誉 3年后江西将取消统一中考 由学业水平考试替代 环球网:“教科书执法\"能被点赞 中国互联网真变了 星阵靠向天元破坏模仿棋 授先胜范蕴若棋谱分析 退市步入全覆盖重落实新阶段 强化交易所主体责任 养老目标基金指引发布 个人养老金账户设计待解
死亡隔扣再现!2米11壮汉做背景 NBA欠他个奖杯 [新浪彩票]足彩18029期冷热指数:克莱蒙阻头羊 港台这两个组织结盟 扬言要“武力分裂中国” 德甲升降级附加赛-妖星传射 狼堡3-1胜抢先机 媒体:错案追责 宜秉持“过错担责” 怕了昔日宠儿“FAANG”?投资这支标普ETF是更佳选… 消息称小米或考虑在A股和港股同时上市 欧盟申根签证改革方案:将简化申请手续提高签证费 中国头号拳手和日大牌对练 徐灿谈VS井上尚弥 CBA下赛季提升赛程强度 2周5赛增加到1周3赛 特金会举行在即 你需要知道的三大知识点都在这里 神奇“动力水”致三车起火 汽修店称属三无产品
武警部队两支机动总队驻地亮相:分别位于福建河北 5G全球商用化时代将提前到来? 差3厘米锁定年度十佳!流浪汉错过一战成名机会 艾拓思:贸易冲突一触即发 欧盟着手征收报复性关税 英媒关注中国最后裹脚者:三寸金莲曾是美丽象征 美媒:中国海军加速现代化 美国在东亚快承受不住了 美债收益率攀升 期债承压 男子强奸8岁幼女 将其掐死后抛尸废弃房屋 勇士老板亲自替考神辩护!不是他们贪是对手懒 微信赚钱的三大方法 在家赚钱的十种方法 养殖什么不愁销路 养20头牛一年赚多少钱 亚游