go高并发时append方法偶现错误解析

72次阅读

共计 2844 个字符，预计需要花费 8 分钟才能阅读完成。

导读	这篇文章主要为大家介绍了 go 高并发时 append 方法偶现错误解决分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

背景

在实现图片转码的需求时，需要支持最大 500 个图片下载后转换格式；

如果是一个一个下载后转码，耗时太长，需要使用 goroutine 实现 500 个图片并发下载后，并发转码；

但自测过程中发现, 会偶现下载后只转换了 499 个图片或更少的情况（全部下载、转码成功的条件下）；

然后就开始了打印日志找 bug 的过程。

排查问题

因为并发时使用到了 sync 等待全部协程结束，起初以为是 sync 异步等待出了问题；

打印日志发现，正常执行了 500 次下载，执行完成下载之后，继续执行的转码操作，排除 sync 异步等待有问题；

代码如下：

import (
    "github.com/satori/go.uuid"
    "sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
    // 遍历 urls 进行下载
    for _, value := range urls {go func(value interface{}) {defer nWait.Done()                                                     // 执行结束，协程减 1
            fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件，导致转码失败)
            err := utils.DownloadCeph(value.(string), fullname)                    // 下载文件
            // 下载文件状态记录
            if err != nil {*failedFiles = append(*failedFiles, fullname)
            } else {*successFiles = append(*successFiles, fullname)
            }
        }(value)
    }
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{}          // 多协程异步等待
var successFiles []string  // 下载成功文件
var failedFiles []string           // 下载失败文件
// 遍历 strUrlList 进行下载
log.Error("开始下载！长度：", len(strUrlList))
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞，等待完成
log.Error("下载结束！长度：", len(successFiles))
//...
log.Error("下载转码！")
//...

日志如下：

2022-10-29 21:28:51.996 ERROR   services/tools.go:149   开始下载！长度：500
2022-10-29 21:28:52.486 ERROR   services/tools.go:153   下载结束！长度：499
2022-10-29 21:28:52.486 ERROR   services/tools.go:155   开始转码！

打印更详细的日志，对 for range 循环内的逻辑进行排查；

在单个 for 循环结束时增加日志：

log.Error("下载协程结束:", len(*successFiles))

发现一处特殊的日志：

2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 63
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 64
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 65
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 65
2022-10-29 21:40:38.408 ERROR   services/tools.go:35    下载协程结束: 66
2022-10-29 21:40:38.408 ERROR   services/tools.go:35    下载协程结束: 67

两次长度都是 65，切片长度没有发生变化，同一时间点执行两次切片 append 方法，会偶现一次失效，问题原因找到；

解决问题

使用切片索引进行赋值，不再使用 append；

修复代码如下：

import (
    "github.com/satori/go.uuid"
    "sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
    // 遍历 urls 进行下载
    for index, value := range urls {go func(index int, value interface{}) {defer nWait.Done()                                                     // 执行结束，协程减 1
            fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件，导致转码失败)
            err := utils.DownloadCeph(value.(string), fullname)                    // 下载文件
            // 下载文件状态记录
            if err != nil {(*failedFiles)[index] = fullname
            } else {(*successFiles)[index] = fullname
            }
        }(index, value)
    }
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{}                                        // 多协程异步等待
successFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载成功文件
failedFiles := make([]string, len(strUrlList), len(strUrlList))  // 下载失败文件
// 遍历 strUrlList 进行下载
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞，等待完成

以上就是 go 高并发时 append 方法偶现错误解决分析的详细内容