Достаточно ли замены:

====

msg = strings.Replace(msg, "-", "+", -1) /* if it is URL base64 */
msg = strings.Replace(msg, "_", "/", -1) /* make it base64 */

====

И потом декодировать стандартным base64? Но там вроде еще есть заполнение в виде ===?