Files
Havline/internal/backup/growing_test.go
T
mrleeandDevin 9d75fb1d3e
CI / verify (push) Canceled after 0s
fix: 收敛正确性缺口并补齐质量门禁
备份、隧道生命周期、日志、会话与设置项存在一批「静默失效」问题,本次一并收敛。

正确性:
- 备份归档补上 session_secret 与 frp 配置。缺密钥时换机恢复后库里所有凭据都解不开,
  界面表现为「配置都在、一执行就报解密失败」;同时支持口令加密(scrypt + AES-256-GCM)。
- 修复「立即备份」必失败:tar 头用的是遍历时的文件尺寸,而 logs、frpc 配置在打包期间
  还在增长,读出的字节多于声明值导致 archive/tar 报错、整份备份作废。改为打开后重新
  取尺寸并用 LimitReader 兜住,被截短时补零保持条目结构完整。
- 数据库改用 VACUUM INTO 生成一致性快照。直接打包正在写入的 SQLite 文件可能得到
  结构完整但内容自相矛盾的副本,恢复后才暴露。
- Cloudflare 启动改用 StartAuto,Shutdown 显式 StopAll,子进程绑定应用 ctx。此前
  重启会把用户手动停掉的隧道重新拉起,退出也可能留下孤儿进程。
- Nginx 访问/错误日志加轮转(200MB 阈值、gzip 归档、USR1 重开),读取改为从文件尾
  分块倒读,并跨当日归档统计。此前日志只增不减,读接口每次全量扫描。
- 过期会话改由日任务清理;删除反代规则时同步清掉流量累计,避免同名规则重建继承旧读数。
- 启动加就绪门:Nginx bootstrap 完成后再放行 FRP 对账、Agent 隧道与 Cloudflare 自启。

设置项:
- 新增设置项注册表(internal/settings/registry.go),白名单与默认值从它派生,
  并记录每个键的消费者,防止再出现「界面能改、后端没人读」的黑洞设置。
- 接上三个此前不生效的设置项:timezone(启动与保存时应用到 time.Local)、
  theme(后端为权威源,挂载时覆盖本地偏好、顶栏切换回写)、log_retention_days
  (控制日志归档保留天数)。

工程质量:
- gofmt 全量格式化 23 个历史文件,CI 增加格式化门禁。
- 前端引入 ESLint(flat config)与 lint 脚本,CI 增加 lint 步骤;顺带修掉
  logDisplay 的 let→const 与 LogsView 模板内直接改 prop 两处问题。
- 删除无引用的 pnpm-lock.yaml,prototype/ 加入忽略列表。
- 打包版本对齐:Docker manifest 同步到 2.0.0,CI 校验 VERSION 与 package.json 一致。

验证:gofmt 0 文件、go vet、go test ./...、npm run lint/typecheck/test/build 全绿。

Generated with [Devin](https://devin.ai)

Co-Authored-By: Devin <158243242+devin-ai-integration[bot]@users.noreply.github.com>
2026-10-24 16:30:00 +08:00

152 lines
4.0 KiB
Go

package backup
import (
"archive/tar"
"compress/gzip"
"context"
"database/sql"
"io"
"os"
"path/filepath"
"testing"
"time"
"github.com/havline/havline/internal/db"
)
// openTestDB 建一个跑过迁移的临时库,用于验证快照路径。
func openTestDB(t *testing.T) (*sql.DB, error) {
t.Helper()
conn, err := db.Open(filepath.Join(t.TempDir(), "source.db"))
if err != nil {
return nil, err
}
if err := db.Migrate(context.Background(), conn, filepath.Join("..", "..", "migrations")); err != nil {
conn.Close()
return nil, err
}
return conn, nil
}
// TestExportSurvivesGrowingFiles 复现「立即备份」报 archive/tar: write too long 的现场。
//
// 成因:addFile 用 WalkDir 那一刻拿到的 FileInfo.Size() 写 tar 头,随后才去读文件内容。
// 而 logs、frpc 配置这些文件在打包期间还在长,读到的字节多于头部声明,tar 直接报错、
// 整份备份作废。这里的做法是让一个「边打包边追加」的写入者持续往文件里写。
func TestExportSurvivesGrowingFiles(t *testing.T) {
dataDir := t.TempDir()
if err := os.WriteFile(filepath.Join(dataDir, "havline.db"), []byte("db"), 0o600); err != nil {
t.Fatal(err)
}
// 造一个会持续增长的文件,放在会被归档的目录下
frpDir := filepath.Join(dataDir, "frp")
if err := os.MkdirAll(frpDir, 0o750); err != nil {
t.Fatal(err)
}
growing := filepath.Join(frpDir, "frpc-server-1.toml")
if err := os.WriteFile(growing, []byte("token = \"x\"\n"), 0o600); err != nil {
t.Fatal(err)
}
stop := make(chan struct{})
done := make(chan struct{})
go func() {
defer close(done)
chunk := []byte("padding = \"" + "0123456789abcdef" + "\"\n")
for {
select {
case <-stop:
return
default:
}
f, err := os.OpenFile(growing, os.O_APPEND|os.O_WRONLY, 0o600)
if err != nil {
return
}
_, _ = f.Write(chunk)
_ = f.Close()
time.Sleep(time.Millisecond)
}
}()
path, err := New(dataDir).Export(context.Background())
close(stop)
<-done
if err != nil {
t.Fatalf("文件在打包期间增长时导出不应失败:%v", err)
}
if _, err := New(dataDir).Verify(context.Background(), path); err != nil {
t.Fatalf("导出的归档应可校验:%v", err)
}
}
// TestExportUsesDatabaseSnapshot:注入数据库后,归档里的 havline.db 必须来自快照,
// 而不是直接读主文件——主文件在写入时并不自洽。
func TestExportUsesDatabaseSnapshot(t *testing.T) {
dataDir := t.TempDir()
// 故意在主文件里放一段「不是有效 SQLite」的内容:
// 若实现退回直接打包文件,归档里就会是这串字节。
if err := os.WriteFile(filepath.Join(dataDir, "havline.db"), []byte("not-a-valid-db"), 0o600); err != nil {
t.Fatal(err)
}
if err := os.WriteFile(filepath.Join(dataDir, "session_secret"), []byte("secret"), 0o600); err != nil {
t.Fatal(err)
}
conn, err := openTestDB(t)
if err != nil {
t.Fatal(err)
}
defer conn.Close()
svc := New(dataDir)
svc.SetDB(conn)
path, err := svc.Export(context.Background())
if err != nil {
t.Fatal(err)
}
content := readArchiveEntry(t, path, "havline.db")
if string(content) == "not-a-valid-db" {
t.Fatal("归档里的数据库应来自 VACUUM INTO 快照,而不是直接读取主文件")
}
// SQLite 文件头是 "SQLite format 3\x00"
if len(content) < 16 || string(content[:15]) != "SQLite format 3" {
t.Fatalf("快照应是有效 SQLite 文件,实际头部:%q", content[:min(16, len(content))])
}
}
func readArchiveEntry(t *testing.T, path, want string) []byte {
t.Helper()
file, err := os.Open(path)
if err != nil {
t.Fatal(err)
}
defer file.Close()
gr, err := gzip.NewReader(file)
if err != nil {
t.Fatal(err)
}
defer gr.Close()
tr := tar.NewReader(gr)
for {
header, err := tr.Next()
if err == io.EOF {
return nil
}
if err != nil {
t.Fatal(err)
}
if header.Name != want {
continue
}
data, err := io.ReadAll(tr)
if err != nil {
t.Fatal(err)
}
return data
}
}