Bootstrap

【MyDB】3-DataManager数据管理 之 4-数据页缓存

本章涉及代码:top/xianghua/mydb/server/dm/pageCache/PageCacheImpl.java

页面缓存设计与实现

这里参考大部分数据库的设计,将默认数据页大小定为 8K。如果想要提升向数据库写入大量数据情况下的性能的话,也可以适当增大这个值。

上一节我们已经实现了一个通用的缓存框架,并且定义了页面。

那么这一节我们需要缓存页面,就可以直接借用那个缓存的框架了。但是首先,需要定义出页面的结构。注意这个页面是存储在内存中的,与已经持久化到磁盘的抽象页面有区别。

PageImpl页面定义

定义一个页面如下:

public class PageImpl implements Page {
    private int pageNumber; // 页面页号,从1开始计数
    private byte[] data; // 页面实际包含的字节数据
    private boolean dirty; // 标志页面是否是脏页面。脏页面在缓存驱逐时需要被写回磁盘
    private Lock lock; // 页面锁,用于并发控制
    
    private PageCache pc; // 页面所属的缓存
}

这里保存了一个 PageCache(还未定义)的引用,用来方便在拿到 Page 的引用时可以快速对这个页面的缓存进行释放操作。

定义页面缓存的接口如下:

public interface PageCache {
    int newPage(byte[] initData);
    Page getPage(int pgno) throws Exception;
    void close();
    void release(Page page);

    void truncateByBgno(int maxPgno);
    int getPageNumber();
    void flushPage(Page pg);
}

页面缓存的具体实现类,需要继承抽象缓存框架,并且实现 getForCache()releaseForCache() 两个抽象方法。

  • getForCache():从文件中读取页面数据并包装成Page对象
  • releaseForCahce():驱逐页面时根据页面是否为脏页面,决定是否将其写回文件系统。

getForCache() 文件中读取页面数据

getForCache.png

由于数据源就是文件系统,getForCache() 直接从文件中读取,并包裹成 Page 即可:

    /**
     * 根据pageNumber从数据库文件中读取页数据,并包裹成Page
     */
    @Override
    protected Page getForCache(long key) throws Exception {
        int pgno = (int)key; // 获取pageNumber
        long offset = PageCacheImpl.pageOffset(pgno); // 计算页偏移量,(pgno-1) * PAGE_SIZE;

        // 分配一个页大小的ByteBuffer,8K
        ByteBuffer buf = ByteBuffer.allocate(PAGE_SIZE);
        fileLock.lock(); // 文件加锁
        try {
            // 定位到文件中并读取数据到ByteBuffer中
            fc.position(offset);
            fc.read(buf);
        } catch(IOException e) {
            Panic.panic(e);
        }
        fileLock.unlock(); // 文件解锁
        return new PageImpl(pgno, buf.array(), this); // 返回新的Page
    }

releaseForCache() 驱逐页面

releaseForCache() 驱逐页面时,也只需要根据页面是否是脏页面,来决定是否需要写回文件系统:

releaseForCache.png

    @Override
    protected void releaseForCache(Page pg) {
        // 是脏页面,则写回到文件中
        if(pg.isDirty()) {
            flush(pg);
            pg.setDirty(false);
        }
    }

    public void release(Page page) {
        release((long)page.getPageNumber());
    }

    public void flushPage(Page pg) {
        flush(pg);
    }

    private void flush(Page pg) {
        int pgno = pg.getPageNumber();
        long offset = pageOffset(pgno);

        fileLock.lock();
        try {
            ByteBuffer buf = ByteBuffer.wrap(pg.getData());
            fc.position(offset);
            fc.write(buf);
            fc.force(false);
        } catch(IOException e) {
            Panic.panic(e);
        } finally {
            fileLock.unlock();
        }
    }

AtomicInteger 记录当前打开数据库文件页

PageCache 还使用了一个 AtomicInteger,来记录了当前打开的数据库文件有多少页。这个数字在数据库文件被打开时就会被计算,并在新建页面时自增。

public int newPage(byte[] initData) {
    int pgno = pageNumbers.incrementAndGet();
    Page pg = new PageImpl(pgno, initData, null);
    flush(pg);  // 新建的页面需要立刻写回
    return pgno;
}

提一点,同一条数据是不允许跨页存储的,这一点会从后面的章节中体现。这意味着,单条数据的大小不能超过数据库页面的大小。

剩余两个函数 recoverInsert()recoverUpdate() 用于在数据库崩溃后重新打开时,恢复例程直接插入数据以及修改数据使用。

recoverInsert()和recoverUpdate()

用于在数据库崩溃后重新打开时,恢复例程直接插入数据以及修改数据使用。

  • recoverInsert():将数据插入到指定的偏移位置,并更新空闲空间的偏移量。
  • recoverUpdate():在指定的偏移位置直接更新数据,而不更新空闲空间的偏移量。

recoverInsertAndUpdate.png

// 将raw插入pg中的offset位置,并将pg的offset设置为较大的offset
public static void recoverInsert(Page pg, byte[] raw, short offset) {
    pg.setDirty(true); // 将pg的dirty标志设置为true,表示pg的数据已经被修改
    System.arraycopy(raw, 0, pg.getData(), offset, raw.length); // 将raw的数据复制到pg的数据中的offset位置

    short rawFSO = getFSO(pg.getData()); // 获取pg的当前空闲空间偏移量
    if (rawFSO < offset + raw.length) { // 如果当前的空闲空间偏移量小于offset + raw.length
        setFSO(pg.getData(), (short) (offset + raw.length)); // 将pg的空闲空间偏移量设置为offset + raw.length
    }
}

// 将raw插入pg中的offset位置,不更新update
public static void recoverUpdate(Page pg, byte[] raw, short offset) {
    pg.setDirty(true); // 将pg的dirty标志设置为true,表示pg的数据已经被修改
    System.arraycopy(raw, 0, pg.getData(), offset, raw.length); // 将raw的数据复制到pg的数据中的offset位置
}

参考资料

MYDB 3. 数据页的缓存与管理 | 信也のブログ (shinya.click)

数据页缓存 | EasyDB (blockcloth.cn)

;