JDBC 在性能測試中的應用

作者：黃炎帝

前言

我們能否繞開 http 協議，直接測試數據庫的性能？是否覺得從數據庫中導出 CSV 文件來構造壓測數據很麻煩？怎樣在壓測結束後做數據清理？能不能通過數據庫中的插入（删除）記錄對壓測請求做斷言？使用阿裏雲性能測試工具 PTS 可以輕松解决上述問題。

什麼是 JDBC

JDBC（Java DataBase Connectivity，Java 數據庫連接）是一種用於執行 SQL 語句的 Java API，可以為多種關系數據庫提供統一訪問，它由一組用 Java 語言編寫的類和接口組成。JDBC 提供了一種基准，據此可以構建更高級的工具和接口，使數據庫開發人員能够編寫數據庫應用程序。

簡單地說，JDBC 可做三件事：與數據庫建立連接、發送操作數據庫的語句並處理結果。

JDBC 的設計原理

整體架構

JDBC 制定了一套和數據庫進行交互的標准，數據庫廠商提供這套標准的實現，這樣就可以通過統一的 JDBC 接口來連接各種不同的數據庫。可以說 JDBC 的作用是屏蔽了底層數據庫的差异，使得用戶按照 JDBC 寫的代碼可以在各種不同的數據庫上進行執行。那麼這是如何實現的呢？如下圖所示：

JDBC 定義了 Driver 接口，這個接口就是數據庫的驅動程序， 所有跟數據庫打交道的操作最後都會歸結到這裏 ，數據庫廠商必須實現該接口，通過這個接口來完成上層應用的調用者和底層具體的數據庫進行交互。Driver 是通過 JDBC 提供的 DriverManager 進行注册的，注册的代碼寫在了 Driver 的靜態塊中，如 MySQL 的注册代碼如下所示：

static {
 try {
 java.sql.DriverManager.registerDriver(new Driver());
 } catch (SQLException E) {
 throw new RuntimeException("Can't register driver!");
 }
 }


作為驅動定義的規範 Driver，它的主要目的就是和數據庫建立連接，所以其接口也很簡單，如下所示：

public interface Driver {
 //建立連接
 Connection connect(String url, java.util.Properties info)
 throws SQLException;
 boolean acceptsURL(String url) throws SQLException;
 DriverPropertyInfo[] getPropertyInfo(String url, java.util.Properties info)
 throws SQLException;
 int getMajorVersion();
 int getMinorVersion();
 boolean jdbcCompliant();
 public Logger getParentLogger() throws SQLFeatureNotSupportedException;
}


作為 Driver 的管理者 DriverManager，它不僅負責 Driver 的注册／注銷，還可以直接獲取連接。它是怎麼做到的呢？觀察下面代碼發現，實際是通過遍曆所以已經注册的 Driver，找到一個能够成功建立連接的 Driver，並且將 Connection 返回，DriverManager 就像代理一樣，將真正建立連接的過程還是交給了具體的 Driver。

for(DriverInfo aDriver : registeredDrivers) {
 // If the caller does not have permission to load the driver then
 // skip it.
 if(isDriverAllowed(aDriver.driver, callerCL)) {
 try {
 println(" trying " + aDriver.driver.getClass().getName());
 Connection con = aDriver.driver.connect(url, info);
 if (con != null) {
 // Success!
 println("getConnection returning " + aDriver.driver.getClass().getName());
 return (con);
 }
 } catch (SQLException ex) {
 if (reason == null) {
 reason = ex;
 }
 }

 } else {
 println(" skipping: " + aDriver.getClass().getName());
 }

 }


Connection 設計

通過上節我們知道數據庫提供商通過實現Driver接口來向用戶提供服務，Driver接口的核心方法就是獲取連接。Connection是和數據庫打交道的核心接口，下面我們看看它的設計方案。

通過觀察設計圖我們發現主要有兩類接口：DataSource 和 Connection。下面我們逐一進行介紹。

• DataSource

直接看源碼，如下所示，發現它的核心方法竟然和 Driver 一樣，也是獲取連接。那為什麼還要 DataSource 呢？Driver 本身不就是獲取連接的嗎？下面我們就看看 DataSource 到底是怎麼獲取連接的。

 public interface DataSource extends CommonDataSource, Wrapper {
 Connection getConnection() throws SQLException;
 Connection getConnection(String username, String password)
 throws SQLException;
}


然而我們發現 JDBC 只定義了 DataSource 的接口，並沒有給出具體實現，下面我們就以 Spring 實現的 SimpleDriverDataSource 為例，來看看它是怎麼做的，代碼如下所示，發現 DataSource 的 getConnection(...)方法，最後竟然還是交由 driver.connect(...)去真正建立連接。所以又回到最開始我們所描述的， Driver 才是真正的與數據庫打交道的接口。

protected Connection getConnectionFromDriver(Properties props) throws SQLException {
 Driver driver = getDriver();
 String url = getUrl();
 Assert.notNull(driver, "Driver must not be null");
 if (logger.isDebugEnabled()) {
 logger.debug("Creating new JDBC Driver Connection to [" + url + "]");
 }
 return driver.connect(url, props);
 }


那麼問題來了，為什麼還需要 DataSource 這樣的接口，豈不多此一舉麼？顯然不會。DataSource 是加强版的 Driver。它將核心的建立連接的過程交由 Driver 執行，而對於建立緩存，處理分布式事務和連接池等看似與建立連接無關的事情自己來處理。如類的設計圖所示，以 PTS 使用的 Druid 連接池為例：

• ConnectionPoolDataSource：連接池的實現，此數據源實現並不直接創建數據庫物理連接，而是一個邏輯實現，它的作用在於池化數據庫物理連接。

• PooledConnection：配合 ConnectionPoolDataSource，由它獲取一個池化對象 PooledConnection，再通過該 PooledConnection 間接獲取到物理連接。

顯然，通過連接池我們可以從連接的管理中抽身，提高連接的利用效率，也能提昇壓力機的施壓能力。

Statement 設計

建立連接之後，用戶可能要開始寫 SQL 語句，並且交由數據庫去執行了。這些是通過 Statement 來實現的。主要分為：

• Statement：定義一個靜態的 SQL 語句，數據庫每次執行都需要重新編譯，一般用於僅執行一次查詢並返回結果的情形。

• PreparedStatement：定義一個帶參的預編譯的 SQL 語句，下次執行時，會從緩存中取出遍以後的語句，而不需要重新編譯一遍，適用於執行多次相同邏輯的 SQL 語句，當然它還有防 SQL 注入等功能，安全性和效率較高，使用比較頻繁。對於性能測試來說，選擇 PreparedStatement 最為合適。

• CallableStatement：用來調用存儲過程。

ResultSet 設計

JDBC 使用 ResultSet 接口來承接 Statement 的執行結果。ResultSet 使用指針的方式（next()）來逐條獲取檢索結果，當指針指向某條數據時，用戶可以自由的選擇獲取某一列的數據。PTS 通過將 ResultSet 轉化成 CSV 文件，輔助用戶以一條 SQL 語句，構造複雜的壓測數據。

JDBC 架構總結

通過上面的介紹我們發現，JDBC 的設計還是層次感分明的。

（1）Driver 和 DriverManager 是面向數據庫的，設計了一套 Java 訪問數據的規範，數據庫廠商只需要實現這套規範即可；

（2）DataSource 和 Connection 是面向應用程序開發者的，它們不關心 JDBC 具體是如何跟數據庫進行交互的，通過統一的 DataSource 接口就可以拿到 Connection，用戶的數據操作都可以通過這個 Connection 來實現了；

（3）Statement 承載了具體的 SQL 命令，用戶可以定義不同的 Statement 來向數據庫發送指令；

（4）ResultSet 是用來承載 SQL 命令的執行結果。

至此，完成了 加載驅動 -> 建立連接 -> 執行命令 -> 返回結果 這樣的和數據庫交互的整個過程。如果把這個過程靈活的嵌入到 PTS 性能測試中，便可以解决前言提到的各種問題。

JDBC 在性能測試中的應用

數據庫性能測試

• 背景

大多數對數據庫的操作都是通過 HTTP、FTP 或其他協議執行的，但是在某些情况下，繞開中間協議直接測試數據庫也很有意義。例如我們希望不觸發所有相關查詢，而只測試特定 high-value 查詢的性能；驗證新數據庫在高負載下的性能。2.驗證某些數據庫連接池參數，例如最大連接數  3.節省時間和資源。當我們想要優化 SQL 時，修改代碼中的 SQL 語句和其他數據庫操作非常繁瑣，通過 JDBC 壓測，我們可以避免侵入代碼，集中精力在 SQL 調優上。

• 步驟

1、創建場景。我們在 PTS 控制臺的【壓測中心】->【創建場景】中創建 PTS 壓測場景；

2、場景配置。PTS 支持對 MySQL、PostgreSQL 等四種數據庫發起壓測。用戶填寫 JDBC URL、用戶名、密碼和 SQL 即可發起壓測。同時，PTS 還支持提取 ResultSet 中的數據作為出參，給下遊 API 使用；對響應進行斷言。

3、壓測中監控和壓測報告。PTS 支持綁定阿裏雲 RDS 雲資源監控，在壓測過程中觀察 RDS 實時性能指標。此外，PTS 還提供清晰完備的壓測報告以及采樣日志，供用戶隨時查看。

壓測數據構造

• 背景

在模擬不同用戶登錄、壓測業務參數傳遞等場景中，需要使用參數功能來實現壓測的請求中各種動態操作。如果使用傳統的 CSV 文件參數，會受到文件大小的限制，且手動創建耗費精力。使用 JDBC 來構造壓測數據，可以避免以上問題。

• 步驟

1、添加數據源。在場景編輯-數據源管理中，選擇添加 DB 數據源，輸入 URL、用戶名、密碼和 SQL。

2、添加參數。填寫自定義參數名和列索引。

3、調試驗證。點擊調試場景，即可驗證提取的結果集是否符合預期。接著，我們就可以在任意想要使用參數的地方使用${}引用即可。

壓測髒數據清理

• 背景

針對寫請求的壓測，會在數據庫中生成大量髒數據。如何在壓測結束後自動清理？

• 步驟

PTS 給用戶提供了解决方案。PTS 支持對串聯鏈路作邏輯上的順序編排，即前置鏈路、普通鏈路和後置鏈路。執行順序由先到後。設置某條串聯鏈路為後置鏈路，填寫循環次數即可。

更多交流，歡迎進釘釘群溝通，PTS 用戶交流釘釘群號：11774967。

此外，PTS 近期對售賣方式做了全新昇級，基礎版價格直降 50%！5W 並發價格只需 199，免去自運維壓測平臺煩惱！更有新用戶 0.99 體驗版、VPC 壓測專屬版，歡迎大家選購！