11 个版本
0.5.12 | 2023 年 9 月 28 日 |
---|---|
0.5.10 | 2023 年 9 月 25 日 |
#4 in #chromedriver
每月 30 次下载
4MB
92K SLoC
chromiumoxide
chromiumoxide 提供了一个高级且异步的 API,用于通过 DevTools 协议 控制 Chrome 或 Chromium。它支持所有类型的 Chrome DevTools 协议,可以启动一个 无头 或全功能(非无头)的 Chrome 或 Chromium 实例,或者连接到一个已经运行的实例。
用法
use futures::StreamExt;
use chromiumoxide::browser::{Browser, BrowserConfig};
#[async_std::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
// create a `Browser` that spawns a `chromium` process running with UI (`with_head()`, headless is default)
// and the handler that drives the websocket etc.
let (mut browser, mut handler) =
Browser::launch(BrowserConfig::builder().with_head().build()?).await?;
// spawn a new task that continuously polls the handler
let handle = async_std::task::spawn(async move {
while let Some(h) = handler.next().await {
if h.is_err() {
break;
}
}
});
// create a new browser page and navigate to the url
let page = browser.new_page("https://en.wikipedia.org").await?;
// find the search bar type into the search field and hit `Enter`,
// this triggers a new navigation to the search result page
page.find_element("input#searchInput")
.await?
.click()
.await?
.type_str("Rust programming language")
.await?
.press_key("Enter")
.await?;
let html = page.wait_for_navigation().await?.content().await?;
browser.close().await?;
handle.await;
Ok(())
}
当前的 API 还缺少一些功能,但 Page::execute
函数允许发送所有 chromiumoxide_types::Command
类型(参见 生成的代码)。大多数 Element
和 Page
函数基本上只是简化命令构造和组合,例如 Page::pdf
pub async fn pdf(&self, params: PrintToPdfParams) -> Result<Vec<u8>> {
let res = self.execute(params).await?;
Ok(base64::decode(&res.data)?)
}
如果您需要其他功能,Page::execute
函数允许编写自己的命令包装器。如果您认为缺少一个有意义的命令函数,欢迎提交 PR。
将 chromiumoxide 添加到您的项目中
chromiumoxide
支持使用 async-std
和 tokio
运行时。
默认情况下,chromiumoxide
配置为使用 async-std
。
使用 chromiumoxide
与 async-std
运行时
chromiumoxide = { git = "https://github.com/mattsse/chromiumoxide", branch = "main"}
要使用 tokio
运行时,请添加 features = ["tokio-runtime"]
并将 default-features = false
设置为禁用默认运行时(async-std
)
chromiumoxide = { git = "https://github.com/mattsse/chromiumoxide", features = ["tokio-runtime"], default-features = false, branch = "main"}
此配置主要是由首选的WebSocket crate实现的:[async-tungstenite](https://github.com/sdroege/async-tungstenite)。
生成代码
chromiumoxide_pdl
crate包含一个PDL解析器,它是chromium源树中的python脚本的rust重写,以及一个Generator
,该解析器将解析的PDL文件转换为rust代码。chromiumoxide_cdp
crate的唯一目的是在它的构建过程中调用生成器并在编译crate之前包含生成的输出。这种分离仅仅是因为生成的输出大约是60K行rust代码(不包括所有proc宏展开)。因此,请预期编译会花费一些时间。生成器可以独立配置和使用,请参阅chromiumoxide_cdp/build.rs。
每个chrome pdl域都放在它自己的rust模块中,browser_protocol的页面域的类型在chromiumoxide_cdp::cdp::browser_protocol::page
中,js_protocol的运行时域在chromiumoxide_cdp::cdp::js_protocol::runtime
中等等。
vanilla.aslushnikov.com是一个浏览在pdl文件中定义的所有类型的极好资源。该网站将pdl文件中定义的Command
类型显示为Method
。chromiumoxid
坚持使用Command
命名法。因此,对于在pdl中定义为命令类型的所有内容(在vanilla.aslushnikov.com上标记为Method
),chromiumoxide
包含一个命令类型和指定的返回类型。对于每个命令,都有一个具有构建支持的<命令名称>Params
类型(<命令名称>Params::builder()
)及其对应的返回类型:<命令名称>
。所有命令都共享chromiumoxide_types::Command
trait的实现。所有事件都捆绑在一个单独的枚举(CdpEvent
)中
Fetcher
默认情况下,chromiumoxide
会尝试在它运行的计算机上找到已安装的chromium版本。对于某些平台,可以使用fetcher
自动下载和安装。
由于Cargo的bug,这些功能目前有点混乱,一旦解决,将会进行更改。根据您的运行时和TLS配置,您应该启用以下之一
_fetcher-rustls-async-std
_fetcher-rusttls-tokio
_fetcher-native-async-std
_fetcher-native-tokio
use std::path::Path;
use futures::StreamExt;
use chromiumoxide::browser::{BrowserConfig};
use chromiumoxide::fetcher::{BrowserFetcher, BrowserFetcherOptions};
#[async_std::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
let download_path = Path::new("./download");
async_std::fs::create_dir_all(&download_path).await?;
let fetcher = BrowserFetcher::new(
BrowserFetcherOptions::builder()
.with_path(&download_path)
.build()?,
);
let info = fetcher.fetch().await?;
let config = BrowserConfig::builder()
.chrome_executable(info.executable_path)
.build()?,
}
已知问题
- 在chromiumoxide_cdp中为PDL文件生成的rust文件,当手动关闭对实验类型支持时无法编译(
export CDP_NO_EXPERIMENTAL=true
)。这是因为*.pdl
文件自身中使用的一些实验性pdl类型并未标记为实验性。
故障排除
问题:启动新的chromium实例,但随后超时。
答案:请检查您的chromium语言设置是否设置为英语。《chromiumoxide》尝试从chromium进程输出中解析调试端口,这仅限于英语。
许可
许可协议为以下之一
- Apache License,版本2.0,(LICENSE-APACHE 或 https://apache.ac.cn/licenses/LICENSE-2.0)
- MIT 许可证(LICENSE-MIT 或 https://opensource.org/licenses/MIT)
参考文献
- chromedp
- rust-headless-chrome,从中获取了启动配置、
KeyDefinition
和键盘支持等。 - puppeteer
依赖项
~8–30MB
~483K SLoC