type
status
date
slug
summary
tags
category
icon
password
TL;DR
本文是由 BuidlerDAO 主办，联合多家 DeFi 项目和投资机构设立的 DeFi 全赛道投研系列课的课程笔记。
Agenda
What is MEV?
- MEV Definition and Mechanism
- Type of MEV
- Example: sandwich attack
MEV Market Overview
- Market size and Value chain
- Market trend
MEV Solutions
- Flashbots
- Shutter Network
- Wallchain
Conclusion
What is MEV?
MEV stands for Maximal Extractable Value or Miner Extractable Value (former)
MEV 现在常成为最大可提取价值，以前常叫为矿工可提取价值。而为什么我们经常提到 MEV 是 Ethereum 的，原因主要还是因为 Ethereum 目前是最大的公链
MEV occurs when the block producers in a blockchain (e.g. miners, validators) are able to extract value by arbitrarily reordering, including, or excluding transactions within a block, often to the harm of users. Simply put, block producers can determine the order in which transaction are processed on the blockchain and exploit that power to their advantage.
MEV is inevitable due to the controllable nature of transaction ordering in block generation.
MEV 本质上是当一笔交易上链的时候是有一个过程即区块生成的过程。而在这个过程中，有些人有权利在你的交易生效上链之前去插入交易来实现价格的提取，也可以在不同的两个市场之间出现价格差异的时候实现更快的套利
The transaction (Tx , will come to mem-pool before validated aid blocked
Each block can only contain a limited number of transactions, and block producers have complete autonomy to choose which pending transactions in the mem-pool (where block producers (including miner-Bitcoin and validator-Ethereum) store unconfirmed transactions off-chain) will be included in its block.
While block producers order transactions at the highest gas price (transaction fee) by default to maximize profits, this is not a requirement of the network. Therefore, block producers can leverage their ability to reorder transactions at will to extract additional value, creating what is known as MEV.
MEV 的具体实现机制，这里 Ethereum 为例，在 Ethereum 上所有的交易只要不是私人的交易都会先去到一个叫做 mem-pool 的池子中，执行层会在池子中找到自己最有利可图的交易将其打包并传输到共识层进行验证，那么这个中间是有个过程的，那这个过程中所有的 Pack Block 都可以找到 MEV 的机会即在市场情况下的价格波动中找到 MEV 的机会并且提前实现他们 (提前发起一笔相似的交易并放在发现的原交易前面完成)
MEV extraction consist of arbitrage, sandwich and liquidation mostly
- Arbitrage gains from narrowing the price difference between markets, mostly happened in DEX.
- 两个市场之间的套利，即常说的交易所价差套利
- Sandwich attack gains through front-running user transactions.
- 三明治攻击，即发现一笔高额交易时抢先提交一笔交易，在该高额交易完成之后再卖出从而套利，也就是所谓的低买高卖
- 在某些情况下会发起大量的交易，为了确保自己的交易能够成功
- Liquidation returns by capitalizing on the difference between debt and collateral values during market fluctuations, mostly happened in lending.
- 会对市场产生很大的波动影响
The ‘Sandwich Attack’ represents a more negative aspect of MEV, often triggering a large volume of transactions for its execution. In contrast, arbitrage is a common and relatively positive phenomenon, aiding decentralized markets in rapidly adjusting prices to reflect true market values when sequencing is controlled by non-user players.
According to Eigenphi’s MEV outlook report for 2023, it is evident that the number of arbitrage bots remains the highest, primarily due to its higher profit margins.
Example: How sandwich attack happened ?
- Detect a buy order before it is executed
- Purchase a certain amount of the same tokens before the user's transaction is executed
- Wait for the user's transaction to be executed
- Immediately sell all the tokens right after
这是较为简单的例子，较为复杂的还可以在买入和卖出之前加杠杆或者借贷等等
MEV Market Overview
Market size of MEV - In Ethereum
In 2022, 2,717 MEV Bots will generate approximately $300 million in revenue for the MEV market.
In a bull market, the blockchain is brimming with opportunities, and the MEV market is substantial. However, high gas costs lead to lower profit margins. In contrast, a bear market sees lower trading volumes and a smaller MEV market, but without the costly gas wars, the profit margins tend to be higher.
Now block produce by MEV searcher, block builder, Validator/Miner and MEV Solutions
Searcher is responsible for monitoring the pubic pool or private pool, and then uses the algorithm to calculate the most profitable transaction sequence within the block, and packages it to the Builder. At this time, Searcher will give a bid, and often the cost is only visible to the builder, not to everyone through the p2p network.
Builder accepts transactions from searcher and further selects profitable blocks from them, then sends the blocks to relay via MEV-Boost.
The relay accepts the blocks transmitted by the Builder and passes the most profitable block headers to the Validator. After the Validator verifies the block header, the relay sends the entire block to the Validator to speed up the Validator's work efficiency.
这里解决前面提到的几个问题：
- 寻找 MEV 机会或者构建一个 MEV Bots 的这个人我们一般会将其称为什么？
从图中我们可以很明显地看出来，我们一般将其成为 Searcher
- 从图片中的上游来说交易是从哪里来的，会被归集到哪里？
总共有两个方式，一个方式是公开的，像平常我们常使用的小狐狸或者其他一些 DeFi 产品，那么这些交易最终都会被放在 Mempool (以 Ethereum 为例)，其他的 Layer2 会有一些不一样；另外一种方式则是使用一些私有的 RPC 节点，最后的交易是进入到 Private Pool 中，走私人 Pool 的逻辑是相信这一套私人的 transaction channel 不会对自己的交易进行 MEV 的套利操作
- 从图片中的中游来说，这里的 searcher、builder、relay 是基于什么的呢？
它们是基于一个 MEV-Boost 的架构从而划分出来的不同部分，而为什么是 MEV-Boost，主要是因为它是 dominate Ethereum 的区块生成，所以这个方案是最主流的方案
所以 searcher 会通过算法去挖掘池子的交易机会，然后将其和自己的交易发送给 builder 并给予 builder 一些补偿；builder 在拿到之后会打包成区块并发送给 relay；通过 relay 发送到共识层的验证者中；最后验证者拿到钱之后就会进行上链
Flashbots dominate the midstream market as MEV solutions
The current mainstream MEV solution is still Flashbots MEV-Boost, has a very high technology adoption rate on Ethereum, whose slot share of block on Ethereum has reached 90%.
The total MEV revenue of MEV-Boost in less than a year since its launch is as high as 250k ETH (currently worth approximately $469m).
Searcher captured the most value, and difficult to enter the builder market
64% of MEVs total profits are still occupied by algorithm-led Searcher; Builder tends to be centralized, CR5 has reached 84.29%.
Searcher 是在整条价值链上捕获 MEV 更高的一些价值，64% 的价值都会被 Searcher 先拿走，Builder 目前来看还是非常地集中，也就意味着 Builder 不会占据到太多的钱，还需要与一些头部玩家去合作 (比较有难度)
Downstream capture some value from builder and play high proportion of revenue distribution
Taking Lido DAO executive layer APR as an example (most from MEV revenue) accounting for about 1/3 of stETH’s total revenue. When on-chain transactions where hot, it once accounted for nearly 70% (March 11, 2023)
The MEV revenue was almost equal to the blockchain rewarding of validating during the bull market.
下游从 buidler 获取收益，且分为了 execution layer 和 consensus layer 两部分收益，execution layer 的收益主要来自于 MEV 的 gas 费用，consensus layer 的收益主要来自于区块奖励。所以我们可以看到 consensus layer 的收益比较平稳，而 execution layer 的收益在牛市期间可以达到 70% 之多
Sort out the new market trend
MEV 发展的 3 个趋势：
- Layer2 现在是很想自己可以 capture MEV 的，我们知道 Layer2 是在链下交易，然后最终交易打包，借助 Ethereum 的安全性去实现交易的上链。现在整个定序器的方案还是比较中心化的，Ethereum 我们知道它是使用了 Mempool，而像 Arbitrum、Optimism 等更多的是使用一些中心化的定序方案，类似于使用一个中心化的节点来管理所有的交易排序。所以它们需要去构建一个更加去中心化的定序方案
- MEV 在与 ETH 无关的一些链如 BNB Chain 中增长也是非常的好，原因也是因为 BNB Chain 的生态发展比较好，同时也有 Binance 的支持
- 从技术方面来看，现在大家更多的想要做一个跨链的定序器方案，即 searcher 或 builder 同时分配到多条链上的区块生成的任务上，这其中的问题会比较多
MEV Solutions
How Flashbots works — MEV Boost
Flashbots is an R&D company aiming to mitigate negative externalities (such as on-chain congestion) caused by MEV.
Flashbots has launched several products, such as Flashbots Auction (with the Flashbots Relay), the Flashbots Protect RPC, MEV-Inspect, MEV-Explore and MEV-Boost, etc. Here we will focus on two products: Auction (MEV-GETH) and MEV-Boost.
PBS (Proposer-Builder Separation) is good implement in MEV-boost. It can realize fair sequencing and effectively, and create a market so that MEV revenue can be freely distributed between Searcher, builder and Validator. The difference is that Validators can completely outsource the block construction work, and the existence of Builder can accelerate the block generation process.
PBS 是因为过去区块验证者是要完成区块打包和验证两个过程，但在 Flashbots 的这个架构中我们可以看出 builder 才是区块的构建者，然后验证者再通过 relay 中的信息去进行验证。builder 和 block producer 这两个身份的分离意味着现在的 Ethereum 区块生成效率变得非常高。而 PBS 的价值就是提高了区块的生成效率，但是 relay 这个方式是不是最终的解决方案仍然未知
How Flashbots works — MEV SUAVE redefining the sequencer for all public chains
SUAVE is an independent blockchain, but it can be understood as a plug-in that can be inserted into any other chain, acting as a Mem-pool and builder for other chains.
SUAVE separates the Mem-pool and builders of all chains from other roles, which can improve the efficiency of the entire chain and achieve a higher degree of decentralization.
Flashbots 新的方案是想做一个全链的定序器方案。SUAVE 是一条单独的侧链，可以将其理解为是一个“插件”，可以插入到不同的链上中去，其目的是想去做各个链中的“Mempool”
Omni Chain 是一件非常 Crypto Native 的一件事情，大家希望链上的这些所有的事件是可以组合的，是非常去中心化的。SUAVE 就是想做一个非常去中心化的东西，然后插入到不同的链上，那么所有的链就可以被组合起来，而这种方案也更能被 Crypto Native 的人所接受。但难也难在这，因为现有的链很多都并不那么的 Crypto Native，目前真正的去中心化的链可能只有 Bitcoin，所以怎么去推进这个事情是比较困难的
Other Sequencer Solutions — Shutter Network hides sequencing process to protect MEV loss
Shutter Network is an opensource project that aims to prevent front-running an Ethereum by using the Distributed Key Generation (DKG) protocol based on threshold cryptography.
Shutter Network hides transaction information through threshold encryption, making it impossible for attackers to determine the specific information of the transaction, including the purchase or sale, the tokens exchanged, or the price.
Shutter 主要是通过一群 Keypers (可以将其理解为是一个”DAO”)，这些 Keypers 会去共识什么时候去进行加密，什么时候去进行解密。其盈利方式有多种，一种是提供解决方案即 to B 的服务，另一种是抽取手续费，用户在这其中是被保护的，所以收费并不过分。但要将这两种方式进行推广都会比较难，一是要得到这些 Rollup 的支持本质上也需要得到节点的支持，那一个完全抗 MEV 的方案对于这些节点来说存在一些利益冲突
MEV Capture Trading Terminal: Wallchain
Wallchain is a trading terminal aims to recovery the MEV loss and share it to trading users, focusing on BNB Chain and Palygon.
Abstractly, it will have a MEV extraction bot. When users initiates a transaction, the MEV robot can analysis all feasible MEV opportunities in advance, and then pack all MEV opportunity-related transactions, and using DEX liquidity to complete all transactions.
Wallchain 算是一个上游的解决方案，上游主要是用户在发起交易的时候是会被保护。Wallchain 是想做一个交易终端，大家都可以在 Wallchain 中发起交易，同时对其 MEV 进行保护。那么如何保护的呢？我们前面说到 searcher 是需要使用算法做一个 MEV Bot 去寻找 MEV 的机会并执行，而 Wallchain 是在用户发起交易之前，其交易信息会被直接发送到它们内置的一个 searcher 的 MEV Bot 里面，这个 Bot 会去分析有没有可以挖掘的 MEV 机会，如果有就会将其全部发起，再通过 DEX 的流动性去落实这笔交易，落实这笔交易之后，Bots 会得到 MEV，用户，则其实也被 Bots 割了一波。然后这个 Bots 会做一个承诺，会分给用户一些收益，终端在这笔交易上吸引了多少价值然后最后返还给用户。但这种方式也有一些弊端，用户需要真的相信这个 Bots 的收益分配、MEV 挖掘保护能力等等
- 下游有没有 MEV 的方案？
在质押或者跨链 swap 的过程中能够有一些 MEV 的方案，但总体来说整个 MEV 的一级投资还是有一定难度且难度还不小。我们知道 MEV 可能是有一些价值的，但是我们发现目前所有的 MEV 项目的出现都会受到一些阻碍，其发展会受到多方利益方的阻碍。从用户的角度来讲没有 MEV 肯定是最好的，但从目前区块链世界的这些大头来讲，不管是竞争节点、searcher、builder 都已经是生根蒂固的状态，那么要找到新的方案、新的机会，推进出来其实是有难度的
- 从 trend 的角度来说，MEV 这个赛道在最近是不是会有一些市场洗牌的机会呢？
也是有的，于 Flashbots 做类似的东西，可以将其理解为跨链的定序器即成为不同链的“Mempool”，更多的是 focus 在各个 Layer2 或者像 BNB Chain、Polygon 等新链上。只要某条链的交易起来，那么 MEV 的机会也会随之起来
Conclusion
- MEV isn’t inherently negative in current blockchain projects. Many of the costly issues encountered are not solely attributable to MEV.
- MEV 并不是大家所想的完全负面的一个东西，很多时候 gas 高并不完全是 MEV 的问题
- 现在我们去链上做交易，成本那么高的原因也是因为很多项目收费本来就贵，它们也是希望很多 LP 能够更快地收到钱，确保 LP 能够有较好的收益率，所以给的费用其实也不低。相对来说其实 MEV 也并不是那么的让人难以接受
- MEV is difficult to eliminate. It not only exists in the process of block generation, but is also hindered by many powerful stakeholders.
- 只要有链的存在，那么 MEV 其实就很难被阻挡，它可能会存在。这个逻辑其实与高频交易很相像，高频交易也是发行交易意图，然后就不停地刷交易，但我们也可以发现高频交易在现在的交易生态里面到底有什么样的价值
- 如果想要做 mass adoption 的话，这个问题其实还是要再进行斟酌的。就像前面所说，MEV 其实很难被消除的，它就是在区块生成的过程中所存在的。然后也有更多的利益相关方会去阻碍一些抗 MEV 的方式
- Omni-chain MEV extraction is a trend with relatively high certainty, but it is also relatively difficult to build. Including some layer 2 opportunities.
- 是一个非常高确定性的趋势了，但非常难的点在于不同的 MEV 的收入要怎么归属，类似于每一条链都是一个国家，现在要连起来所有的国家，需要做类似于 swift 的东西，那么怎么分钱
- MEV solutions will not only make trade-offs on the issue of MEV fairness, but also promote the efficiency of blockchain block generation.
- MEV 的这些 solutions 不仅是去制衡 MEV 经济上的公平性或者实现好的收益分配，其实整个区块链的生产效率也是有很大的提升
- 所有的这些 MEV solutions 还有 sequencer 实际上也是非常刚需的东西即每一条链都需要这些东西，但存在的问题是它们并不盈利，所以投资机构在找投资机会的难度就会非常高
- 上游钱包没什么好投的，searcher 又不可能直接去投算法，这类似于投二级市场，builder 的集中度比较高。下游 liquid staking 是一个比较主流的方向作为共识层，推荐 Puffer，它作为一个 DVT-Base 的 liquid staking 的架构，能够有更低的 staking 门槛，更去中心化的节点，比 Lido 更像 consensus layer 的项目
- As mentioned earlier, although MEV solutions/Sequencers are urgently needed, many projects do not have profitable attributes, so primary investment in MEV projects will become somewhat difficult.
Q&A
- 现在做 MEV Bot 还赚钱吗？会不会太卷
肯定卷，但新链不会太卷。MEV 的 bots 是可以做到更大的价值的，但现在 Ethereum 上 bots 数量非常多，而且别人的算法有多厉害，它们有多熟悉整个的交易流程，这个是需要去调研的。然后现在也可以去看 EigenPhi 的研究，它们提到说很多的 MEV 现在并不赚钱甚至是亏的，这个是完全有可能的，只要大家都想要抢跑，那么就会卷起来。可以看看 BNB Chain 上 Arbitrage 的机会，个人参与者风险最低的参与方式是直接成为 staking 对象，如在 Puffer 上 staking
- MEV 的未来会是什么情景？很多协议都想要防 MEV，未来还会存在吗？
MEV 整个市场的收入肯定是会有增长的，现在已经能看到有点小牛的感觉了，尤其是最近有好几个生态出来，BTC、TON
这其实是一种博弈的问题，即是要维护用户的利益还是 MEV 这批人的利益，从下方的图中我们可以看到在中游的部分就已经在分用户的钱，而抗 MEV 这件事情是会出现因为用户需要少这笔钱，但是现在不好出现，因为 MEV 费用对整个费用的影响并不明显，只有被三明治攻击了相对来说影响才比较大一点，而相反 Arbitrage 这种方式不会有很大的感觉。牛市做抗 MEV 会好一点，但更喜欢能够把钱算的比较清楚然后分出去
MEV 不是生态高优先级的事情，用户体验更重要
- 老师您好，问个小白问题，builder 是指？
是 MEV-Boost 里的一个身份，builder 接受来自 searcher 的交易。searcher 会去打包交易并给出一个竞价即最高能接受的成本，这是它跟 builder 之间点对点的，只有 builder 能看到这中间会有个竞价，然后 builder 把竞价高的放前面然后通过 relay 传到下游
- 写 MEV 算法和传统写量化投资算法的能力需求，区别大不大？
能力上其实是一样的，MEV 跟高频交易有点像，只是这里面涉及到一些架构的问题
- MEV Bot 最核心是开发不同的套利策略还是构建的节点比别人更快？
不是节点问题，作为 searcher 是没有节点的，就算是节点也需要有记账权才能上传区块，所以和节点没有关系。策略是偏二级的东西，也比较麻烦，不如 staking
- Serein 老师怎么看 BTC 生态和 TON 生态的后续发展，有没有一些 insights？
TON 有 Telegram 很大的流量池。Unibot 能火有自己的逻辑，CEX 在做交易广场这个社交功能，但是交易的信号往往来自社交，来自 TG 的交易的 signal 立刻转成交易结果，这在未来的交易生态中也是一种最终的形态。Unibot 有点中心化。TON 开发者有点问题，重点是权衡用户使用中的各种问题，TON 可以理解为是 TG 的非常重要的商业化手段，叙事很好，但体验很差，所以我们在看加速 TON 的 dev tools 等
BTC 生态跟 ETH 生态是完全不一样的，合约逻辑是不同的。一个是在链上，一个是在链外，然后 BTC 的账户逻辑与 ETH 的账户逻辑也是不一样的，我们在 ETH 上可以直接看到我们有一个账户，这个账户中有各种各样的 token，然后我们都能看到总览、合约的交互记录等等；但是这些在 BTC 上是看不到的，首先 BTC 就没有一个合约账户，而是通过 UTXO 去指定一个资产，所以当未来 UTXO 可以去指代更多的资产类别的时候，只能通过集成所有的 UTXO 的方式来知道某个人到底有多少钱，而不是通过一个具象的地址，故 BTC 生态的隐私性会非常高，现在基于 RGB 协议和 Taproot 这两个做智能合约系统，这两个都不是那么的图灵完备，开发只能实现一些比较基本的编程，没办法做比较好的 DeFi、SocialFi、Game 等等
Thinking
在听完 Serein 老师的讲解之后，个人对 MEV 这一领域有所改观。之前的我总是单纯认为 MEV 这种东西就不应该出现，应该完全将其排除。但现在会觉得 MEV 其实也是 Web3 领域中的一个分支，虽然它对用户交易不友好，但其实就像老师说的，大家其实并没有多大感觉，更多时候大家更在意的还是安全性、隐私性等方面。且 MEV 技术带来的不单单只有利益，它也会对整个区块链系统的架构有所推动
致谢
最后，非常感谢 BuidlerDAO 和 Serein 老师的辛苦付出，给我们带来了很精彩的课程！
- 作者:Howe
- 链接:https://blog.0xhowe.top/article/MEV_Overview
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。