DRIVING FORCE

Cover Story：操縦する力：AIドライバーがレースゲーム「グランツーリスモ」の王者に勝利
https://www.natureasia.com/ja-jp/nature/highlights/111820

以下、翻訳と引用

現代のF1レースは、工学的精度の高さを示す息を呑むようなショーである。しかし、このスポーツの人気は、マシンの性能というよりも、マシンを極限まで追い込むドライバーの技量や大胆さにあるといっても過言ではない。レーストラックでの成功は、人類にとって賞賛に値するものである。1世紀以上もの間、その功績は続いている。今度は、人工知能（AI）でも同様の勝利となるのだろうか。223ページで、Wurmanらが、ニューラルネットワークドライバー「グランツーリスモ（GT）Sophy」を紹介し、この方向への一歩を踏み出している。 人間よりも優れている ビデオゲーム「グランツーリスモ」のプレイヤーである。

レースにおける目的は簡単である。サーキットをより短い時間で走破することにある。ライバルに勝てば良い。しかし、この目標を達成するためには、複雑なバトルが必要となる。それは物理学との戦い。タイヤと路面の間に働く力、摩擦力をうまく利用することであるが、それは限られてる。例えば、ブレーキングに摩擦を使うと、その分、コーナーを曲がるために使える力が減ってしまう。

具体的には、タイヤと路面をつなぐ垂直方向の力、つまり荷重に比例した摩擦力を発生させることができる。加速すると、荷重はリアタイヤに移動し、フロントタイヤの摩擦力は減少する。そのため、ステアリングを切っても力が出ず、ハンドルの効かない状態になってしまう。一方、ブレーキをかけると、荷重はフロントに移動するが、その結果オーバーステアとなり、リアタイヤがトラクションを失いクルマはスピンしてしまう。さらに、複雑な地形のコースにおいて、荷重移動を行う車体サスペンションチューニングの難しさやレースの難しさは明白となる。

レースで勝つためには、刻々と変化する摩擦の限界の中で、物理的に可能な限りクルマを走らせる軌道を選択する必要がある。コーナーの進入で早くブレーキをかけると、クルマは遅くなり、タイムをロスしてしまう。ブレーキが遅すぎると、コーナリングフォースが足りず、コーナーの一番きついところで希望のレーシングラインを維持することができない。強くブレーキをかけると、スピンを誘発する可能性がある。プロのレーシングドライバーは、レース中に自分のクルマの限界を見極めて、それを維持することに長けている。

車のハンドリングの限界は複雑だが、物理学でよく説明されているので、計算したり学習したりすることができる。実際、自動運転のAudi TTSであるShelleyは、物理学の簡単なモデルを使うことで、アマチュアのチャンピオンドライバーに匹敵するラップタイムを生み出すことができた。一方、GT Sophyは、物理学に基づく明示的な計算を行わない。代わりに、ニューラルネットワークモデルで学習する。しかし、ShelleyとGT Sophyが利用できるコースと車両の動きに関する情報を考えると、十分な学習データがあれば、GT Sophyが速いラップを刻むことはそれほど驚くべきことではないだろう。

しかし、GT Sophyが人間のドライバーと直接対決したときのパフォーマンスは、本当に素晴らしいものだった。GT Sophyはラップタイムの優位性で相手を打ち負かすのではなく、単純に相手を上回っていく。GT Sophyはトレーニングの過程で、さまざまな状況に応じてコーナーリングのラインを変えることを学んだ。あるケースでは、人間のドライバー2人がGT Sophyの2台の進路を塞ごうとしたが、AIは2つの異なる軌道を見つけることに成功し、このブロックを乗り越えてAI車を追い越すことがでた(Fig.1)。

また、ル・マン24時間レースのコースであるサルテサーキットの有名なストレートを再現したシミュレーションでは、GT Sophyは古典的な操作を行うことができることを証明した。これは、先行車の後方から素早く飛び出して空気抵抗を増やし、追い抜くというもの。これは人間のレーシングドライバーも同じだが、GT Sophyは多くの事例をもとに、訓練によってこの技を身につけたのだ。このように、人間のドライバーと直接対決して追い抜くというのは、AIにとって画期的なことである。

Wurmanらの研究は、ビデオゲームでの勝利にとどまらない。物や人を運ぶ完全自動運転車の完成を目指す企業では、ソフトウェアのどの部分までニューラルネットワークを使い、どの部分まで物理学に基づくべきかという議論が続いている。一般に、周辺環境の物体を知覚・識別することに関しては、ニューラルネットワークが文句なしの王者である。しかし，軌跡の計画は物理学と最適化の領域であることに変わりはない。自律走行の中核にニューラルネットワークを採用している自動車メーカーのテスラでさえ、そのニューラルネットワークが最適化ベースの軌道プランナーにフィードされていることを明らかにしている(go.nature.com/3kgkpuaを参照)。しかし、GT Sophyのサーキットでの成功は、自動運転車のソフトウェアにおいて、ニューラルネットワークが今よりも大きな役割を果たす日が来るかもしれないことを示唆している。

では、ルイス・ハミルトンとマックス・フェルスタッペンによるF1バトルは、GT Sophyのバリエーションによるコンテストに取って代わられるだろうか？グランツーリスモの物理は、リアルなレーシングカーと瓜二つである。グランツーリスモのディレクターである山内一典は、「緑の地獄」の異名を持つドイツ・ニュルブルクリンクのコーナーリングで繰り返し起こる問題を解決するために、実際のレーシングカーをゲーム上で調整した（go.nature.com/3202aa参照）。また、レーシングスクールに入る前に、ラグナセカ・レースウェイに慣れるのにも役立っている。

それでも、ゲーム機からサーキットに移るには、いくつかの課題が残されている。たとえば、GT Sophyは、コーナーごとにドッグファイトをするのではなく、前のクルマについていってタイムを稼ぐほうが良い場合があることをまだ学んでいない。もちろん、WurmanらはGT Sophyのルーキーシーズンを報告しており、経験を積めばそのような戦略も学べないことはないだろう。

さらに難しいのは、ラップごとに発生するバリエーションかもしれない。Wurmanらが使用したグランツーリスモのレースとは異なり、実際のレーシングカーは周回ごとにタイヤの状態が変化し、人間のドライバーはレース中、その変化に対応しなければならない。GT Sophyは、もっと多くのデータがあれば、同じことができるのか？そして、そのデータはどこから来るのか？シミュレーションをするのは簡単だが、現存するどのレーシングカーも、現在のGT Sophyを訓練するのに十分な周回数を走らせておらず、ましてやタイヤのばらつきに対応できるAIは存在しない。しかし、ニューラルネットワークが異なる路面での車両ダイナミクスの変化を捉えることができるという証拠があるので、フェルスタッペンとハミルトンはバックミラーから目を離さない方がいいかもしれない。

A modern Formula 1 race is a breathtaking display of engineering precision. Yet the popularity of the sport arguably has less to do with the performance of the cars than with the skill and daring displayed by the drivers as they push those cars to the limit. Success on the race track has been a celebrated human achievement for more than a century. Will it now become a similar triumph for artificial intelligence (AI)? On page 223, Wurman et al.1 take a step in this direction by introducing Gran Turismo (GT) Sophy, a neural-network driver capable of outperforming the best human players of the video game Gran Turismo.

The objective in racing is easily defined: if you complete the circuit in less time than your competitors, you win. However, achieving this goal involves a complicated battle with physics, because negotiating the track requires careful use of the frictional force between the tyre and the road, and this force is limited. Using some of that friction for braking, for instance, leaves less force available for rounding a corner.

More specifically, each tyre can produce a frictional force proportional to the vertical force, or load, that connects it to the road. As the car accelerates, the load shifts to the rear tyres, leaving less frictional force for the front tyres. This can induce understeer, in which the steering wheel cannot generate more cornering force and effectively becomes a hand rest as the car ploughs out of the turn. By contrast, when the car brakes, the load shifts to the front of the car. This can lead to oversteer, meaning that the rear tyres lose traction and the car spins. Add in a complicated track topography, and the complexities of tuning load transfer with the suspension of the vehicle, and the challenges of racing become obvious.

To win the race, the driver must choose trajectories that allow the car to stay　within these ever-changing friction limits as much as it physically can. Brake too　early going into a turn and your car is slow, losing time. Brake too late and you　won’t have enough cornering force to hold your desired racing line as you near　the tightest part of the turn. Brake too hard and you might induce a spin.　Professional racing drivers are eerily good at finding and maintaining the limits of　their car, lap after lap, for an entire race.

As complex as the handling limits of a car can be, they are well described by physics, and it therefore stands to reason that they could be calculated or learnt. Indeed, the automated Audi TTS, Shelley, was capable of generating lap times comparable to those of a champion amateur driver by using a simple model of physics2. By contrast, GT Sophy doesn’t make explicit calculations based on physics. Instead, it learns through a neural-network model. However, given the track and vehicle motion information available to Shelley and GT Sophy, it isn’t too surprising that GT Sophy can put in a fast lap with enough training data.

What really stands out is GT Sophy’s performance against human drivers in a head-toheadcompetition. Far from using a lap-time advantage to outlast opponents, GT Sophy simply outraces them. Through the training process, GT Sophy learnt to take different lines through the corners in response to different conditions. In one case, two human drivers attempted to block the preferred path of two GT Sophy cars, yet the AI succeeded in finding two different trajectories that overcame this block and allowed the AI’s cars to pass (Fig.1).
GT Sophy also proved to be capable of executing a classic manoeuvre on a simulation of a famous straight of the Circuit de la Sarthe, the track of the car race 24 Hours of Le Mans. The move involves quickly driving out of the wake of the vehicle ahead to increase the drag on the lead car in a bid to overtake it. GT Sophy learnt this trick through training, on the basis of many examples of this exact scenario — although the same could be said for every human racing-car driver capable of this feat. Outracing human drivers so skilfully in a head-to-head competition represents a landmark achievement for AI.

The implications of Wurman and colleagues’ work go well beyond video-game supremacy. As companies work to perfect fully automated vehicles that can deliver goods or passengers, there is an ongoing debate as to how much of the software should use neural networks and how much should be based on physics alone. In general, the neural network is the undisputed champion when it comes to perceiving and identifying objects in the surrounding environment. However, trajectory planning has remained the province of physics and optimization. Even vehicle manufacturer Tesla, which uses neural networks as the core of autonomous driving, has revealed that its neural networks feed into an optimization-based trajectory planner (see go.nature.com/3kgkpua). But GT Sophy’s success on the track suggests that neural networks might one day have a larger role in the software of automated vehicles than they do today.

So, will the Formula 1 battles between Lewis Hamilton and Max Verstappen give way to contests between GT Sophy variants? After all, the physics of Gran Turismo is a close match for real racing cars. Gran Turismo’s director, Kazunori Yamauchi, even used the video game to find ways of tweaking his real racing car to overcome a recurring problem that he was having when taking a corner at the Nürburgring, a Grand Prix track in Germany that has the nickname The Green Hell (see go.nature.com/3tw22aa). It also helped me to familiarize myself with Laguna Seca Raceway before I started racing school.

Still, some challenges remain in moving from the console to the track. For
example, GT Sophy has not yet learnt that it is sometimes better to follow the car ahead to make up time, instead of dogfighting at every corner. Of course, Wurman et al. report GT Sophy’s rookie season, and there is no obvious reason why such a strategy could not be learnt with greater experience, too.

More challenging might be the variation that occurs with each lap. Unlike in the Gran Turismo races used by Wurman and co-workers, the condition of the tyres on real racing cars changes from lap to lap, and human drivers must adapt to such changes throughout the race. Would GT Sophy be able to do the same with more data? And where would such data come from? It’s easy to run simulations, but no racing car in existence has completed enough laps to train GT Sophy in its current form, much less an AI that could handle tyre variability. However, there is evidence that neural networks can capture changing vehicle dynamics on different road surfaces2, so perhaps Verstappen and Hamilton should keep one eye on their rear-view mirrors.