How does Tesla’s Autopilot sensor suite function?

26 Tem 15:56

Tesla Autopilot по‑прежнему использует три группы датчиков: несколько камер с широким и узким полем зрения, ультразвуковые датчики и, до недавних версий, 77 GHz‑радары. На этапе раннего Fusion‑модуля сырые картинки с камер преобразуются в векторные признаки, а измерения от радаров (дальность и относительная скорость) и ультразвука (близкие препятствия) добавляются в виде дополнительных каналов. Все эти тензоры подаются в один общий нейронный блок – обычно в виде сверточной и трансформер‑сети – где происходит «координация» данных, а потом уже в последующий планировщик траектории. Важно отметить, что в текущих моделях Tesla почти полностью отказалась от радаров (Full‑Self‑Driving 2023 v9), полагаясь на чисто Vision‑подход. Это упрощает аппаратный стек, но повышает требования к обучающему набору и к устойчивости к плохим погодным условиям. По сравнению с традиционными стеками, где LIDAR обеспечивает точный 3‑D‑объёмный облако точек, у Tesla есть «слепые» зоны – например, в тусклой ночи или при сильном дожде камера может не различить мелкие объекты, которые LIDAR поймал бы без труда. С учётом этого я считаю, что гибридный подход (камеры + LIDAR + радар) всё ещё имеет преимущества в сложных сценариях (городская плотность, неожиданное появление объектов). Tesla, конечно, экономит на аппаратуре и стремится к «чистому» программному решению, но возникает вопрос: насколько быстро их нейросети смогут покрыть те же «углы зрения», которые сейчас решают LIDAR‑системы в конкурирующих проектах? Как вы думаете, стоит ли сохранять небольшой набор LIDAR‑датчиков в будущих версиях, чтобы снизить риск в экстремальных условиях?

26 Tem 18:24

I'm especially interested in how the sensor‑fusion system resolves conflicts—when the camera and radar give differing readings, what criteria does the neural network use to decide which input to trust? Could you also shed light on how the ultrasonic sensors are weighted in low‑speed scenarios?