Визуальное сервоуправление, часть II: продвинутые подходы

Содержание · 12 глав

Глава 1. Введение: напоминание основ визуального сервоуправления
Глава 2. Оценка трёхмерных параметров
Глава 3. Эпиполярная геометрия и гомография
Глава 4. Прямая численная оценка матрицы взаимодействия
Глава 5. Гибридное визуальное сервоуправление (2½-D)
Глава 6. Другие гибридные схемы
Глава 7. Partitioned visual servo: L_xy/L_z, признаки α и σ²
Глава 8. Advanced IBVS: улучшенный выбор признаков в изображении
Глава 9. Сопровождение движущихся целей
Глава 10. Eye-in-hand и eye-to-hand: обобщённая модель
Глава 11. Заключение
Глава 12. Литература

Адаптация для базы знаний DroneLab. Оригинал: F. Chaumette, S. Hutchinson, «Visual Servo Control, Part II: Advanced Approaches», IEEE Robotics & Automation Magazine, 14(1):109–118, 2007. Открытый доступ: HAL inria-00350638v1. Юридическая ответственность за использование материала лежит на издателе.

Это вторая часть двухчастного учебного обзора по визуальному сервоуправлению. В Части I (IEEE RAM, vol. 13, no. 4, 2006) введены базовые понятия: image-based visual servo (IBVS), position-based visual servo (PBVS), матрица взаимодействия, анализ устойчивости и сравнение классических схем. Здесь рассматриваются продвинутые подходы: оценка 3-D параметров, гибридные и разделённые (partitioned) схемы, расширенный IBVS, сопровождение движущихся целей и обобщение на конфигурации eye-in-hand / eye-to-hand.

Глава 1. Введение: напоминание основ визуального сервоуправления

Базовая модель

Схемы визуального сервоуправления опираются на линейную связь между скоростью изменения визуальных признаков и пространственной скоростью камеры:

ṡ = L_s v_c                                                    (1)

Здесь s — вектор геометрических признаков, L_s — матрица взаимодействия (interaction matrix), v_c — шестикомпонентная пространственная скорость камеры (три поступательных и три вращательных DOF). Задача регулятора — минимизировать ошибку между текущими признаками и желаемыми:

e = s − s*

Классический пропорциональный закон управления:

v_c = −λ L̂⁺_e e                                             (2)

где L̂⁺_e — приближение псевдообратной матрицы, а L_e определяется через

ė = L_e v_c                                                    (3)

Почему нужна аппроксимация

Точное значение L⁺_e недоступно: визуальные измерения не дают напрямую всех трёхмерных параметров сцены. В PBVS 3-D параметры входят и в ошибку e, и в матрицу взаимодействия. В базовом IBVS глубина каждой точки появляется в коэффициентах строк, отвечающих поступательным скоростям. Даже при выборе L̂⁺_e = L̂⁺_e* (константная псевдообратная по желаемой позе) требуется знать желаемую глубину Z* каждой точки — обычно это практически выполнимо. Во всех остальных случаях на каждой итерации нужна оценка текущей глубины.

Структура Части II

Далее рассматриваются два способа получить L̂⁺_e:

оценка 3-D параметров (эпиполярная геометрия, гомография) с последующим аналитическим построением L_s;
прямая численная оценка L̂⁺_e по наблюдаемым изменениям признаков.

Затем — продвинутые схемы управления, компенсирующие недостатки чистого IBVS и PBVS; сопровождение движущихся целей; обобщение на пространство сочленений и конфигурации «камера на манипуляторе» / «камера над рабочей зоной».

Часть I (основы)                    Часть II (продвинутые подходы)
─────────────────                   ─────────────────────────────
IBVS, PBVS                    →     оценка L_s / L⁺_e
L_s, устойчивость             →     2½-D, partitioned, moments
точечные признаки             →     tracking, eye-in-hand / eye-to-hand

Глава 2. Оценка трёхмерных параметров

Классические источники 3-D информации

Если доступна калиброванная стереосистема, все 3-D параметры получают триангуляцией (см. Часть I). При известной 3-D модели объекта — алгоритмом оценки позы (pose estimation). Оба подхода чувствительны к шуму изображения: малые ошибки в 2-D соответствиях могут давать нестабильные оценки глубины и ориентации.

Два изображения в задаче сервоуправления

В визуальном сервоуправлении почти всегда доступны два кадра: текущий и желаемый (эталонный). Это естественно порождает эпиполярную геометрию — связь между проекциями одной сцены с двух ракурсов. Альтернатива — оценивать матрицу взаимодействия напрямую по мере накопления измерений в ходе задачи. Ниже оба пути.

Когда что применять

Эпиполярная геометрия / гомография — когда нужны частичные параметры позы (поворот, перевод с точностью до масштаба) для PBVS или гибридных схем;
Численная оценка L_s — когда аналитическая форма неизвестна или калибровка затруднена;
Стерео / модель — когда инфраструктура позволяет и требуется полная 3-D реконструкция.

Глава 3. Эпиполярная геометрия и гомография

Фундаментальная и essential матрица

По набору соответствий между текущим и желаемым изображениями восстанавливают фундаментальную матрицу, а для калиброванной камеры — essential матрицу [1]. Из неё получают поворот R и направление переноса t с точностью до масштабного множителя. Essential-матрица применима в визуальном сервоуправлении [2], однако вблизи сходимости, когда текущее и желаемое изображения почти совпадают, эпиполярная геометрия вырождается: оценить частичную позу между двумя ракурсами становится ненадёжно. Поэтому на практике предпочитают гомографию.

Гомография между кадрами

Пусть x_i и x*_i — однородные координаты точки в текущем и желаемом изображениях. Тогда

x_i = H x*_i

Если все опорные точки лежат на одной 3-D плоскости, существует единая матрица гомографии H для всех i. Её оценивают по четырём парам соответствий. Если точки не coplanar, три точки задают опорную плоскость, а для оценки H нужны ещё пять дополнительных точек [3].

Разложение гомографии

После оценки H выполняют разложение [4]:

H = R + (t / d*) n*ᵀ                                          (4)

где:

R — матрица поворота между текущей и желаемой системами координат камеры;
n* — нормаль к выбранной 3-D плоскости в желаемой системе;
d* — расстояние от желаемой камеры до этой плоскости;
t — вектор переноса между текущей и желаемой позами.

Из H восстанавливают R, t/d* и n; существуют два решения, одно из которых отсеивают знанием о желаемой позе. Глубину любой целевой точки можно оценить с точностью до общего масштабного коэффициента [5]. Таким образом, неизвестная глубина каждой точки в классическом IBVS выражается через один скалярный параметр. Параметры позы для PBVS (перенос с точностью до масштаба, поворот в параметризации «угол–ось») также восстанавливаются. Схемы PBVS из Части I переформулируют с новой ошибкой; тот же подход лежит в основе гибридного 2½-D сервоуправления.

Текущий кадр I          Желаемый кадр I*
      x_i  ──match──►  x*_i
         \              /
          \   H или E   /
           \          /
            ▼        ▼
         R, t/d*, n*  ──►  Z_i (до масштаба), θ_u, ρ_Z
                              │
                              ▼
                    построение L_s или Le для IBVS/PBVS/2½-D

Глава 4. Прямая численная оценка матрицы взаимодействия

Идея

Вместо восстановления 3-D параметров можно оценивать численное значение L_s или L⁺_s — офлайн (обучение) или онлайн (в процессе сервоуправления). Для PBVS это не нужно: все коэффициенты L_s следуют напрямую из выбранных признаков s. Численные методы ориентированы прежде всего на IBVS.

Метод наименьших квадратов для L_s

При заранее известном или измеренном движении камеры Δv_c и наблюдаемом изменении признаков Δs из (1):

L_s Δv_c = Δs

Это k уравнений при k×6 неизвестных в L_s. Набрав N независимых движений с N > 6, решают

L_s A = B

столбцы A ∈ ℝ^6×N — движения камеры, столбцы B ∈ ℝ^k×N — соответствующие Δs. Решение МНК:

L̂_s = B A⁺                                                     (5)

Шесть столбцов L_s оценивают решением шести линейных систем.

Оценка L⁺_s

На практике часто лучше оценивать сразу псевдообратную:

L⁺_s Δs = Δv_c

Шесть уравнений на измерение; при N > k:

L̂⁺_s = A B⁺                                                     (6)

Здесь k столбцов L⁺_s оценивают k системами — отсюда различие в поведении по сравнению с (5). Также применяли нейросети [6, 7] и PCA главных собственных значений изображения как признаки без аналитической L_s [12].

Итеративное обновление (Broyden)

Онлайн-оценку трактуют как задачу оптимизации: дискретизируют (1) и на каждом шаге уточняют L̂_s. Правило Broyden [9, 10]:

L̂_s(t+1) = L̂_s(t) + α · (Δv_cᵀ Δv_c)⁻¹ (Δs − L̂_s(t)Δv_c) Δv_cᵀ

параметр α задаёт скорость адаптации. Обобщение на движущиеся объекты — [11]. Аналогично можно обновлять J_e или J⁺_e в пространстве сочленений.

Плюсы и минусы численной оценки

Плюсы: не требуют полного моделирования и точной калибровки; работают с признаками без аналитической L_s (PCA, сложные дескрипторы); удобны для «не калиброванного» сервоуправления.
Минусы: отсутствие строгого теоретического анализа устойчивости и робастности; сходимость зависит от богатства возбуждения (разнообразия движений); начальная фаза может быть медленной; шум измерений накапливается в оценке якобиана.

Глава 5. Гибридное визуальное сервоуправление (2½-D)

Мотивация: разделение вращения и переноса

PBVS даёт удобный закон для угловой скорости камеры:

ω_c = −λ θ_u                                                   (7)

где θ_u — параметризация «угол–ось» ориентационной ошибки (из pose estimation, оценки эпиполярной геометрии или гомографии). Как совместить это с IBVS для поступательных DOF?

Partitioning матрицы взаимодействия

Выделяют подвектор признаков s_t и ошибку e_t, отвечающие поступательным степеням свободы:

ṡ_t = L_st v_c = [L_v  L_ω] [v_c ; ω_c] = L_v v_c + L_ω ω_c

При желаемой динамике ė_t = −λ e_t:

−λ e_t = L_v v_c + L_ω ω_c
⇒ v_c = −L⁺_v (λ e_t + L_ω ω_c)                               (8)

Слагаемое (λ e_t + L_ω ω_c) — модифицированная ошибка: в неё входит не только e_t, но и вклад вращательного движения ω_c в изменение трансляционных признаков. Закон (8) обнуляет эту модифицированную ошибку.

Схема 2½-D visual servo [13]

Первый систематический гибрид IBVS+PBVS. Выбор:

s_t = (x, log Z)     s*_t = (x*, log Z*)     e_t = (x − x*, log ρ_Z)

где ρ_Z = Z/Z* — относительная глубина, получаемая из частичной оценки позы (раздел 3). Матрица L_v оказывается треугольной и всегда обратимой:

L_v = (1 / (Z* ρ_Z)) · [ −1   0   x
                          0  −1   y
                          0   0  −1 ]

L_ω = [  xy      −(1+x²)   y
        1+y²      −xy      −x
        −yx         0       0 ]

Глобально e = (e_t, θ_u) и

L_e = [ L_v   L_ω
        0     L_θu ]

откуда законы (7) и (8) следуют из общего (2).

Свойства 2½-D

траектория центра тяжести цели x_g в изображении — прямая линия;
компоненты скорости камеры монотонно убывают — поведение близко к «чистому» PBVS;
при k = 6 — глобальная асимптотическая устойчивость в идеальных условиях (анализ из Части I);
треугольная структура L_e позволяет анализировать устойчивость при ошибках калибровки при оценке гомографии [14];
единственный неизвестный константный параметр Z* можно оценивать онлайн адаптивными методами [15].

                    ┌─────────────────┐
  изображение ─────►│  s_t = (x,log Z)│──► e_t ──► v_c = −L⁺_v(λe_t + L_ω ω_c)
                    └─────────────────┘              │
                                                     │
  гомография / pose ──► θ_u ────────────────────────┴──► ω_c = −λ θ_u
         (2½-D: 2-D признаки + «половина» 3-D — глубина в log-форме)

Глава 6. Другие гибридные схемы

Удержание цели в поле зрения [16]

Третья компонента s_t может выбираться так, чтобы опорные точки по возможности оставались в поле зрения камеры — явное включение 2-D ограничений в закон управления.

Прямая линия в 3-D и в изображении [17]

Признаки:

s = (c*_{tc}, x_g, θ_{uz})

Матрица взаимодействия блочно-треугольная:

L_e = [ R      0
        L'_v   L'_ω ]

Поступательные DOF камеры обеспечивают прямолинейную траекторию в 3-D (через c*_tc), вращательные — прямолинейное движение центра тяжести x_g в плоскости изображения и компенсацию 2-D смещения x_g, вызванного переносом. На практике схема даёт очень предсказуемые траектории.

2-D координаты, умноженные на глубину [18, 19]

s = (u₁Z₁, v₁Z₁, Z₁, …, u_n Z_n, v_n Z_n, Z_n)

Избыточный набор признаков (k ≥ 9 при минимум трёх точках для шести DOF). Показано [19], что такой выбор не создаёт притягательных локальных минимумов — важное свойство по сравнению с классическим IBVS при больших начальных ошибках.

Цилиндрические координаты точек [21]

Альтернатива partitioned-схеме: ρ = √(x²+y²), θ = arctan(y/x). Матрицы L_ρ и L_θ обеспечивают инвариантность ρ к ω_z и линейную связь θ с ω_z при инвариантности к v_z — decoupling, аналогичный признакам α и σ² (следующая глава). При s = (ρ₁,θ₁,…,ρ₄,θ₄) и L̂⁺_e = L⁺_e* поведение сопоставимо с «средним» IBVS L̂⁺_e = (L_e/2 + L_e*/2)⁺.

Глава 7. Partitioned visual servo: L_xy/L_z, признаки α и σ²

Цель: decoupling только в 2-D

Гибридные 2½-D схемы разделяют вращение и перенос, используя признаки частично в 2-D, частично в 3-D. Partitioned visual servo [20] ищет шесть признаков целиком в изображении, каждый из которых связан преимущественно с одним DOF — идеал: диагональная постоянная L_s ≈ I.

Разбиение по оптической оси

Для любого s:

ṡ = L_s v_c = L_xy v_xy + L_z v_z

L_xy — столбцы 1, 2, 4, 5 матрицы L_s; L_z — столбцы 3 и 6. v_xy = (v_x, v_y, ω_x, ω_y), v_z = (v_z, ω_z). Компонента ṡ_z = L_z v_z — вклад движения вдоль и вокруг оптической оси; ṡ_xy — вдоль/вокруг осей x, y камеры.

При ė = −λ e:

v_xy = −L⁺_xy (λ e + L_z v_z)

снова модифицированная ошибка с учётом выбранного v_z.

Признаки α и σ²

α (0 ≤ α < 2π) — угол между горизонтальной осью изображения и направленным отрезком между двумя опорными точками; связан с вращением вокруг оптической оси (ω_z).
σ² — площадь многоугольника, построенного по опорным точкам; связана с переносом вдоль оптической оси (v_z).

Координаты набора точек (x, y) входят в s как в базовом IBVS. Закон для осевых DOF [20]:

v_z   = λ_vz · ln(σ* / σ)
ω_z   = λ_ωz · (α* − α)

        v_xy = −L⁺_xy(λe + L_z v_z)     ← 4 DOF (x,y,ωx,ωy)
              ↑                              │
              │         s = (x_i,y_i,…)      │
              │                              │
        v_z = (v_z, ω_z)  ◄── σ² (масштаб) , α (поворот в кадре)
              │                              │
              └──────── optic axis DOF ──────┘

Глава 8. Advanced IBVS: улучшенный выбор признаков в изображении

Зачем выходить за рамки точек

До сих пор в s преобладали координаты точек. Расширение оправдано, если:

сцена описывается отрезками, прямыми, контурами, а не только точками;
более богатые примитивы улучшают decoupling и линеаризацию (связь с partitioned-системами);
задача сформулирована через виртуальные связи (fixtures) между камерой и объектом [22, 23], например ограничение «точка на прямой» [24].

Геометрические примитивы

Аналитические L_s известны для проекций отрезков, прямых, сфер, окружностей, цилиндров [25, 22]. Для планарных объектов произвольной формы выведена L_s для произвольных моментов изображения [26]: центр масс, ориентация, комбинации моментов для partitioned-систем с хорошим decoupling [26, 27]. Моменты применимы и к набору точек [27].

Глубина и нормализация моментов

Как и для точек, глубина объекта или примитива входит в коэффициенты строк, связанных с поступательными скоростями. Исключение — нормализованные моменты [27], когда в L_s остаётся только константа Z*.

Оптимизация и планирование (кратко)

Partitioned-методы — это off-line «распределение» признаков по DOF. Явная оптимизация включает:

LQG [28, 29] — баланс ошибки слежения и величины управления;
resolvability / motion perceptibility [31, 32] — SVD и число обусловленности L_s как мера «видимости» движения в изображении;
gradient projection [25, 23]: e_g = L̂⁺_e e + P_e e_s, P_e = I₆ − L̂⁺_e L̂_e — вторичные ограничения (лимиты сочленений) в нулевом пространстве основной задачи;
switching IBVS/PBVS [36] — переключение по порогам функций Ляпунова (пример: поворот 160° вокруг оптической оси);
планирование траекторий признаков s*(t) [5, 38] — препятствия, видимость, окклюзии; закон v_c = −λ L̂⁺_e e + L̂⁺_e ṡ* предвосхищает изменение эталона.

Глава 9. Сопровождение движущихся целей

Модель ошибки

Цель движется; желаемые признаки s* постоянны (обобщение на s*(t) тривиально). Вместо (3):

ė = L_e v_c + ∂e/∂t                                              (10)

слагаемое ∂e/∂t — изменение ошибки из-за неизвестного движения цели. При желаемой динамике ė = −λ e:

v_c = −λ L̂⁺_e e − L̂⁺_e · ∂̂e/∂t                               (11)

Второй член компенсирует движение цели. Подстановка (11) в (10):

ė = −λ L_e L̂⁺_e e − L_e L̂⁺_e · ∂̂e/∂t + ∂e/∂t                 (12)

Даже при L_e L̂⁺_e > 0 ошибка стремится к нулю только если оценка достаточно точна: L_e L̂⁺_e ∂̂e/∂t = ∂e/∂t. Для скалярной модели ė = −λ e + b решение e(t) → b/λ: высокий λ уменьшает остаток, но чрезмерный gain опасен для устойчивости.

Методы оценки ∂e/∂t

∂̂e/∂t = 0 — для неподвижной цели; остаточной ошибки нет.
Интегральная компенсация: ∂̂e/∂t = μ Σ_j e(j) — убирает ошибку при постоянной скорости цели; gain μ требует настройки.
Feedforward из измерений: ∂̂e/∂t = ė̂ − L̂_e v̂_c, где ė̂ ≈ (e(t)−e(t−Δt))/Δt; улучшение — фильтр Калмана [39] или робастная фильтрация [40].
А priori знание траектории — сглаживание и предсказание [41–43]; медицинская робототехника: компенсация дыхания и сердечного цикла [44].
Предиктивное управление [28, 45] — быстрое подавление возмущений от движения цели.

  неподвижная цель:  v_c = −λ L̂⁺_e e

  движущаяся цель:   v_c = −λ L̂⁺_e e  −  L̂⁺_e · (∂̂e/∂t)
                              │                    │
                              │                    └── Kalman / integral / model
                              └── стандартный IBVS / hybrid / partitioned

Глава 10. Eye-in-hand и eye-to-hand: обобщённая модель

От скорости камеры к скорости сочленений

Ранее входом робота считали шесть компонент v_c. Если у манипулятора меньше шести DOF или нужна оптимальная траектория в пространстве q, закон формулируют в пространстве сочленений. Для eye-in-hand и eye-to-hand уравнение имеет единую форму:

ṡ = J_s q̇ + ∂s/∂t                                               (13)

J_s ∈ ℝ^k×n — матрица признаков (feature Jacobian), n — число сочленений.

Eye-in-hand

∂s/∂t — изменение признаков из-за движения объекта. Якобиан:

J_s = L_s · ᶜV_N · J(q)                                        (14)

ᶜV_N — матрица преобразования скоростей от системы камеры к системе инструмента (часто константа при жёстком креплении камеры). Грубой аппроксимации ᶜV_N часто достаточно; уточнение — hand-eye calibration [46]. J(q) — якобиан робота в системе инструмента.

Eye-to-hand

∂s/∂t — изменение признаков из-за возможного движения стационарной камеры (если камера не абсолютно неподвижна). Варианты:

J_s = −L_s · ᶜV_N · ^N J(q)                                     (15)
J_s = −L_s · ᶜV_0 · ⁰J(q)                                      (16)

В (15) ᶜV_N меняется вдоль траектории — оценивают на каждой итерации (pose estimation). В (16) якобиан ⁰J(q) в базовой системе робота, ᶜV₀ постоянна, пока камера не двигается — удобно на практике.

Eye-in-hand (a)              Eye-to-hand (b)
   камера на ЗУ               камера над сценой
        │                           │
   объект в FOV                 робот в FOV
        │                           │
   J_s = L_s ᶜV_N J(q)        J_s = −L_s ᶜV_0 ⁰J(q)
   ∂s/∂t ← движение объекта   ∂s/∂t ← движение камеры (если есть)

   Одно и то же уравнение (13) и закон:
   q̇ = −λ Ĵ⁺_e e − Ĵ⁺_e · ∂̂e/∂t

Устойчивость и выбор пространства состояния

При k = n достаточное условие глобальной асимптотической устойчивости (функция Ляпунова L = ½‖e‖²):

J_e Ĵ⁺_e > 0                                                    (18)

При k > n (избыточные признаки) — локальная устойчивость при

Ĵ⁺_e J_e > 0                                                    (19)

Истинные extrinsic-параметры камеры входят в J_e, оценочные — в Ĵ⁺_e; отсюда анализ робастности. J_e или J⁺_e можно оценивать численно (Broyden).

Важно: даже при шести DOF робота последовательность «сначала (2) для v_c, затем обратный якобиан робота» не эквивалентна прямому (17). Якобиан робота может быть вырожден, а J_s — нет (k < n). Псевдообратная в (2) минимизирует ‖v_c‖, в (17) — ‖q̇‖. При J⁺_e ≠ J⁺(q) ^N V_c L⁺_e траектории различаются — выбор пространства состояния принципиален.

Глава 11. Заключение

В этом обзоре (Часть II) рассмотрены продвинутые методы визуального сервоуправления поверх базиса Части I. Ключевые направления:

восстановление 3-D информации через эпиполярную геометрию и гомографию для построения или гибридизации L_e;
численная оценка L_s, L⁺_s и J_e — гибкость ценой слабой теоретической гарантии;
2½-D и partitioned-схемы — компромисс между траекториями IBVS и устойчивостью PBVS;
моменты и геометрические примитивы — богаче точечных признаков;
компенсация ∂e/∂t для движущихся целей;
единая модель (13)–(17) для eye-in-hand и eye-to-hand.

Рассмотрены только скоростные регуляторы — они естественны для классических манипуляторов. Для быстрых манёвров, мобильных неголономных и недоактивированных платформ (в т.ч. БПЛА) необходимо учитывать динамику. Геометрические признаки перспективной камеры обобщаются на рыбий глаз, catadioptric-сенсоры, эхографические зонды; данные других сенсоров (сила, дальномеры) можно сливать на уровне закона управления. Область применения — наземная и воздушная мобильная робототехника, космос, подводные аппараты, медицина — остаётся активной: «конец плодотворных исследований в visual servoing ещё не виден».

Глава 12. Литература

Ключевые источники по разделам обзора (номера как в оригинальной статье).

3-D зрение, эпиполярная геометрия, гомография, планирование

[1] Y. Ma et al., An Invitation to 3-D Vision, Springer, 2003.
[2] R. Basri, E. Rivlin, I. Shimshoni, «Visual homing: Surfing on the epipoles», IJCV, 1999.
[3] E. Malis, F. Chaumette, S. Boudet, «2½ D visual servoing with respect to unknown objects…», IJCV, 2000.
[4] O. Faugeras, Three-Dimensional Computer Vision, MIT Press, 1993.
[5] Y. Mezouar, F. Chaumette, «Path planning for robust image-based control», IEEE T-RA, 2002.

Численная оценка L_s, нейросети, Broyden

[6] I. Suh, neural-fuzzy visual servoing, in Visual Servoing, Hashimoto (Ed.), World Scientific, 1993.
[7] G. Wells et al., «Vision-based robot positioning using neural networks», Image Vision Comput., 1996.
[8] J.-T. Lapresté, F. Jurie, F. Chaumette, inverse Jacobian in visual servoing, IEEE ICRA, 2004.
[9] K. Hosada, M. Asada, «Versatile visual servoing without knowledge of true jacobian», IROS, 1994.
[10] M. Jägersand et al., uncalibrated visual servoing, IEEE ICRA, 1997.
[11] J. Piepmeier et al., «Uncalibrated dynamic visual servoing», IEEE T-RA, 2004.
[12] K. Deguchi, dynamic images without feature correspondence, J. Robot. Mechatron., 1997.

2½-D и гибридные схемы

[13] E. Malis, F. Chaumette, S. Boudet, «2-1/2D visual servoing», IEEE T-RA, 1999.
[14] E. Malis, F. Chaumette, stability of model-free methods, IEEE T-RA, 2002.
[15] J. Chen et al., adaptive homography-based tracking, IEEE TCST, 2005.
[16] G. Morel et al., 2D constraints in vision-based control, ISER, 2000.
[17] F. Chaumette, E. Malis, 2½ D as IBVS/PBVS improvement, IEEE ICRA, 2000.
[18] E. Cervera et al., 3-D features in IBVS, IJRR, 2004.
[19] F. Schramm et al., «Extended-2D visual servoing», IEEE ICRA, 2004.

Partitioned IBVS, примитивы, моменты

[20] P. Corke, S. Hutchinson, partitioned image-based servo, IEEE T-RA, 2001.
[21] M. Iwatsuki, N. Okiyama, cylindrical coordinates IBVS, IEEE T-RA, 2005.
[22] F. Chaumette, P. Rives, B. Espiau, vision-based tasks, in Visual Servoing, 1993.
[23] A. Castano, S. Hutchinson, «Visual compliance», IEEE T-RA, 1994.
[24] G. Hager, stereo feedback positioning, IEEE T-RA, 1997.
[25] B. Espiau, F. Chaumette, P. Rives, «A new approach to visual servoing», IEEE T-RA, 1992.
[26] F. Chaumette, «Image moments…», IEEE T-RA, 2004.
[27] O. Tahri, F. Chaumette, point/region moments, IEEE T-RO, 2005.

Tracking, оптимизация, switching, eye-to-hand

[28] N. Papanikolopoulos et al., visual tracking on a robot, IEEE T-RA, 1993.
[29] K. Hashimoto, H. Kimura, LQ visual servoing, in Visual Servoing, 1993.
[30] B. Nelson, P. Khosla, joint limit avoidance, IJRR, 1995.
[31] B. Nelson, P. Khosla, resolvability, IEEE T-RA, 1996.
[32] R. Sharma, S. Hutchinson, motion perceptibility, IEEE T-RA, 1997.
[33] E. Marchand et al., task function / joint limits, IROS, 1996.
[34] E. Marchand, G. Hager, dynamic sensor planning, IEEE ICRA, 1998.
[35] N. Cowan et al., navigation functions, IEEE T-RA, 2002.
[36] N. Gans, S. Hutchinson, switched IBVS/PBVS, IROS, 2003.
[37] G. Chesi et al., keeping features in FOV, IEEE T-RA, 2004.
[38] K. Hosoda et al., obstacle avoidance uncalibrated stereo, IROS, 1995.
[39] P. Corke, M. Goods, high-performance visual servoing, IFAC, 1993.
[40] F. Bensalah, F. Chaumette, abrupt motion compensation, IROS, 1995.
[41–43] tracking with observers and active estimation, IEEE T-RA, 1990s.
[44] R. Ginhoux et al., physiological motion filtering in surgery, IEEE T-RO, 2005.
[45] J. Gangloff, M. de Mathelin, profile following visual servoing, IEEE T-RA, 2002.
[46] R. Tsai, R. Lenz, hand-eye calibration, IEEE T-RA, 1989.

Оригинал Части II: F. Chaumette, S. Hutchinson, «Visual servo control, Part II: Advanced approaches», IEEE Robotics & Automation Magazine, 14(1):109–118, March 2007. DOI-архив: https://inria.hal.science/inria-00350638v1. Часть I: IEEE RAM, vol. 13, no. 4, 2006 (фундамент IBVS/PBVS, матрица взаимодействия, устойчивость).