Трагедия в Бразилии, где искусственный интеллект решил, что 32-летняя пациентка заслуживает лишь 6,8 балла из 10 для попадания в реанимацию, а врачи остались словно школьники на экзамене без права списывать с шпаргалки — это не просто грустная история. Это как если бы ваш холодильник вдруг взял на себя роль шеф-повара и сказал: «Сегодня ты будешь есть только салат из капусты и ничего больше», а вы стоите и думаете, кто же теперь отвечает за ваш голод? Вот так и получилось: алгоритм получил власть решать, кто живёт, а кто ждёт своей очереди почти пять дней. Семья пациентки утверждает, что врачи были как депутаты без права голоса — хотели помочь, но алгоритм сказал «нет».
И это вовсе не злой ИИ из фантастики, а напоминание о том, что цифры — это всего лишь цифры, а за ними стоят живые люди с сердцем и историей.
Я как аналитик медицинских систем могу сказать: искусственный интеллект сегодня уже почти как хороший друг врача — подсказывает диагнозы, анализирует снимки так быстро, что человеческий глаз отдыхает. Во время пандемии эти системы работали бок о бок со специалистами. Но есть одна тонкая грань между тем, чтобы подсказать направление и самому решать судьбу пациента. Представьте себе ситуацию: ИИ — это ваш навигатор в машине.
Он скажет повернуть направо через километр, но если вы увидите знак «Дорога закрыта», то вам придётся принять решение самостоятельно. В России есть система «Третье мнение», которая следит за пациентами в реанимации круглосуточно — распознает попытки встать с кровати (а то мало ли!), фиксирует риски падения и даже следит за катетерами. Но она не заменяет врачей — она скорее их надёжный ассистент.
Врач остаётся режиссёром спектакля под названием «жизнь пациента».
В Бразилии же ИИ был не советчиком, а строгим судьёй с молотком: он ранжировал пациентов по приоритету и лишил врачей права менять своё мнение. Тут можно вспомнить анекдот про программиста: «Почему программисты всегда путают Хэллоуин и Рождество?
Потому что OCT 31 = DEC 25». Так вот у бразильской системы была своя логика — но она оказалась слишком буквальной для такой тонкой работы.
Может ли ИИ оценивать состояние пациента лучше врача? Теоретически да!
Машина объективна до мозга костей — она не устала после ночной смены и не забыла позавтракать перед сложным случаем. Но объективность не всегда равна правильности. Ведь пациент — это не тест с вариантами ответов; у него есть история болезни, настроение и даже способность улыбнуться или заплакать от боли или страха. Алгоритм этого не почувствует.
Кроме того, современные ИИ могут выдавать убедительные ложные заключения — словно тот друг, который всегда уверен в своих знаниях по истории Древнего Рима после одного просмотра сериала на Netflix.
Они усиливают предвзятости данных; если обучение прошло на неправильных примерах, ошибки неизбежны.
В случае бразильской пациентки система поставила оценку 6,8 балла из 10 — вроде неплохо! Но семья уверена в десятке по десятибалльной шкале серьёзности состояния.
Здесь мы видим классический конфликт между холодным расчётом машины и теплом человеческого опыта.