Искусственный интеллект внедряется для снижения огромной административной нагрузки, которая способствует выгоранию почти половины всех врачей. Инструменты, автоматизирующие ведение документации, выявляющие клинические данные и сортирующие диагностические изображения, обещают высвободить время для ухода за пациентами. Однако внедрение опережает проверку, и спешка с реализацией ИИ создает значительные риски. Эти системы привносят новые режимы сбоев, которые могут повлиять на безопасность пациентов, конфиденциальность данных и клиническую добросовестность.
В ZEKAI мы независимо оцениваем инструменты ИИ, чтобы помочь работающим специалистам отделять подлинную пользу от шумихи. Для клиницистов, изучающих ИИ, понимание потенциальных ловушек является первым шагом к ответственному внедрению. В этом руководстве подробно описаны семь наиболее критических ошибок, которые мы наблюдаем в практике, и способы их избежать. Цель состоит не в том, чтобы препятствовать использованию ИИ, а в том, чтобы дать вам возможность использовать его безопасно и эффективно, начиная с результатов нашей работы в центре ИИ для специалистов здравоохранения.
The short answer
Ключевые проблемы ИИ в здравоохранении включают слепое доверие к заметкам, сгенерированным ИИ, которые могут «галлюцинировать» неверные клинические факты; игнорирование требований согласия пациента для ИИ-помощников, что привело к коллективным искам; использование алгоритмов с врожденными расовыми или гендерными предубеждениями; и непонимание того, как «бесплатные» инструменты используют данные пациентов. Избегание этих ошибок требует тщательной проверки результатов работы ИИ и четкого понимания управления данными.
Ошибка 1: Слепое доверие к заметкам, сгенерированным ИИ (проблема галлюцинаций)
Наиболее острая проблема генеративного ИИ в медицине — это его способность «галлюцинировать», то есть производить бегло, уверенно, но полностью сфабрикованную информацию. ИИ-помощник может выдумать симптом, о котором пациент никогда не сообщал, сослаться на несуществующее лабораторное значение или молчаливо опустить критически важную деталь из плана лечения.
Поскольку результат выглядит правдоподобно, эти ошибки легко пропустить. Тем не менее, даже низкий уровень галлюцинаций в 1-3% имеет серьезные последствия для безопасности при масштабировании на тысячи взаимодействий с пациентами. Отчет Генерального аудитора Онтарио за май 2026 года рассмотрел 20 одобренных правительством поставщиков ИИ-помощников и обнаружил, что каждый из них производил неточности, включая галлюцинации, во время тестирования.
Source: nature.com
Приблизительная экономия времени, которую ИИ-помощники могут обеспечить при ведении документации, что является основным стимулом для внедрения, несмотря на риски точности.
Это не теоретический риск. Это структурная слабость современных больших языковых моделей. ИИ не «знает», что он ошибается; он просто генерирует статистически наиболее вероятный текст. Это делает врачебный надзор не просто передовой практикой, а необходимой мерой безопасности.
Как избежать этой ошибки:
- Проверяйте каждую заметку. Относитесь к каждому сгенерированному ИИ резюме как к черновику, который требует вашего явного просмотра и подписания, прежде чем он попадет в ЭМК.
- Используйте структурированные запросы. При использовании инструментов, основанных на запросах, предписывайте ИИ использовать только предоставленную информацию и отмечать любые двусмысленности, а не заполнять их самостоятельно.
- Сообщайте об ошибках. Разработайте рабочий процесс для клиницистов, чтобы сообщать о неточностях поставщику и вашей внутренней ИТ-команде. Это помогает отслеживать производительность и оказывать давление на поставщиков для улучшения их моделей.
Обобщите следующую стенограмму клинического приема в заметку SOAP. Используйте ТОЛЬКО информацию, присутствующую в стенограмме. Не делайте выводов и не добавляйте информацию, которая не указана явно. Если стандартный раздел SOAP (Субъективные данные, Объективные данные, Оценка, План) не содержит информации, напишите «Не обсуждалось». Если какая-либо часть стенограммы двусмысленна, процитируйте двусмысленную фразу напрямую и добавьте «[Уточнить у клинициста]».
Ошибка 2: Игнорирование согласия пациента и конфиденциальности данных (риск судебных исков)
Конфиденциальность пациентов является фундаментальной этической проблемой при использовании ИИ, особенно для «фоновых» помощников, которые записывают весь ход клинических бесед. Серия коллективных исков, поданных в 2025 и 2026 годах против крупных систем здравоохранения, таких как Sutter Health, MemorialCare и Sharp HealthCare, демонстрирует серьезные юридические и финансовые риски развертывания этих инструментов без явного согласия пациента.
В этих исках утверждается, что использование ИИ-помощников для записи и передачи разговоров стороннему поставщику без ведома и согласия пациента нарушает законы штата и федеральные законы о прослушивании, включая Закон Калифорнии о вторжении в частную жизнь (CIPA). CIPA требует согласия всех сторон для конфиденциальных бесед и предусматривает установленные законом убытки в размере до 5000 долларов США за каждое нарушение. Истцы утверждают, что не знали о том, что их конфиденциальные медицинские беседы записывались и обрабатывались сторонней ИИ-компанией.
Как избежать этой ошибки:
- Предполагайте, что требуется согласие всех сторон. Даже если ваш штат не является штатом с «согласием двух сторон», конфиденциальный характер медицинских бесед делает явное согласие критически важной передовой практикой. Соответствие HIPAA само по себе не отменяет эти законы о записи.
- Внедрите многоступенчатый процесс получения согласия. Используйте комбинацию четких вывесок в смотровых кабинетах, информации в материалах перед визитом и требуемого устного подтверждения от врача в начале приема.
- Проверяйте BAA вашего поставщика. Убедитесь, что ваше Соглашение о деловом партнерстве (BAA) с поставщиком ИИ четко описывает обработку данных, протоколы безопасности, стандарты шифрования и местонахождение данных (в идеале, только на территории США).
Ошибка 3: Внедрение инструментов со скрытыми алгоритмическими предубеждениями
Модели ИИ обучаются на данных, на которых они были натренированы, и если эти данные отражают существующие социальные и исторические предубеждения, ИИ будет увековечивать и даже усиливать их. Это одна из самых коварных проблем ИИ в здравоохранении, поскольку она может систематически усугублять неравенство в отношении здоровья для уже маргинализированных групп населения.
Доказательства этому хорошо задокументированы:
- Оценка рисков: Было обнаружено, что широко используемый коммерческий алгоритм недооценивает потребности в здравоохранении чернокожих пациентов, поскольку он использовал стоимость медицинских услуг в качестве показателя болезни, а на чернокожих пациентов с тем же уровнем заболевания исторически тратится меньше денег.
- Дерматология: Диагностические инструменты ИИ, обученные в основном на данных пациентов со светлой кожей, плохо справляются с выявлением рака кожи у пациентов с более темными оттенками кожи.
- Сердечно-сосудистый риск: Крупный алгоритм оценки сердечно-сосудистого риска оказался менее точным для афроамериканских пациентов, поскольку обучающие данные не были достаточно репрезентативными.
- Психическое здоровье: Некоторые модели ИИ, как было показано, дают худшие рекомендации по лечению чернокожих пациентов с психическими расстройствами и хуже справляются с прогнозированием суицида для чернокожих пациентов по сравнению с белыми пациентами.
Как избежать этой ошибки:
- Запрашивайте у поставщиков информацию об обучающих данных. Запрашивайте документацию о разнообразии и репрезентативности наборов данных, используемых для обучения их моделей. Остерегайтесь поставщиков, которые не могут предоставить эту информацию.
- Отслеживайте результаты по демографическим группам. Если вы внедряете инструмент ИИ, отслеживайте его производительность и точность в различных группах пациентов в вашей собственной практике, чтобы выявлять потенциальные несоответствия.
- Отдавайте предпочтение «объяснимому ИИ» (XAI). Выбирайте инструменты, которые могут предоставить некоторое представление о том, как они пришли к выводу, а не действуют как неинтерпретируемая «черная коробка».
Ошибка 4: Непонимание «бесплатных» тарифов и прав на данные
Многие инструменты ИИ предлагают «бесплатный» тариф для стимулирования внедрения, но эти предложения часто сопровождаются значительными ограничениями или скрытыми затратами. В здравоохранении плата часто взимается данными. Крайне важно понимать условия обслуживания любого бесплатного инструмента, поскольку некоторые могут использовать деидентифицированные данные пациентов для обучения своих моделей. Хотя это может соответствовать HIPAA, это управленческое решение, которое ваша практика должна принимать осознанно.
Другие «бесплатные» предложения — это просто ограниченные по времени или по функциям пробные версии, которые затем переходят на платные планы. Например, некоторые популярные ИИ-помощники предлагают короткую пробную версию, прежде чем потребовать ежемесячную подписку.
Freed AI
Отлично подходит для индивидуальных клиницистов, но его тарифные планы разделяют ключевые функции.
Freed AI — популярный фоновый помощник, разработанный для небольших практик. Его сильные стороны — простота и прозрачная политика безопасности. Однако по состоянию на сентябрь 2026 года он не предлагает постоянного бесплатного тарифа, только 7-дневную пробную версию. Его тарифные планы могут быть сложными; неограниченное количество заметок требует плана «Core» за $79/мес, в то время как основные функции, такие как кодирование по МКБ-10 и интеграция с ЭМК, требуют плана «Premier» за $104-$119/мес. Эта модель менее подходит для больших команд или тех, кому нужны все функции по более низкой цене.
- Price from
- As of Sep 2026: $39-$119/мес.
- Free tier
- 7-дневная бесплатная пробная версия, нет постоянного бесплатного тарифа
Как избежать этой ошибки:
- Ознакомьтесь с Условиями обслуживания и BAA. В частности, ищите пункты об использовании данных для обучения ИИ.
- Различайте «бесплатную пробную версию» и «бесплатный тариф». Пробная версия предназначена для оценки; бесплатный тариф — это постоянный, хотя и ограниченный, план. Понимайте, на что вы подписываетесь.
- Никогда не загружайте PHI в потребительский инструмент. Не используйте чат-боты общего назначения, такие как ChatGPT или Gemini, для каких-либо задач, связанных с информацией о пациентах. Используйте только инструменты, соответствующие HIPAA, с подписанным BAA.
Ошибка 5: Допущение атрофии клинических навыков (риск деквалификации)
По мере того как ИИ берет на себя все больше когнитивных задач, возникает реальная обеспокоенность тем, что клиницисты могут стать чрезмерно зависимыми от технологии, что приведет к снижению навыков критического мышления и диагностики. Если ИИ постоянно предоставляет дифференциальные диагнозы или интерпретирует изображения, способность врача выполнять эти задачи на основе базовых принципов со временем может ослабнуть.
Этот риск наиболее велик для ординаторов и врачей на ранних этапах карьеры, которые все еще развивают свое клиническое суждение. Хотя ИИ может быть мощным образовательным инструментом, он не должен заменять фундаментальные знания и рассуждения. Цель — «дополненный интеллект», где ИИ помогает человеческому эксперту, а не автономный ИИ, который его заменяет.
Как избежать этой ошибки:
- Используйте ИИ для подтверждения, а не для создания. Сначала сформулируйте собственную оценку и план, затем используйте ИИ в качестве второго мнения или для проверки того, что вы могли упустить.
- Рассматривайте использование ИИ как обучающий инструмент. Для ординаторов и студентов-медиков структурируйте использование ИИ как учебное упражнение. Пусть они сравнивают свои собственные заметки и диагнозы с результатами работы ИИ и критически оценивают различия.
- Защищайте основные диагностические рассуждения. Делегируйте административные задачи ИИ в первую очередь (например, ведение документации, письма пациентам) и будьте более осторожны в автоматизации основных клинических рассуждений и принятия решений.
Ошибка 6: Внедрение ИИ без четкого рабочего процесса
Развертывание инструмента ИИ без вдумчивой интеграции его в существующие клинические рабочие процессы — это рецепт неудачи. Сопротивление со стороны клиницистов, которые считают инструмент громоздким или разрушительным, может погубить внедрение. Если ИИ-помощник требует больше кликов для редактирования своего вывода, чем потребовалось бы для написания заметки с нуля, он будет заброшен.
Административная нагрузка на врачей огромна: некоторые тратят почти половину своего рабочего дня на ЭМК и бумажную работу. Основное обещание ИИ — снизить эту нагрузку. Если внедрение добавляет новые нагрузки, оно потерпело неудачу.
| Категория риска | ИИ-помощники (например, Freed AI) | Диагностический ИИ (например, визуализация) | Поддержка принятия решений (например, CDS) |
|---|---|---|---|
| Основной риск | Галлюцинации и нарушение согласия | Врожденные предубеждения и чрезмерная зависимость | Неточные рекомендации |
| Режим сбоя | Неверный факт попадает в юридическую медицинскую документацию. | Определенная демографическая группа получает систематически худшие диагнозы. | ИИ предлагает устаревший или неподходящий путь лечения. |
| Смягчение | Обязательный врачебный просмотр каждой заметки; явное согласие пациента. | Прозрачность данных поставщика; внутренний мониторинг производительности по демографическим группам. | Использовать как справочный инструмент, а не директиву; проверять по текущим рекомендациям. |
Swipe the table sideways →
Как избежать этой ошибки:
- Пилотируйте инструмент с небольшой группой. Перед полным развертыванием протестируйте инструмент с несколькими врачами-энтузиастами, чтобы выявить точки трения в рабочем процессе.
- Составьте карту всего процесса. Выйдите за рамки демонстрации поставщика. Документируйте каждый шаг: запуск инструмента, получение согласия, использование его во время визита, редактирование вывода, подписание заметки и выставление счетов.
- Измеряйте правильный показатель. Цель — не просто «хорошая заметка». Цель — сократить общее время и когнитивную нагрузку, затрачиваемые на ведение документации. Измеряйте «время в пижаме» — ведение документации после рабочего времени, что сильно способствует выгоранию.
Ошибка 7: Позволять технологиям затмевать пациента
Конечная цель клинического ИИ — предоставить врачам больше времени для личного общения с пациентами за счет автоматизации административной работы. Однако плохо реализованный инструмент может иметь противоположный эффект, становясь отвлекающим фактором, который дегуманизирует клинический прием.
Если врач сосредоточен на управлении неуклюжим приложением или пациент чувствует себя некомфортно из-за записывающего устройства, технология потерпела неудачу, даже если она создает идеальную заметку. Восприятие ИИ пациентами неоднозначно; хотя некоторые ценят повышенное внимание со стороны своего врача, другие сообщают о самоцензуре или чувстве тревоги по поводу записи.
ИИ имеет значительные перспективы для здравоохранения, но это не является решением «подключи и работай». Предвидя эти распространенные ошибки, клиницисты и системы здравоохранения могут ориентироваться в рисках и ответственно внедрять эти мощные новые технологии, обеспечивая их служение как врачам, так и пациентам. Чтобы продолжить изучение конкретных инструментов и рабочих процессов, посетите наш центр ИИ для специалистов здравоохранения.
Каковы основные этические проблемы ИИ в здравоохранении?
О: Основные этические проблемы — это конфиденциальность и согласие пациентов, алгоритмические предубеждения, которые могут усугублять неравенство в отношении здоровья, и ответственность, когда ИИ совершает ошибку. Обеспечение безопасности данных, обучение ИИ на разнообразных наборах данных и поддержание человеческого надзора являются ключевыми стратегиями для решения этих проблем.
Может ли ИИ ошибаться в диагнозе?
О: Да. Хотя ИИ показал высокую точность в конкретных, узких задачах, таких как выявление определенных находок на изображениях, он может ошибаться. Ошибки могут возникать из-за предвзятых обучающих данных, «галлюцинаций», когда модель выдумывает факты, или отсутствия реального контекста, который предоставляет врач-человек. ИИ следует использовать для дополнения, а не замены клинического суждения.
Что такое галлюцинация ИИ?
О: Галлюцинация ИИ — это когда генеративная модель ИИ производит информацию, которая фактически неверна, сфабрикована или бессмысленна, но представляет ее с уверенностью, как если бы она была точной. В клинической заметке это может быть выдуманный симптом или неправильная дозировка лекарства, что представляет значительный риск для безопасности пациента.
Каковы риски конфиденциальности данных при использовании ИИ в здравоохранении?
О: Системы ИИ часто требуют доступа к огромным объемам конфиденциальных данных пациентов, что создает риски утечек данных, несанкционированного доступа или неправомерного использования. Использование сторонних поставщиков ИИ также усложняет вопросы владения данными, стандартов безопасности и обеспечения строгого соответствия HIPAA, включая подписанное Соглашение о деловом партнерстве (BAA).
О чем иск по CIPA?
О: Иски по CIPA (Закон Калифорнии о вторжении в частную жизнь) против систем здравоохранения, таких как Sutter Health, утверждают, что они использовали фоновых ИИ-помощников для записи конфиденциальных бесед врача и пациента без предварительного получения согласия всех сторон. Это критически важный вопрос, поскольку CIPA и аналогичные законы в других штатах требуют согласия всех сторон для записи, и соответствие HIPAA не отменяет этого.
Как алгоритмические предубеждения влияют на здравоохранение?
О: Алгоритмические предубеждения возникают, когда модель ИИ выдает систематически предвзятые результаты в отношении определенных групп. В здравоохранении это происходит, когда ИИ обучается на данных, которым не хватает разнообразия (например, в основном от одной расы или пола). Это может привести к менее точным диагнозам, неверным оценкам рисков и худшим результатам лечения для недостаточно представленных групп населения.
Должны ли врачи проверять заметки, сгенерированные ИИ?
О: Да, безусловно. Учитывая задокументированный риск галлюцинаций ИИ и других неточностей, каждая заметка, сгенерированная ИИ, должна рассматриваться как черновик. Стандарт оказания медицинской помощи требует, чтобы клиницист просматривал, исправлял и лично подписывал окончательную заметку, принимая на себя полную ответственность за ее содержание.
Оплачиваемая удалённая работа · ИИ для врачей и медицины
Оплачиваемая удалённая работа в ИИ: ИИ для врачей и медицины
ИИ-компании почасово платят экспертам за тестирование и улучшение ИИ. Удалённо и гибко. Эти вакансии открыты сейчас.
Открытых вакансий: 1 533 · обновлено сегодня
Получайте такие вакансии на почту
Короткое письмо каждое утро с новыми вакансиями, открытыми в вашей стране. Бесплатно. Отписаться можно в любой момент.
Что дальше
Три маршрута, подобранные на основе того, что вы только что прочли.
Источники (41)
- ncbi.nlm.nih.gov · PMC9905201 · ncbi.nlm.nih.gov
- pneumon.org · Risks of artificial intelligence ai in medicine · pneumon.org
- cdc.gov · cdc.gov
- thehastingscenter.org · Artificial intelligence · thehastingscenter.org
- jmir.org · E59863 · jmir.org
- ama-assn.org · Burnout way down pajama time stands still · ama-assn.org
- authenticx.com · Ai bias in healthcare · authenticx.com
- prs.global · Healthcare ai mistakes · prs.global
- paubox.com · Real world examples of healthcare ai bias · paubox.com
- freed.ai · Physician burnout statistics · freed.ai
- accuray.com · Overcoming ai bias understanding identifying and mitigating
- koreascience.or.kr · JAKO202404751336264.page · koreascience.or.kr
- hitrustalliance.net · Ethics of ai in healthcare and medicine · hitrustalliance.net
- europarl.europa.eu · STOA STU(2022)729512 · europarl.europa.eu
- ncbi.nlm.nih.gov · PMC11202812 · ncbi.nlm.nih.gov
- weforum.org · Ai global health equity data gap · weforum.org
- hipaajournal.com · Lawsuit alleges ai platform illegally recorded patient clinician conversations · hipaajournal.com
- feldesman.com · Health care providers face lawsuit over use of ai note taking platform · feldesman.com
- aicerts.io · Ambient transcription privacy lawsuit sutter health · aicerts.io
- heidi.health · Physician burnout · heidi.health
- mayoclinichealthsystem.org · Can you trust ai for health advice · mayoclinichealthsystem.org
- kevinmd.com · Administrative burden is driving severe physician burnout · kevinmd.com
- executiveeducation.bryant.edu · Pros and cons of ai in healthcare · executiveeducation.bryant.edu
- evidence.care · Administrative burden on physicians · evidence.care
- twofold.com · Freed ai review · twofold.com
- remediesoflife.com · The pros and cons of ai in healthcare · remediesoflife.com
- futurism.com · Ai medical scribes hallucinating · futurism.com
- news.unchealthcare.org · Confronting the mirror reflecting on our biases through ai in health care · news.unchealthcare.org
- sps.columbia.edu · Ambient ai medical scribes efficiency gains burnout uncertainty and
- twofold.com · Freed ai for therapists · twofold.com
- kff.org · The growing use of artificial intelligence in health care and
- medschool.duke.edu · Hidden risks asking ai health advice · medschool.duke.edu
- ncbi.nlm.nih.gov · PMC11542617 · ncbi.nlm.nih.gov
- ncbi.nlm.nih.gov · PMC11508603 · ncbi.nlm.nih.gov
- healio.com · Ai scribes may have profound impact on patient care · healio.com
- vitea.com · Ai hallucinations in healthcare · vitea.com
- dopequickreads.com · Ai privacy doctor visit recordings spark lawsuit in sd county · dopequickreads.com
- intuitionlabs.ai · Suki vs nuance dax vs abridge vs freed · intuitionlabs.ai
- freed.ai · Multilingual ai scribe · freed.ai
- freed.ai · Medical dictation vs ai scribes · freed.ai
- fisherphillips.com · New class action targets healthcare ai recordings · fisherphillips.com
Zekai первым в Google
Еженедельный ИИ-дайджест для вашей профессии
Одно письмо в неделю: изменения в ИИ, которые действительно касаются вашей профессии — сервисы, скидки и что с этим делать.

