У стартапа, выигравшего крупные правительственные гранты, появились проблемы
Поздним пятничным вечером в декабре 2017 года группа обеспокоенных врачей Babylon Health собралась для встречи с Али Парса, 53-летним основателем Лондонской компании по производству мобильных приложений медицинской тематики. Парса — рожденный в Иране бывший банкир, умеющий избегать трудностей, стремился еще больше повысить эффективность и сократить расходы, внедрив чат-бота с искусственным интеллектом, который формулировал бы рекомендации по наиболее распространенным заболеваниям без участия людей. В декабре новый бот стал доступен пользователям внутренних приложений, а затем и пациентам национальной службы здравоохранения Великобритании. Проблема состояла в том, что по мнению некоторых врачей, работавших в его компании, бот зачастую давал неверные советы.
Со слов двух участников, имена которых пришлось скрыть из-за опасности юридического преследования, для доказательства своей точки зрения врачам пришлось потратить около суток на проведение аудита. Они обнаружили что в 10–15 % случаев в наиболее частых рекомендациях, например, при инфекционном процессе в грудной клетке, были упущены из виду опасные признаки некоторых серьезных состояний, в частности, онкологических заболеваний.
Однако доктора были по-прежнему обеспокоены. Опрос действующих, бывших и внештатных сотрудников Babylon показал, что большинство из них выказывают опасения в том, что компания внедрила недостаточно проверенное программное обеспечение, а потом искусственно завысила его эффективность.
В апреле 2018 года Babylon потребовал у службы по контролю рекламы в Великобритании удалить претензию с их сайта, основываясь на утверждении, что старая версия чат-бота, основным предназначением которой было подсказать пациентам стоит ли им обратиться к врачу или нет, давала безопасные советы в 100 % случаев, что было подтверждено письмами, которые были показаны Forbes внештатным врачом. Он сослался на «независимое исследование» по иску. Но, согласно собственной статье Babylon 2016 года, исследование основывалось на внутреннем тесте, где участвовали профессиональные актеры, изображавшие пациентов и следовавшие определенным сценариям.
Спустя шесть месяцев с той пятничной встречи Парса провел грандиозное, транслируемое в прямом эфире, мероприятие в Королевском колледже врачей в Лондоне, где анонсировал новое программное обеспечение — дающий советы относительно диагностической тактики чат-бот с искусственным интеллектом, не имеющий аналогов во всем мире. Babylon показал, что экзаменационная оценка бота превысила средний балл среди обычных врачей, и заявил что точность ИИ стала эквивалентна точности врачей — достижение, о котором написали в Forbes и других новостных изданиях.
Хэмиш Фрэзер, профессор биоинформатики университета Брауна, оспоривший заявление Babylon в недавней статье журнала The Lancet, утверждает, что у проведенного исследования имеются проблемные места. Он утверждает, что программное обеспечение Babylon ответило лишь на 15 вопросов из 50, а зачастую имелась возможность получить до трех ответов на каждый вопрос. «Когда врачи проходили этот тест, вы получали лишь один верный ответ», — говорит он. В Babylon утверждают, что они не пытались продемонстрировать превосходство ИИ над врачами, а Парса отказался от интервью, запланированного для этой статьи.
ИИ, вероятно, еще не достиг такого уровня, чтобы заменить (или хотя бы дополнить) обычных врачей. Да и дерзкие предприниматели в области технологий, занимающиеся нескромной рекламой своей продукции — не новое веяние. Все это не имело бы большого значения, если бы компания Babylon не имела двух контрактов с национальной службой здравоохранения (НСЗ) Великобритании, которая представляет собой одну из крупнейших национальных систем здравоохранения. Приложение Babylon «GP At Hand» предлагает 35 000 пациентов НСЗ возможность видеозвонка и доступ к чат-боту для решения вопроса о необходимости визита к врачу. НСЗ также предлагает двум миллионам жителей Северного Лондона использовать «NHS 111: Online» — приложение от Babylon, которое представляет собой занимающегося сортировкой чат-бота, существующего как альтернатива консультативной линии НСЗ. По словам сотрудников никто из них не использует чат-бот для диагностики, но компания уже задумывалась о внедрении этой функции в приложения НСЗ.
Мотивация НСЗ понятна и благородна — они хотят сохранить деньги, но при этом обеспечить пациентов качественной медицинской помощью. В 2020 году Великобритания планирует потратить на национальную систему здравоохранения около 200 миллионов долларов, что соответствует примерно 7 % ВВП. С 1950 года затраты выросли в два раза и страна нуждается в решении, которое позволит сократить затраты и обеспечить выполнение ключевых компонентов социального контракта.
Сокращение числа посещений отделений неотложной помощи представляет собой логичный шаг, поскольку затраты НСЗ на каждое посещение составляют около 200 долларов США, что составляет 4 миллиона долларов ежегодно, хотя не менее 1,5 миллионов обращающихся туда пациентов в неотложной помощи не нуждаются. Экономичный чат-бот Babylon мог бы помочь. Если бы работал лучше.
Существуют некоторые сомнения в том, может ли программное обеспечение выполнить одну из наиболее важных целей: удержать «излишне беспокойных» от визита в больницу. Со слов действующего сотрудника Babylon, чат-бот советует пользователям обращаться за дорогостоящей неотложной помощью примерно в 30 % случаев, еще около 20 % пациентов обращаются на консультативную линию НСЗ. Не совсем ясно скольких пациентов это удерживает от визита в отделение. В Babylon говорят, что не отслеживают эти данные.
Даже после того как диагностический чат-бот был окончательно доработан и выпущен в январе 2018 для частных пользователей приложений Babylon и одобрен такими лицензиарами как Самсунг, в компании все еще остаются врачи, обеспокоенные тем, что не увидели более тщательного пересмотра в процессе разработки приложения. Страсти накаляются и за пределами компании. В июне Британский доктор, тестировавший нового диагностического чат-бота в приложении Babylon, обнаружил ошибку: ботом были пропущены симптомы гипотетической эмболии легочной артерии. Врач пожелавший остаться анонимным для сохранения своей работы разместил в Твиттере видео об ошибке и подал жалобу в Государственную службу по надзору в сфере здравоохранения (ГСНЗ) Великобритании. Это была минимум третья его жалоба на программное обеспечение за последний год, согласно сообщениям на электронной почте и личной переписке в Твиттер, которыми поделился врач. Некоторые ошибки, которые были зарегистрированы ГСНЗ, в ноябре 2018 года еще не были устранены в версиях приложения для смартфонов Самсунг. В ГСНЗ отказались от комментариев, сославшись на конфиденциальность информации.
В Babylon говорят, что ГСНЗ потребовала у них расследовать жалобы, но затем официальное расследование не было начато по причинам, связанным с безопасностью. На вопрос об ошибках, зарегистрированных в ГСНЗ в Babylon отвечают, что ни один клинический анализ не дает стабильно верных результатов и даже опытные доктора иногда ставят неверные диагнозы.
Все это — закулисные игры, которые не помешали Babylon продать свои приложения как цифровое спасение системам здравоохранения. Один из крупнейших поклонников компании — министр здравоохранения Великобритании Мэтт Хэнкок, который в недавнем приложении к изданию, спонсором которого была компания Babylon сказал, что он стал широко известен благодаря использованию приложения «GP at Hand».
По словам Парса, в Лондонском метро часто появлялись рекламные плакаты приложения Babylon, а компания получает десятки миллионов прибыли ежегодно, в том числе 2,9 миллиона долларов с контракта «GP at Hand» с НСЗ и доход от партнерства с консультативной линией НСЗ. Представители НСЗ в Англии и Хэнкоке не дали ответа на запрос о комментариях.
Бывшие сотрудники говорят, что главным недостатком в разработке программного обеспечения Babylon было отсутствие реальной клинической оценки и последующего наблюдения. Люди, которые использовали данный чат-бот, обращались в отделение неотложной помощи? Если они посетили врача, то с каким диагнозом? «Система, которая позволила бы узнать это, отсутствовала», — говорит бывший сотрудник. В Babylon сообщают, что приложение «GP at Hand» отправляет сообщение пользователям спустя 24 часа с момента обращения к чат-боту. По словам одного из пользователей в сообщении интересуются дальнейшим развитием симптомов.
Программное обеспечение разработано путем выполнения итераций. Разработчики создают приложение и выпускают его в свет, тестируют на различных группах живых пользователей и неоднократно изменяют в ходе работы. Менталитет Силиконовой долины, когда-то поддерживавшейся основателем фэйсбук Марком Цукербергом заключается в том, чтобы «действовать быстро и разрывать границы». Но разработка новых препаратов или медицинских устройств требует более деликатных подходов, которые не допустят негативного влияния на баланс человеческих жизней. Компанией Babylon еще не было опубликовано ни одного исследования в рецензируемом медицинском журнале.
Главный медицинский директор компании, Мобашер Батт, настаивает, что в Babylon перед выходом продукта на рынок тот проходит через множество этапов регулярного тестирования клиницистами. В компании признают, что медицинские исследования не проводились, сказав, что результаты будут опубликованы сразу после выполнения оных.
Волнения вокруг ИИ Babylon представляют собой проблемы, возникающие когда система здравоохранения начинает сотрудничать с техническим стартапом. Несмотря на то, что Babylon позиционирует себя медицинской компанией, они больше похожи на стартап Силиконовой долины. «Особое внимание уделялось быстрому созданию и выпуску продукта в свет», — говорит сотрудник, добавляя. что Парса любит говорить о «скорости выхода, ... которую мы не успеем прочувствовать». Фраза «создаем быстро» появляется под подписью в электронных письмах некоторых сотрудников Babylon. Штатные врачи компании изо всех сил стараются быть услышанными при решении вопросов о безопасности, пока разработчики представляют себя рок-звездами, как говорят действующие и бывшие сотрудники, отмечая при этом, что за последние 12 месяцев ситуация начала улучшаться.
В Babylon эти высказывания называют клеветой и обращают внимание на регулярно пересматриваемую политику безопасности и отдельный адрес электронной почты, который является ключевым в культуре «безопасность превыше всего». В заявлении говорится, что сотрудники обязаны сообщать о любых проблемах руководству. Действующие и бывшие сотрудники утверждают, что не знали об отдельной электронной почте для заявителей.
Несмотря на настороженность некоторых врачей, Лондонское техническое сообщество восхищается Парса и его целью передать доступную и качественную медицинскую помощь в руки каждого человека на планете. Для многих это — свежее веяние предпринимательства, которое редко встречается в сдержанной Великобритании. История Парса вдохновляет. Он был рожден как Али Парсадуст в Иране в семье среднего класса и попал в Великобританию будучи 17-летним беженцем, бегущим от революции. Он самостоятельно изучал английский язык, а затем поступил в высшую школу и один из самых престижных университетов Лондона, где получил степень Ph. D. в области инженерной физики и увлекся студенческой политикой. Несмотря на то, что он строил карьеру в сфере инвестиций, его сердце тяготело к социальной справедливости.
Союз его утопических социальных инстинктов и бизнеса не всегда удавался. В 2003 году Парса перешел в область здравоохранения, став соучредителем «социального предприятия», названного Circle Health, задачей которого было управление больницами. Затем в 2011 году компания Парса вошла в историю, став первой частной компанией, которая приобрела государственную больницу — больницу Хинчингбрук в Кембриджшире. В Circle дали многозначительные обещания о том, что постараются сократить расходы, в том числе сэкономив НСЗ более 495 миллионов долларов за 10-летний период сделки. Парса покинул компанию в 2012 году, когда она еще была в долгах, а в Circle расторгли контракт в 2015 году. Аудиторы заявили, что его обещания были «излишне оптимистичны». Спустя год после того как Парса покинул Circle, он основал Babylon и снова добился крупных контрактов с НСЗ.
Чтобы закрепить эти взаимоотношения и заложить фундамент для расширения охвата пациентов, Парса нанял штат программистов. Недавно он пообещал инвестировать из собственных средств 100 миллионов долларов на развитие ИИ.
Но дальнейшая разработка ИИ для служб здравоохранения может потребовать пересмотра методик, используемых в Babylon. В двух словах, его диагностический механизм основан на сложном наборе правил. Эти правила определяются клиницистами, которые указывают диапазон вероятностей симптомов в своих компьютерах. По мере роста количества правил путь программного обеспечения к принятию решений усложняется и все труднее становится процесс внесения изменений. Как же сделать чат-бота умным? Одним из способов является улучшение его языковых возможностей. Другой способ — улучшение лежащего в его основе диагностического механизма, чтобы он мог распознать причины, которые, к примеру, лежат в основе панической атаки. «Если бы у Babylon был доступ к медицинской документации, приложение стало бы точнее», — говорит Джон Тэйлор, СЕО Лондонского стартапа «Action.AI», который помогает компаниям выпускать чат-ботов.
В обучении диагностического программного обеспечения важна и возможность обратной связи: что происходит после того как человек описывает симптомы и идет к врачу, делает рентген и получает назначения? В Babylon говорят, что у них есть доступ к исследовательской базе данных Лечебно-Оздоровительной Сети, которая содержит неидентифицируемые цифровые медицинские данные пациентов, но не требует обращения к регулирующим органам.
Для того чтобы Babylon реализовал свое видение повышения эффективности медицинских работников при помощи смарт-технологий, вероятно, потребуется обучить алгоритмы на большом количестве записей о пациентах. Для этого потребуется доверие регулирующих органов и медицинского сообщества.
Основная идея Али Парса — использовать ИИ вместо высокооплачиваемого медицинского персонала. Но действующие врачи стартапа Babylon Health были обеспокоены тем, по какому пути развивается ИИ.