DoWhy - библиотека для причинного вывода

В течение десятилетий методы причинно-следственного вывода находили широкое применение в социальных и биомедицинских науках. Поскольку вычислительные системы начинают вмешиваться в нашу работу и повседневную жизнь, вопросы причинно-следственной связи приобретают все большее значение и в компьютерной науке. Чтобы обеспечить широкое использование причинно-следственных связей, мы рады объявить о новой библиотеке программного обеспечения, DoWhy , Его имя навеяно расчетами Иудеи Перл для причинного вывода. В дополнение к предоставлению программного интерфейса для популярных методов причинно-следственных связей, DoWhy предназначен для выделения критических, но часто игнорируемых предположений, лежащих в основе анализа причинно-следственных связей. DoWhy делает это, сначала делая явные предположения, например, явно представляя идентифицированные оценки. И, во-вторых, путем анализа чувствительности и других проверок надежности первоклассный элемент процесса причинного вывода. Наша цель - дать людям возможность сосредоточить свои усилия на определении предположений для причинно-следственной связи, а не на деталях оценки.

Наша мотивация для создания DoWhy исходит из нашего опыта исследований причинно-следственных связей за последние несколько лет, начиная от оценка влияния рекомендательной системы в прогнозирование вероятных результатов с учетом события в жизни , В каждом из этих исследований мы повторяли общие шаги по нахождению правильной стратегии идентификации, разработке наиболее подходящего оценщика и проведению проверок надежности с нуля. Хотя мы были впечатлены - иногда запуганы - количеством знаний в литературе о причинно-следственных связях, мы обнаружили, что выполнение любого эмпирического причинно-следственного вывода оставалось сложной задачей. Убедиться в том, что мы поняли наши предположения и проверили их надлежащим образом, было особенно сложно. В более общем плане мы видим, что подход «накатить свой собственный» к причинно-следственной связи привел к исследованиям с различными (иногда минимальными) подходами к проверке ключевых предположений.

Поэтому мы задались вопросом: а что, если бы существовала библиотека программного обеспечения, предоставляющая простой интерфейс для общих методов причинно-следственных связей, которые кодифицировали лучшие практики для рассуждения и проверки ключевых предположений? К сожалению, проблема заключается в том, что причинный вывод зависит от оценки ненаблюдаемых величин, также известных как «фундаментальная проблема» причинного вывода. В отличие от контролируемого обучения, такие контрфактуальные величины подразумевают, что мы не можем иметь чисто объективную оценку с помощью ограниченного набора тестов, что исключает плагинный подход к причинно-следственной связи. Например, для любого вмешательства, такого как новый алгоритм или медицинская процедура, можно наблюдать, что происходит, когда людям дают вмешательство или когда нет. Но никогда не оба. Таким образом, причинно-следственный анализ критически зависит от предположений о процессе генерации данных.

Чтобы добиться успеха, нам стало ясно, что предположения должны быть первоклассными гражданами в библиотеке причинно-следственных связей. Мы разработали DoWhy, используя два руководящих принципа - четко сформулировали причинно-следственные предположения и проверили устойчивость оценок к нарушениям этих предположений. Во-первых, DoWhy проводит различие между идентификацией и оценкой. Идентификация причинного эффекта включает в себя предположения о процессе генерирования данных и переход от контрфактуальных выражений к определению целевой оценки, тогда как оценка является чисто статистической проблемой оценки целевой оценки по данным. Таким образом, идентификация - это то, где библиотека проводит большую часть своего времени, как мы обычно делаем в наших проектах. Для формального представления допущений DoWhy использует структуру графической модели Байеса, в которой пользователи могут указывать то, что они знают, и, что более важно, то, что они не знают, о процессе генерации данных. Для оценки мы предоставляем методы, основанные на структуре потенциальных результатов, такие как сопоставление, стратификация и инструментальные переменные. Приятным побочным эффектом использования DoWhy является то, что вы поймете эквивалентность и совместимость, казалось бы, непересекающейся графической модели и потенциальных рамок результатов.

Рисунок 1 - DoWhy. Раздельное выявление и оценка причинно-следственной связи.

Во-вторых, после того, как сделаны предположения, DoWhy предоставляет тесты на надежность и чувствительность для проверки надежности полученной оценки. Вы можете проверить, как изменяется оценка, поскольку базовые предположения варьируются, например, введя новый нарушитель или заменив вмешательство плацебо. Везде, где это возможно, библиотека также автоматически проверяет достоверность полученной оценки на основе допущений в графической модели. Тем не менее, мы также понимаем, что автоматизированное тестирование не может быть идеальным. Поэтому DoWhy подчеркивает интерпретируемость его результатов; в любой момент анализа вы можете проверить непроверенные предположения, идентифицированные оценки (если есть) и оценку (если есть).

Рисунок 2 - Причинный вывод в четыре строки. Образец прогона DoWhy.

В будущем мы с нетерпением ожидаем добавления в библиотеку дополнительных функций, в том числе поддержки большего количества методов оценки и чувствительности, а также взаимодействия с доступным программным обеспечением для оценки. Мы будем рады вашим отзывам и предложениям по мере развития библиотеки. Вы можете проверить библиотеку DoWhy Python на Github , Мы приводим несколько примеров, чтобы вы начали работать с ноутбуками Jupyter. Вот , Если вы заинтересованы в получении дополнительной информации о причинно-следственной связи, ознакомьтесь с нашим руководством причинно-следственный вывод и контрфактуальные рассуждения , представленный на КДД 2018 в воскресенье, 19 августа.