анализ данных

Откройте для себя Polars – удивительно эффективную библиотеку для преобразования, анализа и визуализации данных. В этом подробном руководстве продемонстрированы все ключевые возможности Polars и показано практическое применение в задачах, связанных с обработкой и исследованием данных, построением конвейеров и многим другим. Независимо от квалификации, вы быстро освоите интуитивно понятный API Polars. На GitHub доступно множество примеров работы с реальными данными, облегчающими изучение библиотеки.

Эта яркая книга делает изучение алгоритмов и структур данных простым и увлекательным. Благодаря полноцветным иллюстрациям, схемам и наглядным примерам сложные концепции становятся понятными даже новичкам. Вы узнаете, что такое эффективность алгоритмов, как работают сортировка, поиск, графы и хеш-таблицы, а также познакомитесь с криптографией, сжатием данных, защитой информации и машинным обучением (алгоритмом кластеризации). Материал изложен так, чтобы вы не просто запомнили алгоритмы, но и научились применять их на практике.

Как стать экспертом в создании сложных и мощных приложений на Python, не тратя время на повторение уже известных основ или перечисление ненужных функций? Аарон Максвелл фокусируется на первопринципах Python, которые действуют подобно катализаторам для всего остального: достаточно получить 5 % знаний в области программирования, чтобы остальные 95 % подтянулись автоматически.

Рассмотрена работа с инструментами pandas и SQL, методы выявления закономерностей и очистки данных. Описаны различные источники информации, включая текстовые, бинарные и веб-данные. Подробно изложены статистические методы: доверительные интервалы, проверка гипотез, конструирование признаков. Приведены практические примеры на языке Python из разных областей: анализ транспортных систем, экологические исследования, ветеринарная аналити-ка. Заключительные разделы посвящены логистической регрессии и оптимизации моделей с применением к задачам классификации текстов.

Пособие для тех, кто стремится начать знакомство с базами данных. Сперва кратко рассматривается теоретическая часть. Затем подробно разбираются вопросы связанные с работой с системой управления базами данных MySQL, от установки и настройки необходимых программ, до создания дампа готовой базы данных. Основная цель пособия: дать возможность читателю создать за один вечер свою первую базу данных. Не смотря на малый объем, материала книги достаточно для создания и управления базой данных простого сайта, интернет магазина или социальной сети.

Data driven – стратегия принятия управленческих решений на основе данных. Основатель Valiotti Analytics и аналитик с 15-летним опытом работы в Ленте и Yota точно знает как сделать этот подход основой для ведения бизнеса. Он написал очень понятную книгу про аналитику для руководителей, менеджеров и маркетологов, которая поможет освоить азы «аналитического» языка и превратит графики, схемы и цифры в прибыльные бизнес-решения.

Для тех, кто только начинает свой путь в сфере бизнес-анализа, эта книга станет отправной точкой и откроет новые перспективы в профессии. Вы поймете, чем занимаются такие специалисты и почему они особенно востребованы во время нестабильности; как собирать и обрабатывать данные, чтобы оптимизировать бизнес-процессы.

Изложены сведения о структурах и алгоритмах обработки данных в системах автоматизации и управления. Рассмотрены основы алгоритмизации, методы разработки и способы оценки эффективности алгоритмов, алгоритмы сортировки, поиска и хеширования данных, типы данных, структуры данных (таблица, множество, список, стек, очередь, дек, мультисписок, слоеный список, граф, дерево, файл).

Изложены основные понятия теории вероятностей, необходимые для усвоения материала. Даны задачи для самостоятельного решения и тесты для самоконтроля. Для получения практических навыков анализа предлагается выполнить лабораторные работы, используя Excel и Python, в соответствии с приведенными указаниями.

В пособии обсуждаются практические аспекты работы с реляционными базами данных, которые представляют собой структурированные хранилища данных, организованные и управляемые на основе реляционной модели. Подчеркивается важность таких хранилищ как неотъемлемых структурных элементов современных информационных систем. Обсуждаются аспекты взаимодействия пользователей и программистов с реляционными базами данных средствами языка структурированных запросов SQL (Structured Query Language).

Управление данными продолжает стремительно развиваться, и централизованное хранение информации, например в хранилищах данных (data warehouse), больше не является идеальным решением для масштабирования. Современный мир требует быстрого преобразования данных в ценность. Это влечет за собой смену парадигмы о том, как мы работаем с данными. Вы познакомитесь с принципами, лучшими практиками и паттернами и научитесь проектировать архитектуру данных нового поколения, учитывающую масштабирование потребностей организаций. Книга станет идеальным руководством для тех, кто стремится построить гибкую, безопасную и ориентированную на бизнес-ценности инфраструктуру данных.

Методические указания разработаны для студентов, обучающихся по направлениям, связанным с программированием и инженерией, и предназначены для углубленного освоения языка Python. Пособие охватывает ключевые аспекты, необходимые для формирования базовых и продвинутых навыков программирования, таких как работа с управляющими символами, анализ данных, создание графических интерфейсов и алгоритмизация.

Цель этой книги – научить вас подготавливать и преобразовывать сырые данные, конструировать новые признаки и придавать исходным данным форму, пригодную для будущего интеллектуального анализа при помощи методов машинного и глубокого обучения. Предложенные в книге эффективные техники и приемы будут полезны для обработки любого объема данных. Примеры кода опираются на наиболее популярные библиотеки Python для работы с данными, такие как Pandas, NumPy и Scikit-learn. Издание предназначено как делающим первые шаги в освоении науки о данных, так и практикующим специалистам, желающим улучшить свои навыки.

Криптовалюты стали важной частью современного финансового сектора, открывая новые горизонты для инвестиций и инноваций. Тем не менее, для успешного ориентирования в этом изменчивом и зачастую непредсказуемом пространстве, инвесторам и аналитикам необходимо иметь глубокие знания и навыки в области фундаментального анализа.

Традиционных способов обнаружения вторжений и анализа системных журналов уже недостаточно для защиты сложных современных сетей. В данной книге специалист по проблемам безопасности Майкл Коллинз предлагает различные методы и инструменты для сбора и анализа данных о трафике. Вы поймете, как используется ваша сеть и что необходимо для обеспечения ее безопасности.

Эта книга является практическим руководством для аналитиков, трейдеров и исследователей данных, стремящихся углубить свои знания в области анализа финансовых данных. В книге подробно рассматриваются методы кластерного анализа, их применение для оптимизации портфеля, обнаружения аномалий и прогнозирования трендов на финансовых рынках. Материалы книги сопровождается примерами кода на Python, что позволяет читателям немедленно применять изученные методы на практике. Использование популярных библиотек, таких как Pandas, NumPy, Scikit-learn, Matplotlib и Seaborn, делает анализ данных доступным и эффективным.

Кратко описана история появления новой науки, даны основные понятия, связанные с хранением информации, Большими данными, системами счисления, научными парадигмами. Показаны этапы становления кибернетики и моделирования в гуманитарных науках, рассмотрены подходы к кибернетическому моделированию в медицине. Дана базовая информация о суперкомпьютере и квантовом компьютере. Сформулировано определение науки о данных, представлен прогноз ее развития в будущем.

Анализ и визуализация данных имеют большое значение, именно они позволяют принимать обоснованные решения. Но в Excel достаточно много ограничений, которые превращают вашу жизнь в ад. «Excel с Python и R» меняет правила. Стивен Сандерсон — автор пакетов healthyverse для R, Дэвид Кун — соучредитель Functional Analytics, компании, создавшей ownR (платформа для разработки решений на R, Python и других языках обработки данных). Интеграция Python и R с Excel изменит ваш подход к анализу данных с использованием электронных таблиц. Вы сможете автоматизировать задачи статистического анализа и создавать мощные визуализации, научитесь выполнять разведочный анализ данных и анализ временных рядов и даже интегрировать различные API для максимальной эффективности. И новички, и эксперты найдут в этой книге все необходимое, чтобы раскрыть весь потенциал Excel и поднять навыки анализа данных на новый уровень. К концу книги вы освоите приемы импортирования данных из Excel, манипулирования ими в R или Python, сможете решать задачи анализа данных в выбранном вами фреймворке и возвращать результаты обратно в Excel.

Большие языковые модели (LLM) зарекомендовали себя как мощные инструменты для решения широкого круга задач, и предприятия взяли это на заметку. Однако переход от демонстрационных образцов и прототипов к полноценным приложениям может быть затруднен. Эта книга помогает устранить этот пробел, предоставляя инструменты, методы и руководства, которые необходимы инженерам-практикам для создания полезных продуктов, используя возможности языковых моделей. Опытный исследователь в области машинного обучения (ML) Сухас Пай предлагает практические советы по использованию LLM для ваших задач и решению часто встречающихся задач. Эта книга предназначена для широкой аудитории, включая инженеров-программистов, переходящих к разработке приложений ИИ, практиков и ученых в области машинного обучения, а также менеджеров по продуктам. Единственными необходимыми условиями для изучения этой книги являются знание языка программирования Python и понимание основных принципов машинного обучения и глубокого обучения.

Чтобы добиться успеха в области ИИ и Data Science, необходимо сначала освоить API. С помощью этой практической книги ученые, изучающие данные, и разработчики программного обеспечения получат практический опыт разработки и использования API с помощью языка программирования Python и таких популярных фреймворков, как FastAPI и StreamLit. В первой части вы шаг за шагом разберете проекты по созданию API с помощью Python и FastAPI и развертыванию их в облаке. Часть 2 научит вас использовать API в проектах Data Science с помощью стандартных инструментов. А в третьей части вы используете ChatGPT, фреймворк LangChain и другие инструменты для доступа к API с помощью генеративного ИИ и больших языковых моделей (LLM).