Канал по Машинному обучению
@ai_machinelearning_big_data
Перейти
Репозитории и датасеты практически для всех типов проектов в области Data Science. Более 100 датасетов.
Полный список хранилищ данных для каждого типа проблем
Учитывая характер моей работы, я должен работать над новыми проектами каждую неделю, решая разные проблемы. Моя работа требует от меня разбора множества различных типов наборов данных для разработки и разработки инструкций для соискателей в области науки о данных.
Блог содержит несколько полезных наборов данных и репозиториев, классифицированных по различным классам проблем и отраслей промышленности.
@bigdatai – огромный список бесплатных наборов данных и инструментов датасаентиста в одном месте.
Репозитории для Web
Google Dataset Search — поисковая система для исследователей, чтобы найти онлайн-данные.
datasetlist-предлагает список самых больших наборов данных машинного обучения со всего интернета.
UCI — один из старейших репозиториев с данными, классифицированными по типам задач, типам атрибутов, типу данных, области исследования и т.д.
fastai-datasets -наборы данных для классификации изображений, НЛП и локализации изображений
NLP-datasets-алфавитный список бесплатных / общедоступных наборов данных с текстовыми данными для использования в обработке естественного языка
Bifrost – для визуальных наборов данных, классифицированных по задаче, приложению, классу, метке и формату.
Датасеты изображений
ImageNet -это база данных изображений, организованная в соответствии с иерархией WordNet (в настоящее время только существительные), в которой каждый узел иерархии изображен сотнями и тысячами изображений.
CT Medical Images -предназначены для проверки различных методов исследования тенденций в данных КТ-изображений, связанных с использованием контраста и возрастом пациента. Данные состоят из крошечного подмножества изображений из архива изображений рака.
Flickr-faces-Flickr-Faces-HQ (FFHQ)-это высококачественный набор данных изображений человеческих лиц, первоначально созданный в качестве эталона для генеративных состязательных сетей (GAN).
objectnet — это новый вид визуального набора данных, заимствующий идею управления из других областей науки.
CelebFaces — крупномасштабные атрибуты CelebFaces
Animal Faces-HQ dataset (AFHQ) – набор данных лиц животных, состоящий из 15 000 высококачественных изображений с разрешением 512×512.
NLP датасеты
nlp-datasets-алфавитный список бесплатных / общедоступных наборов данных с текстовыми данными для использования в обработке естественного языка (NLP).
1 trillion n-grams — консорциум лингвистических данных. Ожидается, что эти данные будут полезны для статистического языкового моделирования, например, для машинного перевода или распознавания речи, а также для других целей.
litbank-LitBank-это аннотированный набор данных из 100 произведений англоязычной художественной литературы для поддержки задач обработки естественного языка и вычислительных гуманитарных наук.
BookCorpus-это скрипты для самостоятельного воспроизведения BookCorpus.
rasa-nlu-training-data-краудсорсинговые обучающие данные для разработки и тестирования моделей Rasa NLU.
Google book Ngram-это онлайн-поисковая система, которая отображает частоты любого набора поисковых строк, используя ежегодное количество n-граммов, найденных в источниках, напечатанных между 1500 и 2019 годами в текстовых корпусах Google на английском, китайском, французском, немецком, иврите, итальянском, русском или испанском языках.
Анализ Настроений
Отзывы — Amazon Reviews, Yelp Reviews, Movie Reviews, Food Reviews, Twitter Airline
Stanford Sentiment Treebank — этот набор данных содержит чуть более 10 000 фрагментов данных Стэнфорда из HTML-файлов Rotten Tomatoes.
Lexicoder Sentiment Dictionary-Lexicoder выполняет простой дедуктивный контент-анализ любого вида текста, практически на любом языке.
Opinion Lexicon-это список английских положительных и отрицательных слов мнения или слов настроения.
Conversational Datasets-коллекция больших наборов данных для выбора разговорного ответа.
Другие — NRC-Emotion-Lexicon-Wordlevel, ISEAR(17K), HappyDB, emotion-to-emoji-mapping
Аудио
Audioset – это крупномасштабный набор данных, состоящий из расширяющейся онтологии из 632 классов звуковых событий и коллекции из 2 084 320 человеко-помеченных 10-секундных аудиоклипов, взятых из видео YouTube.
Финансы и экономика
Kaggle Finance datasets — наборы данных финансов, о деньгах и инвестировании. Если вам нужно протестировать некоторые новые стратегии инвестирования в криптовалюту или отогнать этих надоедливых энтузиастов мошенничества с кредитными картами, то вы пришли в нужное место.
CFPB Credit Card History– количество и совокупный кредитный лимит новых кредитных карт, открытых каждый месяц.
Top Banks -этот набор данных содержит списки крупнейших банков мира.
Student Loan Debt -это совокупность сводных данных о задолженности по студенческим кредитам, включая баланс задолженности по возрасту, сумме и типам задолженности.
International Monetary Fund, Financial Times Dataset, World Open Bank Data
Здравоохранение
Kaggle Healthcare repository -AI в здравоохранении вызывает все больший интерес. Одной из главных проблем является простое преобразование исследований в прикладные программы. Должно быть легко, не так ли?
WHO: глобальные наборы данных здравоохранения.
CDC: используйте это для специфичного для США общественного здравоохранения.
data.gov: ориентированные на США медицинские данные можно искать по нескольким различным факторам.
Научные исследования
Re3Data: более 2000 хранилищ исследовательских данных re3data стали наиболее полным источником справочных данных для исследовательских инфраструктур данных во всем мире.
ELVIRA Biomedical Data: высокомерные наборы данных в области биомедицины. Он фокусируется на данных, опубликованных в журналах (Nature, Science и др.).
Merck Molecular Health Activity Challenge: наборы данных, разработанные для содействия машинному обучению поиску лекарств путем моделирования того, как комбинации молекул могут взаимодействовать друг с другом.
SEER-наборы данных, организованные демографическими группами и предоставленные правительством США. Вы можете выполнять поиск по возрасту, расе и полу.
CT Cancer Medical Images-предназначен для проверки различных методов исследования тенденций в данных КТ-изображений, связанных с использованием контраста и возрастом пациента. Эти данные представляют собой крошечное подмножество изображений из архива изображений рака.
Аэрокосмическая и оборонная промышленность
NASA’s Data Portal-это постоянно растущий каталог общедоступных наборов данных НАСА, API, визуализаций и многого другого. Включает в себя космическую науку, аэрокосмическую науку, науку о земле, прикладную науку и управленческие данные.
Airline Data Project — коммерческая авиакомпания наборов данных из Массачусетского технологического института мировой авиаиндустрии программы
Astronomical Data Services — разнообразные астрономические данные, доступные из Военно-Морской обсерватории Соединенных Штатов (USNO). Данные включают в себя то, что связано с Солнцем, Луной, планетами и другими небесными объектами и многое другое.
Astronomical Phenomena section of the Astronomical Almanac-различные явления, представляющие астрономический интерес, включая солнечные, лунные, Геоцентрические и гелиоцентрические. Доступны таблицы восхода, захода солнца и сумерек, а также данные о солнечных и лунных затмениях
NASA’s Asteroid Data Sets-обеспечивают доступ к данным PDS об астероидах, пыли, спутниках планет, метеоритах и многом другом.
E-Commerce
Online Influencer Marketing, eCommerce search relevance, social influence on shopping
Библиотеки Python, предлагающие наборы данных
TensorFlow Datasets-это набор готовых к использованию наборов данных. Наборы данных TensorFlow-это набор готовых к использованию наборов данных с TensorFlow или другими фреймворками Python ML, такими как Jax. Все наборы данных представлены как tf.данные.Наборы данных, обеспечивающие простые в использовании и высокопроизводительные входные конвейеры. Для начала ознакомьтесь с руководством и нашим списком наборов данных.
S️klearn-пакет машинного обучения. Этот пакет также содержит помощники для извлечения больших наборов данных, обычно используемых сообществом машинного обучения для тестирования алгоритмов на данных, поступающих из “реального мира”.
️nltk: набор инструментов для естественного языка. Практическая работа по обработке естественного языка обычно использует большие массивы лингвистических данных, или корпусов.
️statsmodel: пакет статистических моделей. Предоставляет наборы данных (т. е. данные и метаданные)для использования в примерах, учебных пособиях, тестировании моделей и т. д.
pydataset-набор данных для образовательных целей, в основном. Он пытается помочь тем, кто впервые обращается к науке о данных в Python, кто должен иметь дело с обычными (и трудоемкими) задачами подготовки данных.
seaborn: пакет визуализации данных, в который вы также можете загрузить пример набора данных из онлайн-репозитория (требуется интернет).
52 датасета для тренировочных проектов
- Mall Customers Dataset — данные посетителей магазина: id, пол, возраст, доход, рейтинг трат. (Вариант применения: Customer Segmentation Project with Machine Learning)
- Iris Dataset — датасет для новичков, содержащий размеры чашелистиков и лепестков для различных цветков.
- MNIST Dataset — датасет рукописных цифр. 60 000 тренировочных изображений и 10 000 тестовых изображений.
- The Boston Housing Dataset — популярный датасет для распознавания паттернов. Содержит информацию о домах в Бостоне: количество квартир, стоимость аренды, индекс преступлений.
- Fake News Detection Dataset — содержит 7796 записей с разметкой новостей: правда или ложь. (Вариант применения с исходником на Python: Fake News Detection Python Project )
- Wine quality dataset — содержит информацию о вине: 4898 записей с 14 параметрами.
- SOCR data – Heights and Weights Dataset — хороший вариант для старта. Содержит 25 000 записей о росте и весе 18-ти летних людей.
Статья переведена при поддержке компании EDISON Software, которая выполняет «на отлично» заказы из Южного Китая, а также разрабатывает веб-приложения и сайты. - Parkinson Dataset — 195 записей о пациентах с болезнью Паркинсона, с 25 параметрами анализов. Можно использовать для предварительной оценки отличия больных людей от здоровых. (Вариант применения с исходником на Python: Machine Learning Project on Detecting Parkinson’s Disease)
- Titanic Dataset — содержит информацию про пассажиров (возраст, пол, родственники на борту и пр) 891 в тренировочном сете и 418 — в тестовом.
- Uber Pickups Dataset — информация о 4.5 миллионах поездок на Uber 2014 года и 14 млн. 2015 года. (Вариант применения с исходником на R: Uber Data Analysis Project in R)
- Chars74k Dataset — содержит изображения Британских и Канадских символов 64 классов: 0-9, A-Z, a-z. 7700 7.7k естественных изображений, 3400kнаписанных от руки, 62000 синтезированных компьютером шрифтов.
- Credit Card Fraud Detection Dataset — содержит информацию о транзакциях скомпрометированных кредитных картах. (Вариант применения с исходником: Credit Card Fraud Detection Machine Learning Project)
- Chatbot Intents Dataset — JSON-файл, который содержит различные тэги: greetings, goodbye, hospital_search, pharmacy_search, и тд. Содержит набор шаблонов «вопрос-ответ». (Вариант применения с исходником на Python: Chatbot Project in Python)
- Enron Email Dataset — содержит пол миллиона писем от 150 менеджеров Enron.
- The Yelp Dataset — содержит 1,2 млн. рекомендаций от 1,6 млн. пользователей про 1,2 млн организаций.
- Jeopardy Dataset — более 200 000 записей «вопрос-ответ» из популярной телевизионной игры.
- Recommender Systems Dataset — портал с коллекцией датасетов от университета UCSD. Содержит записи об отзывах на популярных сайтах (Goodreads, Amazon). Отлично подходит для создания рекомендательных систем. (Вариант применения с исходником на R: Movie Recommendation System Project in R )
- UCI Spambase Dataset — датасет для тренировки для обнаружения спама. Содержит 4601 писем с 57 параметрами метаданных.
- Flickr 30k Dataset — более 30 000 изображений и подписей к ним. (Flickr 8k Dataset — 8000 изображений. Проект с исходником на Python: Image Caption Generator Python Project)
- IMDB reviews — 25 000 отзывов на фильмы в тренировочном наборе и 25 000 в тестовом. (Вариант применения с исходником на R: Sentiment Analysis Data Science Project)
- MS COCO dataset — 1,5 млн размеченных изображений.
- CIFAR-10 and CIFAR-100 dataset — CIFAR-10 содержит 60,000 маленьких изображений 32*32 pixels цифр 0-9. CIFAR-100 — соответственно, 0-100.
- GTSRB (German traffic sign recognition benchmark) Dataset — 50 000 изображений 43 дорожных знаков. (Вариант применения с исходником на Python: Traffic Signs Recognition Python Project)
- ImageNet dataset — содержит более 100 000 фраз и около 1000 изображений на фразу.
- Breast Histopathology Images Dataset — датасет содержит изображения образцов рака молочной железы. (Вариант применения с исходником на Breast Cancer Classification Python Project)
- Cityscapes Dataset — содержит высококачественные аннотации видеопоследовательностей улиц разных городов.
- Kinetics Dataset — содержит URL-ссылку на около 6,5 миллионов высококачественных видео.
- MPII human pose dataset — датасет содержит 25 000 изображений человеческих поз с аннотацией по суставам.
- 20BN-something-something dataset v2 — набор высококачественных видео, которые показывают, как человек выполняет какие-то действия.
- Object 365 Dataset — датасет высококачественных изображений с ограничивающими рамками объектов.
- Photo sketching dataset — содержит более 1000 изображений с их контурными чертежами.
- CQ500 Dataset — датасет содержит 491 КТ-сканирование головы с 193 317 срезами.
- IMDB-Wiki dataset — датасет с более чем 5 млн. изображений лиц с пометкой пола и возраста. (Вариант применения с исходником на Gender & Age Detection Python Project)
- Youtube 8M Dataset — маркированный набор данных видео, который содержит 6,1 миллиона идентификаторов видео Youtube
- Urban Sound 8K dataset — набор городских звуковых данных (содержит 8732 городских звука из 10 классов).
- LSUN Dataset — набор данных из миллионов цветных изображений сцен и объектов (около 59 миллионов изображений, 10 различных категорий сцен и 20 различных категорий объектов).
- RAVDESS Dataset — аудиовизуальная база данных эмоциональной речи. (Вариант применения с исходником на Speech Emotion Recognition Python Project)
- Librispeech Dataset — датасет содержит 1000 часов английской речи с разными акцентами.
- Baidu Apolloscape Dataset — датасет для развития технологий самостоятельного вождения.
- Quandl Data Portal — хранилище экономических и финансовых данных (есть бесплатный и платный контент).
- The World Bank Open Data Portal — информация о займах, выданных Всемирным банком развивающимся странам.
- IMF Data Portal — портал международного валютного фонда, который публикует данные о международных финансах, ставках долга, инвестициях, валютных резервах и товарах.
- American Economic Association (AEA) Data Portal — ресурс для поиска макроэкономических данных США.
- Google Trends Data Portal — данные о тенденциях Google можно использовать для визуального изучения и анализа данных.
- Financial Times Market Data Portal — ресурс для получения актуальной информации о финансовых рынках со всего мира.
- Data.gov Portal — портал открытых данных правительства США (сельское хозяйство, здравоохранение, климат, образование, энергетика, финансы, наука и исследования и т.д.).
- Data Portal: Open government data (India) — открытая правительственная платформа данных Индии.
- Food environment Atlas Data Portal — содержит данные исследований о питании в США.
- Health Data Portal — это портал Министерства здравоохранения и социальных служб США.
- Centers for Disease Control and Prevention Data Portal — содержит широкий спектр данных, связанных со здоровьем.
- London Datastore Portal — данные о жизни людей в Лондоне.
- Canada Government Open Data Portal — портал открытых данных о канадцах (сельское хозяйство, искусство, музыка, образование, правительство, здравоохранение и т.д.)
+1
+1
1
+1
+1
+1
