Страница телеграм канала Spark in me - Internet, data science, math, deep learning, philosophy
Spark in me - Internet, data science, math, deep learning, philosophy
1332 подписчиков
All this - lost like tears in rain. Internet, data science, math, deep learning, philosophy. No bs. Our website - http://spark-in.me Our chat - https://goo.gl/WRm93d DS courses review - http://goo.gl/5VGU5A - https://goo.gl/YzVUKf
Входит в категории: Технологии
19.04.2021 12:04
I personally also have promoted rclone here and I am a user of spaces by DO for smaller archives, which works just fine except for the steep pricing.
As for BackBlaze their pricing is nice, but I have considered them for really large backups ... and just buying hard-drives is also an option. Long-term buying drives is probably 2-3x cheaper (just did a quick back-of-the-envelope calculation, given that your NAS is cheap).
It depends on your use-case =)
PS
d second link
19.04.2021 12:04
На выходных продуктивно прокрастинировал: не желая убирать в квартире, решил прибраться в компьютерах - разгрести завалы файлов, почистить ~/data, что-то забэкапить и так далее.
Хотелось сложить сотни гигабайт некритичных файлов (датасеты, не самые важные бэкапы и т.д.) так, чтобы это было просто (sync ~/data /awesome_storage) и дешево.
Первая мысль была про S3, но как-то это слишком "ентерпрайзно" для такой банальной задачи, да и априори не очень дешево ($0.023-0.025/Gb в зависимости от региона + куча подозрительных примечаний). Следующим вариантом был Digital Ocean Spaces, который в целом неплох и дает 250 Gb хранилища и 1Tb трафика за 5 баксов (дальше $0.02/Gb и $0.01/Gb соответственно), т.е. по деньгам ушел недалеко - довольно ожидаемо, все-таки это уже большая и с недавних пор публичная компания. Туда же идет Vultr (я использую их для ssh-туннелирования), который копирует Digital Ocean почти во всем, в т.ч. в прайсинге.
Приятной находкой стал BackBlaze. У этих ребят два продукта - backup решение (plug and play для нетехнарей) и S3-like хранилище с ценами сильно ниже ($0.005/Gb хранение, те же $0.01/Gb скачивание). Пользоваться легко, есть два CLI API - одно мимикрирует под S3, другое свое и чуть попроще (b2 sync origin source ). Прям сейчас я туда заливаю всякое барахло с неидеальной скоростью в районе 5 Mbit/s, но кажется, что проблема скорее в моем исходящем канале.
Наконец, я наткнулся на Rclone. Это open source обертка над 50+ хранилищами, от своего FTP или SFTP до сервисов типа box и Google Drive. Вышеупомянутые S3, DO, Vultr и B2 тоже поддерживаются. Для более важных бэкапов можно, например, сделать синхронизацию между провайдерами в одну команду. Благодаря Rclone, мой терабайтный Яндекс.Диск (Яндекс дарит бывшим сотрудникам) теперь не пустует, а вовсю наполняется бэкапами.
13.04.2021 10:04
Периодически закапываюсь и делаю очередной обзор рынка embedded устройств для ComputerVision. Сейчас триггернул OAK, на который недели две назад я делал обзор. И вот, очередная статья на Хабр - https://habr.com/ru/company/recognitor/blog/551552/
12.04.2021 20:04
Silero VAD
- Added a mini VAD (100k params as opposed to micro with 10k) for 8 kHz and 16 kHz;
- Added adaptive post-processing (no need for thresholds), examples coming soon;
- Micro is also available for 8k and 16k;
https://github.com/snakers4/silero-vad
12.04.2021 20:04
A Streaming Interface for Silero Models EE
We have created a gRPC-based streaming interface for our EE models based on silero-vad.
Not sure if we are going to make any of this public, but writing an interface that adds value (as opposed to just having it) is difficult.
Key features:
- Unlike Google we do not rescore full results at the end of utterance / sentence => all results are kind of "final";
- Therefore "early" partial responses are a separate feature (i.e. 2 seconds after the start of utterance);
- Automatic handling of speech that is too long (i.e. 7 seconds or longer) - we have some hacks ensuring we do not cut words in the middle;
- Threading and multiprocessing;
- We had to create fast / efficient versions of silero-vad (10k or 100k params) to be included in the gRPC server;
- The service also proxies VAD responses, which may be useful downstream;
Hopefully, since real people do not speak at the same time, this would increase the hardware utilization efficiency 2x compared to a plain HTTP interface in case of phone calls.
In future we will also be calculating the sizings of our system using the streaming interface, i.e. how many real conversation each given sizing can really handle.
An educated guess - if we can handle 20 queries per second or 10 queries per 500ms with ~40 RTC, I suppose that would mean about 40 conversations.
12.04.2021 07:04
A Guide on Making Presentations and Charts
https://github.com/nalgeon/dataviz
#off_topic
08.04.2021 10:04
Yet Another Sane Blog (RU)
Actually set of blogs / telegram channels / info materials, but whatever:
- https://antonz.ru/
Also an author of now mostly silent @ohmypy
Too much emphasis on human-friendly design and some roots of snake-oil salesmanship (i.e. @dangry), but nevertheless SNR is much better than average.
I myself even dabbled in this a bit, but got quickly disenchanted by frontend development and design.
#no_bs
07.04.2021 15:04
Our TTS working on Windows 10 - an example made by the community members
06.04.2021 17:04
The Obsolete Institute of Intellectual Property (RU)
Looks like a decent Russian YouTube channel (lol)
#off_topic
#off_topic
06.04.2021 15:04
Finally Proper GPU Support in Compose!
It happened finally (some time ago, I just checked now)!
Now this obsolete runtime: nvidia syntax can be replaced with this more versatile syntax:
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: [0]
capabilities: [gpu]
This together with CUDA_VISIBLE_DEVICES gives you full control of your GPU environment within compose.
https://docs.docker.com/compose/gpu-support/
#deep_learning