Страница телеграм канала Spark in me - Internet, data science, math, deep learning, philosophy

snakers4 logo

Spark in me - Internet, data science, math, deep learning, philosophy

1332 подписчиков

All this - lost like tears in rain. Internet, data science, math, deep learning, philosophy. No bs. Our website - http://spark-in.me Our chat - https://goo.gl/WRm93d DS courses review - http://goo.gl/5VGU5A - https://goo.gl/YzVUKf


Входит в категории: Технологии
Spark in me - Internet, data science, math, deep learning, philosophy
17.01.2020 15:01
Decided to my OpenVPN installation, since I already gave my VPN to several people Tried pritunl - it really works out of the box - probably full installation would take 10-15 mins really Another valid alternative is a dockerized OpenVPN Some time ago I wrote a plain down-to-earth guide for windows users on how to rent a server, create a key, etc etc - if you would like the same for this VPN - ping me
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
17.01.2020 11:01
First 2020 ML / DS / Coding Digest Highlights - PyTorch 1.4 - focus on production / deploy / optimization - cool! - Order of magnitude more efficient transformer from Google? - Proper English ASR system comparison - Pandas 1.0 Please like / share / repost! https://spark-in.me/post/2020_ds_ml_digest_01 #digest
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
16.01.2020 09:01
Has anyone tried ROCm + PyTorch? anonymous poll What is ROCm? – 43 64% No, I have not tried it – 24 36% Yes, it works properly, even for real-life cases 0% Yes, it technically works, but too early stage 0% 67 people voted so far.
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
16.01.2020 08:01
PyTorch 1.4 release TLDR - production / deploy oriented blocks. Blocks to train huge networks. New cool features - pruning and quantization get traction. AMD support starts getting mentioned. https://github.com/pytorch/pytorch/releases/tag/v1.4.0 - PyTorch Mobile - Build level customization - Distributed Model Parallel Training (RPC) - Java bindings - End of python 2 support =) - Pruning out-of-the box - Learning rate schedulers (torch.optim.lr_scheduler) now support “chaining.” - Named Tensors (out of beta?) - AMD Support (!?) - Quantization (!) - more modules support Still no builds for python 3.8? =) #deep_learning
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
14.01.2020 16:01
A really cool down to earth developers blog / email digest Key differences from your typical coders blog: - Emails arrive in the order they were written. It tells a story - Real examples from real life. Real fails - No BS and sugar coating - No 10x coder / code ninja / code guru stuff https://codewithoutrules.com/softwareclown/ #code
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
10.01.2020 15:01
Deploying High Load ML Models ... in Real-Time with Batches I have heard opinions that properly using GPUs in production is difficult, because of how to handle real-time queues / batching properly. In reality its a chore, but you can even save money compared with CPU-only deploy (especially if you deploy a whole workload where some parts are CPU intensive)! Using GPUs for your ML models has several advantages: - 10x faster (sometimes even without batching) - Usually you can have viable batch sizes of 10 - 100 on one GPU depending on your task But how can you use GPUs in production? Usually if you do not have real-time requirements or if your model / workload is large, you can get away without explicit batching. But what if, you need high load and real-time responses at the same time? The pattern that I arrived at is: - Use some message broker (Redis, Rabbit MQ). I chose Rabbit MQ because it has nice tutorials, libraries and community - Upon accepting a workload, check it, hash it and store it locally - Send a message to a broker with hash / pointer to this stored workload via Remote Procedure Call pattern (also if you really have high load, you may need to send these messages asynchronously as well! in this case aio-pika RPC pattern will help you) - On the consumer side, accumulate messages to process batches and / or process them on timeouts, if batch accumulation takes too much time - This has an added benefit of resilience if you write your code properly and acknowledge messages when necessary Some useful reading: - RPC pattern in pika (python Rabbit MQ client) - Real asynchronous proper pika examples 1 / 2 - RPC in aio-pika (asyncio pika) - What if you want to have RPC / batches / async client in pika at the same time? Also, docker compose does not yet accept `gpus` option So there are workarounds: - https://github.com/docker/compose/issues/6691 - https://github.com/NVIDIA/nvidia-container-runtime#docker-engine-setup Please tell me if you would like a more detailed post on this topic. #devops #deep_learning
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
10.01.2020 11:01
New embedded computing platform? Looks like Intel has a new computing platform for ultra compact PCs. This may fit some of the semi-embedded ML applications! Intel NUC 9 Extreme Compute Element - https://www.theverge.com/2020/1/7/21051879/intel-pc-nuc-9-extreme-ghost-canyon-element-hands-on-teardown-ces-2020 - https://pc-01.tech/razer-tomahawk/ #hardware
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
10.01.2020 11:01
Some useful devops things Happy holidays everyone! Was a bit busy with devops stuff, found some under-the-radar things, that you might find useful when deploying ML applications. - Dockerize - if you have some older application in your stack, that writes logs to some random folder, you can use this to easily dockerize this app, explanation - Wait for it - if you have a distributed architecture and you cannot design your app to be resilient to restarts / one of services being not accessible from start - you can use this - Reverse proxy + TTS. Actually I tried using traefik (it is advertised as an eazy one-size fits all solution) ... but it does not work and glitches. But nginx of course works. Found this gem of a wrapper recently - it allows you to use nginx reverse proxy and have TLS encryption with Lets encrypt with just 2 micro services - Docker compose 2 vs 3. Did not find this in docs - 3 is not necessarily newer or better, it is just geared towards swarm mode in Docker #devops
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
02.01.2020 14:01
https://spark-in.me/post/2019
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
31.12.2019 20:12
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
29.12.2019 12:12
Someone asked about a list of blogs I read
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
27.12.2019 10:12
Using opus Codec with Libsndfile Well almost. It writes valid .opus files, but refuses to read them, though other programs read w/o problems (including PyOGG). Building RUN apt-get && apt-get install cmake autoconf autogen automake build-essential libasound2-dev libflac-dev libogg-dev libtool libvorbis-dev libopus-dev pkg-config -y && cd /usr/lib && git clone https://github.com/erikd/libsndfile.git && cd libsndfile && mkdir -p build && cd build && cmake .. -DBUILD_SHARED_LIBS=ON && make && make install && cmake - build . && pip install soundfile==0.10.3.post1 && apt-get clean && ln /usr/lib/libsndfile/build/libsndfile.so.1 /usr/bin/libsndfile.so.1 && ldconfig && rm -rf /var/lib/apt/lists/* Writing a file: import soundfile as sf sf._subtypes[OPUS]=064 from scipy.io.wavfile import read sr, data = read(taco-encoder-id/data/ruslan_16000/0/00/4accb05419b9.wav) sf.write(test_test.opus, data, sr, format=OGG, subtype=OPUS) #audio
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
23.12.2019 08:12
One More Last ML digest this year - 20 Actually this should have been number 19. But I wrote it and forgot about it (too much stuff happening). So whatever, lol, I am an idiot =) Highlights - 87.4% top-1 accuracy on Imagenet: - AI circus (cool article, read it!) status eof 2019, the winter is coming? =) - New Open Images, solutions to Open Images competition 2019 - Objects in the wild dataset - alternative to Open Images https://spark-in.me/post/2019_ds_ml_digest_20 #digest
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
23.12.2019 07:12
The State of Speech Encoding Сodecs in Python A VERY brief TLDR w/o looking into how it works inside. - mp3, works kind of ok, but allegedly its compression makes STT perform worse. Have not checked it myself, but with sufficiently high bitrate probably it will not matter. Also "murky" legally. A lot of libraries that support it via downstream tools, but I have not searched for tools w/o unnecessary bulk / implemented not using sox / ffmpeg - probably they exist - speex. Obsolete according to its authors, to be replaced by opus - vorbis and its associated container ogg. Very popular, there is a cool python pysoundfile library that works on top of libsndfile library. An obvious choice together with wave or scipy.io.wav for wav files - opus codec (also with ogg container). This is supposed to be the one-size-fits all super codec for all needs that encodes both speech and music. Also allegedly it even reduces STT recognition erros. At the moment there no proper native support in python, except for pyogg library. It is a bit unpolished and there is no write support (technically there is, but it is not user-friendly). - Also worth noting that there was a heated debate about including opus support into libsndfile and it was included (repos even for newer OSs do not include this support yet), but I have not found a clear instuction how to make it into a .so file after it compiles (maybe you know? would be very cool!). It compiles, but the instructions are not very clear after this stage. Probably another 6-12 months will pass before this becomes mainstream! - More convoluted ways like CFFI wrappers around sox and torchaudio sox effect chain wrapper. But this introduces overhead that may not be desirable for training NNs or running in production - lpcnet (it is a vocoder under the hood) as codec - it boasts speech compression at 1.6 kb/s. Literally. Very impressive, but there is no mainstream way of just using it in python (yet). And naturally is works only for speech! So no music / noise / etc #deep_learning
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме


Spark in me - Internet, data science, math, deep learning, philosophy
22.12.2019 20:12
Last ML digest this year - 19 https://spark-in.me/post/2019_ds_ml_digest_19 A bit half-assed, I was a bit busy with non-ML stuff lately, so idk) Highlights: - Fast Sparse ConvNets - if this somehow trickles down, it will be a new standard on par with MobileNets - What’s Hidden in a Randomly Weighted Neural Network? Lottery ticket hypothesis shown to work in Imagenet - Reproducibility crisis in ML and science Also read the above posts about python libraries, they are also cool! #digest
Читать

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме